OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: 48b68c2c62
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from '48b68c2c62'
${ noResults }
OpenBLAS/kernel/meson.build

1262 lines
59 kB
Raw Blame History 

  1. # Ordered As per https://netlib.org/blas/blasqr.pdf

  2. # NOTE: xROTG xROTMG xROTM have no kernels?

  3. # TODO: Actually test and set this

  4. if true

  5.   fma3_flag = '-mfma'

  6. endif

  7. # TODO: This is currently following x86_64 generic for src and dir, but it needs

  8. # to diversify

  9. # NOTE: The def and undefs are from Makefile.L1

  10. # Construct all ModesymbKERNEL from src and dir via files(dir + src)

  11. # For the modes array, the following mapping is used for c_args:

  12. # addl --> passed AS IS

  13. base_kops = [

  14.   # Level 1 BLAS

  15.   { 'base': '?rot',

  16.     'modes': {

  17.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'rot.c', 'addl': [fma3_flag]}}},

  18.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'rot.c', 'addl': [fma3_flag]}}},

  19.         'q': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zrot.c'}}},

  20.         'cs': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zrot.c'}}},

  21.         'zd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zrot.c'}}},

  22.         'xq': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zrot.S'}}},

  23.     },

  24.   },

  25.   { 'base': '?swap',

  26.     'modes': {

  27.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'swap.c'}}},

  28.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'swap.c'}}},

  29.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zswap.c'}}},

  30.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zswap.c'}}},

  31.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'swap.S'}}},

  32.         'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zswap.S'}}},

  33.     },

  34.   },

  35.   { 'base': '?scal',

  36.     'modes': {

  37.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'scal.c'}}},

  38.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'scal.c'}}},

  39.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zscal.c'}}},

  40.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zscal.c'}}},

  41.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'scal.S'}}},

  42.         'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zscal.S'}}},

  43.     },

  44.   },

  45.   { 'base': '?copy',

  46.     'modes': {

  47.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'copy.c'}}},

  48.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'copy.c'}}},

  49.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zcopy.c'}}},

  50.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zcopy.c'}}},

  51.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'copy.S'}}},

  52.         'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zcopy.S'}}},

  53.     },

  54.   },

  55.   { 'base': '?axpy',

  56.     'modes': {

  57.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'axpy.c'}}},

  58.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'axpy.c'}}},

  59.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zaxpy.c'}}},

  60.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zaxpy.c'}}},

  61.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'axpy.S'}}},

  62.         'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zaxpy.S'}}},

  63.     },

  64.   },

  65.   { 'base': '?dot',

  66.     'modes': {

  67.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'dot.c'}}},

  68.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'dot.c'}}},

  69.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zdot.c'}}},

  70.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zdot.c'}}},

  71.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'dot.S'}}},

  72.         'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zdot.S'}}},

  73.     },

  74.   },

  75.   { 'base': '?dotc',

  76.     'modes': {

  77.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'cdot.c'}}},

  78.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zdot.c'}}},

  79.     },

  80.   },

  81.   { 'base': '?dotu',

  82.     'modes': {

  83.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'cdot.c'}}},

  84.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zdot.c'}}},

  85.     },

  86.   },

  87.   # TODO(rg): Add dsdotkernel conditionals

  88.   # xDOTU xDOTC xxDOT aren't present

  89.   { 'base': '?nrm2',

  90.     'modes': {

  91.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'nrm2.c'}}},

  92.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'nrm2.c'}}},

  93.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'znrm2.c'}}},

  94.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'znrm2.c'}}},

  95.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'nrm2.S'}}},

  96.         'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'znrm2.S'}}},

  97.     },

  98.   },

  99.   { 'base': '?asum',

  100.     'modes': {

  101.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'asum.c'}}},

  102.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'asum.c'}}},

  103.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zasum.c'}}},

  104.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zasum.c'}}},

  105.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'asum.S'}}},

  106.         'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zasum.S'}}},

  107.     },

  108.   },

  109.   { 'base': '?amax',

  110.     'modes': {

  111.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'amax.c'}}},

  112.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'amax.c'}}},

  113.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zamax.c'}}},

  114.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zamax.c'}}},

  115.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax.S'}}},

  116.         'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zamax.S'}}},

  117.     },

  118.   },

  119.   { 'base': '?sum',

  120.     'modes': {

  121.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'sum.c'}}},

  122.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'sum.c'}}},

  123.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zsum.c'}}},

  124.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zsum.c'}}},

  125.     },

  126.   },

  127.   { 'base': '?amin',

  128.     'modes': {

  129.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'amin.c'}}},

  130.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'amin.c'}}},

  131.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zamin.c'}}},

  132.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zamin.c'}}},

  133.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax.S'}}},

  134.         'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'izamax.S'}}},

  135.     },

  136.   },

  137.   { 'base': 'i?amax',

  138.     'modes': {

  139.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'iamax.c'}}},

  140.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'iamax.c'}}},

  141.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'izamax.c'}}},

  142.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'izamax.c'}}},

  143.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax.S'}}},

  144.         'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'izamax.S'}}},

  145.     },

  146.   },

  147.   { 'base': 'i?amin',

  148.     'modes': {

  149.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'iamin.c'}}},

  150.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'iamin.c'}}},

  151.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'izamin.c'}}},

  152.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'izamin.c'}}},

  153.     },

  154.   },

  155.   { 'base': 'i?max',

  156.     'modes': {

  157.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'imax.c'}}},

  158.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'imax.c'}}},

  159.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax.S'}}},

  160.     },

  161.   },

  162.   { 'base': 'i?min',

  163.     'modes': {

  164.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'imin.c'}}},

  165.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'imin.c'}}},

  166.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax.S'}}},

  167.     },

  168.   },

  169.   { 'base': '?max',

  170.     'modes': {

  171.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'max.c'}}},

  172.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'max.c'}}},

  173.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax.S'}}},

  174.     },

  175.   },

  176.   { 'base': '?min',

  177.     'modes': {

  178.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'min.c'}}},

  179.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'min.c'}}},

  180.         'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax.S'}}},

  181.     },

  182.   },

  183.   { 'base': '?axpby',

  184.     'modes': {

  185.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'axpby.c'}}},

  186.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'axpby.c'}}},

  187.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zaxpby.c'}}},

  188.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zaxpby.c'}}},

  189.     },

  190.   },

  191.   # Level 2 BLAS

  192.   # There are additional sources so now we have srcs

  193.   # Ordered as per KERNEL.generic and Makefile.L2

  194.   # exts are used to find the flags for each modality

  195.   # ext is attached to base (only useful from Level 2)

  196.   # i.e. baseext (e.g., gemv_n, gemv_t, cgeru_k, cgerc_k)

  197.   { 'base': '?gemv',

  198.     'modes': {

  199.         's': {

  200.             'exts': {

  201.               # TODO(rg): Where are these coming from??

  202.               # Most of these have both generic defines and also per-folder defines..

  203.               # Makefile lists sgemv_n_4.c as the source, though there is a sgemv_n.c

  204.                 '_n': {'dir': 'arm', 'kernel': 'gemv_n.c'},

  205.                 '_t': {'dir': 'arm', 'kernel': 'gemv_t.c'},

  206.             }

  207.         },

  208.         'd': {

  209.             'exts': {

  210.                 '_n': {'dir': 'arm', 'kernel': 'gemv_n.c'},

  211.                 '_t': {'dir': 'arm', 'kernel': 'gemv_t.c'},

  212.             }

  213.         },

  214.         'q': {

  215.             'exts': {

  216.                 '_n': {'dir': 'x86_64', 'kernel': 'qgemv_n.S'},

  217.                 '_t': {'dir': 'x86_64', 'kernel': 'qgemv_t.S'},

  218.             }

  219.         },

  220.         'c': {

  221.             'exts': {

  222.                 '_n': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  223.                 '_t': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  224.                 '_r': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  225.                 '_c': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  226.                 '_o': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  227.                 '_u': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  228.                 '_s': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  229.                 '_d': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  230.             }

  231.         },

  232.         'z': {

  233.             'exts': {

  234.                 '_n': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  235.                 '_t': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  236.                 '_r': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  237.                 '_c': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  238.                 '_o': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  239.                 '_u': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  240.                 '_s': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  241.                 '_d': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  242.             }

  243.         },

  244.         'x': {

  245.             'exts': {

  246.                 '_n': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  247.                 '_t': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  248.                 '_r': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  249.                 '_c': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  250.                 '_o': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  251.                 '_u': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  252.                 '_s': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  253.                 '_d': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  254.             }

  255.         },

  256.     },

  257.   },

  258.   { 'base': '?symv',

  259.     'modes': {

  260.         's': {

  261.             'exts': {

  262.                 '_U': {'dir': 'generic', 'kernel': 'symv_k.c'},

  263.                 '_L': {'dir': 'generic', 'kernel': 'symv_k.c'},

  264.             }

  265.         },

  266.         'd': {

  267.             'exts': {

  268.                 '_U': {'dir': 'generic', 'kernel': 'symv_k.c'},

  269.                 '_L': {'dir': 'generic', 'kernel': 'symv_k.c'},

  270.             }

  271.         },

  272.         'c': {

  273.             'exts': {

  274.                 '_U': {'dir': 'generic', 'kernel': 'zsymv_k.c'},

  275.                 '_L': {'dir': 'generic', 'kernel': 'zsymv_k.c'},

  276.             }

  277.         },

  278.         'z': {

  279.             'exts': {

  280.                 '_U': {'dir': 'generic', 'kernel': 'zsymv_k.c'},

  281.                 '_L': {'dir': 'generic', 'kernel': 'zsymv_k.c'},

  282.             }

  283.         },

  284.         'q': {

  285.             'exts': {

  286.                 '_U': {'dir': 'generic', 'kernel': 'symv_k.c'},

  287.                 '_L': {'dir': 'generic', 'kernel': 'symv_k.c'},

  288.             }

  289.         },

  290.         'x': {

  291.             'exts': {

  292.                 '_U': {'dir': 'generic', 'kernel': 'zsymv_k.c'},

  293.                 '_L': {'dir': 'generic', 'kernel': 'zsymv_k.c'},

  294.             }

  295.         },

  296.     },

  297.   },

  298.   { 'base': '?lsame',

  299.     'modes': {

  300.         '': {'exts': {'': {'dir': 'generic', 'kernel': 'lsame.c'}}},

  301.     },

  302.   },

  303.   { 'base': '?cabs',

  304.     'modes': {

  305.         's': {'exts': {'': {'dir': 'generic', 'kernel': 'cabs.c'}}},

  306.         'd': {'exts': {'': {'dir': 'generic', 'kernel': 'cabs.c'}}},

  307.         'q': {'exts': {'': {'dir': 'generic', 'kernel': 'cabs.c'}}},

  308.     },

  309.   },

  310.   { 'base': '?gemm3m',

  311.     'modes': {

  312.         'c': {'exts': {

  313.             '_kernel': {'dir': 'x86_64', 'kernel': 'zgemm3m_kernel_4x8_nehalem.S',

  314.                         'addl': ['-DICOPY', '-UUSE_ALPHA']},

  315.             '_oncopyb': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  316.                         'addl': ['-DUSE_ALPHA']},

  317.             '_otcopyb': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_4.c',

  318.                         'addl': ['-DUSE_ALPHA']},

  319.             '_itcopyb': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_8.c',

  320.                         'addl': ['-DICOPY', '-UUSE_ALPHA']},

  321.             '_itcopyr': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_8.c',

  322.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DREAL_ONLY']},

  323.             '_itcopyi': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_8.c',

  324.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DIMAGE_ONLY']},

  325.             '_incopyb': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_8.c',

  326.                         'addl': ['-DICOPY', '-UUSE_ALPHA']},

  327.             '_incopyr': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_8.c',

  328.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DREAL_ONLY']},

  329.             '_oncopyr': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  330.                         'addl': ['-DUSE_ALPHA', '-DREAL_ONLY']},

  331.             '_otcopyr': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_4.c',

  332.                         'addl': ['-DUSE_ALPHA', '-DREAL_ONLY']},

  333.             '_incopyi': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_8.c',

  334.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DIMAGE_ONLY']},

  335.             '_oncopyi': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  336.                         'addl': ['-DUSE_ALPHA', '-DIMAGE_ONLY']},

  337.             '_otcopyi': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  338.                         'addl': ['-DUSE_ALPHA', '-DREAL_ONLY']},

  339.         }},

  340.         'z': {'exts': {

  341.             '_kernel': {'dir': 'x86_64', 'kernel': 'zgemm3m_kernel_4x8_nehalem.S',

  342.                         'addl': ['-DICOPY', '-UUSE_ALPHA']},

  343.             '_oncopyb': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  344.                         'addl': ['-DUSE_ALPHA']},

  345.             '_otcopyb': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_4.c',

  346.                         'addl': ['-DUSE_ALPHA']},

  347.             '_itcopyb': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_8.c',

  348.                         'addl': ['-DICOPY', '-UUSE_ALPHA']},

  349.             '_itcopyr': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_8.c',

  350.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DREAL_ONLY']},

  351.             '_itcopyi': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_8.c',

  352.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DIMAGE_ONLY']},

  353.             '_incopyb': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_8.c',

  354.                         'addl': ['-DICOPY', '-UUSE_ALPHA']},

  355.             '_incopyr': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_8.c',

  356.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DREAL_ONLY']},

  357.             '_oncopyr': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  358.                         'addl': ['-DUSE_ALPHA', '-DREAL_ONLY']},

  359.             '_otcopyr': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_4.c',

  360.                         'addl': ['-DUSE_ALPHA', '-DREAL_ONLY']},

  361.             '_incopyi': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_8.c',

  362.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DIMAGE_ONLY']},

  363.             '_oncopyi': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  364.                         'addl': ['-DUSE_ALPHA', '-DIMAGE_ONLY']},

  365.             '_otcopyi': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  366.                         'addl': ['-DUSE_ALPHA', '-DREAL_ONLY']},

  367.         }},

  368.     },

  369.   },

  370.   { 'base': '?ger',

  371.     'modes': {

  372.         's': {'exts': {'_k': {'dir': 'generic', 'kernel': 'ger.c'}}},

  373.         'd': {'exts': {'_k': {'dir': 'generic', 'kernel': 'ger.c'}}},

  374.         'q': {'exts': {'_k': {'dir': 'generic', 'kernel': 'ger.c'}}},

  375.     },

  376.   },

  377.   { 'base': '?geru',

  378.     'modes': {

  379.         'c': {'exts': {'_k': {'dir': 'generic', 'kernel': 'zger.c'}}},

  380.         'z': {'exts': {'_k': {'dir': 'generic', 'kernel': 'zger.c'}}},

  381.         'x': {'exts': {'_k': {'dir': 'generic', 'kernel': 'zger.c'}}},

  382.     },

  383.   },

  384.   { 'base': '?gerc',

  385.     'modes': {

  386.         'c': {'exts': {'_k': {'dir': 'generic', 'kernel': 'zger.c'}}},

  387.         'z': {'exts': {'_k': {'dir': 'generic', 'kernel': 'zger.c'}}},

  388.         'x': {'exts': {'_k': {'dir': 'generic', 'kernel': 'zger.c'}}},

  389.     },

  390.   },

  391.   { 'base': '?hemv',

  392.     'modes': {

  393.         'c': {

  394.             'exts': {

  395.                 '_U': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  396.                 '_L': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  397.                 '_V': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  398.                 '_M': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  399.             }

  400.         },

  401.         'z': {

  402.             'exts': {

  403.                 '_U': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  404.                 '_L': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  405.                 '_V': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  406.                 '_M': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  407.             }

  408.         },

  409.         'x': {

  410.             'exts': {

  411.                 '_U': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  412.                 '_L': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  413.                 '_V': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  414.                 '_M': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  415.             }

  416.         },

  417.     },

  418.   },

  419.   { 'base': '?bgemv',

  420.     'modes': {

  421.         's': {

  422.             'exts': {

  423.                 '_n': {'dir': 'x86_64', 'kernel': 'sbgemv_n.c'},

  424.                 '_t': {'dir': 'x86_64', 'kernel': 'sbgemv_n.c'},

  425.             }

  426.         }

  427.     },

  428.   },

  429.   # Level 3 symbols

  430.   { 'base': '?gemm_kernel',

  431.     'modes': {

  432.         's': {'exts': {'': {'dir': 'generic', 'kernel': 'gemmkernel_2x2.c'}}},

  433.         'd': {'exts': {'': {'dir': 'generic', 'kernel': 'gemmkernel_2x2.c'}}},

  434.         'c': {

  435.             'exts': {

  436.                 '_n': {'dir': 'generic', 'kernel': 'zgemmkernel_2x2.c', 'addl': ['-DNN']},

  437.                 '_l': {'dir': 'generic', 'kernel': 'zgemmkernel_2x2.c', 'addl': ['-DCN']},

  438.                 # TODO(rg): What about _r conditionals? Makefile.L3:2969

  439.                 '_r': {'dir': 'generic', 'kernel': 'zgemmkernel_2x2.c', 'addl': ['-DNC']},

  440.                 '_b': {'dir': 'generic', 'kernel': 'zgemmkernel_2x2.c', 'addl': ['-DCC']},

  441.             }

  442.         },

  443.         'z': {

  444.             'exts': {

  445.                 '_n': {'dir': 'generic', 'kernel': 'zgemmkernel_2x2.c', 'addl': ['-DNN']},

  446.                 '_l': {'dir': 'generic', 'kernel': 'zgemmkernel_2x2.c', 'addl': ['-DCN']},

  447.                 '_r': {'dir': 'generic', 'kernel': 'zgemmkernel_2x2.c', 'addl': ['-DNC']},

  448.                 '_b': {'dir': 'generic', 'kernel': 'zgemmkernel_2x2.c', 'addl': ['-DCC']},

  449.             }

  450.         }

  451.         # 'q': {'exts': {'': {'dir': 'generic', 'kernel': 'gemm_beta.c'}}},

  452.         # 'x': {'exts': {'': {'dir': 'generic', 'kernel': 'zgemm_beta.c'}}},

  453.     },

  454.   },

  455.   { 'base': '?trmm_kernel',

  456.     'modes': {

  457.         's': {

  458.             'exts': {

  459.                 '_LN': {'dir': 'generic', 'kernel': 'trmmkernel_2x2.c'},

  460.                 '_LT': {'dir': 'generic', 'kernel': 'trmmkernel_2x2.c', 'addl': ['-DLEFT', '-DTRANSA']},

  461.                 '_RN': {'dir': 'generic', 'kernel': 'trmmkernel_2x2.c'},

  462.                 '_RT': {'dir': 'generic', 'kernel': 'trmmkernel_2x2.c'},

  463.             }

  464.         },

  465.         'd': {

  466.             'exts': {

  467.                 '_LN': {'dir': 'generic', 'kernel': 'trmmkernel_2x2.c'},

  468.                 '_LT': {'dir': 'generic', 'kernel': 'trmmkernel_2x2.c', 'addl': ['-DLEFT', '-DTRANSA']},

  469.                 '_RN': {'dir': 'generic', 'kernel': 'trmmkernel_2x2.c'},

  470.                 '_RT': {'dir': 'generic', 'kernel': 'trmmkernel_2x2.c'},

  471.             }

  472.         },

  473.         'c': {

  474.             'exts': {

  475.                 '_LN': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  476.                         'addl': ['-UCONJ', '-DNN']},

  477.                 '_LT': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  478.                         'addl': ['-DLEFT', '-DTRANSA', '-UCONJ', '-DNN']},

  479.                 '_LR': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  480.                         'addl': ['-DCONJ', '-DCN']},

  481.                 '_LC': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  482.                         'addl': ['-DCONJ', '-DCN']},

  483.                 '_RN': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  484.                         'addl': ['-UCONJ', '-DNN']},

  485.                 '_RT': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  486.                         'addl': ['-ULEFT', '-DTRANSA', '-UCONJ', '-DNN']},

  487.                 '_RR': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  488.                         'addl': ['-DCONJ', '-DNC']},

  489.                 '_RC': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  490.                         'addl': ['-DCONJ', '-DCN']},

  491.             }

  492.         },

  493.         'z': {

  494.             'exts': {

  495.                 '_LN': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  496.                         'addl': ['-UCONJ', '-DNN']},

  497.                 '_LT': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  498.                         'addl': ['-DLEFT', '-DTRANSA', '-UCONJ', '-DNN']},

  499.                 '_LR': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  500.                         'addl': ['-DCONJ', '-DCN']},

  501.                 '_LC': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  502.                         'addl': ['-DCONJ', '-DCN']},

  503.                 '_RN': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  504.                         'addl': ['-UCONJ', '-DNN']},

  505.                 '_RT': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  506.                         'addl': ['-ULEFT', '-DTRANSA', '-UCONJ', '-DNN']},

  507.                 '_RR': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  508.                         'addl': ['-DCONJ', '-DNC']},

  509.                 '_RC': {'dir': 'generic', 'kernel': 'ztrmmkernel_2x2.c',

  510.                         'addl': ['-DCONJ', '-DCN']},

  511.             },

  512.         },

  513.     },

  514.   },

  515.   { 'base': '?trsm_kernel',

  516.     'modes': {

  517.         's': {

  518.             'exts': {

  519.                 '_LN': {'dir': 'generic', 'kernel': 'trsm_kernel_LN.c',

  520.                         'addl': ['-DLN', '-DUPPER', '-UCONJ']},

  521.                 '_LT': {'dir': 'generic', 'kernel': 'trsm_kernel_LT.c',

  522.                         'addl': ['-DLT', '-UUPPER', '-UCONJ']},

  523.                 '_RN': {'dir': 'generic', 'kernel': 'trsm_kernel_RN.c',

  524.                         'addl': ['-DRN', '-DUPPER', '-UCONJ']},

  525.                 '_RT': {'dir': 'generic', 'kernel': 'trsm_kernel_RT.c',

  526.                         'addl': ['-DRT', '-UUPPER', '-UCONJ']},

  527.             },

  528.         },

  529.         'd': {

  530.             'exts': {

  531.                 '_LN': {'dir': 'generic', 'kernel': 'trsm_kernel_LN.c',

  532.                         'addl': ['-DLN', '-DUPPER', '-UCONJ']},

  533.                 '_LT': {'dir': 'generic', 'kernel': 'trsm_kernel_LT.c',

  534.                         'addl': ['-DLT', '-UUPPER', '-UCONJ']},

  535.                 '_RN': {'dir': 'generic', 'kernel': 'trsm_kernel_RN.c',

  536.                         'addl': ['-DRN', '-DUPPER', '-UCONJ']},

  537.                 '_RT': {'dir': 'generic', 'kernel': 'trsm_kernel_RT.c',

  538.                         'addl': ['-DRT', '-UUPPER', '-UCONJ']},

  539.             },

  540.         },

  541.         'c': {

  542.             'exts': {

  543.                 '_LN': {'dir': 'generic', 'kernel': 'trsm_kernel_LN.c',

  544.                         'addl': ['-DLN', '-DUPPER', '-UCONJ']},

  545.                 '_LT': {'dir': 'generic', 'kernel': 'trsm_kernel_LT.c',

  546.                         'addl': ['-DLT', '-UUPPER', '-UCONJ']},

  547.                 '_LR': {'dir': 'generic', 'kernel': 'trsm_kernel_LN.c',

  548.                         'addl': ['-DLN', '-DUPPER', '-DCONJ']},

  549.                 '_LC': {'dir': 'generic', 'kernel': 'trsm_kernel_LT.c',

  550.                         'addl': ['-DLT', '-UUPPER', '-DCONJ']},

  551.                 '_RN': {'dir': 'generic', 'kernel': 'trsm_kernel_RN.c',

  552.                         'addl': ['-DRN', '-DUPPER', '-UCONJ']},

  553.                 '_RT': {'dir': 'generic', 'kernel': 'trsm_kernel_RT.c',

  554.                         'addl': ['-DRT', '-UUPPER', '-UCONJ']},

  555.                 '_RR': {'dir': 'generic', 'kernel': 'trsm_kernel_RN.c',

  556.                         'addl': ['-DRN', '-DUPPER', '-DCONJ']},

  557.                 '_RC': {'dir': 'generic', 'kernel': 'trsm_kernel_RT.c',

  558.                         'addl': ['-DRT', '-UUPPER', '-DCONJ']},

  559.             },

  560.         },

  561.         'z': {

  562.             'exts': {

  563.                 '_LN': {'dir': 'generic', 'kernel': 'trsm_kernel_LN.c',

  564.                         'addl': ['-DLN', '-DUPPER', '-UCONJ']},

  565.                 '_LT': {'dir': 'generic', 'kernel': 'trsm_kernel_LT.c',

  566.                         'addl': ['-DLT', '-UUPPER', '-UCONJ']},

  567.                 '_LR': {'dir': 'generic', 'kernel': 'trsm_kernel_LN.c',

  568.                         'addl': ['-DLN', '-DUPPER', '-DCONJ']},

  569.                 '_LC': {'dir': 'generic', 'kernel': 'trsm_kernel_LT.c',

  570.                         'addl': ['-DLT', '-UUPPER', '-DCONJ']},

  571.                 '_RN': {'dir': 'generic', 'kernel': 'trsm_kernel_RN.c',

  572.                         'addl': ['-DRN', '-DUPPER', '-UCONJ']},

  573.                 '_RT': {'dir': 'generic', 'kernel': 'trsm_kernel_RT.c',

  574.                         'addl': ['-DRT', '-UUPPER', '-UCONJ']},

  575.                 '_RR': {'dir': 'generic', 'kernel': 'trsm_kernel_RN.c',

  576.                         'addl': ['-DRN', '-DUPPER', '-DCONJ']},

  577.                 '_RC': {'dir': 'generic', 'kernel': 'trsm_kernel_RT.c',

  578.                         'addl': ['-DRT', '-UUPPER', '-DCONJ']},

  579.             },

  580.         },

  581.     },

  582.   },

  583.   { 'base': '?gemm',

  584.     'modes': {

  585.         's': {'exts': {

  586.             '_beta': {'dir': 'generic', 'kernel': 'gemm_beta.c'},

  587.             '_small_matrix_permit': {'dir': 'generic',

  588.                                      'kernel': 'gemm_small_matrix_permit.c'},

  589.             # TODO(rg): the _NUM prefixes are arch dependent

  590.             '_incopy': {'dir': 'generic', 'kernel': 'gemm_ncopy_8.c'},

  591.             '_itcopy': {'dir': 'generic', 'kernel': 'gemm_tcopy_8.c'},

  592.             '_oncopy': {'dir': 'generic', 'kernel': 'gemm_ncopy_2.c'},

  593.             '_otcopy': {'dir': 'generic', 'kernel': 'gemm_tcopy_4.c'},

  594.             # TODO(rg): direct and direct_performant are built only conditionally

  595.             '_direct': {'dir': 'x86_64', 'kernel': 'sgemm_direct_skylakex.c'},

  596.             '_direct_performant': {'dir': 'x86_64', 'kernel': 'sgemm_direct_performant.c'},

  597.         }},

  598.         'd': {'exts': {

  599.             '_beta': {'dir': 'generic', 'kernel': 'gemm_beta.c'},

  600.             '_small_matrix_permit': {'dir': 'generic',

  601.                                      'kernel': 'gemm_small_matrix_permit.c'},

  602.             '_incopy': {'dir': 'generic', 'kernel': 'gemm_ncopy_8.c'},

  603.             '_itcopy': {'dir': 'generic', 'kernel': 'gemm_tcopy_8.c'},

  604.             '_oncopy': {'dir': 'generic', 'kernel': 'gemm_ncopy_2.c'},

  605.             '_otcopy': {'dir': 'generic', 'kernel': 'gemm_tcopy_4.c'},

  606.         }},

  607.         'c': {'exts': {

  608.             '_beta': {'dir': 'generic', 'kernel': 'zgemm_beta.c'},

  609.             '_small_matrix_permit': {'dir': 'generic',

  610.                                      'kernel': 'zgemm_small_matrix_permit.c'},

  611.             '_incopy': {'dir': 'generic', 'kernel': 'zgemm_ncopy_8.c'},

  612.             '_itcopy': {'dir': 'generic', 'kernel': 'zgemm_tcopy_8.c'},

  613.             '_oncopy': {'dir': 'generic', 'kernel': 'zgemm_ncopy_2.c'},

  614.             '_otcopy': {'dir': 'generic', 'kernel': 'zgemm_tcopy_2.c'},

  615.         }},

  616.         'z': {'exts': {

  617.             '_beta': {'dir': 'generic', 'kernel': 'zgemm_beta.c'},

  618.             '_small_matrix_permit': {'dir': 'generic',

  619.                                      'kernel': 'zgemm_small_matrix_permit.c'},

  620.             '_incopy': {'dir': 'generic', 'kernel': 'zgemm_ncopy_8.c'},

  621.             '_itcopy': {'dir': 'generic', 'kernel': 'zgemm_tcopy_8.c'},

  622.             '_oncopy': {'dir': 'generic', 'kernel': 'zgemm_ncopy_2.c'},

  623.             '_otcopy': {'dir': 'generic', 'kernel': 'zgemm_tcopy_2.c'},

  624.         }},

  625.     },

  626.   },

  627.   { 'base': '?trmm',

  628.     'modes': {

  629.         's': {'exts': {

  630.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  631.             '_iunucopy': {'dir': 'generic', 'kernel': 'trmm_uncopy_8.c',

  632.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  633.             '_iunncopy': {'dir': 'generic', 'kernel': 'trmm_uncopy_8.c',

  634.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  635.             '_ilnucopy': {'dir': 'generic', 'kernel': 'trmm_lncopy_8.c',

  636.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  637.             '_ilnncopy': {'dir': 'generic', 'kernel': 'trmm_lncopy_8.c',

  638.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  639.             '_iutucopy': {'dir': 'generic', 'kernel': 'trmm_utcopy_8.c',

  640.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  641.             '_iutncopy': {'dir': 'generic', 'kernel': 'trmm_utcopy_8.c',

  642.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  643.             '_iltucopy': {'dir': 'generic', 'kernel': 'trmm_ltcopy_8.c',

  644.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  645.             '_iltncopy': {'dir': 'generic', 'kernel': 'trmm_ltcopy_8.c',

  646.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  647.             '_ounucopy': {'dir': 'generic', 'kernel': 'trmm_uncopy_4.c',

  648.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  649.             '_ounncopy': {'dir': 'generic', 'kernel': 'trmm_uncopy_4.c',

  650.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  651.             '_olnucopy': {'dir': 'generic', 'kernel': 'trmm_lncopy_4.c',

  652.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  653.             '_olnncopy': {'dir': 'generic', 'kernel': 'trmm_lncopy_4.c',

  654.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  655.             '_outucopy': {'dir': 'generic', 'kernel': 'trmm_utcopy_4.c',

  656.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  657.             '_outncopy': {'dir': 'generic', 'kernel': 'trmm_utcopy_4.c',

  658.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  659.             '_oltucopy': {'dir': 'generic', 'kernel': 'trmm_ltcopy_4.c',

  660.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  661.             '_oltncopy': {'dir': 'generic', 'kernel': 'trmm_ltcopy_4.c',

  662.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  663.         }},

  664.     },

  665.   },

  666.   { 'base': '?trsm',

  667.     'modes': {

  668.         's': {'exts': {

  669.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  670.             '_iunucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  671.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  672.             '_iunncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  673.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  674.             '_ilnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  675.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  676.             '_ilnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  677.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  678.             '_iutucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  679.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  680.             '_iutncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  681.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  682.             '_iltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  683.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  684.             '_iltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  685.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  686.             '_ounucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  687.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  688.             '_ounncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  689.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  690.             '_olnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  691.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  692.             '_olnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  693.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  694.             '_outucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  695.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  696.             '_outncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  697.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  698.             '_oltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  699.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  700.             '_oltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  701.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  702.         }},

  703.         'd': {'exts': {

  704.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  705.             '_iunucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  706.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  707.             '_iunncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  708.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  709.             '_ilnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  710.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  711.             '_ilnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  712.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  713.             '_iutucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  714.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  715.             '_iutncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  716.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  717.             '_iltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  718.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  719.             '_iltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  720.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  721.             '_ounucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  722.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  723.             '_ounncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  724.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  725.             '_olnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  726.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  727.             '_olnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  728.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  729.             '_outucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  730.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  731.             '_outncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  732.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  733.             '_oltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  734.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  735.             '_oltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  736.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  737.         }},

  738.         'q': {'exts': {

  739.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  740.             '_iunucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  741.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  742.             '_iunncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  743.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  744.             '_ilnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  745.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  746.             '_ilnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  747.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  748.             '_iutucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  749.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  750.             '_iutncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  751.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  752.             '_iltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  753.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  754.             '_iltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  755.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  756.             '_ounucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  757.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  758.             '_ounncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  759.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  760.             '_olnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  761.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  762.             '_olnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  763.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  764.             '_outucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  765.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  766.             '_outncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  767.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  768.             '_oltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  769.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  770.             '_oltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  771.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  772.         }},

  773.         'c': {'exts': {

  774.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  775.             '_iunucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  776.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  777.             '_iunncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  778.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  779.             '_ilnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  780.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  781.             '_ilnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  782.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  783.             '_iutucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  784.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  785.             '_iutncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  786.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  787.             '_iltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  788.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  789.             '_iltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  790.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  791.             '_ounucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  792.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  793.             '_ounncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  794.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  795.             '_olnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  796.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  797.             '_olnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  798.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  799.             '_outucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  800.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  801.             '_outncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  802.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  803.             '_oltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  804.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  805.             '_oltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  806.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  807.         }},

  808.         'z': {'exts': {

  809.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  810.             '_iunucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  811.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  812.             '_iunncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  813.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  814.             '_ilnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  815.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  816.             '_ilnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  817.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  818.             '_iutucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  819.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  820.             '_iutncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  821.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  822.             '_iltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  823.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  824.             '_iltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  825.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  826.             '_ounucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  827.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  828.             '_ounncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  829.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  830.             '_olnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  831.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  832.             '_olnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  833.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  834.             '_outucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  835.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  836.             '_outncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  837.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  838.             '_oltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  839.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  840.             '_oltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  841.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  842.         }},

  843.     },

  844.   },

  845.   { 'base': '?symm',

  846.     'modes': {

  847.         's': {'exts': {

  848.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  849.             '_iutcopy': {'dir': 'generic', 'kernel': 'symm_ucopy_8.c',

  850.                           'addl': ['-UOUTER', '-ULOWER']},

  851.             '_iltcopy': {'dir': 'generic', 'kernel': 'symm_lcopy_8.c',

  852.                           'addl': ['-UOUTER', '-DLOWER']},

  853.             '_outcopy': {'dir': 'generic', 'kernel': 'symm_ucopy_4.c',

  854.                           'addl': ['-DOUTER', '-ULOWER']},

  855.             '_oltcopy': {'dir': 'generic', 'kernel': 'symm_lcopy_4.c',

  856.                           'addl': ['-DOUTER', '-DLOWER']},

  857.         }},

  858.     },

  859.   },

  860.   { 'base': '?gemm_small_kernel',

  861.     'modes': {

  862.         's': {

  863.             'exts': {

  864.                 '_nn': {'dir': 'generic',

  865.                         'kernel': 'gemm_small_matrix_kernel_nn.c',

  866.                        },

  867.                 '_nt': {'dir': 'generic',

  868.                         'kernel': 'gemm_small_matrix_kernel_nt.c',

  869.                        },

  870.                 '_tn': {'dir': 'generic',

  871.                         'kernel': 'gemm_small_matrix_kernel_tn.c',

  872.                        },

  873.                 '_tt': {'dir': 'generic',

  874.                         'kernel': 'gemm_small_matrix_kernel_tt.c',

  875.                        },

  876.             }

  877.         },

  878.         'd': {

  879.             'exts': {

  880.                 '_nn': {'dir': 'generic',

  881.                         'kernel': 'gemm_small_matrix_kernel_nn.c',

  882.                        },

  883.                 '_nt': {'dir': 'generic',

  884.                         'kernel': 'gemm_small_matrix_kernel_nt.c',

  885.                        },

  886.                 '_tn': {'dir': 'generic',

  887.                         'kernel': 'gemm_small_matrix_kernel_tn.c',

  888.                        },

  889.                 '_tt': {'dir': 'generic',

  890.                         'kernel': 'gemm_small_matrix_kernel_tt.c',

  891.                        },

  892.             }

  893.         },

  894.         'c': {

  895.             'exts': {

  896.                 '_nn': {'dir': 'generic',

  897.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  898.                        },

  899.                 '_nr': {'dir': 'generic',

  900.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  901.                        },

  902.                 '_rn': {'dir': 'generic',

  903.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  904.                        },

  905.                 '_rr': {'dir': 'generic',

  906.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  907.                        },

  908.                 '_nt': {'dir': 'generic',

  909.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  910.                        },

  911.                 '_nc': {'dir': 'generic',

  912.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  913.                        },

  914.                 '_rt': {'dir': 'generic',

  915.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  916.                        },

  917.                 '_rc': {'dir': 'generic',

  918.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  919.                        },

  920.                 '_tn': {'dir': 'generic',

  921.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  922.                        },

  923.                 '_tr': {'dir': 'generic',

  924.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  925.                        },

  926.                 '_cn': {'dir': 'generic',

  927.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  928.                        },

  929.                 '_cr': {'dir': 'generic',

  930.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  931.                        },

  932.                 '_tt': {'dir': 'generic',

  933.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  934.                        },

  935.                 '_tc': {'dir': 'generic',

  936.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  937.                        },

  938.                 '_ct': {'dir': 'generic',

  939.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  940.                        },

  941.                 '_cc': {'dir': 'generic',

  942.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  943.                        },

  944.             }

  945.         },

  946.         'z': {

  947.             'exts': {

  948.                 '_nn': {'dir': 'generic',

  949.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  950.                        },

  951.                 '_nr': {'dir': 'generic',

  952.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  953.                        },

  954.                 '_rn': {'dir': 'generic',

  955.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  956.                        },

  957.                 '_rr': {'dir': 'generic',

  958.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  959.                        },

  960.                 '_nt': {'dir': 'generic',

  961.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  962.                        },

  963.                 '_nc': {'dir': 'generic',

  964.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  965.                        },

  966.                 '_rt': {'dir': 'generic',

  967.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  968.                        },

  969.                 '_rc': {'dir': 'generic',

  970.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  971.                        },

  972.                 '_tn': {'dir': 'generic',

  973.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  974.                        },

  975.                 '_tr': {'dir': 'generic',

  976.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  977.                        },

  978.                 '_cn': {'dir': 'generic',

  979.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  980.                        },

  981.                 '_cr': {'dir': 'generic',

  982.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  983.                        },

  984.                 '_tt': {'dir': 'generic',

  985.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  986.                        },

  987.                 '_tc': {'dir': 'generic',

  988.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  989.                        },

  990.                 '_ct': {'dir': 'generic',

  991.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  992.                        },

  993.                 '_cc': {'dir': 'generic',

  994.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  995.                        },

  996.             }

  997.         },

  998.     },

  999.   },

  1000.   { 'base': '?gemm_small_kernel_b0',

  1001.     'modes': {

  1002.         's': {

  1003.             'exts': {

  1004.                 '_nn': {'dir': 'generic',

  1005.                         'kernel': 'gemm_small_matrix_kernel_nn.c',

  1006.                        },

  1007.                 '_nt': {'dir': 'generic',

  1008.                         'kernel': 'gemm_small_matrix_kernel_nt.c',

  1009.                        },

  1010.                 '_tn': {'dir': 'generic',

  1011.                         'kernel': 'gemm_small_matrix_kernel_tn.c',

  1012.                        },

  1013.                 '_tt': {'dir': 'generic',

  1014.                         'kernel': 'gemm_small_matrix_kernel_tt.c',

  1015.                        },

  1016.             }

  1017.         },

  1018.         'd': {

  1019.             'exts': {

  1020.                 '_nn': {'dir': 'generic',

  1021.                         'kernel': 'gemm_small_matrix_kernel_nn.c',

  1022.                        },

  1023.                 '_nt': {'dir': 'generic',

  1024.                         'kernel': 'gemm_small_matrix_kernel_nt.c',

  1025.                        },

  1026.                 '_tn': {'dir': 'generic',

  1027.                         'kernel': 'gemm_small_matrix_kernel_tn.c',

  1028.                        },

  1029.                 '_tt': {'dir': 'generic',

  1030.                         'kernel': 'gemm_small_matrix_kernel_tt.c',

  1031.                        },

  1032.             }

  1033.         },

  1034.         'c': {

  1035.             'exts': {

  1036.                 '_nn': {'dir': 'generic',

  1037.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1038.                        },

  1039.                 '_nr': {'dir': 'generic',

  1040.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1041.                        },

  1042.                 '_rn': {'dir': 'generic',

  1043.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1044.                        },

  1045.                 '_rr': {'dir': 'generic',

  1046.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1047.                        },

  1048.                 '_nt': {'dir': 'generic',

  1049.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1050.                        },

  1051.                 '_nc': {'dir': 'generic',

  1052.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1053.                        },

  1054.                 '_rt': {'dir': 'generic',

  1055.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1056.                        },

  1057.                 '_rc': {'dir': 'generic',

  1058.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1059.                        },

  1060.                 '_tn': {'dir': 'generic',

  1061.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1062.                        },

  1063.                 '_tr': {'dir': 'generic',

  1064.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1065.                        },

  1066.                 '_cn': {'dir': 'generic',

  1067.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1068.                        },

  1069.                 '_cr': {'dir': 'generic',

  1070.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1071.                        },

  1072.                 '_tt': {'dir': 'generic',

  1073.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1074.                        },

  1075.                 '_tc': {'dir': 'generic',

  1076.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1077.                        },

  1078.                 '_ct': {'dir': 'generic',

  1079.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1080.                        },

  1081.                 '_cc': {'dir': 'generic',

  1082.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1083.                        },

  1084.             }

  1085.         },

  1086.         'z': {

  1087.             'exts': {

  1088.                 '_nn': {'dir': 'generic',

  1089.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1090.                        },

  1091.                 '_nr': {'dir': 'generic',

  1092.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1093.                        },

  1094.                 '_rn': {'dir': 'generic',

  1095.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1096.                        },

  1097.                 '_rr': {'dir': 'generic',

  1098.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1099.                        },

  1100.                 '_nt': {'dir': 'generic',

  1101.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1102.                        },

  1103.                 '_nc': {'dir': 'generic',

  1104.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1105.                        },

  1106.                 '_rt': {'dir': 'generic',

  1107.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1108.                        },

  1109.                 '_rc': {'dir': 'generic',

  1110.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1111.                        },

  1112.                 '_tn': {'dir': 'generic',

  1113.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1114.                        },

  1115.                 '_tr': {'dir': 'generic',

  1116.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1117.                        },

  1118.                 '_cn': {'dir': 'generic',

  1119.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1120.                        },

  1121.                 '_cr': {'dir': 'generic',

  1122.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1123.                        },

  1124.                 '_tt': {'dir': 'generic',

  1125.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1126.                        },

  1127.                 '_tc': {'dir': 'generic',

  1128.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1129.                        },

  1130.                 '_ct': {'dir': 'generic',

  1131.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1132.                        },

  1133.                 '_cc': {'dir': 'generic',

  1134.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1135.                        },

  1136.             }

  1137.         },

  1138.     },

  1139.   },

  1140. ]

  1141. 

  1142. kernel_confs = []

  1143. foreach _kop : base_kops

  1144.   base = _kop['base']

  1145.   modes = _kop['modes']

  1146.   # Generate the symbol flags

  1147.   _ckop_args = []

  1148.   if symb_defs.has_key(base)

  1149.     symb_base = symb_defs[base]

  1150.     if symb_base.has_key('def')

  1151.       foreach _d : symb_base['def']

  1152.         _ckop_args += ('-D' + _d)

  1153.       endforeach

  1154.     endif

  1155.     if symb_base.has_key('undef')

  1156.       foreach _u : symb_base['undef']

  1157.         _ckop_args += ('-U' + _u)

  1158.       endforeach

  1159.     endif

  1160.   endif

  1161.   foreach mode, details : modes

  1162.     # Generally, one list is required for each foreach

  1163.     __cargs = _cargs + _ckop_args

  1164.     prec_mode = precision_mappings[mode]

  1165.     # Generate the mapping for the type

  1166.     if prec_mode.has_key('def')

  1167.       foreach _d : prec_mode['def']

  1168.         __cargs += ('-D' + _d)

  1169.       endforeach

  1170.     endif

  1171.     if prec_mode.has_key('undef')

  1172.       foreach _u : prec_mode['undef']

  1173.         __cargs += ('-U' + _u)

  1174.       endforeach

  1175.     endif

  1176.     # Now the rest, one run for each ext, to get the final symbols

  1177.     foreach ext, extdat : details['exts']

  1178.       _ext_cargs = [] # Will be wiped for each ext preventing redefinitions

  1179.        # Check ext_mappings first

  1180.         if ext_mappings.has_key(ext) and (not ext_mappings.has_key('except') or base not in ext_mappings['except'])

  1181.           extmap = ext_mappings[ext]

  1182.           if extmap.has_key('def')

  1183.             foreach _d : extmap['def']

  1184.               _ext_cargs += ['-D' + _d]

  1185.             endforeach

  1186.           endif

  1187.           if extmap.has_key('undef')

  1188.             foreach _u : extmap['undef']

  1189.               _ext_cargs += ['-U' + _u]

  1190.             endforeach

  1191.           endif

  1192.         else

  1193.           # Fallback to ext_mappings_l2

  1194.           foreach ext_map : ext_mappings_l2 + ext_mappings_l3

  1195.             if ext_map['ext'] == ext and mode in ext_map['for'] and (not ext_map.has_key('except') or base not in ext_map['except'])

  1196.               if ext_map.has_key('def')

  1197.                 foreach _d : ext_map['def']

  1198.                   _ext_cargs += ['-D' + _d]

  1199.                 endforeach

  1200.               endif

  1201.               if ext_map.has_key('undef')

  1202.                 foreach _u : ext_map['undef']

  1203.                   _ext_cargs += ['-U' + _u]

  1204.                 endforeach

  1205.               endif

  1206.               break

  1207.             endif

  1208.           endforeach

  1209.         endif

  1210. 

  1211.       src = join_paths(extdat['dir'], extdat['kernel'])

  1212.       if extdat.has_key('addl')

  1213.         _ext_cargs += extdat['addl']

  1214.       endif

  1215.       sym_name = base.replace('?', mode) + ext

  1216.       sym_underscored = f'@sym_name@_'

  1217.       _ext_cargs += [

  1218.         f'-DASMNAME=@sym_name@',

  1219.         f'-DASMFNAME=@sym_underscored@',

  1220.         f'-DNAME=@sym_underscored@',

  1221.         f'-DCNAME=@sym_name@',

  1222.         f'-DCHAR_NAME="@sym_underscored@"',

  1223.         f'-DCHAR_CNAME="@sym_name@"',

  1224.       ]

  1225.       current_def = {

  1226.         'c_args': __cargs + _ext_cargs,

  1227.         'name': sym_name,

  1228.         'src': src

  1229.       }

  1230.       kernel_confs += current_def

  1231.     endforeach

  1232.   endforeach

  1233. endforeach

  1234. 

  1235. _kern_libs = []

  1236. _kern_deps = []

  1237. _is_asm = false

  1238. foreach conf: kernel_confs

  1239.   if '.s' in conf['src'] or '.S' in conf['src']

  1240.     _is_asm = true

  1241.   endif

  1242.   if _is_asm

  1243.     # See https://github.com/mesonbuild/meson/discussions/13374

  1244.     _kern_deps += declare_dependency(

  1245.         sources: conf['src'],

  1246.         include_directories:  _inc,

  1247.         compile_args: conf['c_args'],

  1248.     )

  1249.   else

  1250.     _kern_libs += static_library(

  1251.         conf['name'],

  1252.         conf['src'],

  1253.         include_directories:  _inc,

  1254.         c_args: conf['c_args'],

  1255.     )

  1256.   endif

  1257. endforeach

  1258. 

  1259. _kern = static_library('_kern',

  1260.                        link_whole: _kern_libs,

  1261.                        dependencies: _kern_deps)