OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: 3bee004f63
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from '3bee004f63'
${ noResults }
OpenBLAS/kernel/meson.build

1288 lines
61 kB
Raw Blame History 

  1. # Ordered As per https://netlib.org/blas/blasqr.pdf

  2. # NOTE: xROTG xROTMG xROTM have no kernels?

  3. # TODO: Actually test and set this

  4. if true

  5.   fma3_flag = '-mfma'

  6. endif

  7. # TODO: This is currently following x86_64 generic for src and dir, but it needs

  8. # to diversify

  9. # NOTE: The def and undefs are from Makefile.L1

  10. # Construct all ModesymbKERNEL from src and dir via files(dir + src)

  11. # For the modes array, the following mapping is used for c_args:

  12. # addl --> passed AS IS

  13. base_kops = [

  14.   # Level 1 BLAS

  15.   { 'base': '?rot',

  16.     'modes': {

  17.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'srot.c', 'addl': [fma3_flag]}}},

  18.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'drot.c', 'addl': [fma3_flag]}}},

  19.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zrot.c'}}},

  20.         'cs': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zrot_sse.S'}}},

  21.         'zd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zrot_sse2.S'}}},

  22.         # 'xq': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zrot.S'}}},

  23.     },

  24.   },

  25.   { 'base': '?swap',

  26.     'modes': {

  27.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'swap_sse.S'}}},

  28.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'swap_sse2.S'}}},

  29.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zswap_sse.S'}}},

  30.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zswap_sse2.S'}}},

  31.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'swap.S'}}},

  32.         # 'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zswap.S'}}},

  33.     },

  34.   },

  35.   { 'base': '?scal',

  36.     'modes': {

  37.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'sscal.c'}}},

  38.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'dscal.c'}}},

  39.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'cscal.c'}}},

  40.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zscal.c'}}},

  41.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'scal.S'}}},

  42.         # 'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zscal.S'}}},

  43.     },

  44.   },

  45.   { 'base': '?copy',

  46.     'modes': {

  47.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'copy_sse.S'}}},

  48.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'copy_sse2.S'}}},

  49.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zcopy_sse.S'}}},

  50.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zcopy_sse2.S'}}},

  51.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'copy.S'}}},

  52.         # 'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zcopy.S'}}},

  53.     },

  54.   },

  55.   { 'base': '?axpy',

  56.     'modes': {

  57.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'saxpy.c'}}},

  58.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'daxpy.c'}}},

  59.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'caxpy.c'}}},

  60.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zaxpy.c'}}},

  61.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'axpy.S'}}},

  62.         # 'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zaxpy.S'}}},

  63.     },

  64.   },

  65.   { 'base': '?dot',

  66.     'modes': {

  67.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'sdot.c'}}},

  68.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'ddot.c'}}},

  69.     },

  70.   },

  71.   { 'base': '?dotc',

  72.     'modes': {

  73.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'cdot.c'}}},

  74.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zdot.c'}}},

  75.     },

  76.   },

  77.   { 'base': '?dotu',

  78.     'modes': {

  79.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'cdot.c'}}},

  80.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zdot.c'}}},

  81.     },

  82.   },

  83.   # TODO(rg): Check?

  84.   { 'base': '?dsdot',

  85.     'modes': {

  86.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'sdot.c'}}},

  87.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'sdot.c'}}},

  88.     },

  89.   },

  90.   # TODO(rg): Add dsdotkernel conditionals

  91.   # xDOTU xDOTC xxDOT aren't present

  92.   { 'base': '?nrm2',

  93.     'modes': {

  94.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'nrm2_sse.S'}}},

  95.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'nrm2.S'}}},

  96.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'znrm2_sse.S'}}},

  97.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'znrm2.S'}}},

  98.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'nrm2.S'}}},

  99.         # 'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'znrm2.S'}}},

  100.     },

  101.   },

  102.   { 'base': '?asum',

  103.     'modes': {

  104.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'sasum.c'}}},

  105.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'dasum.c'}}},

  106.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zasum_sse.S'}}},

  107.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zasum_sse2.S'}}},

  108.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'asum.S'}}},

  109.         # 'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zasum.S'}}},

  110.     },

  111.   },

  112.   { 'base': '?amax',

  113.     'modes': {

  114.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax_sse.S'}}},

  115.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax_sse2.S'}}},

  116.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zamax_sse.S'}}},

  117.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zamax_sse2.S'}}},

  118.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax.S'}}},

  119.         # 'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zamax.S'}}},

  120.     },

  121.   },

  122.   { 'base': '?sum',

  123.     'modes': {

  124.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'sum.c'}}},

  125.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'sum.c'}}},

  126.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zsum_sse.S'}}},

  127.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zsum_sse2.S'}}},

  128.     },

  129.   },

  130.   { 'base': '?amin',

  131.     'modes': {

  132.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax_sse.S'}}},

  133.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax_sse2.S'}}},

  134.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zamax_sse.S'}}},

  135.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'zamax_sse2.S'}}},

  136.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax.S'}}},

  137.         # 'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'izamax.S'}}},

  138.     },

  139.   },

  140.   { 'base': 'i?amax',

  141.     'modes': {

  142.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax_sse.S'}}},

  143.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax_sse2.S'}}},

  144.         'c': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'izamax_sse.S'}}},

  145.         'z': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'izamax_sse2.S'}}},

  146.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax.S'}}},

  147.         # 'x': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'izamax.S'}}},

  148.     },

  149.   },

  150.   { 'base': 'i?amin',

  151.     'modes': {

  152.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax_sse.S'}}},

  153.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'iamin.c'}}},

  154.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'izamin.c'}}},

  155.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'izamin.c'}}},

  156.     },

  157.   },

  158.   { 'base': 'i?max',

  159.     'modes': {

  160.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax_sse.S'}}},

  161.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax_sse2.S'}}},

  162.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax.S'}}},

  163.     },

  164.   },

  165.   { 'base': 'i?min',

  166.     'modes': {

  167.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax_sse.S'}}},

  168.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax_sse2.S'}}},

  169.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'iamax.S'}}},

  170.     },

  171.   },

  172.   { 'base': '?max',

  173.     'modes': {

  174.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax_sse.S'}}},

  175.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax_sse2.S'}}},

  176.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax.S'}}},

  177.     },

  178.   },

  179.   { 'base': '?min',

  180.     'modes': {

  181.         's': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax_sse.S'}}},

  182.         'd': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax_sse2.S'}}},

  183.         # 'q': {'exts': {'_k': {'dir': 'x86_64', 'kernel': 'amax.S'}}},

  184.     },

  185.   },

  186.   { 'base': '?axpby',

  187.     'modes': {

  188.         's': {'exts': {'_k': {'dir': 'arm', 'kernel': 'axpby.c'}}},

  189.         'd': {'exts': {'_k': {'dir': 'arm', 'kernel': 'axpby.c'}}},

  190.         'c': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zaxpby.c'}}},

  191.         'z': {'exts': {'_k': {'dir': 'arm', 'kernel': 'zaxpby.c'}}},

  192.     },

  193.   },

  194.   # Level 2 BLAS

  195.   # There are additional sources so now we have srcs

  196.   # Ordered as per KERNEL.generic and Makefile.L2

  197.   # exts are used to find the flags for each modality

  198.   # ext is attached to base (only useful from Level 2)

  199.   # i.e. baseext (e.g., gemv_n, gemv_t, cgeru_k, cgerc_k)

  200.   { 'base': '?gemv',

  201.     'modes': {

  202.         's': {

  203.             'exts': {

  204.               # TODO(rg): Where are these coming from??

  205.               # Most of these have both generic defines and also per-folder defines..

  206.               # Makefile lists sgemv_n_4.c as the source, though there is a sgemv_n.c

  207.                 '_n': {'dir': 'x86_64', 'kernel': 'sgemv_n_4.c'},

  208.                 '_t': {'dir': 'x86_64', 'kernel': 'sgemv_t_4.c'},

  209.             }

  210.         },

  211.         'd': {

  212.             'exts': {

  213.                 '_n': {'dir': 'x86_64', 'kernel': 'dgemv_n_4.c'},

  214.                 '_t': {'dir': 'x86_64', 'kernel': 'dgemv_t_4.c'},

  215.             }

  216.         },

  217.         # 'q': {

  218.         #     'exts': {

  219.         #         '_n': {'dir': 'x86_64', 'kernel': 'qgemv_n.S'},

  220.         #         '_t': {'dir': 'x86_64', 'kernel': 'qgemv_t.S'},

  221.         #     }

  222.         # },

  223.         'c': {

  224.             'exts': {

  225.                 '_n': {'dir': 'x86_64', 'kernel': 'cgemv_n_4.c'},

  226.                 '_t': {'dir': 'x86_64', 'kernel': 'cgemv_t_4.c'},

  227.                 '_r': {'dir': 'x86_64', 'kernel': 'cgemv_n_4.c'},

  228.                 '_c': {'dir': 'x86_64', 'kernel': 'cgemv_t_4.c'},

  229.                 '_o': {'dir': 'x86_64', 'kernel': 'cgemv_n_4.c'},

  230.                 '_u': {'dir': 'x86_64', 'kernel': 'cgemv_t_4.c'},

  231.                 '_s': {'dir': 'x86_64', 'kernel': 'cgemv_n_4.c'},

  232.                 '_d': {'dir': 'x86_64', 'kernel': 'cgemv_t_4.c'},

  233.             }

  234.         },

  235.         'z': {

  236.             'exts': {

  237.                 '_n': {'dir': 'x86_64', 'kernel': 'zgemv_n_4.c'},

  238.                 '_t': {'dir': 'x86_64', 'kernel': 'zgemv_t_4.c'},

  239.                 '_r': {'dir': 'x86_64', 'kernel': 'zgemv_n_4.c'},

  240.                 '_c': {'dir': 'x86_64', 'kernel': 'zgemv_t_4.c'},

  241.                 '_o': {'dir': 'x86_64', 'kernel': 'zgemv_n_4.c'},

  242.                 '_u': {'dir': 'x86_64', 'kernel': 'zgemv_t_4.c'},

  243.                 '_s': {'dir': 'x86_64', 'kernel': 'zgemv_n_4.c'},

  244.                 '_d': {'dir': 'x86_64', 'kernel': 'zgemv_t_4.c'},

  245.             }

  246.         },

  247.         # 'x': {

  248.         #     'exts': {

  249.         #         '_n': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  250.         #         '_t': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  251.         #         '_r': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  252.         #         '_c': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  253.         #         '_o': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  254.         #         '_u': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  255.         #         '_s': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  256.         #         '_d': {'dir': 'arm', 'kernel': 'zgemv_n.c'},

  257.         #     }

  258.         # },

  259.     },

  260.   },

  261.   { 'base': '?symv',

  262.     'modes': {

  263.         's': {

  264.             'exts': {

  265.                 '_U': {'dir': 'x86_64', 'kernel': 'ssymv_U.c'},

  266.                 '_L': {'dir': 'x86_64', 'kernel': 'ssymv_L.c'},

  267.             }

  268.         },

  269.         'd': {

  270.             'exts': {

  271.                 '_U': {'dir': 'generic', 'kernel': 'symv_k.c'},

  272.                 '_L': {'dir': 'generic', 'kernel': 'symv_k.c'},

  273.             }

  274.         },

  275.         'c': {

  276.             'exts': {

  277.                 '_U': {'dir': 'generic', 'kernel': 'zsymv_k.c'},

  278.                 '_L': {'dir': 'generic', 'kernel': 'zsymv_k.c'},

  279.             }

  280.         },

  281.         'z': {

  282.             'exts': {

  283.                 '_U': {'dir': 'x86_64', 'kernel': 'zsymv_U_sse2.S'},

  284.                 '_L': {'dir': 'x86_64', 'kernel': 'zsymv_L_sse2.S'},

  285.             }

  286.         },

  287.         # 'q': {

  288.         #     'exts': {

  289.         #         '_U': {'dir': 'generic', 'kernel': 'symv_k.c'},

  290.         #         '_L': {'dir': 'generic', 'kernel': 'symv_k.c'},

  291.         #     }

  292.         # },

  293.         # 'x': {

  294.         #     'exts': {

  295.         #         '_U': {'dir': 'generic', 'kernel': 'zsymv_k.c'},

  296.         #         '_L': {'dir': 'generic', 'kernel': 'zsymv_k.c'},

  297.         #     }

  298.         # },

  299.     },

  300.   },

  301.   { 'base': '?lsame',

  302.     'modes': {

  303.         '': {'exts': {'': {'dir': 'x86_64', 'kernel': 'lsame.S'}}},

  304.     },

  305.   },

  306.   { 'base': '?cabs',

  307.     'modes': {

  308.         's': {'exts': {'1': {'dir': 'x86_64', 'kernel': 'cabs.S'}}},

  309.         'd': {'exts': {'1': {'dir': 'x86_64', 'kernel': 'cabs.S'}}},

  310.         # 'q': {'exts': {'': {'dir': 'generic', 'kernel': 'cabs.c'}}},

  311.     },

  312.   },

  313.   { 'base': '?gemm3m',

  314.     'modes': {

  315.         'c': {'exts': {

  316.             '_kernel': {'dir': 'x86_64', 'kernel': 'cgemm3m_kernel_8x4_haswell.c',

  317.                         'addl': ['-DICOPY', '-UUSE_ALPHA']},

  318.             '_oncopyb': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  319.                         'addl': ['-DUSE_ALPHA']},

  320.             '_otcopyb': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_4.c',

  321.                         'addl': ['-DUSE_ALPHA']},

  322.             '_itcopyb': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_8.c',

  323.                         'addl': ['-DICOPY', '-UUSE_ALPHA']},

  324.             '_itcopyr': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_8.c',

  325.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DREAL_ONLY']},

  326.             '_itcopyi': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_8.c',

  327.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DIMAGE_ONLY']},

  328.             '_incopyb': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_8.c',

  329.                         'addl': ['-DICOPY', '-UUSE_ALPHA']},

  330.             '_incopyr': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_8.c',

  331.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DREAL_ONLY']},

  332.             '_oncopyr': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  333.                         'addl': ['-DUSE_ALPHA', '-DREAL_ONLY']},

  334.             '_otcopyr': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_4.c',

  335.                         'addl': ['-DUSE_ALPHA', '-DREAL_ONLY']},

  336.             '_incopyi': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_8.c',

  337.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DIMAGE_ONLY']},

  338.             '_oncopyi': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  339.                         'addl': ['-DUSE_ALPHA', '-DIMAGE_ONLY']},

  340.             '_otcopyi': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_4.c',

  341.                         'addl': ['-DUSE_ALPHA', '-DREAL_ONLY']},

  342.         }},

  343.         'z': {'exts': {

  344.             '_kernel': {'dir': 'x86_64', 'kernel': 'zgemm3m_kernel_4x4_haswell.c',

  345.                         'addl': ['-DICOPY', '-UUSE_ALPHA']},

  346.             '_oncopyb': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  347.                         'addl': ['-DUSE_ALPHA']},

  348.             '_otcopyb': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_4.c',

  349.                         'addl': ['-DUSE_ALPHA']},

  350.             '_itcopyb': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_8.c',

  351.                         'addl': ['-DICOPY', '-UUSE_ALPHA']},

  352.             '_itcopyr': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_8.c',

  353.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DREAL_ONLY']},

  354.             '_itcopyi': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_8.c',

  355.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DIMAGE_ONLY']},

  356.             '_incopyb': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_8.c',

  357.                         'addl': ['-DICOPY', '-UUSE_ALPHA']},

  358.             '_incopyr': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_8.c',

  359.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DREAL_ONLY']},

  360.             '_oncopyr': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  361.                         'addl': ['-DUSE_ALPHA', '-DREAL_ONLY']},

  362.             '_otcopyr': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_4.c',

  363.                         'addl': ['-DUSE_ALPHA', '-DREAL_ONLY']},

  364.             '_incopyi': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_8.c',

  365.                         'addl': ['-DICOPY', '-UUSE_ALPHA', '-DIMAGE_ONLY']},

  366.             '_oncopyi': {'dir': 'generic', 'kernel': 'zgemm3m_ncopy_4.c',

  367.                         'addl': ['-DUSE_ALPHA', '-DIMAGE_ONLY']},

  368.             '_otcopyi': {'dir': 'generic', 'kernel': 'zgemm3m_tcopy_4.c',

  369.                         'addl': ['-DUSE_ALPHA', '-DREAL_ONLY']},

  370.         }},

  371.     },

  372.   },

  373.   { 'base': '?ger',

  374.     'modes': {

  375.         's': {'exts': {'_k': {'dir': 'generic', 'kernel': 'ger.c'}}},

  376.         'd': {'exts': {'_k': {'dir': 'generic', 'kernel': 'ger.c'}}},

  377.         # 'q': {'exts': {'_k': {'dir': 'generic', 'kernel': 'ger.c'}}},

  378.     },

  379.   },

  380.   { 'base': '?geru',

  381.     'modes': {

  382.         'c': {'exts': {'_k': {'dir': 'generic', 'kernel': 'zger.c'}}},

  383.         'z': {'exts': {'_k': {'dir': 'generic', 'kernel': 'zger.c'}}},

  384.         # 'x': {'exts': {'_k': {'dir': 'generic', 'kernel': 'zger.c'}}},

  385.     },

  386.   },

  387.   { 'base': '?gerc',

  388.     'modes': {

  389.         'c': {'exts': {'_k': {'dir': 'generic', 'kernel': 'zger.c'}}},

  390.         'z': {'exts': {'_k': {'dir': 'generic', 'kernel': 'zger.c'}}},

  391.         # 'x': {'exts': {'_k': {'dir': 'generic', 'kernel': 'zger.c'}}},

  392.     },

  393.   },

  394.   { 'base': '?hemv',

  395.     'modes': {

  396.         'c': {

  397.             'exts': {

  398.                 '_U': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  399.                 '_L': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  400.                 '_V': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  401.                 '_M': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  402.             }

  403.         },

  404.         'z': {

  405.             'exts': {

  406.                 '_U': {'dir': 'x86_64', 'kernel': 'zsymv_U_sse2.S'},

  407.                 '_L': {'dir': 'x86_64', 'kernel': 'zsymv_L_sse2.S'},

  408.                 '_V': {'dir': 'x86_64', 'kernel': 'zsymv_L_sse2.S'},

  409.                 '_M': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  410.             }

  411.         },

  412.         # 'x': {

  413.         #     'exts': {

  414.         #         '_U': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  415.         #         '_L': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  416.         #         '_V': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  417.         #         '_M': {'dir': 'generic', 'kernel': 'zhemv_k.c'},

  418.         #     }

  419.         # },

  420.     },

  421.   },

  422.   # { 'base': '?bgemv',

  423.   #   'modes': {

  424.   #       's': {

  425.   #           'exts': {

  426.   #               '_n': {'dir': 'x86_64', 'kernel': 'sbgemv_n.c'},

  427.   #               '_t': {'dir': 'x86_64', 'kernel': 'sbgemv_n.c'},

  428.   #           }

  429.   #       }

  430.   #   },

  431.   # },

  432.   # Level 3 symbols

  433.   { 'base': '?gemm_kernel',

  434.     'modes': {

  435.         's': {'exts': {'': {'dir': 'x86_64', 'kernel': 'sgemm_kernel_8x4_haswell_2.c'}}},

  436.         'd': {'exts': {'': {'dir': 'x86_64', 'kernel': 'dgemm_kernel_4x8_haswell.S'}}},

  437.         'c': {

  438.             'exts': {

  439.                 '_n': {'dir': 'x86_64', 'kernel': 'cgemm_kernel_8x2_haswell.c', 'addl': ['-DNN']},

  440.                 '_l': {'dir': 'x86_64', 'kernel': 'cgemm_kernel_8x2_haswell.c', 'addl': ['-DCN']},

  441.                 # TODO(rg): What about _r conditionals? Makefile.L3:2969

  442.                 '_r': {'dir': 'x86_64', 'kernel': 'cgemm_kernel_8x2_haswell.c', 'addl': ['-DNC']},

  443.                 '_b': {'dir': 'x86_64', 'kernel': 'cgemm_kernel_8x2_haswell.c', 'addl': ['-DCC']},

  444.             }

  445.         },

  446.         'z': {

  447.             'exts': {

  448.                 '_n': {'dir': 'x86_64', 'kernel': 'zgemm_kernel_4x2_haswell.c', 'addl': ['-DNN']},

  449.                 '_l': {'dir': 'x86_64', 'kernel': 'zgemm_kernel_4x2_haswell.c', 'addl': ['-DCN']},

  450.                 '_r': {'dir': 'x86_64', 'kernel': 'zgemm_kernel_4x2_haswell.c', 'addl': ['-DNC']},

  451.                 '_b': {'dir': 'x86_64', 'kernel': 'zgemm_kernel_4x2_haswell.c', 'addl': ['-DCC']},

  452.             }

  453.         }

  454.         # 'q': {'exts': {'': {'dir': 'generic', 'kernel': 'gemm_beta.c'}}},

  455.         # 'x': {'exts': {'': {'dir': 'generic', 'kernel': 'zgemm_beta.c'}}},

  456.     },

  457.   },

  458.   { 'base': '?trmm_kernel',

  459.     'modes': {

  460.         's': {

  461.             'exts': {

  462.                 '_LN': {'dir': 'x86_64', 'kernel': 'sgemm_kernel_8x4_haswell.c'},

  463.                 '_LT': {'dir': 'x86_64', 'kernel': 'sgemm_kernel_8x4_haswell.c', 'addl': ['-DLEFT', '-DTRANSA']},

  464.                 '_RN': {'dir': 'x86_64', 'kernel': 'sgemm_kernel_8x4_haswell.c'},

  465.                 '_RT': {'dir': 'x86_64', 'kernel': 'sgemm_kernel_8x4_haswell.c'},

  466.             }

  467.         },

  468.         'd': {

  469.             'exts': {

  470.                 '_LN': {'dir': 'x86_64', 'kernel': 'dtrmm_kernel_4x8_haswell.c'},

  471.                 '_LT': {'dir': 'x86_64', 'kernel': 'dtrmm_kernel_4x8_haswell.c', 'addl': ['-DLEFT', '-DTRANSA']},

  472.                 '_RN': {'dir': 'x86_64', 'kernel': 'dtrmm_kernel_4x8_haswell.c'},

  473.                 '_RT': {'dir': 'x86_64', 'kernel': 'dtrmm_kernel_4x8_haswell.c'},

  474.             }

  475.         },

  476.         'c': {

  477.             'exts': {

  478.                 '_LN': {'dir': 'x86_64', 'kernel': 'cgemm_kernel_8x2_haswell.S',

  479.                         'addl': ['-UCONJ', '-DNN']},

  480.                 '_LT': {'dir': 'x86_64', 'kernel': 'cgemm_kernel_8x2_haswell.S',

  481.                         'addl': ['-DLEFT', '-DTRANSA', '-UCONJ', '-DNN']},

  482.                 '_LR': {'dir': 'x86_64', 'kernel': 'cgemm_kernel_8x2_haswell.S',

  483.                         'addl': ['-DCONJ', '-DCN']},

  484.                 '_LC': {'dir': 'x86_64', 'kernel': 'cgemm_kernel_8x2_haswell.S',

  485.                         'addl': ['-DCONJ', '-DCN']},

  486.                 '_RN': {'dir': 'x86_64', 'kernel': 'cgemm_kernel_8x2_haswell.S',

  487.                         'addl': ['-UCONJ', '-DNN']},

  488.                 '_RT': {'dir': 'x86_64', 'kernel': 'cgemm_kernel_8x2_haswell.S',

  489.                         'addl': ['-ULEFT', '-DTRANSA', '-UCONJ', '-DNN']},

  490.                 '_RR': {'dir': 'x86_64', 'kernel': 'cgemm_kernel_8x2_haswell.S',

  491.                         'addl': ['-DCONJ', '-DNC']},

  492.                 '_RC': {'dir': 'x86_64', 'kernel': 'cgemm_kernel_8x2_haswell.S',

  493.                         'addl': ['-DCONJ', '-DCN']},

  494.             }

  495.         },

  496.         'z': {

  497.             'exts': {

  498.                 '_LN': {'dir': 'x86_64', 'kernel': 'zgemm_kernel_4x2_haswell.S',

  499.                         'addl': ['-UCONJ', '-DNN']},

  500.                 '_LT': {'dir': 'x86_64', 'kernel': 'zgemm_kernel_4x2_haswell.S',

  501.                         'addl': ['-DLEFT', '-DTRANSA', '-UCONJ', '-DNN']},

  502.                 '_LR': {'dir': 'x86_64', 'kernel': 'zgemm_kernel_4x2_haswell.S',

  503.                         'addl': ['-DCONJ', '-DCN']},

  504.                 '_LC': {'dir': 'x86_64', 'kernel': 'zgemm_kernel_4x2_haswell.S',

  505.                         'addl': ['-DCONJ', '-DCN']},

  506.                 '_RN': {'dir': 'x86_64', 'kernel': 'zgemm_kernel_4x2_haswell.S',

  507.                         'addl': ['-UCONJ', '-DNN']},

  508.                 '_RT': {'dir': 'x86_64', 'kernel': 'zgemm_kernel_4x2_haswell.S',

  509.                         'addl': ['-ULEFT', '-DTRANSA', '-UCONJ', '-DNN']},

  510.                 '_RR': {'dir': 'x86_64', 'kernel': 'zgemm_kernel_4x2_haswell.S',

  511.                         'addl': ['-DCONJ', '-DNC']},

  512.                 '_RC': {'dir': 'x86_64', 'kernel': 'zgemm_kernel_4x2_haswell.S',

  513.                         'addl': ['-DCONJ', '-DCN']},

  514.             },

  515.         },

  516.     },

  517.   },

  518.   { 'base': '?trsm_kernel',

  519.     'modes': {

  520.         's': {

  521.             'exts': {

  522.                 '_LN': {'dir': 'x86_64', 'kernel': 'strsm_kernel_8x4_haswell_LN.c',

  523.                         'addl': ['-DLN', '-DUPPER', '-UCONJ']},

  524.                 '_LT': {'dir': 'x86_64', 'kernel': 'strsm_kernel_8x4_haswell_LT.c',

  525.                         'addl': ['-DLT', '-UUPPER', '-UCONJ']},

  526.                 '_RN': {'dir': 'x86_64', 'kernel': 'strsm_kernel_8x4_haswell_RN.c',

  527.                         'addl': ['-DRN', '-DUPPER', '-UCONJ']},

  528.                 '_RT': {'dir': 'x86_64', 'kernel': 'strsm_kernel_8x4_haswell_RT.c',

  529.                         'addl': ['-DRT', '-UUPPER', '-UCONJ']},

  530.             },

  531.         },

  532.         'd': {

  533.             'exts': {

  534.                 '_LN': {'dir': 'generic', 'kernel': 'trsm_kernel_LN.c',

  535.                         'addl': ['-DLN', '-DUPPER', '-UCONJ']},

  536.                 '_LT': {'dir': 'generic', 'kernel': 'trsm_kernel_LT.c',

  537.                         'addl': ['-DLT', '-UUPPER', '-UCONJ']},

  538.                 '_RN': {'dir': 'x86_64', 'kernel': 'dtrsm_kernel_RN_haswell.c',

  539.                         'addl': ['-DRN', '-DUPPER', '-UCONJ']},

  540.                 '_RT': {'dir': 'generic', 'kernel': 'trsm_kernel_RT.c',

  541.                         'addl': ['-DRT', '-UUPPER', '-UCONJ']},

  542.             },

  543.         },

  544.         'c': {

  545.             'exts': {

  546.                 '_LN': {'dir': 'generic', 'kernel': 'trsm_kernel_LN.c',

  547.                         'addl': ['-DLN', '-DUPPER', '-UCONJ']},

  548.                 '_LT': {'dir': 'generic', 'kernel': 'trsm_kernel_LT.c',

  549.                         'addl': ['-DLT', '-UUPPER', '-UCONJ']},

  550.                 '_LR': {'dir': 'generic', 'kernel': 'trsm_kernel_LN.c',

  551.                         'addl': ['-DLN', '-DUPPER', '-DCONJ']},

  552.                 '_LC': {'dir': 'generic', 'kernel': 'trsm_kernel_LT.c',

  553.                         'addl': ['-DLT', '-UUPPER', '-DCONJ']},

  554.                 '_RN': {'dir': 'generic', 'kernel': 'trsm_kernel_RN.c',

  555.                         'addl': ['-DRN', '-DUPPER', '-UCONJ']},

  556.                 '_RT': {'dir': 'generic', 'kernel': 'trsm_kernel_RT.c',

  557.                         'addl': ['-DRT', '-UUPPER', '-UCONJ']},

  558.                 '_RR': {'dir': 'generic', 'kernel': 'trsm_kernel_RN.c',

  559.                         'addl': ['-DRN', '-DUPPER', '-DCONJ']},

  560.                 '_RC': {'dir': 'generic', 'kernel': 'trsm_kernel_RT.c',

  561.                         'addl': ['-DRT', '-UUPPER', '-DCONJ']},

  562.             },

  563.         },

  564.         'z': {

  565.             'exts': {

  566.                 '_LN': {'dir': 'generic', 'kernel': 'trsm_kernel_LN.c',

  567.                         'addl': ['-DLN', '-DUPPER', '-UCONJ']},

  568.                 '_LT': {'dir': 'generic', 'kernel': 'trsm_kernel_LT.c',

  569.                         'addl': ['-DLT', '-UUPPER', '-UCONJ']},

  570.                 '_LR': {'dir': 'generic', 'kernel': 'trsm_kernel_LN.c',

  571.                         'addl': ['-DLN', '-DUPPER', '-DCONJ']},

  572.                 '_LC': {'dir': 'generic', 'kernel': 'trsm_kernel_LT.c',

  573.                         'addl': ['-DLT', '-UUPPER', '-DCONJ']},

  574.                 '_RN': {'dir': 'generic', 'kernel': 'trsm_kernel_RN.c',

  575.                         'addl': ['-DRN', '-DUPPER', '-UCONJ']},

  576.                 '_RT': {'dir': 'generic', 'kernel': 'trsm_kernel_RT.c',

  577.                         'addl': ['-DRT', '-UUPPER', '-UCONJ']},

  578.                 '_RR': {'dir': 'generic', 'kernel': 'trsm_kernel_RN.c',

  579.                         'addl': ['-DRN', '-DUPPER', '-DCONJ']},

  580.                 '_RC': {'dir': 'generic', 'kernel': 'trsm_kernel_RT.c',

  581.                         'addl': ['-DRT', '-UUPPER', '-DCONJ']},

  582.             },

  583.         },

  584.     },

  585.   },

  586.   { 'base': '?gemm',

  587.     'modes': {

  588.         's': {'exts': {

  589.             '_beta': {'dir': 'x86_64', 'kernel': 'sgemm_beta_skylakex.c'},

  590.             '_small_matrix_permit': {'dir': 'generic',

  591.                                      'kernel': 'gemm_small_matrix_permit.c'},

  592.             # TODO(rg): the _NUM prefixes are arch dependent

  593.             '_incopy': {'dir': 'generic', 'kernel': 'gemm_ncopy_8.c'},

  594.             '_itcopy': {'dir': 'generic', 'kernel': 'gemm_tcopy_8.c'},

  595.             '_oncopy': {'dir': 'x86_64', 'kernel': 'sgemm_ncopy_4_skylakex.c'},

  596.             '_otcopy': {'dir': 'generic', 'kernel': 'gemm_tcopy_4.c'},

  597.             # TODO(rg): direct and direct_performant are built only conditionally

  598.             '_direct': {'dir': 'x86_64', 'kernel': 'sgemm_direct_skylakex.c'},

  599.             '_direct_performant': {'dir': 'x86_64', 'kernel': 'sgemm_direct_performant.c'},

  600.         }},

  601.         'd': {'exts': {

  602.             '_beta': {'dir': 'x86_64', 'kernel': 'dgemm_beta_skylakex.c'},

  603.             '_small_matrix_permit': {'dir': 'generic',

  604.                                      'kernel': 'gemm_small_matrix_permit.c'},

  605.             '_incopy': {'dir': 'generic', 'kernel': 'gemm_ncopy_4.c'},

  606.             '_itcopy': {'dir': 'generic', 'kernel': 'gemm_tcopy_4.c'},

  607.             '_oncopy': {'dir': 'x86_64', 'kernel': 'dgemm_ncopy_8_skylakex.c'},

  608.             '_otcopy': {'dir': 'generic', 'kernel': 'gemm_tcopy_8.c'},

  609.         }},

  610.         'c': {'exts': {

  611.             '_beta': {'dir': 'x86_64', 'kernel': 'zgemm_beta.S'},

  612.             '_small_matrix_permit': {'dir': 'generic',

  613.                                      'kernel': 'zgemm_small_matrix_permit.c'},

  614.             '_incopy': {'dir': 'generic', 'kernel': 'zgemm_ncopy_8.c'},

  615.             '_itcopy': {'dir': 'generic', 'kernel': 'zgemm_tcopy_8.c'},

  616.             '_oncopy': {'dir': 'generic', 'kernel': 'zgemm_ncopy_2.c'},

  617.             '_otcopy': {'dir': 'generic', 'kernel': 'zgemm_tcopy_2.c'},

  618.         }},

  619.         'z': {'exts': {

  620.             '_beta': {'dir': 'x86_64', 'kernel': 'zgemm_beta.S'},

  621.             '_small_matrix_permit': {'dir': 'generic',

  622.                                      'kernel': 'zgemm_small_matrix_permit.c'},

  623.             '_incopy': {'dir': 'generic', 'kernel': 'zgemm_ncopy_4.c'},

  624.             '_itcopy': {'dir': 'generic', 'kernel': 'zgemm_tcopy_4.c'},

  625.             '_oncopy': {'dir': 'generic', 'kernel': 'zgemm_ncopy_2.c'},

  626.             '_otcopy': {'dir': 'generic', 'kernel': 'zgemm_tcopy_2.c'},

  627.         }},

  628.     },

  629.   },

  630.   { 'base': '?trmm',

  631.     'modes': {

  632.         's': {'exts': {

  633.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  634.             '_iunucopy': {'dir': 'generic', 'kernel': 'trmm_uncopy_8.c',

  635.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  636.             '_iunncopy': {'dir': 'generic', 'kernel': 'trmm_uncopy_8.c',

  637.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  638.             '_ilnucopy': {'dir': 'generic', 'kernel': 'trmm_lncopy_8.c',

  639.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  640.             '_ilnncopy': {'dir': 'generic', 'kernel': 'trmm_lncopy_8.c',

  641.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  642.             '_iutucopy': {'dir': 'generic', 'kernel': 'trmm_utcopy_8.c',

  643.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  644.             '_iutncopy': {'dir': 'generic', 'kernel': 'trmm_utcopy_8.c',

  645.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  646.             '_iltucopy': {'dir': 'generic', 'kernel': 'trmm_ltcopy_8.c',

  647.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  648.             '_iltncopy': {'dir': 'generic', 'kernel': 'trmm_ltcopy_8.c',

  649.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  650.             '_ounucopy': {'dir': 'generic', 'kernel': 'trmm_uncopy_4.c',

  651.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  652.             '_ounncopy': {'dir': 'generic', 'kernel': 'trmm_uncopy_4.c',

  653.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  654.             '_olnucopy': {'dir': 'generic', 'kernel': 'trmm_lncopy_4.c',

  655.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  656.             '_olnncopy': {'dir': 'generic', 'kernel': 'trmm_lncopy_4.c',

  657.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  658.             '_outucopy': {'dir': 'generic', 'kernel': 'trmm_utcopy_4.c',

  659.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  660.             '_outncopy': {'dir': 'generic', 'kernel': 'trmm_utcopy_4.c',

  661.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  662.             '_oltucopy': {'dir': 'generic', 'kernel': 'trmm_ltcopy_4.c',

  663.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  664.             '_oltncopy': {'dir': 'generic', 'kernel': 'trmm_ltcopy_4.c',

  665.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  666.         }},

  667.     },

  668.   },

  669.   { 'base': '?trsm',

  670.     'modes': {

  671.         's': {'exts': {

  672.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  673.             '_iunucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  674.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  675.             '_iunncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  676.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  677.             '_ilnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  678.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  679.             '_ilnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  680.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  681.             '_iutucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  682.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  683.             '_iutncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  684.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  685.             '_iltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  686.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  687.             '_iltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  688.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  689.             '_ounucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  690.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  691.             '_ounncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  692.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  693.             '_olnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  694.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  695.             '_olnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  696.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  697.             '_outucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  698.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  699.             '_outncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  700.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  701.             '_oltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  702.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  703.             '_oltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  704.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  705.         }},

  706.         'd': {'exts': {

  707.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  708.             '_iunucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  709.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  710.             '_iunncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  711.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  712.             '_ilnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  713.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  714.             '_ilnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  715.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  716.             '_iutucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  717.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  718.             '_iutncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  719.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  720.             '_iltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  721.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  722.             '_iltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  723.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  724.             '_ounucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  725.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  726.             '_ounncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  727.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  728.             '_olnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  729.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  730.             '_olnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  731.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  732.             '_outucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  733.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  734.             '_outncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  735.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  736.             '_oltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  737.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  738.             '_oltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  739.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  740.         }},

  741.         'q': {'exts': {

  742.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  743.             '_iunucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  744.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  745.             '_iunncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  746.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  747.             '_ilnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  748.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  749.             '_ilnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  750.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  751.             '_iutucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  752.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  753.             '_iutncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  754.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  755.             '_iltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  756.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  757.             '_iltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  758.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  759.             '_ounucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  760.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  761.             '_ounncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  762.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  763.             '_olnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  764.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  765.             '_olnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  766.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  767.             '_outucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  768.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  769.             '_outncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  770.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  771.             '_oltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  772.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  773.             '_oltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  774.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  775.         }},

  776.         'c': {'exts': {

  777.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  778.             '_iunucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  779.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  780.             '_iunncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  781.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  782.             '_ilnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  783.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  784.             '_ilnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  785.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  786.             '_iutucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  787.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  788.             '_iutncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  789.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  790.             '_iltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  791.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  792.             '_iltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  793.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  794.             '_ounucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  795.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  796.             '_ounncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  797.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  798.             '_olnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  799.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  800.             '_olnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  801.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  802.             '_outucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  803.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  804.             '_outncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  805.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  806.             '_oltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  807.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  808.             '_oltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  809.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  810.         }},

  811.         'z': {'exts': {

  812.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  813.             '_iunucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  814.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  815.             '_iunncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_8.c',

  816.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  817.             '_ilnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  818.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  819.             '_ilnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_8.c',

  820.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  821.             '_iutucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  822.                           'addl': ['-UOUTER', '-ULOWER', '-DUNIT']},

  823.             '_iutncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_8.c',

  824.                           'addl': ['-UOUTER', '-ULOWER', '-UUNIT']},

  825.             '_iltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  826.                           'addl': ['-UOUTER', '-DLOWER', '-DUNIT']},

  827.             '_iltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_8.c',

  828.                           'addl': ['-UOUTER', '-DLOWER', '-UUNIT']},

  829.             '_ounucopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  830.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  831.             '_ounncopy': {'dir': 'generic', 'kernel': 'trsm_uncopy_4.c',

  832.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  833.             '_olnucopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  834.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  835.             '_olnncopy': {'dir': 'generic', 'kernel': 'trsm_lncopy_4.c',

  836.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  837.             '_outucopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  838.                           'addl': ['-DOUTER', '-ULOWER', '-DUNIT']},

  839.             '_outncopy': {'dir': 'generic', 'kernel': 'trsm_utcopy_4.c',

  840.                           'addl': ['-DOUTER', '-ULOWER', '-UUNIT']},

  841.             '_oltucopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  842.                           'addl': ['-DOUTER', '-DLOWER', '-DUNIT']},

  843.             '_oltncopy': {'dir': 'generic', 'kernel': 'trsm_ltcopy_4.c',

  844.                           'addl': ['-DOUTER', '-DLOWER', '-UUNIT']},

  845.         }},

  846.     },

  847.   },

  848.   { 'base': '?symm',

  849.     'modes': {

  850.         's': {'exts': {

  851.             # TODO(rg): These actually use $(SGEMM_UNROLL_M) to choose the size

  852.             '_iutcopy': {'dir': 'generic', 'kernel': 'symm_ucopy_8.c',

  853.                           'addl': ['-UOUTER', '-ULOWER']},

  854.             '_iltcopy': {'dir': 'generic', 'kernel': 'symm_lcopy_8.c',

  855.                           'addl': ['-UOUTER', '-DLOWER']},

  856.             '_outcopy': {'dir': 'generic', 'kernel': 'symm_ucopy_4.c',

  857.                           'addl': ['-DOUTER', '-ULOWER']},

  858.             '_oltcopy': {'dir': 'generic', 'kernel': 'symm_lcopy_4.c',

  859.                           'addl': ['-DOUTER', '-DLOWER']},

  860.         }},

  861.     },

  862.   },

  863.   { 'base': '?omatcopy_k',

  864.     'modes': {

  865.         's': {'exts': {

  866.             '_cn': {'dir': 'arm', 'kernel': 'omatcopy_cn.c',

  867.                           'addl': ['-UROWM']},

  868.             '_rn': {'dir': 'arm', 'kernel': 'omatcopy_rn.c',

  869.                           'addl': ['-DROWM']},

  870.             '_ct': {'dir': 'arm', 'kernel': 'omatcopy_ct.c',

  871.                           'addl': ['-UROWM']},

  872.             '_rt': {'dir': 'x86_64', 'kernel': 'omatcopy_rt.c',

  873.                           'addl': ['-DROWM']},

  874.         }},

  875.     },

  876.   },

  877.   { 'base': '?gemm_small_kernel',

  878.     'modes': {

  879.         's': {

  880.             'exts': {

  881.                 '_nn': {'dir': 'generic',

  882.                         'kernel': 'gemm_small_matrix_kernel_nn.c',

  883.                        },

  884.                 '_nt': {'dir': 'generic',

  885.                         'kernel': 'gemm_small_matrix_kernel_nt.c',

  886.                        },

  887.                 '_tn': {'dir': 'generic',

  888.                         'kernel': 'gemm_small_matrix_kernel_tn.c',

  889.                        },

  890.                 '_tt': {'dir': 'generic',

  891.                         'kernel': 'gemm_small_matrix_kernel_tt.c',

  892.                        },

  893.                 # '_b0_nn': {'dir': 'generic',

  894.                 #            'kernel': 'gemm_small_matrix_kernel_nn.c',

  895.                 #            'addl': ['-DB0'],

  896.                 #        },

  897.                 # '_b0_nt': {'dir': 'generic',

  898.                 #            'kernel': 'gemm_small_matrix_kernel_nt.c',

  899.                 #            'addl': ['-DB0'],

  900.                 #        },

  901.                 # '_b0_tn': {'dir': 'generic',

  902.                 #            'kernel': 'gemm_small_matrix_kernel_tn.c',

  903.                 #            'addl': ['-DB0'],

  904.                 #        },

  905.                 # '_b0_tt': {'dir': 'generic',

  906.                 #            'kernel': 'gemm_small_matrix_kernel_tt.c',

  907.                 #            'addl': ['-DB0'],

  908.                 #        },

  909.             }

  910.         },

  911.         'd': {

  912.             'exts': {

  913.                 '_nn': {'dir': 'generic',

  914.                         'kernel': 'gemm_small_matrix_kernel_nn.c',

  915.                        },

  916.                 '_nt': {'dir': 'generic',

  917.                         'kernel': 'gemm_small_matrix_kernel_nt.c',

  918.                        },

  919.                 '_tn': {'dir': 'generic',

  920.                         'kernel': 'gemm_small_matrix_kernel_tn.c',

  921.                        },

  922.                 '_tt': {'dir': 'generic',

  923.                         'kernel': 'gemm_small_matrix_kernel_tt.c',

  924.                        },

  925.             }

  926.         },

  927.         'c': {

  928.             'exts': {

  929.                 '_nn': {'dir': 'generic',

  930.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  931.                        },

  932.                 '_nr': {'dir': 'generic',

  933.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  934.                        },

  935.                 '_rn': {'dir': 'generic',

  936.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  937.                        },

  938.                 '_rr': {'dir': 'generic',

  939.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  940.                        },

  941.                 '_nt': {'dir': 'generic',

  942.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  943.                        },

  944.                 '_nc': {'dir': 'generic',

  945.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  946.                        },

  947.                 '_rt': {'dir': 'generic',

  948.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  949.                        },

  950.                 '_rc': {'dir': 'generic',

  951.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  952.                        },

  953.                 '_tn': {'dir': 'generic',

  954.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  955.                        },

  956.                 '_tr': {'dir': 'generic',

  957.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  958.                        },

  959.                 '_cn': {'dir': 'generic',

  960.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  961.                        },

  962.                 '_cr': {'dir': 'generic',

  963.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  964.                        },

  965.                 '_tt': {'dir': 'generic',

  966.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  967.                        },

  968.                 '_tc': {'dir': 'generic',

  969.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  970.                        },

  971.                 '_ct': {'dir': 'generic',

  972.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  973.                        },

  974.                 '_cc': {'dir': 'generic',

  975.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  976.                        },

  977.             }

  978.         },

  979.         'z': {

  980.             'exts': {

  981.                 '_nn': {'dir': 'generic',

  982.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  983.                        },

  984.                 '_nr': {'dir': 'generic',

  985.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  986.                        },

  987.                 '_rn': {'dir': 'generic',

  988.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  989.                        },

  990.                 '_rr': {'dir': 'generic',

  991.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  992.                        },

  993.                 '_nt': {'dir': 'generic',

  994.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  995.                        },

  996.                 '_nc': {'dir': 'generic',

  997.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  998.                        },

  999.                 '_rt': {'dir': 'generic',

  1000.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1001.                        },

  1002.                 '_rc': {'dir': 'generic',

  1003.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1004.                        },

  1005.                 '_tn': {'dir': 'generic',

  1006.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1007.                        },

  1008.                 '_tr': {'dir': 'generic',

  1009.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1010.                        },

  1011.                 '_cn': {'dir': 'generic',

  1012.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1013.                        },

  1014.                 '_cr': {'dir': 'generic',

  1015.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1016.                        },

  1017.                 '_tt': {'dir': 'generic',

  1018.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1019.                        },

  1020.                 '_tc': {'dir': 'generic',

  1021.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1022.                        },

  1023.                 '_ct': {'dir': 'generic',

  1024.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1025.                        },

  1026.                 '_cc': {'dir': 'generic',

  1027.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1028.                        },

  1029.             }

  1030.         },

  1031.     },

  1032.   },

  1033.   { 'base': '?gemm_small_kernel_b0',

  1034.     'modes': {

  1035.         's': {

  1036.             'exts': {

  1037.                 '_nn': {'dir': 'generic',

  1038.                         'kernel': 'gemm_small_matrix_kernel_nn.c',

  1039.                        },

  1040.                 '_nt': {'dir': 'generic',

  1041.                         'kernel': 'gemm_small_matrix_kernel_nt.c',

  1042.                        },

  1043.                 '_tn': {'dir': 'generic',

  1044.                         'kernel': 'gemm_small_matrix_kernel_tn.c',

  1045.                        },

  1046.                 '_tt': {'dir': 'generic',

  1047.                         'kernel': 'gemm_small_matrix_kernel_tt.c',

  1048.                        },

  1049.             }

  1050.         },

  1051.         'd': {

  1052.             'exts': {

  1053.                 '_nn': {'dir': 'generic',

  1054.                         'kernel': 'gemm_small_matrix_kernel_nn.c',

  1055.                        },

  1056.                 '_nt': {'dir': 'generic',

  1057.                         'kernel': 'gemm_small_matrix_kernel_nt.c',

  1058.                        },

  1059.                 '_tn': {'dir': 'generic',

  1060.                         'kernel': 'gemm_small_matrix_kernel_tn.c',

  1061.                        },

  1062.                 '_tt': {'dir': 'generic',

  1063.                         'kernel': 'gemm_small_matrix_kernel_tt.c',

  1064.                        },

  1065.             }

  1066.         },

  1067.         'c': {

  1068.             'exts': {

  1069.                 '_nn': {'dir': 'generic',

  1070.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1071.                        },

  1072.                 '_nr': {'dir': 'generic',

  1073.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1074.                        },

  1075.                 '_rn': {'dir': 'generic',

  1076.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1077.                        },

  1078.                 '_rr': {'dir': 'generic',

  1079.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1080.                        },

  1081.                 '_nt': {'dir': 'generic',

  1082.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1083.                        },

  1084.                 '_nc': {'dir': 'generic',

  1085.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1086.                        },

  1087.                 '_rt': {'dir': 'generic',

  1088.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1089.                        },

  1090.                 '_rc': {'dir': 'generic',

  1091.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1092.                        },

  1093.                 '_tn': {'dir': 'generic',

  1094.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1095.                        },

  1096.                 '_tr': {'dir': 'generic',

  1097.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1098.                        },

  1099.                 '_cn': {'dir': 'generic',

  1100.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1101.                        },

  1102.                 '_cr': {'dir': 'generic',

  1103.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1104.                        },

  1105.                 '_tt': {'dir': 'generic',

  1106.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1107.                        },

  1108.                 '_tc': {'dir': 'generic',

  1109.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1110.                        },

  1111.                 '_ct': {'dir': 'generic',

  1112.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1113.                        },

  1114.                 '_cc': {'dir': 'generic',

  1115.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1116.                        },

  1117.             }

  1118.         },

  1119.         'z': {

  1120.             'exts': {

  1121.                 '_nn': {'dir': 'generic',

  1122.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1123.                        },

  1124.                 '_nr': {'dir': 'generic',

  1125.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1126.                        },

  1127.                 '_rn': {'dir': 'generic',

  1128.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1129.                        },

  1130.                 '_rr': {'dir': 'generic',

  1131.                         'kernel': 'zgemm_small_matrix_kernel_nn.c',

  1132.                        },

  1133.                 '_nt': {'dir': 'generic',

  1134.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1135.                        },

  1136.                 '_nc': {'dir': 'generic',

  1137.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1138.                        },

  1139.                 '_rt': {'dir': 'generic',

  1140.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1141.                        },

  1142.                 '_rc': {'dir': 'generic',

  1143.                         'kernel': 'zgemm_small_matrix_kernel_nt.c',

  1144.                        },

  1145.                 '_tn': {'dir': 'generic',

  1146.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1147.                        },

  1148.                 '_tr': {'dir': 'generic',

  1149.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1150.                        },

  1151.                 '_cn': {'dir': 'generic',

  1152.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1153.                        },

  1154.                 '_cr': {'dir': 'generic',

  1155.                         'kernel': 'zgemm_small_matrix_kernel_tn.c',

  1156.                        },

  1157.                 '_tt': {'dir': 'generic',

  1158.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1159.                        },

  1160.                 '_tc': {'dir': 'generic',

  1161.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1162.                        },

  1163.                 '_ct': {'dir': 'generic',

  1164.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1165.                        },

  1166.                 '_cc': {'dir': 'generic',

  1167.                         'kernel': 'zgemm_small_matrix_kernel_tt.c',

  1168.                        },

  1169.             }

  1170.         },

  1171.     },

  1172.   },

  1173. ]

  1174. 

  1175. kernel_confs = []

  1176. foreach _kop : base_kops

  1177.   base = _kop['base']

  1178.   modes = _kop['modes']

  1179.   # Generate the symbol flags

  1180.   _ckop_args = []

  1181.   if symb_defs.has_key(base)

  1182.     symb_base = symb_defs[base]

  1183.     if symb_base.has_key('def')

  1184.       foreach _d : symb_base['def']

  1185.         _ckop_args += ('-D' + _d)

  1186.       endforeach

  1187.     endif

  1188.     if symb_base.has_key('undef')

  1189.       foreach _u : symb_base['undef']

  1190.         _ckop_args += ('-U' + _u)

  1191.       endforeach

  1192.     endif

  1193.   endif

  1194.   foreach mode, details : modes

  1195.     if mode == 'x' or mode == 'q'

  1196.       continue

  1197.     endif

  1198.     # Generally, one list is required for each foreach

  1199.     __cargs = _cargs + _ckop_args

  1200.     prec_mode = precision_mappings[mode]

  1201.     # Generate the mapping for the type

  1202.     if prec_mode.has_key('def')

  1203.       foreach _d : prec_mode['def']

  1204.         __cargs += ('-D' + _d)

  1205.       endforeach

  1206.     endif

  1207.     if prec_mode.has_key('undef')

  1208.       foreach _u : prec_mode['undef']

  1209.         __cargs += ('-U' + _u)

  1210.       endforeach

  1211.     endif

  1212.     # Now the rest, one run for each ext, to get the final symbols

  1213.     foreach ext, extdat : details['exts']

  1214.       _ext_cargs = [] # Will be wiped for each ext preventing redefinitions

  1215.        # Check ext_mappings first

  1216.         if ext_mappings.has_key(ext) and (not ext_mappings.has_key('except') or base not in ext_mappings['except'])

  1217.           extmap = ext_mappings[ext]

  1218.           if extmap.has_key('def')

  1219.             foreach _d : extmap['def']

  1220.               _ext_cargs += ['-D' + _d]

  1221.             endforeach

  1222.           endif

  1223.           if extmap.has_key('undef')

  1224.             foreach _u : extmap['undef']

  1225.               _ext_cargs += ['-U' + _u]

  1226.             endforeach

  1227.           endif

  1228.         else

  1229.           # Fallback to ext_mappings_l2

  1230.           foreach ext_map : ext_mappings_l2 + ext_mappings_l3

  1231.             if ext_map['ext'] == ext and mode in ext_map['for'] and (not ext_map.has_key('except') or base not in ext_map['except'])

  1232.               if ext_map.has_key('def')

  1233.                 foreach _d : ext_map['def']

  1234.                   _ext_cargs += ['-D' + _d]

  1235.                 endforeach

  1236.               endif

  1237.               if ext_map.has_key('undef')

  1238.                 foreach _u : ext_map['undef']

  1239.                   _ext_cargs += ['-U' + _u]

  1240.                 endforeach

  1241.               endif

  1242.               break

  1243.             endif

  1244.           endforeach

  1245.         endif

  1246. 

  1247.       src = join_paths(extdat['dir'], extdat['kernel'])

  1248.       if extdat.has_key('addl')

  1249.         _ext_cargs += extdat['addl']

  1250.       endif

  1251.       sym_name = base.replace('?', mode) + ext

  1252.       sym_underscored = f'@sym_name@_'

  1253.       _ext_cargs += [

  1254.         f'-DASMNAME=@sym_name@',

  1255.         f'-DASMFNAME=@sym_underscored@',

  1256.         f'-DNAME=@sym_underscored@',

  1257.         f'-DCNAME=@sym_name@',

  1258.         f'-DCHAR_NAME="@sym_underscored@"',

  1259.         f'-DCHAR_CNAME="@sym_name@"',

  1260.       ]

  1261.       current_def = {

  1262.         'c_args': __cargs + _ext_cargs,

  1263.         'name': sym_name,

  1264.         'src': src

  1265.       }

  1266.       kernel_confs += current_def

  1267.     endforeach

  1268.   endforeach

  1269. endforeach

  1270. 

  1271. _kern_libs = []

  1272. _kern_deps = []

  1273. _is_asm = false

  1274. foreach conf: kernel_confs

  1275.   _kern_libs += static_library(

  1276.       conf['name'],

  1277.       [conf['src'], config_h],

  1278.       include_directories:  _inc,

  1279.       c_args: conf['c_args'],

  1280.       # See gh discussion 13374 for why, basically .S are coded as fortran..

  1281.       fortran_args: conf['c_args'],

  1282.   )

  1283. endforeach

  1284. 

  1285. _kern = static_library('_kern',

  1286.                        link_whole: _kern_libs,

  1287.                        dependencies: _kern_deps)