OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Branch: develop
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from 'develop'
${ noResults }
OpenBLAS/kernel/x86_64/dgemm_ncopy_8_bulldozer.S

1822 lines
38 kB
Raw Permalink Blame History 

  1. /*********************************************************************/

  2. /* Copyright 2009, 2010 The University of Texas at Austin.           */

  3. /* All rights reserved.                                              */

  4. /*                                                                   */

  5. /* Redistribution and use in source and binary forms, with or        */

  6. /* without modification, are permitted provided that the following   */

  7. /* conditions are met:                                               */

  8. /*                                                                   */

  9. /*   1. Redistributions of source code must retain the above         */

  10. /*      copyright notice, this list of conditions and the following  */

  11. /*      disclaimer.                                                  */

  12. /*                                                                   */

  13. /*   2. Redistributions in binary form must reproduce the above      */

  14. /*      copyright notice, this list of conditions and the following  */

  15. /*      disclaimer in the documentation and/or other materials       */

  16. /*      provided with the distribution.                              */

  17. /*                                                                   */

  18. /*    THIS  SOFTWARE IS PROVIDED  BY THE  UNIVERSITY OF  TEXAS AT    */

  19. /*    AUSTIN  ``AS IS''  AND ANY  EXPRESS OR  IMPLIED WARRANTIES,    */

  20. /*    INCLUDING, BUT  NOT LIMITED  TO, THE IMPLIED  WARRANTIES OF    */

  21. /*    MERCHANTABILITY  AND FITNESS FOR  A PARTICULAR  PURPOSE ARE    */

  22. /*    DISCLAIMED.  IN  NO EVENT SHALL THE UNIVERSITY  OF TEXAS AT    */

  23. /*    AUSTIN OR CONTRIBUTORS BE  LIABLE FOR ANY DIRECT, INDIRECT,    */

  24. /*    INCIDENTAL,  SPECIAL, EXEMPLARY,  OR  CONSEQUENTIAL DAMAGES    */

  25. /*    (INCLUDING, BUT  NOT LIMITED TO,  PROCUREMENT OF SUBSTITUTE    */

  26. /*    GOODS  OR  SERVICES; LOSS  OF  USE,  DATA,  OR PROFITS;  OR    */

  27. /*    BUSINESS INTERRUPTION) HOWEVER CAUSED  AND ON ANY THEORY OF    */

  28. /*    LIABILITY, WHETHER  IN CONTRACT, STRICT  LIABILITY, OR TORT    */

  29. /*    (INCLUDING NEGLIGENCE OR OTHERWISE)  ARISING IN ANY WAY OUT    */

  30. /*    OF  THE  USE OF  THIS  SOFTWARE,  EVEN  IF ADVISED  OF  THE    */

  31. /*    POSSIBILITY OF SUCH DAMAGE.                                    */

  32. /*                                                                   */

  33. /* The views and conclusions contained in the software and           */

  34. /* documentation are those of the authors and should not be          */

  35. /* interpreted as representing official policies, either expressed   */

  36. /* or implied, of The University of Texas at Austin.                 */

  37. /*********************************************************************/

  38. 

  39. #define ASSEMBLER

  40. #include "common.h"

  41. 

  42. #define A_PRE 256

  43. #define B_PRE 128

  44. 

  45. 

  46. #ifndef WINDOWS_ABI

  47. 

  48. #define M	ARG1	/* rdi */

  49. #define N	ARG2	/* rsi */

  50. #define A	ARG3	/* rdx */

  51. #define LDA	ARG4	/* rcx */

  52. #define B	ARG5	/* r8  */

  53. 

  54. #define AO1	%r9

  55. #define AO2	%r10

  56. #define LDA3	%r11

  57. #define J	%r12

  58. #define MM	%r13

  59. 

  60. #else

  61. 

  62. #define STACKSIZE 128

  63. 

  64. #define M	ARG1	/* rcx */

  65. #define N	ARG2	/* rdx */

  66. #define A	ARG3	/* r8  */

  67. #define LDA	ARG4	/* r9  */

  68. #define OLD_B		40 + 32 + STACKSIZE(%rsp)

  69. 

  70. #define B	%r15

  71. 

  72. #define AO1	%r10

  73. #define AO2	%r11

  74. #define LDA3	%r12

  75. #define J	%r13

  76. #define MM	%r14

  77. 

  78. #endif

  79. 

  80. #define I	%rax

  81. 

  82. 	PROLOGUE

  83. 	PROFCODE

  84. 

  85. #ifdef WINDOWS_ABI

  86. 	pushq	%r15

  87. 	pushq	%r14

  88. #endif

  89. 	pushq	%r13

  90. 	pushq	%r12

  91. 

  92. #ifdef WINDOWS_ABI

  93. 	subq	$STACKSIZE, %rsp

  94. 

  95. 	vmovups	%xmm6,    0(%rsp)

  96. 	vmovups	%xmm7,   16(%rsp)

  97. 	vmovups	%xmm8,   32(%rsp)

  98. 	vmovups	%xmm9,   48(%rsp)

  99. 	vmovups	%xmm10,  64(%rsp)

  100. 	vmovups	%xmm11,  80(%rsp)

  101. 	vmovups	%xmm12,  96(%rsp)

  102. 

  103. 	movq	OLD_B,     B

  104. #endif

  105. 

  106. 	leaq	(,LDA, SIZE), LDA

  107. 	leaq	(LDA, LDA, 2), LDA3

  108. 	subq	$-16 * SIZE, B

  109. 

  110. 	movq	M, MM

  111. 	leaq	-1(M), %rax

  112. 	testq	$SIZE, A

  113. 	cmovne	%rax, MM

  114. 

  115. 	testq	$SIZE, LDA

  116. 	jne	.L50

  117. 

  118. 	movq	N,  J

  119. 	sarq	$3, J

  120. 	jle	.L20

  121. 	ALIGN_4

  122. 

  123. .L11:

  124. 	movq	A, AO1

  125. 	leaq	(A, LDA, 4), AO2

  126. 	leaq	(A, LDA, 8), A

  127. 

  128. 	testq	$SIZE, A

  129. 	je	.L12

  130. 

  131. 	vmovsd	0 * SIZE(AO1),         %xmm0

  132. 	vmovsd	0 * SIZE(AO1, LDA),    %xmm1

  133. 	vmovsd	0 * SIZE(AO1, LDA, 2), %xmm2

  134. 	vmovsd	0 * SIZE(AO1, LDA3),   %xmm3

  135. 

  136. 	vmovsd	0 * SIZE(AO2),         %xmm4

  137. 	vmovsd	0 * SIZE(AO2, LDA),    %xmm5

  138. 	vmovsd	0 * SIZE(AO2, LDA, 2), %xmm6

  139. 	vmovsd	0 * SIZE(AO2, LDA3),   %xmm7

  140. 

  141. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  142. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  143. 	vunpcklpd %xmm5, %xmm4 , %xmm4

  144. 	vunpcklpd %xmm7, %xmm6 , %xmm6

  145. 

  146. 	vmovups	%xmm0,  -16 * SIZE(B)

  147. 	vmovups	%xmm2,  -14 * SIZE(B)

  148. 	vmovups	%xmm4,  -12 * SIZE(B)

  149. 	vmovups	%xmm6,  -10 * SIZE(B)

  150. 

  151. 	addq	$1 * SIZE, AO1

  152. 	addq	$1 * SIZE, AO2

  153. 	subq	$-8 * SIZE, B

  154. 	ALIGN_3

  155. 

  156. .L12:

  157. 	movq	MM, I

  158. 	sarq	$3, I

  159. 	jle	.L14

  160. 	ALIGN_4

  161. 

  162. .L13:

  163. 

  164. 	prefetchnta	A_PRE(AO1)

  165. 	vmovups	0 * SIZE(AO1),         %xmm0

  166. 	vmovups	0 * SIZE(AO1, LDA),    %xmm1

  167. 	prefetchnta	A_PRE(AO1, LDA)

  168. 	vmovups	0 * SIZE(AO1, LDA, 2), %xmm2

  169. 	vmovups	0 * SIZE(AO1, LDA3),   %xmm3

  170. 

  171. 	prefetchnta	A_PRE(AO1, LDA, 2)

  172. 	vmovups	0 * SIZE(AO1, LDA, 2), %xmm2

  173. 	vmovups	 %xmm0, %xmm8

  174. 	prefetchnta	A_PRE(AO1, LDA3)

  175. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  176. 	vmovups	 %xmm2, %xmm9

  177. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  178. 

  179. 

  180. 	prefetchnta	A_PRE(AO2)

  181. 	vmovups	0 * SIZE(AO2),         %xmm4

  182. 	vmovups	0 * SIZE(AO2, LDA),    %xmm5

  183. 	prefetchnta	A_PRE(AO2, LDA)

  184. 	vmovups	0 * SIZE(AO2, LDA, 2), %xmm6

  185. 	vmovups	0 * SIZE(AO2, LDA3),   %xmm7

  186. 

  187. 	prefetchnta	A_PRE(AO2, LDA, 2)

  188. 	vmovups	 %xmm4, %xmm10

  189. 	vunpcklpd %xmm5, %xmm4 , %xmm4

  190. 	prefetchnta	A_PRE(AO2, LDA3)

  191. 	vmovups	 %xmm6, %xmm11

  192. 	vunpcklpd %xmm7, %xmm6 , %xmm6

  193. 

  194. 	prefetchw	B_PRE(B)

  195. 	vmovups	%xmm0,  -16 * SIZE(B)

  196. 	vmovups	%xmm2,  -14 * SIZE(B)

  197. 	vmovups	%xmm4,  -12 * SIZE(B)

  198. 	vmovups	%xmm6,  -10 * SIZE(B)

  199. 

  200. 	vunpckhpd %xmm1, %xmm8 , %xmm8

  201. 	vunpckhpd %xmm3, %xmm9 , %xmm9

  202. 	vunpckhpd %xmm5, %xmm10, %xmm10

  203. 	vunpckhpd %xmm7, %xmm11, %xmm11

  204. 

  205. 

  206. 	prefetchw	B_PRE+64(B)

  207. 	vmovups	%xmm8,   -8 * SIZE(B)

  208. 	vmovups	%xmm9,   -6 * SIZE(B)

  209. 	vmovups	%xmm10,  -4 * SIZE(B)

  210. 	vmovups	%xmm11,  -2 * SIZE(B)

  211. 

  212. /***********************************************************************************************/

  213. 

  214. 	vmovups	2 * SIZE(AO1),         %xmm0

  215. 	vmovups	2 * SIZE(AO1, LDA),    %xmm1

  216. 	vmovups	2 * SIZE(AO1, LDA, 2), %xmm2

  217. 	vmovups	2 * SIZE(AO1, LDA3),   %xmm3

  218. 

  219. 	vmovups	 %xmm0, %xmm8

  220. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  221. 	vmovups	 %xmm2, %xmm9

  222. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  223. 

  224. 

  225. 	vmovups	2 * SIZE(AO2),         %xmm4

  226. 	vmovups	2 * SIZE(AO2, LDA),    %xmm5

  227. 	vmovups	2 * SIZE(AO2, LDA, 2), %xmm6

  228. 	vmovups	2 * SIZE(AO2, LDA3),   %xmm7

  229. 

  230. 	vmovups	 %xmm4, %xmm10

  231. 	vunpcklpd %xmm5, %xmm4 , %xmm4

  232. 	vmovups	 %xmm6, %xmm11

  233. 	vunpcklpd %xmm7, %xmm6 , %xmm6

  234. 

  235. 

  236. 	prefetchw	B_PRE+128(B)

  237. 	vmovups	%xmm0,    0 * SIZE(B)

  238. 	vmovups	%xmm2,    2 * SIZE(B)

  239. 	vmovups	%xmm4,    4 * SIZE(B)

  240. 	vmovups	%xmm6,    6 * SIZE(B)

  241. 

  242. 	vunpckhpd %xmm1, %xmm8 , %xmm8

  243. 	vunpckhpd %xmm3, %xmm9 , %xmm9

  244. 	vunpckhpd %xmm5, %xmm10, %xmm10

  245. 	vunpckhpd %xmm7, %xmm11, %xmm11

  246. 

  247. 

  248. 	prefetchw	B_PRE+192(B)

  249. 	vmovups	%xmm8,    8 * SIZE(B)

  250. 	vmovups	%xmm9,   10 * SIZE(B)

  251. 	vmovups	%xmm10,  12 * SIZE(B)

  252. 	vmovups	%xmm11,  14 * SIZE(B)

  253. 

  254. /***********************************************************************************************/

  255. 

  256. 	vmovups	4 * SIZE(AO1),         %xmm0

  257. 	vmovups	4 * SIZE(AO1, LDA),    %xmm1

  258. 	vmovups	4 * SIZE(AO1, LDA, 2), %xmm2

  259. 	vmovups	4 * SIZE(AO1, LDA3),   %xmm3

  260. 

  261. 	vmovups	 %xmm0, %xmm8

  262. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  263. 	vmovups	 %xmm2, %xmm9

  264. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  265. 

  266. 

  267. 	vmovups	4 * SIZE(AO2),         %xmm4

  268. 	vmovups	4 * SIZE(AO2, LDA),    %xmm5

  269. 	vmovups	4 * SIZE(AO2, LDA, 2), %xmm6

  270. 	vmovups	4 * SIZE(AO2, LDA3),   %xmm7

  271. 

  272. 	vmovups	 %xmm4, %xmm10

  273. 	vunpcklpd %xmm5, %xmm4 , %xmm4

  274. 	vmovups	 %xmm6, %xmm11

  275. 	vunpcklpd %xmm7, %xmm6 , %xmm6

  276. 

  277. 

  278. 	prefetchw	B_PRE+256(B)

  279. 	vmovups	%xmm0,   16 * SIZE(B)

  280. 	vmovups	%xmm2,   18 * SIZE(B)

  281. 	vmovups	%xmm4,   20 * SIZE(B)

  282. 	vmovups	%xmm6,   22 * SIZE(B)

  283. 

  284. 	vunpckhpd %xmm1, %xmm8 , %xmm8

  285. 	vunpckhpd %xmm3, %xmm9 , %xmm9

  286. 	vunpckhpd %xmm5, %xmm10, %xmm10

  287. 	vunpckhpd %xmm7, %xmm11, %xmm11

  288. 

  289. 	prefetchw	B_PRE+320(B)

  290. 	vmovups	%xmm8,   24 * SIZE(B)

  291. 	vmovups	%xmm9,   26 * SIZE(B)

  292. 	vmovups	%xmm10,  28 * SIZE(B)

  293. 	vmovups	%xmm11,  30 * SIZE(B)

  294. 

  295. /***********************************************************************************************/

  296. 

  297. 	vmovups	6 * SIZE(AO1),         %xmm0

  298. 	vmovups	6 * SIZE(AO1, LDA),    %xmm1

  299. 	vmovups	6 * SIZE(AO1, LDA, 2), %xmm2

  300. 	vmovups	6 * SIZE(AO1, LDA3),   %xmm3

  301. 

  302. 	vmovups	 %xmm0, %xmm8

  303. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  304. 	vmovups	 %xmm2, %xmm9

  305. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  306. 

  307. 

  308. 	vmovups	6 * SIZE(AO2),         %xmm4

  309. 	vmovups	6 * SIZE(AO2, LDA),    %xmm5

  310. 	vmovups	6 * SIZE(AO2, LDA, 2), %xmm6

  311. 	vmovups	6 * SIZE(AO2, LDA3),   %xmm7

  312. 

  313. 	vmovups	 %xmm4, %xmm10

  314. 	vunpcklpd %xmm5, %xmm4 , %xmm4

  315. 	vmovups	 %xmm6, %xmm11

  316. 	vunpcklpd %xmm7, %xmm6 , %xmm6

  317. 

  318. 

  319. 	prefetchw	B_PRE+384(B)

  320. 	vmovups	%xmm0,   32 * SIZE(B)

  321. 	vmovups	%xmm2,   34 * SIZE(B)

  322. 	vmovups	%xmm4,   36 * SIZE(B)

  323. 	vmovups	%xmm6,   38 * SIZE(B)

  324. 

  325. 	vunpckhpd %xmm1, %xmm8 , %xmm8

  326. 	vunpckhpd %xmm3, %xmm9 , %xmm9

  327. 	vunpckhpd %xmm5, %xmm10, %xmm10

  328. 	vunpckhpd %xmm7, %xmm11, %xmm11

  329. 

  330. 	prefetchw	B_PRE+448(B)

  331. 	vmovups	%xmm8,   40 * SIZE(B)

  332. 	vmovups	%xmm9,   42 * SIZE(B)

  333. 	vmovups	%xmm10,  44 * SIZE(B)

  334. 	vmovups	%xmm11,  46 * SIZE(B)

  335. 

  336. 	addq	$8 * SIZE, AO1

  337. 	addq	$8 * SIZE, AO2

  338. 	subq	$-64 * SIZE, B

  339. 

  340. 	decq	I

  341. 	jg	.L13

  342. 	ALIGN_4

  343. 

  344. .L14:

  345. 	testq	$4, MM

  346. 	jle	.L16

  347. 

  348. 	vmovups	0 * SIZE(AO1),         %xmm0

  349. 	vmovups	0 * SIZE(AO1, LDA),    %xmm1

  350. 	vmovups	0 * SIZE(AO1, LDA, 2), %xmm2

  351. 	vmovups	0 * SIZE(AO1, LDA3),   %xmm3

  352. 

  353. 	vmovups	0 * SIZE(AO2),         %xmm4

  354. 	vmovups	0 * SIZE(AO2, LDA),    %xmm5

  355. 	vmovups	0 * SIZE(AO2, LDA, 2), %xmm6

  356. 	vmovups	0 * SIZE(AO2, LDA3),   %xmm7

  357. 

  358. 	vmovups	 %xmm0, %xmm8

  359. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  360. 	vmovups	 %xmm2, %xmm9

  361. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  362. 

  363. 	vmovups	 %xmm4, %xmm10

  364. 	vunpcklpd %xmm5, %xmm4 , %xmm4

  365. 	vmovups	 %xmm6, %xmm11

  366. 	vunpcklpd %xmm7, %xmm6 , %xmm6

  367. 

  368. 	vmovups	%xmm0,  -16 * SIZE(B)

  369. 	vmovups	%xmm2,  -14 * SIZE(B)

  370. 	vmovups	%xmm4,  -12 * SIZE(B)

  371. 	vmovups	%xmm6,  -10 * SIZE(B)

  372. 

  373. 	vunpckhpd %xmm1, %xmm8 , %xmm8

  374. 	vunpckhpd %xmm3, %xmm9 , %xmm9

  375. 	vunpckhpd %xmm5, %xmm10, %xmm10

  376. 	vunpckhpd %xmm7, %xmm11, %xmm11

  377. 

  378. 	vmovups	%xmm8,   -8 * SIZE(B)

  379. 	vmovups	%xmm9,   -6 * SIZE(B)

  380. 	vmovups	%xmm10,  -4 * SIZE(B)

  381. 	vmovups	%xmm11,  -2 * SIZE(B)

  382. 

  383. 	vmovups	2 * SIZE(AO1),         %xmm0

  384. 	vmovups	2 * SIZE(AO1, LDA),    %xmm1

  385. 	vmovups	2 * SIZE(AO1, LDA, 2), %xmm2

  386. 	vmovups	2 * SIZE(AO1, LDA3),   %xmm3

  387. 

  388. 	vmovups	2 * SIZE(AO2),         %xmm4

  389. 	vmovups	2 * SIZE(AO2, LDA),    %xmm5

  390. 	vmovups	2 * SIZE(AO2, LDA, 2), %xmm6

  391. 	vmovups	2 * SIZE(AO2, LDA3),   %xmm7

  392. 

  393. 	vmovups	 %xmm0, %xmm8

  394. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  395. 	vmovups	 %xmm2, %xmm9

  396. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  397. 

  398. 	vmovups	 %xmm4, %xmm10

  399. 	vunpcklpd %xmm5, %xmm4 , %xmm4

  400. 	vmovups	 %xmm6, %xmm11

  401. 	vunpcklpd %xmm7, %xmm6 , %xmm6

  402. 

  403. 	vmovups	%xmm0,    0 * SIZE(B)

  404. 	vmovups	%xmm2,    2 * SIZE(B)

  405. 	vmovups	%xmm4,    4 * SIZE(B)

  406. 	vmovups	%xmm6,    6 * SIZE(B)

  407. 

  408. 	vunpckhpd %xmm1, %xmm8 , %xmm8

  409. 	vunpckhpd %xmm3, %xmm9 , %xmm9

  410. 	vunpckhpd %xmm5, %xmm10, %xmm10

  411. 	vunpckhpd %xmm7, %xmm11, %xmm11

  412. 

  413. 	vmovups	%xmm8,    8 * SIZE(B)

  414. 	vmovups	%xmm9,   10 * SIZE(B)

  415. 	vmovups	%xmm10,  12 * SIZE(B)

  416. 	vmovups	%xmm11,  14 * SIZE(B)

  417. 

  418. 	addq	$4 * SIZE, AO1

  419. 	addq	$4 * SIZE, AO2

  420. 	subq	$-32 * SIZE, B

  421. 	ALIGN_4

  422. 

  423. .L16:

  424. 	testq	$2, MM

  425. 	jle	.L18

  426. 

  427. 	vmovups	0 * SIZE(AO1),         %xmm0

  428. 	vmovups	0 * SIZE(AO1, LDA),    %xmm1

  429. 	vmovups	0 * SIZE(AO1, LDA, 2), %xmm2

  430. 	vmovups	0 * SIZE(AO1, LDA3),   %xmm3

  431. 

  432. 	vmovups	0 * SIZE(AO2),         %xmm4

  433. 	vmovups	0 * SIZE(AO2, LDA),    %xmm5

  434. 	vmovups	0 * SIZE(AO2, LDA, 2), %xmm6

  435. 	vmovups	0 * SIZE(AO2, LDA3),   %xmm7

  436. 

  437. 	vmovups	 %xmm0, %xmm8

  438. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  439. 	vmovups	 %xmm2, %xmm9

  440. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  441. 

  442. 	vmovups	 %xmm4, %xmm10

  443. 	vunpcklpd %xmm5, %xmm4 , %xmm4

  444. 	vmovups	 %xmm6, %xmm11

  445. 	vunpcklpd %xmm7, %xmm6 , %xmm6

  446. 

  447. 	vmovups	%xmm0,  -16 * SIZE(B)

  448. 	vmovups	%xmm2,  -14 * SIZE(B)

  449. 	vmovups	%xmm4,  -12 * SIZE(B)

  450. 	vmovups	%xmm6,  -10 * SIZE(B)

  451. 

  452. 	vunpckhpd %xmm1, %xmm8 , %xmm8

  453. 	vunpckhpd %xmm3, %xmm9 , %xmm9

  454. 	vunpckhpd %xmm5, %xmm10, %xmm10

  455. 	vunpckhpd %xmm7, %xmm11, %xmm11

  456. 

  457. 	vmovups	%xmm8,   -8 * SIZE(B)

  458. 	vmovups	%xmm9,   -6 * SIZE(B)

  459. 	vmovups	%xmm10,  -4 * SIZE(B)

  460. 	vmovups	%xmm11,  -2 * SIZE(B)

  461. 

  462. 	addq	$2 * SIZE, AO1

  463. 	addq	$2 * SIZE, AO2

  464. 	subq	$-16 * SIZE, B

  465. 	ALIGN_4

  466. 

  467. .L18:

  468. 	testq	$1, MM

  469. 	jle	.L19

  470. 

  471. 	vmovsd	0 * SIZE(AO1),         %xmm0

  472. 	vmovsd	0 * SIZE(AO1, LDA),    %xmm1

  473. 	vmovsd	0 * SIZE(AO1, LDA, 2), %xmm2

  474. 	vmovsd	0 * SIZE(AO1, LDA3),   %xmm3

  475. 

  476. 	vmovsd	0 * SIZE(AO2),         %xmm4

  477. 	vmovsd	0 * SIZE(AO2, LDA),    %xmm5

  478. 	vmovsd	0 * SIZE(AO2, LDA, 2), %xmm6

  479. 	vmovsd	0 * SIZE(AO2, LDA3),   %xmm7

  480. 

  481. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  482. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  483. 	vunpcklpd %xmm5, %xmm4 , %xmm4

  484. 	vunpcklpd %xmm7, %xmm6 , %xmm6

  485. 

  486. 	vmovups	%xmm0,  -16 * SIZE(B)

  487. 	vmovups	%xmm2,  -14 * SIZE(B)

  488. 	vmovups	%xmm4,  -12 * SIZE(B)

  489. 	vmovups	%xmm6,  -10 * SIZE(B)

  490. 

  491. 	subq	$-8 * SIZE, B

  492. 	ALIGN_4

  493. 

  494. .L19:

  495. 	decq	J

  496. 	jg	.L11

  497. 	ALIGN_4

  498. 

  499. .L20:

  500. 	testq	$4, N

  501. 	jle	.L30

  502. 

  503. 	movq	A, AO1

  504. 	leaq	(A, LDA, 2), AO2

  505. 	leaq	(A, LDA, 4), A

  506. 

  507. 	testq	$SIZE, A

  508. 	je	.L22

  509. 

  510. 	vmovsd	0 * SIZE(AO1),      %xmm0

  511. 	vmovsd	0 * SIZE(AO1, LDA), %xmm1

  512. 	vmovsd	0 * SIZE(AO2),      %xmm2

  513. 	vmovsd	0 * SIZE(AO2, LDA), %xmm3

  514. 

  515. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  516. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  517. 

  518. 	vmovups	%xmm0,  -16 * SIZE(B)

  519. 	vmovups	%xmm2,  -14 * SIZE(B)

  520. 

  521. 	addq	$1 * SIZE, AO1

  522. 	addq	$1 * SIZE, AO2

  523. 	subq	$-4 * SIZE, B

  524. 	ALIGN_3

  525. 

  526. .L22:

  527. 	movq	MM, I

  528. 	sarq	$3, I

  529. 	jle	.L24

  530. 	ALIGN_4

  531. 

  532. .L23:

  533. 

  534. 	vmovups	0 * SIZE(AO1),      %xmm0

  535. 	vmovups	0 * SIZE(AO1, LDA), %xmm1

  536. 	vmovups	0 * SIZE(AO2),      %xmm2

  537. 	vmovups	0 * SIZE(AO2, LDA), %xmm3

  538. 

  539. 	vmovups	 %xmm0, %xmm4

  540. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  541. 	vmovups	 %xmm2, %xmm6

  542. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  543. 

  544. 	vunpckhpd %xmm1, %xmm4 , %xmm4

  545. 	vunpckhpd %xmm3, %xmm6 , %xmm6

  546. 

  547. 

  548. 	vmovups	%xmm0,  -16 * SIZE(B)

  549. 	vmovups	%xmm2,  -14 * SIZE(B)

  550. 	vmovups	%xmm4,  -12 * SIZE(B)

  551. 	vmovups	%xmm6,  -10 * SIZE(B)

  552. 

  553. 

  554. 	vmovups	2 * SIZE(AO1),      %xmm0

  555. 	vmovups	2 * SIZE(AO1, LDA), %xmm1

  556. 	vmovups	2 * SIZE(AO2),      %xmm2

  557. 	vmovups	2 * SIZE(AO2, LDA), %xmm3

  558. 

  559. 	vmovups	 %xmm0, %xmm4

  560. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  561. 	vmovups	 %xmm2, %xmm6

  562. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  563. 

  564. 	vunpckhpd %xmm1, %xmm4 , %xmm4

  565. 	vunpckhpd %xmm3, %xmm6 , %xmm6

  566. 

  567. 

  568. 	vmovups	%xmm0,  -8 * SIZE(B)

  569. 	vmovups	%xmm2,  -6 * SIZE(B)

  570. 	vmovups	%xmm4,  -4 * SIZE(B)

  571. 	vmovups	%xmm6,  -2 * SIZE(B)

  572. 

  573. 

  574. 	vmovups	4 * SIZE(AO1),      %xmm0

  575. 	vmovups	4 * SIZE(AO1, LDA), %xmm1

  576. 	vmovups	4 * SIZE(AO2),      %xmm2

  577. 	vmovups	4 * SIZE(AO2, LDA), %xmm3

  578. 

  579. 	vmovups	 %xmm0, %xmm4

  580. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  581. 	vmovups	 %xmm2, %xmm6

  582. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  583. 

  584. 	vunpckhpd %xmm1, %xmm4 , %xmm4

  585. 	vunpckhpd %xmm3, %xmm6 , %xmm6

  586. 

  587. 

  588. 	vmovups	%xmm0,   0 * SIZE(B)

  589. 	vmovups	%xmm2,   2 * SIZE(B)

  590. 	vmovups	%xmm4,   4 * SIZE(B)

  591. 	vmovups	%xmm6,   6 * SIZE(B)

  592. 

  593. 

  594. 	vmovups	6 * SIZE(AO1),      %xmm0

  595. 	vmovups	6 * SIZE(AO1, LDA), %xmm1

  596. 	vmovups	6 * SIZE(AO2),      %xmm2

  597. 	vmovups	6 * SIZE(AO2, LDA), %xmm3

  598. 

  599. 	vmovups	 %xmm0, %xmm4

  600. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  601. 	vmovups	 %xmm2, %xmm6

  602. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  603. 

  604. 	vunpckhpd %xmm1, %xmm4 , %xmm4

  605. 	vunpckhpd %xmm3, %xmm6 , %xmm6

  606. 

  607. 

  608. 	vmovups	%xmm0,   8 * SIZE(B)

  609. 	vmovups	%xmm2,  10 * SIZE(B)

  610. 	vmovups	%xmm4,  12 * SIZE(B)

  611. 	vmovups	%xmm6,  14 * SIZE(B)

  612. 

  613. 	addq	$8 * SIZE, AO1

  614. 	addq	$8 * SIZE, AO2

  615. 	subq	$-32 * SIZE, B

  616. 

  617. 	decq	I

  618. 	jg	.L23

  619. 	ALIGN_4

  620. 

  621. .L24:

  622. 	testq	$4, MM

  623. 	jle	.L26

  624. 

  625. 	vmovups	0 * SIZE(AO1),      %xmm0

  626. 	vmovups	0 * SIZE(AO1, LDA), %xmm1

  627. 	vmovups	0 * SIZE(AO2),      %xmm2

  628. 	vmovups	0 * SIZE(AO2, LDA), %xmm3

  629. 

  630. 	vmovups	 %xmm0, %xmm4

  631. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  632. 	vmovups	 %xmm2, %xmm6

  633. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  634. 

  635. 	vunpckhpd %xmm1, %xmm4 , %xmm4

  636. 	vunpckhpd %xmm3, %xmm6 , %xmm6

  637. 

  638. 	vmovups	%xmm0,  -16 * SIZE(B)

  639. 	vmovups	%xmm2,  -14 * SIZE(B)

  640. 	vmovups	%xmm4,  -12 * SIZE(B)

  641. 	vmovups	%xmm6,  -10 * SIZE(B)

  642. 

  643. 	vmovups	2 * SIZE(AO1),      %xmm0

  644. 	vmovups	2 * SIZE(AO1, LDA), %xmm1

  645. 	vmovups	2 * SIZE(AO2),      %xmm2

  646. 	vmovups	2 * SIZE(AO2, LDA), %xmm3

  647. 

  648. 	vmovups	 %xmm0, %xmm4

  649. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  650. 	vmovups	 %xmm2, %xmm6

  651. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  652. 

  653. 	vunpckhpd %xmm1, %xmm4 , %xmm4

  654. 	vunpckhpd %xmm3, %xmm6 , %xmm6

  655. 

  656. 	vmovups	%xmm0,  -8 * SIZE(B)

  657. 	vmovups	%xmm2,  -6 * SIZE(B)

  658. 	vmovups	%xmm4,  -4 * SIZE(B)

  659. 	vmovups	%xmm6,  -2 * SIZE(B)

  660. 

  661. 	addq	$4 * SIZE, AO1

  662. 	addq	$4 * SIZE, AO2

  663. 	subq	$-16 * SIZE, B

  664. 	ALIGN_4

  665. 

  666. .L26:

  667. 	testq	$2, MM

  668. 	jle	.L28

  669. 

  670. 	vmovups	0 * SIZE(AO1),      %xmm0

  671. 	vmovups	0 * SIZE(AO1, LDA), %xmm1

  672. 	vmovups	0 * SIZE(AO2),      %xmm2

  673. 	vmovups	0 * SIZE(AO2, LDA), %xmm3

  674. 

  675. 	vmovups	 %xmm0, %xmm4

  676. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  677. 	vmovups	 %xmm2, %xmm6

  678. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  679. 

  680. 	vunpckhpd %xmm1, %xmm4 , %xmm4

  681. 	vunpckhpd %xmm3, %xmm6 , %xmm6

  682. 

  683. 	vmovups	%xmm0,  -16 * SIZE(B)

  684. 	vmovups	%xmm2,  -14 * SIZE(B)

  685. 	vmovups	%xmm4,  -12 * SIZE(B)

  686. 	vmovups	%xmm6,  -10 * SIZE(B)

  687. 

  688. 	addq	$2 * SIZE, AO1

  689. 	addq	$2 * SIZE, AO2

  690. 	subq	$-8 * SIZE, B

  691. 	ALIGN_4

  692. 

  693. .L28:

  694. 	testq	$1, MM

  695. 	jle	.L30

  696. 

  697. 	vmovsd	0 * SIZE(AO1),      %xmm0

  698. 	vmovsd	0 * SIZE(AO1, LDA), %xmm1

  699. 	vmovsd	0 * SIZE(AO2),      %xmm2

  700. 	vmovsd	0 * SIZE(AO2, LDA), %xmm3

  701. 

  702. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  703. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  704. 

  705. 	vmovups	%xmm0,  -16 * SIZE(B)

  706. 	vmovups	%xmm2,  -14 * SIZE(B)

  707. 	subq	$-4 * SIZE, B

  708. 	ALIGN_4

  709. 

  710. .L30:

  711. 	testq	$2, N

  712. 	jle	.L40

  713. 

  714. 	movq	A, AO1

  715. 	leaq	(A, LDA), AO2

  716. 	leaq	(A, LDA, 2), A

  717. 

  718. 	testq	$SIZE, A

  719. 	je	.L32

  720. 

  721. 	vmovsd	0 * SIZE(AO1),      %xmm0

  722. 	vmovsd	0 * SIZE(AO2),      %xmm1

  723. 

  724. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  725. 

  726. 	vmovups	%xmm0,  -16 * SIZE(B)

  727. 

  728. 	addq	$1 * SIZE, AO1

  729. 	addq	$1 * SIZE, AO2

  730. 	subq	$-2 * SIZE, B

  731. 	ALIGN_3

  732. 

  733. .L32:

  734. 	movq	MM, I

  735. 	sarq	$3, I

  736. 	jle	.L34

  737. 	ALIGN_4

  738. 

  739. .L33:

  740. 

  741. 	vmovups	0 * SIZE(AO1),      %xmm0

  742. 	vmovups	0 * SIZE(AO2),      %xmm1

  743. 	vmovups	2 * SIZE(AO1),      %xmm2

  744. 	vmovups	2 * SIZE(AO2),      %xmm3

  745. 

  746. 	vmovups	 %xmm0, %xmm4

  747. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  748. 	vmovups	 %xmm2, %xmm6

  749. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  750. 

  751. 	vunpckhpd %xmm1, %xmm4 , %xmm4

  752. 	vunpckhpd %xmm3, %xmm6 , %xmm6

  753. 

  754. 

  755. 	vmovups	%xmm0,  -16 * SIZE(B)

  756. 	vmovups	%xmm4,  -14 * SIZE(B)

  757. 	vmovups	%xmm2,  -12 * SIZE(B)

  758. 	vmovups	%xmm6,  -10 * SIZE(B)

  759. 

  760. 

  761. 	vmovups	4 * SIZE(AO1), %xmm0

  762. 	vmovups	4 * SIZE(AO2), %xmm1

  763. 	vmovups	6 * SIZE(AO1), %xmm2

  764. 	vmovups	6 * SIZE(AO2), %xmm3

  765. 

  766. 	vmovups	 %xmm0, %xmm4

  767. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  768. 	vmovups	 %xmm2, %xmm6

  769. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  770. 

  771. 	vunpckhpd %xmm1, %xmm4 , %xmm4

  772. 	vunpckhpd %xmm3, %xmm6 , %xmm6

  773. 

  774. 

  775. 	vmovups	%xmm0,  -8 * SIZE(B)

  776. 	vmovups	%xmm4,  -6 * SIZE(B)

  777. 	vmovups	%xmm2,  -4 * SIZE(B)

  778. 	vmovups	%xmm6,  -2 * SIZE(B)

  779. 

  780. 	addq	$8 * SIZE, AO1

  781. 	addq	$8 * SIZE, AO2

  782. 	subq	$-16 * SIZE, B

  783. 

  784. 	decq	I

  785. 	jg	.L33

  786. 	ALIGN_4

  787. 

  788. .L34:

  789. 	testq	$4, MM

  790. 	jle	.L36

  791. 

  792. 	vmovups	0 * SIZE(AO1),      %xmm0

  793. 	vmovups	0 * SIZE(AO2),      %xmm1

  794. 	vmovups	2 * SIZE(AO1),      %xmm2

  795. 	vmovups	2 * SIZE(AO2),      %xmm3

  796. 

  797. 	vmovups	 %xmm0, %xmm4

  798. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  799. 	vunpckhpd %xmm1, %xmm4 , %xmm4

  800. 

  801. 	vmovups	 %xmm2, %xmm6

  802. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  803. 	vunpckhpd %xmm3, %xmm6 , %xmm6

  804. 

  805. 	vmovups	%xmm0,  -16 * SIZE(B)

  806. 	vmovups	%xmm4,  -14 * SIZE(B)

  807. 	vmovups	%xmm2,  -12 * SIZE(B)

  808. 	vmovups	%xmm6,  -10 * SIZE(B)

  809. 

  810. 	addq	$4 * SIZE, AO1

  811. 	addq	$4 * SIZE, AO2

  812. 	subq	$-8 * SIZE, B

  813. 	ALIGN_4

  814. 

  815. .L36:

  816. 	testq	$2, MM

  817. 	jle	.L38

  818. 

  819. 	vmovups	0 * SIZE(AO1),      %xmm0

  820. 	vmovups	0 * SIZE(AO2),      %xmm1

  821. 

  822. 	vmovups	 %xmm0, %xmm2

  823. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  824. 	vunpckhpd %xmm1, %xmm2 , %xmm2

  825. 

  826. 	vmovups	%xmm0,  -16 * SIZE(B)

  827. 	vmovups	%xmm2,  -14 * SIZE(B)

  828. 

  829. 	addq	$2 * SIZE, AO1

  830. 	addq	$2 * SIZE, AO2

  831. 	subq	$-4 * SIZE, B

  832. 	ALIGN_4

  833. 

  834. .L38:

  835. 	testq	$1, MM

  836. 	jle	.L40

  837. 

  838. 	vmovsd	0 * SIZE(AO1),      %xmm0

  839. 	vmovsd	0 * SIZE(AO2),      %xmm1

  840. 

  841. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  842. 

  843. 	vmovups	%xmm0,  -16 * SIZE(B)

  844. 	subq	$-2 * SIZE, B

  845. 	ALIGN_4

  846. 

  847. .L40:

  848. 	testq	$1, N

  849. 	jle	.L999

  850. 

  851. 	movq	A, AO1

  852. 

  853. 	testq	$SIZE, A

  854. 	jne	.L45

  855. 

  856. 	movq	MM, I

  857. 	sarq	$3, I

  858. 	jle	.L42

  859. 	ALIGN_4

  860. 

  861. .L41:

  862. 

  863. 	vmovups	0 * SIZE(AO1),      %xmm0

  864. 	vmovups	2 * SIZE(AO1),      %xmm1

  865. 	vmovups	4 * SIZE(AO1),      %xmm2

  866. 	vmovups	6 * SIZE(AO1),      %xmm3

  867. 

  868. 

  869. 	vmovups	%xmm0,  -16 * SIZE(B)

  870. 	vmovups	%xmm1,  -14 * SIZE(B)

  871. 	vmovups	%xmm2,  -12 * SIZE(B)

  872. 	vmovups	%xmm3,  -10 * SIZE(B)

  873. 

  874. 	addq	$8 * SIZE, AO1

  875. 	subq	$-8 * SIZE, B

  876. 

  877. 	decq	I

  878. 	jg	.L41

  879. 	ALIGN_4

  880. 

  881. .L42:

  882. 	testq	$4, MM

  883. 	jle	.L43

  884. 

  885. 	vmovups	0 * SIZE(AO1),      %xmm0

  886. 	vmovups	2 * SIZE(AO1),      %xmm1

  887. 

  888. 	vmovups	%xmm0, -16 * SIZE(B)

  889. 	vmovups	%xmm1, -14 * SIZE(B)

  890. 

  891. 	addq	$4 * SIZE, AO1

  892. 	subq	$-4 * SIZE, B

  893. 	ALIGN_4

  894. 

  895. .L43:

  896. 	testq	$2, MM

  897. 	jle	.L44

  898. 

  899. 	vmovups	0 * SIZE(AO1),      %xmm0

  900. 

  901. 	vmovups	%xmm0,  -16 * SIZE(B)

  902. 

  903. 	addq	$2 * SIZE, AO1

  904. 	subq	$-2 * SIZE, B

  905. 	ALIGN_4

  906. 

  907. .L44:

  908. 	testq	$1, MM

  909. 	jle	.L999

  910. 

  911. 	vmovsd	0 * SIZE(AO1),      %xmm0

  912. 

  913. 	vmovlpd	%xmm0,  -16 * SIZE(B)

  914. 	jmp	.L999

  915. 	ALIGN_4

  916. 

  917. .L45:

  918. 	vmovups	-1 * SIZE(AO1),      %xmm0

  919. 

  920. 	movq	M, I

  921. 	sarq	$3, I

  922. 	jle	.L46

  923. 	ALIGN_4

  924. 

  925. .L46:

  926. 

  927. 	vmovups	1 * SIZE(AO1),      %xmm1

  928. 	vmovups	3 * SIZE(AO1),      %xmm2

  929. 	vmovups	5 * SIZE(AO1),      %xmm3

  930. 	vmovups	7 * SIZE(AO1),      %xmm4

  931. 

  932. 	vshufpd	$1, %xmm1, %xmm0 , %xmm0

  933. 	vshufpd	$1, %xmm2, %xmm1 , %xmm1

  934. 	vshufpd	$1, %xmm3, %xmm2 , %xmm2

  935. 	vshufpd	$1, %xmm4, %xmm3 , %xmm3

  936. 

  937. 

  938. 	vmovups	%xmm0,  -16 * SIZE(B)

  939. 	vmovups	%xmm1,  -14 * SIZE(B)

  940. 	vmovups	%xmm2,  -12 * SIZE(B)

  941. 	vmovups	%xmm3,  -10 * SIZE(B)

  942. 

  943. 	vmovups	%xmm4, %xmm0

  944. 

  945. 	addq	$8 * SIZE, AO1

  946. 	subq	$-8 * SIZE, B

  947. 

  948. 	decq	I

  949. 	jg	.L46

  950. 	ALIGN_4

  951. 

  952. .L47:

  953. 	testq	$4, M

  954. 	jle	.L48

  955. 

  956. 	vmovups	1 * SIZE(AO1),      %xmm1

  957. 	vmovups	3 * SIZE(AO1),      %xmm2

  958. 

  959. 	vshufpd	$1, %xmm1, %xmm0 , %xmm0

  960. 	vshufpd	$1, %xmm2, %xmm1 , %xmm1

  961. 

  962. 	vmovups	%xmm0,  -16 * SIZE(B)

  963. 	vmovups	%xmm1,  -14 * SIZE(B)

  964. 

  965. 	vmovups	%xmm2, %xmm0

  966. 

  967. 	addq	$4 * SIZE, AO1

  968. 	addq	$4 * SIZE, B

  969. 	ALIGN_4

  970. 

  971. .L48:

  972. 	testq	$2, M

  973. 	jle	.L49

  974. 

  975. 	vmovups	1 * SIZE(AO1),      %xmm1

  976. 

  977. 	vshufpd	$1, %xmm1, %xmm0 , %xmm0

  978. 

  979. 	vmovups	%xmm0,  -16 * SIZE(B)

  980. 

  981. 	vmovups	%xmm1, %xmm0

  982. 

  983. 	addq	$2 * SIZE, AO1

  984. 	subq	$-2 * SIZE, B

  985. 	ALIGN_4

  986. 

  987. .L49:

  988. 	testq	$1, M

  989. 	jle	.L999

  990. 

  991. 	vshufpd	$1, %xmm0, %xmm0 , %xmm0

  992. 

  993. 	vmovlpd	%xmm0,  -16 * SIZE(B)

  994. 	jmp	.L999

  995. 	ALIGN_4

  996. 

  997. .L50:

  998. 	movq	N,  J

  999. 	sarq	$3, J

  1000. 	jle	.L60

  1001. 	ALIGN_4

  1002. 

  1003. .L51:

  1004. 	movq	A, AO1

  1005. 	leaq	(A, LDA, 4), AO2

  1006. 	leaq	(A, LDA, 8), A

  1007. 

  1008. 	testq	$SIZE, A

  1009. 	je	.L52

  1010. 

  1011. 	vmovsd	0 * SIZE(AO1),         %xmm0

  1012. 	vmovsd	0 * SIZE(AO1, LDA),    %xmm1

  1013. 	vmovsd	0 * SIZE(AO1, LDA, 2), %xmm2

  1014. 	vmovsd	0 * SIZE(AO1, LDA3),   %xmm3

  1015. 	vmovsd	0 * SIZE(AO2),         %xmm4

  1016. 	vmovsd	0 * SIZE(AO2, LDA),    %xmm5

  1017. 	vmovsd	0 * SIZE(AO2, LDA, 2), %xmm6

  1018. 	vmovsd	0 * SIZE(AO2, LDA3),   %xmm7

  1019. 

  1020. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  1021. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  1022. 	vunpcklpd %xmm5, %xmm4 , %xmm4

  1023. 	vunpcklpd %xmm7, %xmm6 , %xmm6

  1024. 

  1025. 	vmovups	%xmm0,  -16 * SIZE(B)

  1026. 	vmovups	%xmm2,  -14 * SIZE(B)

  1027. 	vmovups	%xmm4,  -12 * SIZE(B)

  1028. 	vmovups	%xmm6,  -10 * SIZE(B)

  1029. 

  1030. 	addq	$1 * SIZE, AO1

  1031. 	addq	$1 * SIZE, AO2

  1032. 	subq	$-8 * SIZE, B

  1033. 	ALIGN_3

  1034. 

  1035. .L52:

  1036. 	vmovups	-1 * SIZE(AO1, LDA),  %xmm9

  1037. 	vmovups	-1 * SIZE(AO1, LDA3), %xmm10

  1038. 	vmovups	-1 * SIZE(AO2, LDA),  %xmm11

  1039. 	vmovups	-1 * SIZE(AO2, LDA3), %xmm12

  1040. 

  1041. 	movq	MM, I

  1042. 	sarq	$3, I

  1043. 	jle	.L54

  1044. 	ALIGN_4

  1045. 

  1046. .L53:

  1047. 

  1048. 	vmovups	0 * SIZE(AO1),         %xmm0

  1049. 	vmovups	1 * SIZE(AO1, LDA),    %xmm1

  1050. 	vmovups	0 * SIZE(AO1, LDA, 2), %xmm2

  1051. 	vmovups	1 * SIZE(AO1, LDA3),   %xmm3

  1052. 

  1053. 

  1054. 	vmovups	0 * SIZE(AO2),         %xmm4

  1055. 	vmovups	1 * SIZE(AO2, LDA),    %xmm5

  1056. 	vmovups	0 * SIZE(AO2, LDA, 2), %xmm6

  1057. 	vmovups	1 * SIZE(AO2, LDA3),   %xmm7

  1058. 

  1059. 	vmovsd %xmm0, %xmm9 , %xmm9

  1060. 	vmovsd %xmm2, %xmm10, %xmm10

  1061. 	vmovsd %xmm4, %xmm11, %xmm11

  1062. 	vmovsd %xmm6, %xmm12, %xmm12

  1063. 

  1064. 

  1065. 	vmovups	%xmm9,  -16 * SIZE(B)

  1066. 	vmovups	%xmm10, -14 * SIZE(B)

  1067. 	vmovups	%xmm11, -12 * SIZE(B)

  1068. 	vmovups	%xmm12, -10 * SIZE(B)

  1069. 

  1070. 	vshufpd	 $1, %xmm1, %xmm0 , %xmm0

  1071. 	vshufpd	 $1, %xmm3, %xmm2 , %xmm2

  1072. 	vshufpd	 $1, %xmm5, %xmm4 , %xmm4

  1073. 	vshufpd	 $1, %xmm7, %xmm6 , %xmm6

  1074. 

  1075. 

  1076. 	vmovups	%xmm0,   -8 * SIZE(B)

  1077. 	vmovups	%xmm2,   -6 * SIZE(B)

  1078. 	vmovups	%xmm4,   -4 * SIZE(B)

  1079. 	vmovups	%xmm6,   -2 * SIZE(B)

  1080. 

  1081. 

  1082. 	vmovups	2 * SIZE(AO1),         %xmm0

  1083. 	vmovups	3 * SIZE(AO1, LDA),    %xmm9

  1084. 	vmovups	2 * SIZE(AO1, LDA, 2), %xmm2

  1085. 	vmovups	3 * SIZE(AO1, LDA3),   %xmm10

  1086. 

  1087. 

  1088. 	vmovups	2 * SIZE(AO2),         %xmm4

  1089. 	vmovups	3 * SIZE(AO2, LDA),    %xmm11

  1090. 	vmovups	2 * SIZE(AO2, LDA, 2), %xmm6

  1091. 	vmovups	3 * SIZE(AO2, LDA3),   %xmm12

  1092. 

  1093. 	vmovsd	 %xmm0, %xmm1 , %xmm1

  1094. 	vmovsd	 %xmm2, %xmm3 , %xmm3

  1095. 	vmovsd	 %xmm4, %xmm5 , %xmm5

  1096. 	vmovsd	 %xmm6, %xmm7 , %xmm7

  1097. 

  1098. 

  1099. 	vmovups	%xmm1,    0 * SIZE(B)

  1100. 	vmovups	%xmm3,    2 * SIZE(B)

  1101. 	vmovups	%xmm5,    4 * SIZE(B)

  1102. 	vmovups	%xmm7,    6 * SIZE(B)

  1103. 

  1104. 	vshufpd	 $1, %xmm9,  %xmm0 , %xmm0

  1105. 	vshufpd	 $1, %xmm10, %xmm2 , %xmm2

  1106. 	vshufpd	 $1, %xmm11, %xmm4 , %xmm4

  1107. 	vshufpd	 $1, %xmm12, %xmm6 , %xmm6

  1108. 

  1109. 

  1110. 	vmovups	%xmm0,    8 * SIZE(B)

  1111. 	vmovups	%xmm2,   10 * SIZE(B)

  1112. 	vmovups	%xmm4,   12 * SIZE(B)

  1113. 	vmovups	%xmm6,   14 * SIZE(B)

  1114. 

  1115. 

  1116. 	vmovups	4 * SIZE(AO1),         %xmm0

  1117. 	vmovups	5 * SIZE(AO1, LDA),    %xmm1

  1118. 	vmovups	4 * SIZE(AO1, LDA, 2), %xmm2

  1119. 	vmovups	5 * SIZE(AO1, LDA3),   %xmm3

  1120. 

  1121. 

  1122. 	vmovups	4 * SIZE(AO2),         %xmm4

  1123. 	vmovups	5 * SIZE(AO2, LDA),    %xmm5

  1124. 	vmovups	4 * SIZE(AO2, LDA, 2), %xmm6

  1125. 	vmovups	5 * SIZE(AO2, LDA3),   %xmm7

  1126. 

  1127. 	vmovsd	 %xmm0, %xmm9 , %xmm9

  1128. 	vmovsd	 %xmm2, %xmm10, %xmm10

  1129. 	vmovsd	 %xmm4, %xmm11, %xmm11

  1130. 	vmovsd	 %xmm6, %xmm12, %xmm12

  1131. 

  1132. 

  1133. 	vmovups	%xmm9,   16 * SIZE(B)

  1134. 	vmovups	%xmm10,  18 * SIZE(B)

  1135. 	vmovups	%xmm11,  20 * SIZE(B)

  1136. 	vmovups	%xmm12,  22 * SIZE(B)

  1137. 

  1138. 	vshufpd	 $1, %xmm1, %xmm0 , %xmm0

  1139. 	vshufpd	 $1, %xmm3, %xmm2 , %xmm2

  1140. 	vshufpd	 $1, %xmm5, %xmm4 , %xmm4

  1141. 	vshufpd	 $1, %xmm7, %xmm6 , %xmm6

  1142. 

  1143. 

  1144. 	vmovups	%xmm0,   24 * SIZE(B)

  1145. 	vmovups	%xmm2,   26 * SIZE(B)

  1146. 	vmovups	%xmm4,   28 * SIZE(B)

  1147. 	vmovups	%xmm6,   30 * SIZE(B)

  1148. 

  1149. 

  1150. 	vmovups	6 * SIZE(AO1),         %xmm0

  1151. 	vmovups	7 * SIZE(AO1, LDA),    %xmm9

  1152. 	vmovups	6 * SIZE(AO1, LDA, 2), %xmm2

  1153. 	vmovups	7 * SIZE(AO1, LDA3),   %xmm10

  1154. 

  1155. 

  1156. 	vmovups	6 * SIZE(AO2),         %xmm4

  1157. 	vmovups	7 * SIZE(AO2, LDA),    %xmm11

  1158. 	vmovups	6 * SIZE(AO2, LDA, 2), %xmm6

  1159. 	vmovups	7 * SIZE(AO2, LDA3),   %xmm12

  1160. 

  1161. 	vmovsd	 %xmm0, %xmm1 , %xmm1

  1162. 	vmovsd	 %xmm2, %xmm3 , %xmm3

  1163. 	vmovsd	 %xmm4, %xmm5 , %xmm5

  1164. 	vmovsd	 %xmm6, %xmm7 , %xmm7

  1165. 

  1166. 

  1167. 	vmovups	%xmm1,   32 * SIZE(B)

  1168. 	vmovups	%xmm3,   34 * SIZE(B)

  1169. 	vmovups	%xmm5,   36 * SIZE(B)

  1170. 	vmovups	%xmm7,   38 * SIZE(B)

  1171. 

  1172. 	vshufpd	 $1, %xmm9,  %xmm0 , %xmm0

  1173. 	vshufpd	 $1, %xmm10, %xmm2 , %xmm2

  1174. 	vshufpd	 $1, %xmm11, %xmm4 , %xmm4

  1175. 	vshufpd	 $1, %xmm12, %xmm6 , %xmm6

  1176. 

  1177. 	vmovups	%xmm0,   40 * SIZE(B)

  1178. 	vmovups	%xmm2,   42 * SIZE(B)

  1179. 	vmovups	%xmm4,   44 * SIZE(B)

  1180. 	vmovups	%xmm6,   46 * SIZE(B)

  1181. 

  1182. 	addq	$8 * SIZE, AO1

  1183. 	addq	$8 * SIZE, AO2

  1184. 	subq	$-64 * SIZE, B

  1185. 

  1186. 	decq	I

  1187. 	jg	.L53

  1188. 	ALIGN_4

  1189. 

  1190. .L54:

  1191. 	testq	$4, MM

  1192. 	jle	.L56

  1193. 

  1194. 	vmovups	0 * SIZE(AO1),         %xmm0

  1195. 	vmovups	1 * SIZE(AO1, LDA),    %xmm1

  1196. 	vmovups	0 * SIZE(AO1, LDA, 2), %xmm2

  1197. 	vmovups	1 * SIZE(AO1, LDA3),   %xmm3

  1198. 	vmovups	0 * SIZE(AO2),         %xmm4

  1199. 	vmovups	1 * SIZE(AO2, LDA),    %xmm5

  1200. 	vmovups	0 * SIZE(AO2, LDA, 2), %xmm6

  1201. 	vmovups	1 * SIZE(AO2, LDA3),   %xmm7

  1202. 

  1203. 	vmovsd	 %xmm0, %xmm9 , %xmm9

  1204. 	vmovsd	 %xmm2, %xmm10, %xmm10

  1205. 	vmovsd	 %xmm4, %xmm11, %xmm11

  1206. 	vmovsd	 %xmm6, %xmm12, %xmm12

  1207. 

  1208. 	vmovups	%xmm9,  -16 * SIZE(B)

  1209. 	vmovups	%xmm10, -14 * SIZE(B)

  1210. 	vmovups	%xmm11, -12 * SIZE(B)

  1211. 	vmovups	%xmm12, -10 * SIZE(B)

  1212. 

  1213. 	vshufpd	 $1, %xmm1, %xmm0 , %xmm0

  1214. 	vshufpd	 $1, %xmm3, %xmm2 , %xmm2

  1215. 	vshufpd	 $1, %xmm5, %xmm4 , %xmm4

  1216. 	vshufpd	 $1, %xmm7, %xmm6 , %xmm6

  1217. 

  1218. 	vmovups	%xmm0,   -8 * SIZE(B)

  1219. 	vmovups	%xmm2,   -6 * SIZE(B)

  1220. 	vmovups	%xmm4,   -4 * SIZE(B)

  1221. 	vmovups	%xmm6,   -2 * SIZE(B)

  1222. 

  1223. 	vmovups	2 * SIZE(AO1),         %xmm0

  1224. 	vmovups	3 * SIZE(AO1, LDA),    %xmm9

  1225. 	vmovups	2 * SIZE(AO1, LDA, 2), %xmm2

  1226. 	vmovups	3 * SIZE(AO1, LDA3),   %xmm10

  1227. 	vmovups	2 * SIZE(AO2),         %xmm4

  1228. 	vmovups	3 * SIZE(AO2, LDA),    %xmm11

  1229. 	vmovups	2 * SIZE(AO2, LDA, 2), %xmm6

  1230. 	vmovups	3 * SIZE(AO2, LDA3),   %xmm12

  1231. 

  1232. 	vmovsd	 %xmm0, %xmm1 , %xmm1

  1233. 	vmovsd	 %xmm2, %xmm3 , %xmm3

  1234. 	vmovsd	 %xmm4, %xmm5 , %xmm5

  1235. 	vmovsd	 %xmm6, %xmm7 , %xmm7

  1236. 

  1237. 	vmovups	%xmm1,    0 * SIZE(B)

  1238. 	vmovups	%xmm3,    2 * SIZE(B)

  1239. 	vmovups	%xmm5,    4 * SIZE(B)

  1240. 	vmovups	%xmm7,    6 * SIZE(B)

  1241. 

  1242. 	vshufpd	 $1, %xmm9,  %xmm0 , %xmm0

  1243. 	vshufpd	 $1, %xmm10, %xmm2 , %xmm2

  1244. 	vshufpd	 $1, %xmm11, %xmm4 , %xmm4

  1245. 	vshufpd	 $1, %xmm12, %xmm6 , %xmm6

  1246. 

  1247. 	vmovups	%xmm0,    8 * SIZE(B)

  1248. 	vmovups	%xmm2,   10 * SIZE(B)

  1249. 	vmovups	%xmm4,   12 * SIZE(B)

  1250. 	vmovups	%xmm6,   14 * SIZE(B)

  1251. 

  1252. 	addq	$4 * SIZE, AO1

  1253. 	addq	$4 * SIZE, AO2

  1254. 	subq	$-32 * SIZE, B

  1255. 	ALIGN_4

  1256. 

  1257. .L56:

  1258. 	testq	$2, MM

  1259. 	jle	.L58

  1260. 

  1261. 	vmovups	0 * SIZE(AO1),         %xmm0

  1262. 	vmovups	1 * SIZE(AO1, LDA),    %xmm1

  1263. 	vmovups	0 * SIZE(AO1, LDA, 2), %xmm2

  1264. 	vmovups	1 * SIZE(AO1, LDA3),   %xmm3

  1265. 	vmovups	0 * SIZE(AO2),         %xmm4

  1266. 	vmovups	1 * SIZE(AO2, LDA),    %xmm5

  1267. 	vmovups	0 * SIZE(AO2, LDA, 2), %xmm6

  1268. 	vmovups	1 * SIZE(AO2, LDA3),   %xmm7

  1269. 

  1270. 	vmovsd	 %xmm0, %xmm9 , %xmm9

  1271. 	vmovsd	 %xmm2, %xmm10, %xmm10

  1272. 	vmovsd	 %xmm4, %xmm11, %xmm11

  1273. 	vmovsd	 %xmm6, %xmm12, %xmm12

  1274. 

  1275. 	vmovups	%xmm9,  -16 * SIZE(B)

  1276. 	vmovups	%xmm10, -14 * SIZE(B)

  1277. 	vmovups	%xmm11, -12 * SIZE(B)

  1278. 	vmovups	%xmm12, -10 * SIZE(B)

  1279. 

  1280. 	vshufpd	 $1, %xmm1, %xmm0 , %xmm0

  1281. 	vshufpd	 $1, %xmm3, %xmm2 , %xmm2

  1282. 	vshufpd	 $1, %xmm5, %xmm4 , %xmm4

  1283. 	vshufpd	 $1, %xmm7, %xmm6 , %xmm6

  1284. 

  1285. 	vmovups	%xmm0,   -8 * SIZE(B)

  1286. 	vmovups	%xmm2,   -6 * SIZE(B)

  1287. 	vmovups	%xmm4,   -4 * SIZE(B)

  1288. 	vmovups	%xmm6,   -2 * SIZE(B)

  1289. 

  1290. 	addq	$2 * SIZE, AO1

  1291. 	addq	$2 * SIZE, AO2

  1292. 	subq	$-16 * SIZE, B

  1293. 	ALIGN_4

  1294. 

  1295. .L58:

  1296. 	testq	$1, MM

  1297. 	jle	.L59

  1298. 

  1299. 	vmovsd	0 * SIZE(AO1),         %xmm0

  1300. 	vmovsd	0 * SIZE(AO1, LDA),    %xmm1

  1301. 	vmovsd	0 * SIZE(AO1, LDA, 2), %xmm2

  1302. 	vmovsd	0 * SIZE(AO1, LDA3),   %xmm3

  1303. 	vmovsd	0 * SIZE(AO2),         %xmm4

  1304. 	vmovsd	0 * SIZE(AO2, LDA),    %xmm5

  1305. 	vmovsd	0 * SIZE(AO2, LDA, 2), %xmm6

  1306. 	vmovsd	0 * SIZE(AO2, LDA3),   %xmm7

  1307. 

  1308. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  1309. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  1310. 	vunpcklpd %xmm5, %xmm4 , %xmm4

  1311. 	vunpcklpd %xmm7, %xmm6 , %xmm6

  1312. 

  1313. 	vmovups	%xmm0,  -16 * SIZE(B)

  1314. 	vmovups	%xmm2,  -14 * SIZE(B)

  1315. 	vmovups	%xmm4,  -12 * SIZE(B)

  1316. 	vmovups	%xmm6,  -10 * SIZE(B)

  1317. 

  1318. 	subq	$-8 * SIZE, B

  1319. 	ALIGN_4

  1320. 

  1321. .L59:

  1322. 	decq	J

  1323. 	jg	.L51

  1324. 	ALIGN_4

  1325. 

  1326. .L60:

  1327. 	testq	$4, N

  1328. 	jle	.L70

  1329. 

  1330. 	movq	A, AO1

  1331. 	leaq	(A, LDA, 2), AO2

  1332. 	leaq	(A, LDA, 4), A

  1333. 

  1334. 	testq	$SIZE, A

  1335. 	je	.L62

  1336. 

  1337. 	vmovsd	0 * SIZE(AO1),      %xmm0

  1338. 	vmovsd	0 * SIZE(AO1, LDA), %xmm1

  1339. 	vmovsd	0 * SIZE(AO2),      %xmm2

  1340. 	vmovsd	0 * SIZE(AO2, LDA), %xmm3

  1341. 

  1342. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  1343. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  1344. 

  1345. 	vmovups	%xmm0,  -16 * SIZE(B)

  1346. 	vmovups	%xmm2,  -14 * SIZE(B)

  1347. 

  1348. 	addq	$1 * SIZE, AO1

  1349. 	addq	$1 * SIZE, AO2

  1350. 	subq	$-4 * SIZE, B

  1351. 	ALIGN_3

  1352. 

  1353. .L62:

  1354. 	vmovups	-1 * SIZE(AO1, LDA), %xmm5

  1355. 	vmovups	-1 * SIZE(AO2, LDA), %xmm7

  1356. 

  1357. 	movq	MM, I

  1358. 	sarq	$3, I

  1359. 	jle	.L64

  1360. 	ALIGN_4

  1361. 

  1362. .L63:

  1363. 

  1364. 	vmovups	0 * SIZE(AO1),      %xmm0

  1365. 	vmovups	1 * SIZE(AO1, LDA), %xmm1

  1366. 	vmovups	0 * SIZE(AO2),      %xmm2

  1367. 	vmovups	1 * SIZE(AO2, LDA), %xmm3

  1368. 

  1369. 	vmovsd	 %xmm0, %xmm5 , %xmm5

  1370. 	vmovsd	 %xmm2, %xmm7 , %xmm7

  1371. 	vshufpd	 $1, %xmm1, %xmm0 , %xmm0

  1372. 	vshufpd	 $1, %xmm3, %xmm2 , %xmm2

  1373. 

  1374. 

  1375. 	vmovups	%xmm5,  -16 * SIZE(B)

  1376. 	vmovups	%xmm7,  -14 * SIZE(B)

  1377. 	vmovups	%xmm0,  -12 * SIZE(B)

  1378. 	vmovups	%xmm2,  -10 * SIZE(B)

  1379. 

  1380. 

  1381. 	vmovups	2 * SIZE(AO1),      %xmm0

  1382. 	vmovups	3 * SIZE(AO1, LDA), %xmm5

  1383. 	vmovups	2 * SIZE(AO2),      %xmm2

  1384. 	vmovups	3 * SIZE(AO2, LDA), %xmm7

  1385. 

  1386. 	vmovsd	 %xmm0, %xmm1 , %xmm1

  1387. 	vmovsd	 %xmm2, %xmm3 , %xmm3

  1388. 	vshufpd	 $1, %xmm5, %xmm0 , %xmm0

  1389. 	vshufpd	 $1, %xmm7, %xmm2 , %xmm2

  1390. 

  1391. 

  1392. 	vmovups	%xmm1,  -8 * SIZE(B)

  1393. 	vmovups	%xmm3,  -6 * SIZE(B)

  1394. 	vmovups	%xmm0,  -4 * SIZE(B)

  1395. 	vmovups	%xmm2,  -2 * SIZE(B)

  1396. 

  1397. 

  1398. 	vmovups	4 * SIZE(AO1),      %xmm0

  1399. 	vmovups	5 * SIZE(AO1, LDA), %xmm1

  1400. 	vmovups	4 * SIZE(AO2),      %xmm2

  1401. 	vmovups	5 * SIZE(AO2, LDA), %xmm3

  1402. 

  1403. 	vmovsd	 %xmm0, %xmm5 , %xmm5

  1404. 	vmovsd	 %xmm2, %xmm7 , %xmm7

  1405. 	vshufpd	 $1, %xmm1, %xmm0 , %xmm0

  1406. 	vshufpd	 $1, %xmm3, %xmm2 , %xmm2

  1407. 

  1408. 

  1409. 	vmovups	%xmm5,    0 * SIZE(B)

  1410. 	vmovups	%xmm7,    2 * SIZE(B)

  1411. 	vmovups	%xmm0,    4 * SIZE(B)

  1412. 	vmovups	%xmm2,    6 * SIZE(B)

  1413. 

  1414. 

  1415. 	vmovups	6 * SIZE(AO1),      %xmm0

  1416. 	vmovups	7 * SIZE(AO1, LDA), %xmm5

  1417. 	vmovups	6 * SIZE(AO2),      %xmm2

  1418. 	vmovups	7 * SIZE(AO2, LDA), %xmm7

  1419. 

  1420. 	vmovsd	 %xmm0, %xmm1 , %xmm1

  1421. 	vmovsd	 %xmm2, %xmm3 , %xmm3

  1422. 	vshufpd	 $1, %xmm5, %xmm0 , %xmm0

  1423. 	vshufpd	 $1, %xmm7, %xmm2 , %xmm2

  1424. 

  1425. 

  1426. 	vmovups	%xmm1,   8 * SIZE(B)

  1427. 	vmovups	%xmm3,  10 * SIZE(B)

  1428. 	vmovups	%xmm0,  12 * SIZE(B)

  1429. 	vmovups	%xmm2,  14 * SIZE(B)

  1430. 

  1431. 	addq	$8 * SIZE, AO1

  1432. 	addq	$8 * SIZE, AO2

  1433. 	subq	$-32 * SIZE, B

  1434. 

  1435. 	decq	I

  1436. 	jg	.L63

  1437. 	ALIGN_4

  1438. 

  1439. .L64:

  1440. 	testq	$4, MM

  1441. 	jle	.L66

  1442. 

  1443. 	vmovups	0 * SIZE(AO1),      %xmm0

  1444. 	vmovups	1 * SIZE(AO1, LDA), %xmm1

  1445. 	vmovups	0 * SIZE(AO2),      %xmm2

  1446. 	vmovups	1 * SIZE(AO2, LDA), %xmm3

  1447. 

  1448. 	vmovsd	 %xmm0, %xmm5 , %xmm5

  1449. 	vshufpd	 $1, %xmm1, %xmm0 , %xmm0

  1450. 	vmovsd	 %xmm2, %xmm7 , %xmm7

  1451. 	vshufpd	 $1, %xmm3, %xmm2 , %xmm2

  1452. 

  1453. 	vmovups	%xmm5,  -16 * SIZE(B)

  1454. 	vmovups	%xmm7,  -14 * SIZE(B)

  1455. 	vmovups	%xmm0,  -12 * SIZE(B)

  1456. 	vmovups	%xmm2,  -10 * SIZE(B)

  1457. 

  1458. 	vmovups	2 * SIZE(AO1),      %xmm0

  1459. 	vmovups	3 * SIZE(AO1, LDA), %xmm5

  1460. 	vmovups	2 * SIZE(AO2),      %xmm2

  1461. 	vmovups	3 * SIZE(AO2, LDA), %xmm7

  1462. 

  1463. 	vmovsd	 %xmm0, %xmm1 , %xmm1

  1464. 	vshufpd	 $1, %xmm5, %xmm0 , %xmm0

  1465. 	vmovsd	 %xmm2, %xmm3 , %xmm3

  1466. 	vshufpd	 $1, %xmm7, %xmm2 , %xmm2

  1467. 

  1468. 	vmovups	%xmm1,  -8 * SIZE(B)

  1469. 	vmovups	%xmm3,  -6 * SIZE(B)

  1470. 	vmovups	%xmm0,  -4 * SIZE(B)

  1471. 	vmovups	%xmm2,  -2 * SIZE(B)

  1472. 

  1473. 	addq	$4 * SIZE, AO1

  1474. 	addq	$4 * SIZE, AO2

  1475. 	subq	$-16 * SIZE, B

  1476. 	ALIGN_4

  1477. 

  1478. .L66:

  1479. 	testq	$2, MM

  1480. 	jle	.L68

  1481. 

  1482. 	vmovups	0 * SIZE(AO1),      %xmm0

  1483. 	vmovups	1 * SIZE(AO1, LDA), %xmm1

  1484. 	vmovups	0 * SIZE(AO2),      %xmm2

  1485. 	vmovups	1 * SIZE(AO2, LDA), %xmm3

  1486. 

  1487. 	vmovsd	 %xmm0, %xmm5 , %xmm5

  1488. 	vmovsd	 %xmm2, %xmm7 , %xmm7

  1489. 	vshufpd	 $1, %xmm1, %xmm0 , %xmm0

  1490. 	vshufpd	 $1, %xmm3, %xmm2 , %xmm2

  1491. 

  1492. 	vmovups	%xmm5,  -16 * SIZE(B)

  1493. 	vmovups	%xmm7,  -14 * SIZE(B)

  1494. 	vmovups	%xmm0,  -12 * SIZE(B)

  1495. 	vmovups	%xmm2,  -10 * SIZE(B)

  1496. 

  1497. 	addq	$2 * SIZE, AO1

  1498. 	addq	$2 * SIZE, AO2

  1499. 	subq	$-8 * SIZE, B

  1500. 	ALIGN_4

  1501. 

  1502. .L68:

  1503. 	testq	$1, MM

  1504. 	jle	.L70

  1505. 

  1506. 	vmovsd	0 * SIZE(AO1),      %xmm0

  1507. 	vmovsd	0 * SIZE(AO1, LDA), %xmm1

  1508. 	vmovsd	0 * SIZE(AO2),      %xmm2

  1509. 	vmovsd	0 * SIZE(AO2, LDA), %xmm3

  1510. 

  1511. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  1512. 	vunpcklpd %xmm3, %xmm2 , %xmm2

  1513. 

  1514. 	vmovups	%xmm0,  -16 * SIZE(B)

  1515. 	vmovups	%xmm2,  -14 * SIZE(B)

  1516. 	subq	$-4 * SIZE, B

  1517. 	ALIGN_4

  1518. 

  1519. .L70:

  1520. 	testq	$2, N

  1521. 	jle	.L80

  1522. 

  1523. 	movq	A, AO1

  1524. 	leaq	(A, LDA), AO2

  1525. 	leaq	(A, LDA, 2), A

  1526. 

  1527. 	testq	$SIZE, A

  1528. 	je	.L72

  1529. 

  1530. 	vmovsd	0 * SIZE(AO1), %xmm0

  1531. 	vmovsd	0 * SIZE(AO2), %xmm1

  1532. 

  1533. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  1534. 

  1535. 	vmovups	%xmm0,  -16 * SIZE(B)

  1536. 

  1537. 	addq	$1 * SIZE, AO1

  1538. 	addq	$1 * SIZE, AO2

  1539. 	subq	$-2 * SIZE, B

  1540. 	ALIGN_3

  1541. 

  1542. .L72:

  1543. 	vmovups	-1 * SIZE(AO2), %xmm5

  1544. 

  1545. 	movq	MM, I

  1546. 	sarq	$3, I

  1547. 	jle	.L74

  1548. 	ALIGN_4

  1549. 

  1550. .L73:

  1551. 

  1552. 	vmovups	0 * SIZE(AO1), %xmm0

  1553. 	vmovups	1 * SIZE(AO2), %xmm1

  1554. 	vmovups	2 * SIZE(AO1), %xmm2

  1555. 	vmovups	3 * SIZE(AO2), %xmm3

  1556. 

  1557. 	vmovsd	 %xmm0, %xmm5 , %xmm5

  1558. 	vshufpd	 $1, %xmm1, %xmm0 , %xmm0

  1559. 	vmovsd	 %xmm2, %xmm1 , %xmm1

  1560. 	vshufpd	 $1, %xmm3, %xmm2 , %xmm2

  1561. 

  1562. 

  1563. 	vmovups	%xmm5,  -16 * SIZE(B)

  1564. 	vmovups	%xmm0,  -14 * SIZE(B)

  1565. 	vmovups	%xmm1,  -12 * SIZE(B)

  1566. 	vmovups	%xmm2,  -10 * SIZE(B)

  1567. 

  1568. 

  1569. 	vmovups	4 * SIZE(AO1), %xmm0

  1570. 	vmovups	5 * SIZE(AO2), %xmm1

  1571. 	vmovups	6 * SIZE(AO1), %xmm2

  1572. 	vmovups	7 * SIZE(AO2), %xmm5

  1573. 

  1574. 	vmovsd	 %xmm0, %xmm3 , %xmm3

  1575. 	vshufpd	 $1, %xmm1, %xmm0 , %xmm0

  1576. 	vmovsd	 %xmm2, %xmm1 , %xmm1

  1577. 	vshufpd	 $1, %xmm5, %xmm2 , %xmm2

  1578. 

  1579. 

  1580. 	vmovups	%xmm3,   -8 * SIZE(B)

  1581. 	vmovups	%xmm0,   -6 * SIZE(B)

  1582. 	vmovups	%xmm1,   -4 * SIZE(B)

  1583. 	vmovups	%xmm2,   -2 * SIZE(B)

  1584. 

  1585. 	addq	$8 * SIZE, AO1

  1586. 	addq	$8 * SIZE, AO2

  1587. 	subq	$-16 * SIZE, B

  1588. 

  1589. 	decq	I

  1590. 	jg	.L73

  1591. 	ALIGN_4

  1592. 

  1593. .L74:

  1594. 	testq	$4, MM

  1595. 	jle	.L76

  1596. 

  1597. 	vmovups	0 * SIZE(AO1), %xmm0

  1598. 	vmovups	1 * SIZE(AO2), %xmm1

  1599. 	vmovups	2 * SIZE(AO1), %xmm2

  1600. 	vmovups	3 * SIZE(AO2), %xmm3

  1601. 

  1602. 	vmovsd	 %xmm0, %xmm5 , %xmm5

  1603. 	vshufpd	 $1, %xmm1, %xmm0 , %xmm0

  1604. 	vmovsd	 %xmm2, %xmm1 , %xmm1

  1605. 	vshufpd	 $1, %xmm3, %xmm2 , %xmm2

  1606. 

  1607. 	vmovups	%xmm5,  -16 * SIZE(B)

  1608. 	vmovups	%xmm0,  -14 * SIZE(B)

  1609. 	vmovups	%xmm1,  -12 * SIZE(B)

  1610. 	vmovups	%xmm2,  -10 * SIZE(B)

  1611. 

  1612. 	vmovups	%xmm3, %xmm5

  1613. 

  1614. 	addq	$4 * SIZE, AO1

  1615. 	addq	$4 * SIZE, AO2

  1616. 	subq	$-8 * SIZE, B

  1617. 	ALIGN_4

  1618. 

  1619. .L76:

  1620. 	testq	$2, MM

  1621. 	jle	.L78

  1622. 

  1623. 	vmovups	0 * SIZE(AO1), %xmm0

  1624. 	vmovups	1 * SIZE(AO2), %xmm1

  1625. 

  1626. 	vmovsd	 %xmm0, %xmm5 , %xmm5

  1627. 	vshufpd	 $1, %xmm1, %xmm0 , %xmm0

  1628. 

  1629. 	vmovups	%xmm5,  -16 * SIZE(B)

  1630. 	vmovups	%xmm0,  -14 * SIZE(B)

  1631. 

  1632. 	addq	$2 * SIZE, AO1

  1633. 	addq	$2 * SIZE, AO2

  1634. 	subq	$-4 * SIZE, B

  1635. 	ALIGN_4

  1636. 

  1637. .L78:

  1638. 	testq	$1, MM

  1639. 	jle	.L80

  1640. 

  1641. 	vmovsd	0 * SIZE(AO1),      %xmm0

  1642. 	vmovsd	0 * SIZE(AO2),      %xmm1

  1643. 

  1644. 	vunpcklpd %xmm1, %xmm0 , %xmm0

  1645. 

  1646. 	vmovups	%xmm0,  -16 * SIZE(B)

  1647. 	subq	$-2 * SIZE, B

  1648. 	ALIGN_4

  1649. 

  1650. .L80:

  1651. 	testq	$1, N

  1652. 	jle	.L999

  1653. 

  1654. 	movq	A, AO1

  1655. 

  1656. 	testq	$SIZE, A

  1657. 	jne	.L85

  1658. 

  1659. 	movq	MM, I

  1660. 	sarq	$3, I

  1661. 	jle	.L82

  1662. 	ALIGN_4

  1663. 

  1664. .L81:

  1665. 

  1666. 	vmovups	0 * SIZE(AO1),      %xmm0

  1667. 	vmovups	2 * SIZE(AO1),      %xmm2

  1668. 	vmovups	4 * SIZE(AO1),      %xmm4

  1669. 	vmovups	6 * SIZE(AO1),      %xmm6

  1670. 

  1671. 

  1672. 	vmovups	%xmm0,  -16 * SIZE(B)

  1673. 	vmovups	%xmm2,  -14 * SIZE(B)

  1674. 	vmovups	%xmm4,  -12 * SIZE(B)

  1675. 	vmovups	%xmm6,  -10 * SIZE(B)

  1676. 

  1677. 	addq	$8 * SIZE, AO1

  1678. 	subq	$-8 * SIZE, B

  1679. 

  1680. 	decq	I

  1681. 	jg	.L81

  1682. 	ALIGN_4

  1683. 

  1684. .L82:

  1685. 	testq	$4, MM

  1686. 	jle	.L83

  1687. 

  1688. 	vmovups	0 * SIZE(AO1),      %xmm0

  1689. 	vmovups	2 * SIZE(AO1),      %xmm2

  1690. 

  1691. 	vmovups	%xmm0, -16 * SIZE(B)

  1692. 	vmovups	%xmm2, -14 * SIZE(B)

  1693. 

  1694. 	addq	$4 * SIZE, AO1

  1695. 	subq	$-4 * SIZE, B

  1696. 	ALIGN_4

  1697. 

  1698. .L83:

  1699. 	testq	$2, MM

  1700. 	jle	.L84

  1701. 

  1702. 	vmovups	0 * SIZE(AO1),      %xmm0

  1703. 

  1704. 	vmovups	%xmm0,  -16 * SIZE(B)

  1705. 

  1706. 	addq	$2 * SIZE, AO1

  1707. 	subq	$-2 * SIZE, B

  1708. 	ALIGN_4

  1709. 

  1710. .L84:

  1711. 	testq	$1, MM

  1712. 	jle	.L999

  1713. 

  1714. 	vmovsd	0 * SIZE(AO1),      %xmm0

  1715. 

  1716. 	vmovlpd	%xmm0,  -16 * SIZE(B)

  1717. 	jmp	.L999

  1718. 	ALIGN_4

  1719. 

  1720. .L85:

  1721. 	vmovups	-1 * SIZE(AO1),      %xmm0

  1722. 

  1723. 	movq	M, I

  1724. 	sarq	$3, I

  1725. 	jle	.L86

  1726. 	ALIGN_4

  1727. 

  1728. .L86:

  1729. 

  1730. 	vmovups	1 * SIZE(AO1),      %xmm1

  1731. 	vmovups	3 * SIZE(AO1),      %xmm2

  1732. 	vmovups	5 * SIZE(AO1),      %xmm3

  1733. 	vmovups	7 * SIZE(AO1),      %xmm4

  1734. 

  1735. 	vshufpd	$1, %xmm1, %xmm0 , %xmm0

  1736. 	vshufpd	$1, %xmm2, %xmm1 , %xmm1

  1737. 	vshufpd	$1, %xmm3, %xmm2 , %xmm2

  1738. 	vshufpd	$1, %xmm4, %xmm3 , %xmm3

  1739. 

  1740. 

  1741. 	vmovups	%xmm0,  -16 * SIZE(B)

  1742. 	vmovups	%xmm1,  -14 * SIZE(B)

  1743. 	vmovups	%xmm2,  -12 * SIZE(B)

  1744. 	vmovups	%xmm3,  -10 * SIZE(B)

  1745. 

  1746. 	vmovups	%xmm4, %xmm0

  1747. 

  1748. 	addq	$8 * SIZE, AO1

  1749. 	subq	$-8 * SIZE, B

  1750. 

  1751. 	decq	I

  1752. 	jg	.L86

  1753. 	ALIGN_4

  1754. 

  1755. .L87:

  1756. 	testq	$4, M

  1757. 	jle	.L88

  1758. 

  1759. 	vmovups	1 * SIZE(AO1),      %xmm1

  1760. 	vmovups	3 * SIZE(AO1),      %xmm2

  1761. 

  1762. 	vshufpd	$1, %xmm1, %xmm0 , %xmm0

  1763. 	vshufpd	$1, %xmm2, %xmm1 , %xmm1

  1764. 

  1765. 	vmovups	%xmm0,  -16 * SIZE(B)

  1766. 	vmovups	%xmm1,  -14 * SIZE(B)

  1767. 

  1768. 	vmovups	%xmm2, %xmm0

  1769. 

  1770. 	addq	$4 * SIZE, AO1

  1771. 	addq	$4 * SIZE, B

  1772. 	ALIGN_4

  1773. 

  1774. .L88:

  1775. 	testq	$2, M

  1776. 	jle	.L89

  1777. 

  1778. 	vmovups	1 * SIZE(AO1),      %xmm1

  1779. 

  1780. 	vshufpd	$1, %xmm1, %xmm0 , %xmm0

  1781. 

  1782. 	vmovups	%xmm0,  -16 * SIZE(B)

  1783. 

  1784. 	vmovups	%xmm1, %xmm0

  1785. 

  1786. 	addq	$2 * SIZE, AO1

  1787. 	subq	$-2 * SIZE, B

  1788. 	ALIGN_4

  1789. 

  1790. .L89:

  1791. 	testq	$1, M

  1792. 	jle	.L999

  1793. 

  1794. 	vshufpd	$1, %xmm0, %xmm0 , %xmm0

  1795. 

  1796. 	vmovlpd	%xmm0,  -16 * SIZE(B)

  1797. 	ALIGN_4

  1798. 

  1799. .L999:

  1800. #ifdef WINDOWS_ABI

  1801. 	vmovups	  0(%rsp), %xmm6

  1802. 	vmovups	 16(%rsp), %xmm7

  1803. 	vmovups	 32(%rsp), %xmm8

  1804. 	vmovups	 48(%rsp), %xmm9

  1805. 	vmovups	 64(%rsp), %xmm10

  1806. 	vmovups	 80(%rsp), %xmm11

  1807. 	vmovups	 96(%rsp), %xmm12

  1808. 

  1809. 	addq	$STACKSIZE, %rsp

  1810. #endif

  1811. 

  1812. 	popq	%r12

  1813. 	popq	%r13

  1814. 

  1815. #ifdef WINDOWS_ABI

  1816. 	popq	%r14

  1817. 	popq	%r15

  1818. #endif

  1819. 	ret

  1820. 

  1821. 	EPILOGUE