OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: b329e45288
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from 'b329e45288'
${ noResults }
OpenBLAS/kernel/x86_64/cgemv_t.S

4423 lines
80 kB
Raw Blame History 

  1. /*********************************************************************/

  2. /* Copyright 2009, 2010 The University of Texas at Austin.           */

  3. /* All rights reserved.                                              */

  4. /*                                                                   */

  5. /* Redistribution and use in source and binary forms, with or        */

  6. /* without modification, are permitted provided that the following   */

  7. /* conditions are met:                                               */

  8. /*                                                                   */

  9. /*   1. Redistributions of source code must retain the above         */

  10. /*      copyright notice, this list of conditions and the following  */

  11. /*      disclaimer.                                                  */

  12. /*                                                                   */

  13. /*   2. Redistributions in binary form must reproduce the above      */

  14. /*      copyright notice, this list of conditions and the following  */

  15. /*      disclaimer in the documentation and/or other materials       */

  16. /*      provided with the distribution.                              */

  17. /*                                                                   */

  18. /*    THIS  SOFTWARE IS PROVIDED  BY THE  UNIVERSITY OF  TEXAS AT    */

  19. /*    AUSTIN  ``AS IS''  AND ANY  EXPRESS OR  IMPLIED WARRANTIES,    */

  20. /*    INCLUDING, BUT  NOT LIMITED  TO, THE IMPLIED  WARRANTIES OF    */

  21. /*    MERCHANTABILITY  AND FITNESS FOR  A PARTICULAR  PURPOSE ARE    */

  22. /*    DISCLAIMED.  IN  NO EVENT SHALL THE UNIVERSITY  OF TEXAS AT    */

  23. /*    AUSTIN OR CONTRIBUTORS BE  LIABLE FOR ANY DIRECT, INDIRECT,    */

  24. /*    INCIDENTAL,  SPECIAL, EXEMPLARY,  OR  CONSEQUENTIAL DAMAGES    */

  25. /*    (INCLUDING, BUT  NOT LIMITED TO,  PROCUREMENT OF SUBSTITUTE    */

  26. /*    GOODS  OR  SERVICES; LOSS  OF  USE,  DATA,  OR PROFITS;  OR    */

  27. /*    BUSINESS INTERRUPTION) HOWEVER CAUSED  AND ON ANY THEORY OF    */

  28. /*    LIABILITY, WHETHER  IN CONTRACT, STRICT  LIABILITY, OR TORT    */

  29. /*    (INCLUDING NEGLIGENCE OR OTHERWISE)  ARISING IN ANY WAY OUT    */

  30. /*    OF  THE  USE OF  THIS  SOFTWARE,  EVEN  IF ADVISED  OF  THE    */

  31. /*    POSSIBILITY OF SUCH DAMAGE.                                    */

  32. /*                                                                   */

  33. /* The views and conclusions contained in the software and           */

  34. /* documentation are those of the authors and should not be          */

  35. /* interpreted as representing official policies, either expressed   */

  36. /* or implied, of The University of Texas at Austin.                 */

  37. /*********************************************************************/

  38. 

  39. #define ASSEMBLER

  40. #include "common.h"

  41. #include "l2param.h"

  42. 

  43. #if GEMV_UNROLL < 2

  44. #undef  GEMV_UNROLL

  45. #define GEMV_UNROLL 2

  46. #endif

  47. 

  48. #ifndef WINDOWS_ABI

  49. 

  50. #define STACKSIZE	128

  51. 

  52. #define OLD_INCX	 8 + STACKSIZE(%rsp)

  53. #define OLD_Y		16 + STACKSIZE(%rsp)

  54. #define OLD_INCY	24 + STACKSIZE(%rsp)

  55. #define OLD_BUFFER	32 + STACKSIZE(%rsp)

  56. #define ALPHA		48	      (%rsp)

  57. #define MMM	64(%rsp)

  58. #define NN	72(%rsp)

  59. #define AA	80(%rsp)

  60. #define LDAX	88(%rsp)

  61. #define ALPHAR	96(%rsp)

  62. #define ALPHAI	104(%rsp)

  63. 

  64. #define M	  %rdi

  65. #define N	  %rsi

  66. #define A	  %rcx

  67. #define LDA	  %r8

  68. #define X	  %r9

  69. #define INCX	  %rdx

  70. #define Y	  %rbp

  71. #define INCY	  %r10

  72. 

  73. #else

  74. 

  75. #define STACKSIZE	288

  76. 

  77. #define OLD_ALPHA_I	 40 + STACKSIZE(%rsp)

  78. #define OLD_A		 48 + STACKSIZE(%rsp)

  79. #define OLD_LDA		 56 + STACKSIZE(%rsp)

  80. #define OLD_X		 64 + STACKSIZE(%rsp)

  81. #define OLD_INCX	 72 + STACKSIZE(%rsp)

  82. #define OLD_Y		 80 + STACKSIZE(%rsp)

  83. #define OLD_INCY	 88 + STACKSIZE(%rsp)

  84. #define OLD_BUFFER	 96 + STACKSIZE(%rsp)

  85. #define ALPHA		224	       (%rsp)

  86. 

  87. #define MMM	232(%rsp)

  88. #define NN	240(%rsp)

  89. #define AA	248(%rsp)

  90. #define LDAX 256(%rsp)

  91. #define ALPHAR	264(%rsp)

  92. #define ALPHAI	272(%rsp)

  93. 

  94. #define M	  %rcx

  95. #define N	  %rdx

  96. #define A	  %r8

  97. #define LDA	  %r9

  98. #define X	  %rdi

  99. #define INCX	  %rsi

  100. #define Y	  %rbp

  101. #define INCY	  %r10

  102. 

  103. #endif

  104. 

  105. #define I	%rax

  106. #define A1	%r11

  107. #define A2	%r12

  108. 

  109. #define X1	%rbx

  110. #define Y1	%r13

  111. #define BUFFER	%r14

  112. 

  113. #ifdef ALIGNED_ACCESS

  114. #define MM	%r15

  115. #else

  116. #define MM	M

  117. #endif

  118. 

  119. #undef SUBPS

  120. 

  121. #ifndef CONJ

  122. #define SUBPS	   addps

  123. #else

  124. #define SUBPS	   subps

  125. #endif

  126. 

  127. 	PROLOGUE

  128. 	PROFCODE

  129. 

  130. 	subq	$STACKSIZE, %rsp

  131. 	movq	%rbx,  0(%rsp)

  132. 	movq	%rbp,  8(%rsp)

  133. 	movq	%r12, 16(%rsp)

  134. 	movq	%r13, 24(%rsp)

  135. 	movq	%r14, 32(%rsp)

  136. 	movq	%r15, 40(%rsp)

  137. 

  138. #ifdef WINDOWS_ABI

  139. 	movq	%rdi,    48(%rsp)

  140. 	movq	%rsi,    56(%rsp)

  141. 	movups	%xmm6,   64(%rsp)

  142. 	movups	%xmm7,   80(%rsp)

  143. 	movups	%xmm8,   96(%rsp)

  144. 	movups	%xmm9,  112(%rsp)

  145. 	movups	%xmm10, 128(%rsp)

  146. 	movups	%xmm11, 144(%rsp)

  147. 	movups	%xmm12, 160(%rsp)

  148. 	movups	%xmm13, 176(%rsp)

  149. 	movups	%xmm14, 192(%rsp)

  150. 	movups	%xmm15, 208(%rsp)

  151. 

  152. 	movq	OLD_A,     A

  153. 	movq	OLD_LDA,   LDA

  154. 	movq	OLD_X,     X

  155. 

  156. 	movaps	%xmm3,       %xmm0

  157. 	movss	OLD_ALPHA_I, %xmm1

  158. #endif

  159. 

  160. 	movq	A, AA

  161. 	movq	N, NN

  162. 	movq	M, MMM

  163. 	movq	LDA, LDAX

  164. 	movss	%xmm0,ALPHAR

  165. 	movss	%xmm1,ALPHAI

  166. 

  167. .L0t:

  168. 	xorq	I,I

  169. 	addq	$1,I

  170. 	salq	$20,I

  171. 	subq	I,MMM

  172. 	movq	I,M

  173. 	movss	ALPHAR,%xmm0

  174. 	movss	ALPHAI,%xmm1

  175. 	jge	.L00t

  176. 

  177. 	movq	MMM,M

  178. 	addq	I,M

  179. 	jle	.L999x

  180. 

  181. .L00t:

  182. 	movq	AA, A

  183. 	movq	NN, N

  184. 	movq	LDAX, LDA

  185. 

  186. 	movq	OLD_INCX,  INCX

  187. 	movq	OLD_Y,     Y

  188. 	movq	OLD_INCY,  INCY

  189. 	movq	OLD_BUFFER, BUFFER

  190. 

  191. 	salq	$ZBASE_SHIFT,   LDA

  192. 	salq	$ZBASE_SHIFT,   INCX

  193. 	salq	$ZBASE_SHIFT,   INCY

  194. 

  195. 	unpcklps %xmm1, %xmm0

  196. 

  197. 	movlps	 %xmm0, ALPHA

  198. 

  199. 	testq	M, M

  200. 	jle	.L999

  201. 	testq	N, N

  202. 	jle	.L999

  203. 

  204. 	subq	$-32 * SIZE, A

  205. 

  206. 	movq	BUFFER, X1

  207. 

  208. #ifdef ALIGNED_ACCESS

  209. 	movq	M, MM

  210. 	movq	A, %rax

  211. 	andq	$4 * SIZE - 1, %rax

  212. 	cmpq	$2 * SIZE, %rax

  213. 

  214. 	jl	.L0X

  215. 

  216. 	movsd	(X), %xmm0

  217. 	addq	INCX, X

  218. 	movlps	%xmm0, 2 * SIZE(X1)

  219. 

  220. 	addq	$2 * SIZE, BUFFER

  221.  	addq	$4 * SIZE, X1

  222. 	decq	MM

  223. 

  224. .L0X:

  225. #endif

  226. 

  227. 	movq	MM, I

  228. 	sarq	$3, I

  229. 	jle	.L05

  230. 	ALIGN_4

  231. 

  232. .L02:

  233. 	movsd	(X), %xmm0

  234. 	addq	INCX, X

  235. 	movhps	(X), %xmm0

  236. 	addq	INCX, X

  237. 

  238. 	movsd	(X), %xmm1

  239. 	addq	INCX, X

  240. 	movhps	(X), %xmm1

  241. 	addq	INCX, X

  242. 

  243. 	movsd	(X), %xmm2

  244. 	addq	INCX, X

  245. 	movhps	(X), %xmm2

  246. 	addq	INCX, X

  247. 

  248. 	movsd	(X), %xmm3

  249. 	addq	INCX, X

  250. 	movhps	(X), %xmm3

  251. 	addq	INCX, X

  252. 

  253. 	movaps	%xmm0,  0 * SIZE(X1)

  254. 	movaps	%xmm1,  4 * SIZE(X1)

  255. 	movaps	%xmm2,  8 * SIZE(X1)

  256. 	movaps	%xmm3, 12 * SIZE(X1)

  257. 

  258. 	addq	$16 * SIZE, X1

  259. 	decq	I

  260. 	jg	.L02

  261. 	ALIGN_4

  262. 

  263. .L05:

  264. 	movq	MM, I

  265. 	andq	$7, I

  266. 	jle	.L10

  267. 	ALIGN_2

  268. 

  269. .L06:

  270. 	movsd	(X), %xmm0

  271. 	addq	INCX, X

  272. 	movlps	%xmm0, 0 * SIZE(X1)

  273. 	addq	$2 * SIZE, X1

  274. 	decq	I

  275. 	jg	.L06

  276. 	ALIGN_4

  277. 

  278. .L10:

  279. 	movq	Y, Y1

  280. 

  281. #ifdef ALIGNED_ACCESS

  282. 	testq	$SIZE, A

  283. 	jne	.L200

  284. 

  285. 	testq	$2 * SIZE, LDA

  286. 	jne	.L100

  287. #endif

  288. 

  289. #if GEMV_UNROLL >= 4

  290. 	cmpq	$4, N

  291. 	jl	.L20

  292. 	ALIGN_3

  293. 

  294. .L11:

  295. 	subq	$4, N

  296. 

  297. 	leaq	32 * SIZE(BUFFER), X1

  298. 

  299. 	movq	A, A1

  300. 	leaq	(A1, LDA, 2), A2

  301. 	leaq	(A1, LDA, 4), A

  302. 

  303. 	xorps	%xmm0, %xmm0

  304. 	xorps	%xmm1, %xmm1

  305. 	xorps	%xmm2, %xmm2

  306. 	xorps	%xmm3, %xmm3

  307. 	xorps	%xmm4, %xmm4

  308. 	xorps	%xmm5, %xmm5

  309. 	xorps	%xmm6, %xmm6

  310. 	xorps	%xmm7, %xmm7

  311. 

  312. #ifdef ALIGNED_ACCESS

  313. 	cmpq	M, MM

  314. 	je	.L1X

  315. 

  316. #ifdef movsd

  317. 	xorps	%xmm8, %xmm8

  318. #endif

  319. 	movsd	-32 * SIZE(A1), %xmm8

  320. #ifdef movsd

  321. 	xorps	%xmm9, %xmm9

  322. #endif

  323. 	movsd	-32 * SIZE(A1, LDA), %xmm9

  324. #ifdef movsd

  325. 	xorps	%xmm10, %xmm10

  326. #endif

  327. 	movsd	-32 * SIZE(A2), %xmm10

  328. #ifdef movsd

  329. 	xorps	%xmm11, %xmm11

  330. #endif

  331. 	movsd	-32 * SIZE(A2, LDA), %xmm11

  332. 

  333. #ifdef movsd

  334. 	xorps	%xmm12, %xmm12

  335. #endif

  336. 	movsd	-32 * SIZE(X1), %xmm12

  337. 

  338. 	pshufd	$0xb1,  %xmm8, %xmm14

  339. 	mulps	%xmm12, %xmm8

  340. 	addps	%xmm8,  %xmm0

  341. 	pshufd	$0xb1,  %xmm9, %xmm15

  342. 	mulps	%xmm12, %xmm9

  343. 	addps	%xmm9,  %xmm2

  344. 

  345. 	mulps	%xmm12, %xmm14

  346. 	SUBPS	%xmm14, %xmm1

  347. 	mulps	%xmm12, %xmm15

  348. 	SUBPS	%xmm15, %xmm3

  349. 

  350. 	pshufd	$0xb1,  %xmm10, %xmm14

  351. 	mulps	%xmm12, %xmm10

  352. 	addps	%xmm10, %xmm4

  353. 	pshufd	$0xb1,  %xmm11, %xmm15

  354. 	mulps	%xmm12, %xmm11

  355. 	addps	%xmm11, %xmm6

  356. 

  357. 	mulps	%xmm12, %xmm14

  358. 	SUBPS	%xmm14, %xmm5

  359. 	mulps	%xmm12, %xmm15

  360. 	SUBPS	%xmm15, %xmm7

  361. 

  362. 	addq	 $2 * SIZE, A1

  363. 	addq	 $2 * SIZE, A2

  364. 	addq	 $2 * SIZE, X1

  365. 	ALIGN_3

  366. .L1X:

  367. #endif

  368. 

  369. 	movaps	-32 * SIZE(X1), %xmm12

  370. 	movaps	-28 * SIZE(X1), %xmm13

  371. 

  372. #ifdef PREFETCHW

  373. 	PREFETCHW	7 * SIZE(Y1)

  374. #endif

  375. 

  376. 	movq	MM,  I

  377. 	sarq	$3,  I

  378. 	jle	.L15

  379. 

  380. 	MOVUPS_A1(-32 * SIZE, A1, %xmm8)

  381. 	MOVUPS_A2(-32 * SIZE, A1, LDA, 1, %xmm9)

  382. 	MOVUPS_A1(-32 * SIZE, A2, %xmm10)

  383. 	MOVUPS_A2(-32 * SIZE, A2, LDA, 1, %xmm11)

  384. 

  385. 	decq	 I

  386. 	jle	 .L14

  387. 	ALIGN_3

  388. 

  389. .L13:

  390. #ifdef PREFETCH

  391. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A1)

  392. #endif

  393. 

  394. 	pshufd	$0xb1,  %xmm8, %xmm14

  395. 	mulps	%xmm12, %xmm8

  396. 	addps	%xmm8,  %xmm0

  397. 	MOVUPS_A1(-28 * SIZE, A1, %xmm8)

  398. 	pshufd	$0xb1,  %xmm9, %xmm15

  399. 	mulps	%xmm12, %xmm9

  400. 	addps	%xmm9,  %xmm2

  401. 	MOVUPS_A2(-28 * SIZE, A1, LDA, 1, %xmm9)

  402. 

  403. 	mulps	%xmm12, %xmm14

  404. 	SUBPS	%xmm14, %xmm1

  405. 	mulps	%xmm12, %xmm15

  406. 	SUBPS	%xmm15, %xmm3

  407. 

  408. 	pshufd	$0xb1,  %xmm10, %xmm14

  409. 	mulps	%xmm12, %xmm10

  410. 	addps	%xmm10, %xmm4

  411. 	MOVUPS_A1(-28 * SIZE, A2, %xmm10)

  412. 	pshufd	$0xb1,  %xmm11, %xmm15

  413. 	mulps	%xmm12, %xmm11

  414. 	addps	%xmm11, %xmm6

  415. 	MOVUPS_A2(-28 * SIZE, A2, LDA, 1, %xmm11)

  416. 

  417. 	mulps	%xmm12, %xmm14

  418. 	SUBPS	%xmm14, %xmm5

  419. 	mulps	%xmm12, %xmm15

  420. 	movaps	-24 * SIZE(X1), %xmm12

  421. 	SUBPS	%xmm15, %xmm7

  422. 

  423. #ifdef PREFETCH

  424. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A1, LDA)

  425. #endif

  426. 

  427. 	pshufd	$0xb1,  %xmm8, %xmm14

  428. 	mulps	%xmm13, %xmm8

  429. 	addps	%xmm8,  %xmm0

  430. 	MOVUPS_A1(-24 * SIZE, A1, %xmm8)

  431. 	pshufd	$0xb1,  %xmm9, %xmm15

  432. 	mulps	%xmm13, %xmm9

  433. 	addps	%xmm9,  %xmm2

  434. 	MOVUPS_A2(-24 * SIZE, A1, LDA, 1, %xmm9)

  435. 

  436. 	mulps	%xmm13, %xmm14

  437. 	SUBPS	%xmm14, %xmm1

  438. 	mulps	%xmm13, %xmm15

  439. 	SUBPS	%xmm15, %xmm3

  440. 

  441. 	pshufd	$0xb1,  %xmm10, %xmm14

  442. 	mulps	%xmm13, %xmm10

  443. 	addps	%xmm10, %xmm4

  444. 	MOVUPS_A1(-24 * SIZE, A2, %xmm10)

  445. 	pshufd	$0xb1,  %xmm11, %xmm15

  446. 	mulps	%xmm13, %xmm11

  447. 	addps	%xmm11, %xmm6

  448. 	MOVUPS_A2(-24 * SIZE, A2, LDA, 1, %xmm11)

  449. 

  450. 	mulps	%xmm13, %xmm14

  451. 	SUBPS	%xmm14, %xmm5

  452. 	mulps	%xmm13, %xmm15

  453. 	movaps	-20 * SIZE(X1), %xmm13

  454. 	SUBPS	%xmm15, %xmm7

  455. 

  456. #ifdef PREFETCH

  457. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A2)

  458. #endif

  459. 

  460. 	pshufd	$0xb1,  %xmm8, %xmm14

  461. 	mulps	%xmm12, %xmm8

  462. 	addps	%xmm8,  %xmm0

  463. 	MOVUPS_A1(-20 * SIZE, A1, %xmm8)

  464. 	pshufd	$0xb1,  %xmm9, %xmm15

  465. 	mulps	%xmm12, %xmm9

  466. 	addps	%xmm9,  %xmm2

  467. 	MOVUPS_A2(-20 * SIZE, A1, LDA, 1, %xmm9)

  468. 

  469. 	mulps	%xmm12, %xmm14

  470. 	SUBPS	%xmm14, %xmm1

  471. 	mulps	%xmm12, %xmm15

  472. 	SUBPS	%xmm15, %xmm3

  473. 

  474. 	pshufd	$0xb1,  %xmm10, %xmm14

  475. 	mulps	%xmm12, %xmm10

  476. 	addps	%xmm10, %xmm4

  477. 	MOVUPS_A1(-20 * SIZE, A2, %xmm10)

  478. 	pshufd	$0xb1,  %xmm11, %xmm15

  479. 	mulps	%xmm12, %xmm11

  480. 	addps	%xmm11, %xmm6

  481. 	MOVUPS_A2(-20 * SIZE, A2, LDA, 1, %xmm11)

  482. 

  483. 	mulps	%xmm12, %xmm14

  484. 	SUBPS	%xmm14, %xmm5

  485. 	mulps	%xmm12, %xmm15

  486. 	movaps	-16 * SIZE(X1), %xmm12

  487. 	SUBPS	%xmm15, %xmm7

  488. 

  489. #ifdef PREFETCH

  490. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A2, LDA)

  491. #endif

  492. 

  493. 	pshufd	$0xb1,  %xmm8, %xmm14

  494. 	mulps	%xmm13, %xmm8

  495. 	addps	%xmm8,  %xmm0

  496. 	MOVUPS_A1(-16 * SIZE, A1, %xmm8)

  497. 	pshufd	$0xb1,  %xmm9, %xmm15

  498. 	mulps	%xmm13, %xmm9

  499. 	addps	%xmm9,  %xmm2

  500. 	MOVUPS_A2(-16 * SIZE, A1, LDA, 1, %xmm9)

  501. 

  502. 	mulps	%xmm13, %xmm14

  503. 	SUBPS	%xmm14, %xmm1

  504. 	mulps	%xmm13, %xmm15

  505. 	SUBPS	%xmm15, %xmm3

  506. 

  507. #ifdef PREFETCHW

  508. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(X1)

  509. #endif

  510. 

  511. 	pshufd	$0xb1,  %xmm10, %xmm14

  512. 	mulps	%xmm13, %xmm10

  513. 	addps	%xmm10, %xmm4

  514. 	MOVUPS_A1(-16 * SIZE, A2, %xmm10)

  515. 	pshufd	$0xb1,  %xmm11, %xmm15

  516. 	mulps	%xmm13, %xmm11

  517. 	addps	%xmm11, %xmm6

  518. 	MOVUPS_A2(-16 * SIZE, A2, LDA, 1, %xmm11)

  519. 

  520. 	mulps	%xmm13, %xmm14

  521. 	SUBPS	%xmm14, %xmm5

  522. 	mulps	%xmm13, %xmm15

  523. 	movaps	-12 * SIZE(X1), %xmm13

  524. 	SUBPS	%xmm15, %xmm7

  525. 

  526. 	subq	 $-16 * SIZE, A1

  527. 	subq	 $-16 * SIZE, A2

  528. 	subq	 $-16 * SIZE, X1

  529. 

  530. 	subq	 $1, I

  531. 	BRANCH

  532. 	jg	.L13

  533. 	ALIGN_3

  534. 

  535. .L14:

  536. 	pshufd	$0xb1,  %xmm8, %xmm14

  537. 	mulps	%xmm12, %xmm8

  538. 	addps	%xmm8,  %xmm0

  539. 	MOVUPS_A1(-28 * SIZE, A1, %xmm8)

  540. 	pshufd	$0xb1,  %xmm9, %xmm15

  541. 	mulps	%xmm12, %xmm9

  542. 	addps	%xmm9,  %xmm2

  543. 	MOVUPS_A2(-28 * SIZE, A1, LDA, 1, %xmm9)

  544. 

  545. 	mulps	%xmm12, %xmm14

  546. 	SUBPS	%xmm14, %xmm1

  547. 	mulps	%xmm12, %xmm15

  548. 	SUBPS	%xmm15, %xmm3

  549. 

  550. 	pshufd	$0xb1,  %xmm10, %xmm14

  551. 	mulps	%xmm12, %xmm10

  552. 	addps	%xmm10, %xmm4

  553. 	MOVUPS_A1(-28 * SIZE, A2, %xmm10)

  554. 	pshufd	$0xb1,  %xmm11, %xmm15

  555. 	mulps	%xmm12, %xmm11

  556. 	addps	%xmm11, %xmm6

  557. 	MOVUPS_A2(-28 * SIZE, A2, LDA, 1, %xmm11)

  558. 

  559. 	mulps	%xmm12, %xmm14

  560. 	SUBPS	%xmm14, %xmm5

  561. 	mulps	%xmm12, %xmm15

  562. 	movaps	-24 * SIZE(X1), %xmm12

  563. 	SUBPS	%xmm15, %xmm7

  564. 

  565. 	pshufd	$0xb1,  %xmm8, %xmm14

  566. 	mulps	%xmm13, %xmm8

  567. 	addps	%xmm8,  %xmm0

  568. 	MOVUPS_A1(-24 * SIZE, A1, %xmm8)

  569. 	pshufd	$0xb1,  %xmm9, %xmm15

  570. 	mulps	%xmm13, %xmm9

  571. 	addps	%xmm9,  %xmm2

  572. 	MOVUPS_A2(-24 * SIZE, A1, LDA, 1, %xmm9)

  573. 

  574. 	mulps	%xmm13, %xmm14

  575. 	SUBPS	%xmm14, %xmm1

  576. 	mulps	%xmm13, %xmm15

  577. 	SUBPS	%xmm15, %xmm3

  578. 

  579. 	pshufd	$0xb1,  %xmm10, %xmm14

  580. 	mulps	%xmm13, %xmm10

  581. 	addps	%xmm10, %xmm4

  582. 	MOVUPS_A1(-24 * SIZE, A2, %xmm10)

  583. 	pshufd	$0xb1,  %xmm11, %xmm15

  584. 	mulps	%xmm13, %xmm11

  585. 	addps	%xmm11, %xmm6

  586. 	MOVUPS_A2(-24 * SIZE, A2, LDA, 1, %xmm11)

  587. 

  588. 	mulps	%xmm13, %xmm14

  589. 	SUBPS	%xmm14, %xmm5

  590. 	mulps	%xmm13, %xmm15

  591. 	movaps	-20 * SIZE(X1), %xmm13

  592. 	SUBPS	%xmm15, %xmm7

  593. 

  594. 	pshufd	$0xb1,  %xmm8, %xmm14

  595. 	mulps	%xmm12, %xmm8

  596. 	addps	%xmm8,  %xmm0

  597. 	MOVUPS_A1(-20 * SIZE, A1, %xmm8)

  598. 	pshufd	$0xb1,  %xmm9, %xmm15

  599. 	mulps	%xmm12, %xmm9

  600. 	addps	%xmm9,  %xmm2

  601. 	MOVUPS_A2(-20 * SIZE, A1, LDA, 1, %xmm9)

  602. 

  603. 	mulps	%xmm12, %xmm14

  604. 	SUBPS	%xmm14, %xmm1

  605. 	mulps	%xmm12, %xmm15

  606. 	SUBPS	%xmm15, %xmm3

  607. 

  608. 	pshufd	$0xb1,  %xmm10, %xmm14

  609. 	mulps	%xmm12, %xmm10

  610. 	addps	%xmm10, %xmm4

  611. 	MOVUPS_A1(-20 * SIZE, A2, %xmm10)

  612. 	pshufd	$0xb1,  %xmm11, %xmm15

  613. 	mulps	%xmm12, %xmm11

  614. 	addps	%xmm11, %xmm6

  615. 	MOVUPS_A2(-20 * SIZE, A2, LDA, 1, %xmm11)

  616. 

  617. 	mulps	%xmm12, %xmm14

  618. 	SUBPS	%xmm14, %xmm5

  619. 	mulps	%xmm12, %xmm15

  620. 	movaps	-16 * SIZE(X1), %xmm12

  621. 	SUBPS	%xmm15, %xmm7

  622. 

  623. 	pshufd	$0xb1,  %xmm8, %xmm14

  624. 	mulps	%xmm13, %xmm8

  625. 	addps	%xmm8,  %xmm0

  626. 	pshufd	$0xb1,  %xmm9, %xmm15

  627. 	mulps	%xmm13, %xmm9

  628. 	addps	%xmm9,  %xmm2

  629. 

  630. 	mulps	%xmm13, %xmm14

  631. 	SUBPS	%xmm14, %xmm1

  632. 	mulps	%xmm13, %xmm15

  633. 	SUBPS	%xmm15, %xmm3

  634. 

  635. 	pshufd	$0xb1,  %xmm10, %xmm14

  636. 	mulps	%xmm13, %xmm10

  637. 	addps	%xmm10, %xmm4

  638. 	pshufd	$0xb1,  %xmm11, %xmm15

  639. 	mulps	%xmm13, %xmm11

  640. 	addps	%xmm11, %xmm6

  641. 

  642. 	mulps	%xmm13, %xmm14

  643. 	SUBPS	%xmm14, %xmm5

  644. 	mulps	%xmm13, %xmm15

  645. 	movaps	-12 * SIZE(X1), %xmm13

  646. 	SUBPS	%xmm15, %xmm7

  647. 

  648. 	subq	 $-16 * SIZE, A1

  649. 	subq	 $-16 * SIZE, A2

  650. 	subq	 $-16 * SIZE, X1

  651. 	ALIGN_3

  652. 

  653. .L15:

  654. 	testq	$4, MM

  655. 	je	.L17

  656. 

  657. 	MOVUPS_A1(-32 * SIZE, A1, %xmm8)

  658. 	MOVUPS_A2(-32 * SIZE, A1, LDA, 1, %xmm9)

  659. 	MOVUPS_A1(-32 * SIZE, A2, %xmm10)

  660. 	MOVUPS_A2(-32 * SIZE, A2, LDA, 1, %xmm11)

  661. 

  662. 	pshufd	$0xb1,  %xmm8, %xmm14

  663. 	mulps	%xmm12, %xmm8

  664. 	addps	%xmm8,  %xmm0

  665. 	MOVUPS_A1(-28 * SIZE, A1, %xmm8)

  666. 	pshufd	$0xb1,  %xmm9, %xmm15

  667. 	mulps	%xmm12, %xmm9

  668. 	addps	%xmm9,  %xmm2

  669. 	MOVUPS_A2(-28 * SIZE, A1, LDA, 1, %xmm9)

  670. 

  671. 	mulps	%xmm12, %xmm14

  672. 	SUBPS	%xmm14, %xmm1

  673. 	mulps	%xmm12, %xmm15

  674. 	SUBPS	%xmm15, %xmm3

  675. 

  676. 	pshufd	$0xb1,  %xmm10, %xmm14

  677. 	mulps	%xmm12, %xmm10

  678. 	addps	%xmm10, %xmm4

  679. 	MOVUPS_A1(-28 * SIZE, A2, %xmm10)

  680. 	pshufd	$0xb1,  %xmm11, %xmm15

  681. 	mulps	%xmm12, %xmm11

  682. 	addps	%xmm11, %xmm6

  683. 	MOVUPS_A2(-28 * SIZE, A2, LDA, 1, %xmm11)

  684. 

  685. 	mulps	%xmm12, %xmm14

  686. 	SUBPS	%xmm14, %xmm5

  687. 	mulps	%xmm12, %xmm15

  688. 	movaps	-24 * SIZE(X1), %xmm12

  689. 	SUBPS	%xmm15, %xmm7

  690. 

  691. 	pshufd	$0xb1,  %xmm8, %xmm14

  692. 	mulps	%xmm13, %xmm8

  693. 	addps	%xmm8,  %xmm0

  694. 	pshufd	$0xb1,  %xmm9, %xmm15

  695. 	mulps	%xmm13, %xmm9

  696. 	addps	%xmm9,  %xmm2

  697. 

  698. 	mulps	%xmm13, %xmm14

  699. 	SUBPS	%xmm14, %xmm1

  700. 	mulps	%xmm13, %xmm15

  701. 	SUBPS	%xmm15, %xmm3

  702. 

  703. 	pshufd	$0xb1,  %xmm10, %xmm14

  704. 	mulps	%xmm13, %xmm10

  705. 	addps	%xmm10, %xmm4

  706. 	pshufd	$0xb1,  %xmm11, %xmm15

  707. 	mulps	%xmm13, %xmm11

  708. 	addps	%xmm11, %xmm6

  709. 

  710. 	mulps	%xmm13, %xmm14

  711. 	SUBPS	%xmm14, %xmm5

  712. 	mulps	%xmm13, %xmm15

  713. 	movaps	-20 * SIZE(X1), %xmm13

  714. 	SUBPS	%xmm15, %xmm7

  715. 

  716. 	addq	 $8 * SIZE, A1

  717. 	addq	 $8 * SIZE, A2

  718. 	addq	 $8 * SIZE, X1

  719. 	ALIGN_3

  720. 

  721. .L17:

  722. 	testq	$2, MM

  723. 	je	.L18

  724. 

  725. 	MOVUPS_A1(-32 * SIZE, A1, %xmm8)

  726. 	MOVUPS_A2(-32 * SIZE, A1, LDA, 1, %xmm9)

  727. 	MOVUPS_A1(-32 * SIZE, A2, %xmm10)

  728. 	MOVUPS_A2(-32 * SIZE, A2, LDA, 1, %xmm11)

  729. 

  730. 	pshufd	$0xb1,  %xmm8, %xmm14

  731. 	mulps	%xmm12, %xmm8

  732. 	addps	%xmm8,  %xmm0

  733. 	pshufd	$0xb1,  %xmm9, %xmm15

  734. 	mulps	%xmm12, %xmm9

  735. 	addps	%xmm9,  %xmm2

  736. 

  737. 	mulps	%xmm12, %xmm14

  738. 	SUBPS	%xmm14, %xmm1

  739. 	mulps	%xmm12, %xmm15

  740. 	SUBPS	%xmm15, %xmm3

  741. 

  742. 	pshufd	$0xb1,  %xmm10, %xmm14

  743. 	mulps	%xmm12, %xmm10

  744. 	addps	%xmm10, %xmm4

  745. 	pshufd	$0xb1,  %xmm11, %xmm15

  746. 	mulps	%xmm12, %xmm11

  747. 	addps	%xmm11, %xmm6

  748. 

  749. 	mulps	%xmm12, %xmm14

  750. 	SUBPS	%xmm14, %xmm5

  751. 	mulps	%xmm12, %xmm15

  752. 	SUBPS	%xmm15, %xmm7

  753. 

  754. 	movaps	%xmm13, %xmm12

  755. 

  756. 	addq	 $4 * SIZE, A1

  757. 	addq	 $4 * SIZE, A2

  758. 	ALIGN_3

  759. 

  760. .L18:

  761. 	testq	$1, MM

  762. 	je	.L19

  763. 

  764. #ifdef movsd

  765. 	xorps	%xmm8, %xmm8

  766. #endif

  767. 	movsd	-32 * SIZE(A1), %xmm8

  768. #ifdef movsd

  769. 	xorps	%xmm9, %xmm9

  770. #endif

  771. 	movsd	-32 * SIZE(A1, LDA), %xmm9

  772. #ifdef movsd

  773. 	xorps	%xmm10, %xmm10

  774. #endif

  775. 	movsd	-32 * SIZE(A2), %xmm10

  776. #ifdef movsd

  777. 	xorps	%xmm11, %xmm11

  778. #endif

  779. 	movsd	-32 * SIZE(A2, LDA), %xmm11

  780. 

  781. 	pshufd	$0xb1,  %xmm8, %xmm14

  782. 	mulps	%xmm12, %xmm8

  783. 	addps	%xmm8,  %xmm0

  784. 	pshufd	$0xb1,  %xmm9, %xmm15

  785. 	mulps	%xmm12, %xmm9

  786. 	addps	%xmm9,  %xmm2

  787. 

  788. 	mulps	%xmm12, %xmm14

  789. 	SUBPS	%xmm14, %xmm1

  790. 	mulps	%xmm12, %xmm15

  791. 	SUBPS	%xmm15, %xmm3

  792. 

  793. 	pshufd	$0xb1,  %xmm10, %xmm14

  794. 	mulps	%xmm12, %xmm10

  795. 	addps	%xmm10, %xmm4

  796. 	pshufd	$0xb1,  %xmm11, %xmm15

  797. 	mulps	%xmm12, %xmm11

  798. 	addps	%xmm11, %xmm6

  799. 

  800. 	mulps	%xmm12, %xmm14

  801. 	SUBPS	%xmm14, %xmm5

  802. 	mulps	%xmm12, %xmm15

  803. 	SUBPS	%xmm15, %xmm7

  804. 	ALIGN_3

  805. 

  806. .L19:

  807. 	pcmpeqb	%xmm11, %xmm11

  808. 	psllq	$63,    %xmm11

  809. 

  810. #if (!defined(CONJ) && !defined(XCONJ)) || (defined(CONJ) && defined(XCONJ))

  811. 	xorps	%xmm11, %xmm0

  812. 	xorps	%xmm11, %xmm2

  813. 	xorps	%xmm11, %xmm4

  814. 	xorps	%xmm11, %xmm6

  815. #else

  816. 	xorps	%xmm11, %xmm1

  817. 	xorps	%xmm11, %xmm3

  818. 	xorps	%xmm11, %xmm5

  819. 	xorps	%xmm11, %xmm7

  820. #endif

  821. 

  822. #ifdef HAVE_SSE3

  823. 	haddps	%xmm1, %xmm0

  824. 	haddps	%xmm3, %xmm2

  825. 	haddps	%xmm2, %xmm0

  826. 

  827. 	haddps	%xmm5, %xmm4

  828. 	haddps	%xmm7, %xmm6

  829. 	haddps	%xmm6, %xmm4

  830. #else

  831. 

  832. 	movaps	%xmm0, %xmm8

  833. 	unpcklps %xmm1, %xmm0

  834. 	unpckhps %xmm1, %xmm8

  835. 

  836. 	movaps	%xmm2, %xmm9

  837. 	unpcklps %xmm3, %xmm2

  838. 	unpckhps %xmm3, %xmm9

  839. 

  840. 	movaps	%xmm4, %xmm10

  841. 	unpcklps %xmm5, %xmm4

  842. 	unpckhps %xmm5, %xmm10

  843. 

  844. 	movaps	%xmm6, %xmm12

  845. 	unpcklps %xmm7, %xmm6

  846. 	unpckhps %xmm7, %xmm12

  847. 

  848. 	addps	%xmm8,  %xmm0

  849. 	addps	%xmm9,  %xmm2

  850. 	addps	%xmm10, %xmm4

  851. 	addps	%xmm12, %xmm6

  852. 

  853. 	movhlps	%xmm0, %xmm1

  854. 	movhlps	%xmm2, %xmm3

  855. 	movhlps	%xmm4, %xmm5

  856. 	movhlps	%xmm6, %xmm7

  857. 

  858. 	addps	%xmm1, %xmm0

  859. 	addps	%xmm3, %xmm2

  860. 	addps	%xmm5, %xmm4

  861. 	addps	%xmm7, %xmm6

  862. 

  863. 	movlhps %xmm2, %xmm0

  864. 	movlhps %xmm6, %xmm4

  865. #endif

  866. 

  867. 	pshufd	$0xb1, %xmm0, %xmm1

  868. 	pshufd	$0xb1, %xmm4, %xmm5

  869. 

  870. #ifdef HAVE_SSE3

  871. 	movddup	ALPHA, %xmm15

  872. #else

  873. 	movsd	ALPHA, %xmm15

  874. 	pshufd	$0x44, %xmm15, %xmm15

  875. #endif

  876. 

  877. 	mulps	%xmm15, %xmm0

  878. 	mulps	%xmm15, %xmm1

  879. 	mulps	%xmm15, %xmm4

  880. 	mulps	%xmm15, %xmm5

  881. 

  882. 	xorps	%xmm11, %xmm0

  883. 	xorps	%xmm11, %xmm4

  884. 

  885. #ifdef HAVE_SSE3

  886. 	haddps	%xmm1, %xmm0

  887. 	haddps	%xmm5, %xmm4

  888. #else

  889. 	movaps	%xmm0, %xmm2

  890. 	shufps	$0x88, %xmm1, %xmm0

  891. 	shufps	$0xdd, %xmm1, %xmm2

  892. 

  893. 	movaps	%xmm4, %xmm6

  894. 	shufps	$0x88, %xmm5, %xmm4

  895. 	shufps	$0xdd, %xmm5, %xmm6

  896. 

  897. 	addps	%xmm2, %xmm0

  898. 	addps	%xmm6, %xmm4

  899. #endif

  900. 

  901. 	movsd	(Y), %xmm2

  902. 	addq	INCY, Y

  903. 	movhps	(Y), %xmm2

  904. 	addq	INCY, Y

  905. 	movsd	(Y), %xmm6

  906. 	addq	INCY, Y

  907. 	movhps	(Y), %xmm6

  908. 	addq	INCY, Y

  909. 

  910. 	shufps	$0xd8, %xmm0, %xmm0

  911. 	shufps	$0xd8, %xmm4, %xmm4

  912. 

  913. 	addps	%xmm2, %xmm0

  914. 	addps	%xmm6, %xmm4

  915. 

  916. 	movlps	%xmm0, (Y1)

  917. 	addq	INCY, Y1

  918. 	movhps	%xmm0, (Y1)

  919. 	addq	INCY, Y1

  920. 	movlps	%xmm4, (Y1)

  921. 	addq	INCY, Y1

  922. 	movhps	%xmm4, (Y1)

  923. 	addq	INCY, Y1

  924. 

  925. 	cmpq	$4, N

  926. 	jge	.L11

  927. 	ALIGN_3

  928. 

  929. .L20:

  930. #endif

  931. 

  932. 	cmpq	$2, N

  933. 	jl	.L30

  934. #if GEMV_UNROLL == 2

  935. 	ALIGN_3

  936. 

  937. .L21:

  938. #endif

  939. 	subq	$2, N

  940. 

  941. 	leaq	32 * SIZE(BUFFER), X1

  942. 

  943. 	movq	A, A1

  944. 	leaq	(A1, LDA), A2

  945. 	leaq	(A1, LDA, 2), A

  946. 

  947. 	xorps	%xmm0, %xmm0

  948. 	xorps	%xmm1, %xmm1

  949. 	xorps	%xmm2, %xmm2

  950. 	xorps	%xmm3, %xmm3

  951. 

  952. #ifdef ALIGNED_ACCESS

  953. 	cmpq	M, MM

  954. 	je	.L2X

  955. 

  956. #ifdef movsd

  957. 	xorps	%xmm8, %xmm8

  958. #endif

  959. 	movsd	-32 * SIZE(A1), %xmm8

  960. #ifdef movsd

  961. 	xorps	%xmm9, %xmm9

  962. #endif

  963. 	movsd	-32 * SIZE(A2), %xmm9

  964. 

  965. #ifdef movsd

  966. 	xorps	%xmm12, %xmm12

  967. #endif

  968. 	movsd	-32 * SIZE(X1), %xmm12

  969. 

  970. 	pshufd	$0xb1, %xmm8,  %xmm4

  971. 	mulps	%xmm12,  %xmm8

  972. 	addps	%xmm8,  %xmm0

  973. 	mulps	%xmm12,  %xmm4

  974. 	SUBPS	%xmm4,  %xmm1

  975. 

  976. 	pshufd	$0xb1, %xmm9, %xmm5

  977. 	mulps	%xmm12,  %xmm9

  978. 	addps	%xmm9, %xmm2

  979. 	mulps	%xmm12,  %xmm5

  980. 	SUBPS	%xmm5, %xmm3

  981. 

  982. 	addq	 $2 * SIZE, A1

  983. 	addq	 $2 * SIZE, A2

  984. 	addq	 $2 * SIZE, X1

  985. 	ALIGN_3

  986. .L2X:

  987. #endif

  988. 

  989. 	movaps	-32 * SIZE(X1), %xmm12

  990. 	movaps	-28 * SIZE(X1), %xmm13

  991. 

  992. #if (GEMV_UNROLL == 2) && defined(PREFETCHW)

  993. 	PREFETCHW	3 * SIZE(Y1)

  994. #endif

  995. 

  996. 	movq	MM,  I

  997. 	sarq	$3,  I

  998. 	jle	.L25

  999. 

  1000. 	MOVUPS_A1(-32 * SIZE, A1, %xmm8)

  1001. 	MOVUPS_A1(-32 * SIZE, A2, %xmm9)

  1002. 	MOVUPS_A1(-28 * SIZE, A1, %xmm10)

  1003. 	MOVUPS_A1(-28 * SIZE, A2, %xmm11)

  1004. 

  1005. 	decq	 I

  1006. 	jle	 .L24

  1007. 	ALIGN_3

  1008. 

  1009. .L23:

  1010. #ifdef PREFETCH

  1011. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1)

  1012. #endif

  1013. 

  1014. 	pshufd	$0xb1, %xmm8,  %xmm4

  1015. 	mulps	%xmm12,  %xmm8

  1016. 	addps	%xmm8,  %xmm0

  1017. 	MOVUPS_A1(-24 * SIZE, A1, %xmm8)

  1018. 	mulps	%xmm12,  %xmm4

  1019. 	SUBPS	%xmm4,  %xmm1

  1020. 

  1021. 	pshufd	$0xb1, %xmm9, %xmm5

  1022. 	mulps	%xmm12,  %xmm9

  1023. 	addps	%xmm9, %xmm2

  1024. 	MOVUPS_A1(-24 * SIZE, A2, %xmm9)

  1025. 	mulps	%xmm12,  %xmm5

  1026. 	SUBPS	%xmm5, %xmm3

  1027. 

  1028. 	movaps	-24 * SIZE(X1), %xmm12

  1029. 

  1030. 	pshufd	$0xb1, %xmm10,  %xmm6

  1031. 	mulps	%xmm13,  %xmm10

  1032. 	addps	%xmm10,  %xmm0

  1033. 	MOVUPS_A1(-20 * SIZE, A1, %xmm10)

  1034. 	mulps	%xmm13,  %xmm6

  1035. 	SUBPS	%xmm6,  %xmm1

  1036. 

  1037. 	pshufd	$0xb1, %xmm11, %xmm7

  1038. 	mulps	%xmm13,  %xmm11

  1039. 	addps	%xmm11, %xmm2

  1040. 	MOVUPS_A1(-20 * SIZE, A2, %xmm11)

  1041. 	mulps	%xmm13,  %xmm7

  1042. 	SUBPS	%xmm7, %xmm3

  1043. 

  1044. 	movaps	-20 * SIZE(X1), %xmm13

  1045. 

  1046. #ifdef PREFETCH

  1047. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2)

  1048. #endif

  1049. 

  1050. 	pshufd	$0xb1, %xmm8,  %xmm4

  1051. 	mulps	%xmm12,  %xmm8

  1052. 	addps	%xmm8,  %xmm0

  1053. 	MOVUPS_A1(-16 * SIZE, A1, %xmm8)

  1054. 	mulps	%xmm12,  %xmm4

  1055. 	SUBPS	%xmm4,  %xmm1

  1056. 

  1057. 	pshufd	$0xb1, %xmm9, %xmm5

  1058. 	mulps	%xmm12,  %xmm9

  1059. 	addps	%xmm9, %xmm2

  1060. 	MOVUPS_A1(-16 * SIZE, A2, %xmm9)

  1061. 	mulps	%xmm12,  %xmm5

  1062. 	SUBPS	%xmm5, %xmm3

  1063. 

  1064. 	movaps	-16 * SIZE(X1), %xmm12

  1065. 

  1066. #ifdef PREFETCHW

  1067. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(X1)

  1068. #endif

  1069. 

  1070. 	pshufd	$0xb1, %xmm10,  %xmm6

  1071. 	mulps	%xmm13,  %xmm10

  1072. 	addps	%xmm10,  %xmm0

  1073. 	MOVUPS_A1(-12 * SIZE, A1, %xmm10)

  1074. 	mulps	%xmm13,  %xmm6

  1075. 	SUBPS	%xmm6,  %xmm1

  1076. 

  1077. 	pshufd	$0xb1, %xmm11, %xmm7

  1078. 	mulps	%xmm13,  %xmm11

  1079. 	addps	%xmm11, %xmm2

  1080. 	MOVUPS_A1(-12 * SIZE, A2, %xmm11)

  1081. 	mulps	%xmm13,  %xmm7

  1082. 	SUBPS	%xmm7, %xmm3

  1083. 

  1084. 	movaps	-12 * SIZE(X1), %xmm13

  1085. 

  1086. 	subq	 $-16 * SIZE, A1

  1087. 	subq	 $-16 * SIZE, A2

  1088. 	subq	 $-16 * SIZE, X1

  1089. 

  1090. 	subq	 $1, I

  1091. 	BRANCH

  1092. 	jg	.L23

  1093. 	ALIGN_3

  1094. 

  1095. .L24:

  1096. 	pshufd	$0xb1, %xmm8,  %xmm4

  1097. 	mulps	%xmm12,  %xmm8

  1098. 	addps	%xmm8,  %xmm0

  1099. 	MOVUPS_A1(-24 * SIZE, A1, %xmm8)

  1100. 	mulps	%xmm12,  %xmm4

  1101. 	SUBPS	%xmm4,  %xmm1

  1102. 

  1103. 	pshufd	$0xb1, %xmm9, %xmm5

  1104. 	mulps	%xmm12,  %xmm9

  1105. 	addps	%xmm9, %xmm2

  1106. 	MOVUPS_A1(-24 * SIZE, A2, %xmm9)

  1107. 	mulps	%xmm12,  %xmm5

  1108. 	SUBPS	%xmm5, %xmm3

  1109. 

  1110. 	movaps	-24 * SIZE(X1), %xmm12

  1111. 

  1112. 	pshufd	$0xb1, %xmm10,  %xmm6

  1113. 	mulps	%xmm13,  %xmm10

  1114. 	addps	%xmm10,  %xmm0

  1115. 	MOVUPS_A1(-20 * SIZE, A1, %xmm10)

  1116. 	mulps	%xmm13,  %xmm6

  1117. 	SUBPS	%xmm6,  %xmm1

  1118. 

  1119. 	pshufd	$0xb1, %xmm11, %xmm7

  1120. 	mulps	%xmm13,  %xmm11

  1121. 	addps	%xmm11, %xmm2

  1122. 	MOVUPS_A1(-20 * SIZE, A2, %xmm11)

  1123. 	mulps	%xmm13,  %xmm7

  1124. 	SUBPS	%xmm7, %xmm3

  1125. 

  1126. 	movaps	-20 * SIZE(X1), %xmm13

  1127. 

  1128. 	pshufd	$0xb1, %xmm8,  %xmm4

  1129. 	mulps	%xmm12,  %xmm8

  1130. 	addps	%xmm8,  %xmm0

  1131. 	mulps	%xmm12,  %xmm4

  1132. 	SUBPS	%xmm4,  %xmm1

  1133. 

  1134. 	pshufd	$0xb1, %xmm9, %xmm5

  1135. 	mulps	%xmm12,  %xmm9

  1136. 	addps	%xmm9, %xmm2

  1137. 	mulps	%xmm12,  %xmm5

  1138. 	SUBPS	%xmm5, %xmm3

  1139. 

  1140. 	movaps	-16 * SIZE(X1), %xmm12

  1141. 

  1142. 	pshufd	$0xb1, %xmm10,  %xmm6

  1143. 	mulps	%xmm13,  %xmm10

  1144. 	addps	%xmm10,  %xmm0

  1145. 	mulps	%xmm13,  %xmm6

  1146. 	SUBPS	%xmm6,  %xmm1

  1147. 

  1148. 	pshufd	$0xb1, %xmm11, %xmm7

  1149. 	mulps	%xmm13,  %xmm11

  1150. 	addps	%xmm11, %xmm2

  1151. 	mulps	%xmm13,  %xmm7

  1152. 	SUBPS	%xmm7, %xmm3

  1153. 

  1154. 	movaps	-12 * SIZE(X1), %xmm13

  1155. 

  1156. 	subq	 $-16 * SIZE, A1

  1157. 	subq	 $-16 * SIZE, A2

  1158. 	subq	 $-16 * SIZE, X1

  1159. 	ALIGN_3

  1160. 

  1161. .L25:

  1162. 	testq	$4, MM

  1163. 	je	.L27

  1164. 

  1165. 	MOVUPS_A1(-32 * SIZE, A1, %xmm8)

  1166. 	MOVUPS_A1(-32 * SIZE, A2, %xmm9)

  1167. 	MOVUPS_A1(-28 * SIZE, A1, %xmm10)

  1168. 	MOVUPS_A1(-28 * SIZE, A2, %xmm11)

  1169. 

  1170. 	pshufd	$0xb1, %xmm8,  %xmm4

  1171. 	mulps	%xmm12,  %xmm8

  1172. 	addps	%xmm8,  %xmm0

  1173. 	mulps	%xmm12,  %xmm4

  1174. 	SUBPS	%xmm4,  %xmm1

  1175. 

  1176. 	pshufd	$0xb1, %xmm9, %xmm5

  1177. 	mulps	%xmm12,  %xmm9

  1178. 	addps	%xmm9, %xmm2

  1179. 	mulps	%xmm12,  %xmm5

  1180. 	SUBPS	%xmm5, %xmm3

  1181. 

  1182. 	movaps	-24 * SIZE(X1), %xmm12

  1183. 

  1184. 	pshufd	$0xb1, %xmm10,  %xmm6

  1185. 	mulps	%xmm13,  %xmm10

  1186. 	addps	%xmm10,  %xmm0

  1187. 	mulps	%xmm13,  %xmm6

  1188. 	SUBPS	%xmm6,  %xmm1

  1189. 

  1190. 	pshufd	$0xb1, %xmm11, %xmm7

  1191. 	mulps	%xmm13,  %xmm11

  1192. 	addps	%xmm11, %xmm2

  1193. 	mulps	%xmm13,  %xmm7

  1194. 	SUBPS	%xmm7, %xmm3

  1195. 

  1196. 	movaps	-20 * SIZE(X1), %xmm13

  1197. 

  1198. 	addq	 $8 * SIZE, A1

  1199. 	addq	 $8 * SIZE, A2

  1200. 	ALIGN_3

  1201. 

  1202. .L27:

  1203. 	testq	$2, MM

  1204. 	je	.L28

  1205. 

  1206. 	MOVUPS_A1(-32 * SIZE, A1, %xmm8)

  1207. 	MOVUPS_A1(-32 * SIZE, A2, %xmm9)

  1208. 

  1209. 	pshufd	$0xb1, %xmm8,  %xmm4

  1210. 	mulps	%xmm12,  %xmm8

  1211. 	addps	%xmm8,  %xmm0

  1212. 	mulps	%xmm12,  %xmm4

  1213. 	SUBPS	%xmm4,  %xmm1

  1214. 

  1215. 	pshufd	$0xb1, %xmm9, %xmm5

  1216. 	mulps	%xmm12,  %xmm9

  1217. 	addps	%xmm9, %xmm2

  1218. 	mulps	%xmm12,  %xmm5

  1219. 	SUBPS	%xmm5, %xmm3

  1220. 

  1221. 	movaps	%xmm13, %xmm12

  1222. 

  1223. 	addq	 $4 * SIZE, A1

  1224. 	addq	 $4 * SIZE, A2

  1225. 	ALIGN_3

  1226. 

  1227. .L28:

  1228. 	testq	$1, MM

  1229. 	je	.L29

  1230. 

  1231. #ifdef movsd

  1232. 	xorps	%xmm8, %xmm8

  1233. #endif

  1234. 	movsd	-32 * SIZE(A1), %xmm8

  1235. #ifdef movsd

  1236. 	xorps	%xmm9, %xmm9

  1237. #endif

  1238. 	movsd	-32 * SIZE(A2), %xmm9

  1239. 

  1240. 	pshufd	$0xb1, %xmm8,  %xmm4

  1241. 	mulps	%xmm12,  %xmm8

  1242. 	addps	%xmm8,  %xmm0

  1243. 	mulps	%xmm12,  %xmm4

  1244. 	SUBPS	%xmm4,  %xmm1

  1245. 

  1246. 	pshufd	$0xb1, %xmm9, %xmm5

  1247. 	mulps	%xmm12,  %xmm9

  1248. 	addps	%xmm9, %xmm2

  1249. 	mulps	%xmm12,  %xmm5

  1250. 	SUBPS	%xmm5, %xmm3

  1251. 	ALIGN_3

  1252. 

  1253. .L29:

  1254. 	pcmpeqb	%xmm5, %xmm5

  1255. 	psllq	$63,    %xmm5

  1256. 

  1257. #if (!defined(CONJ) && !defined(XCONJ)) || (defined(CONJ) && defined(XCONJ))

  1258. 	xorps	%xmm5, %xmm0

  1259. 	xorps	%xmm5, %xmm2

  1260. #else

  1261. 	xorps	%xmm5, %xmm1

  1262. 	xorps	%xmm5, %xmm3

  1263. #endif

  1264. 

  1265. #ifdef HAVE_SSE3

  1266. 	haddps	%xmm1, %xmm0

  1267. 	haddps	%xmm3, %xmm2

  1268. 	haddps	%xmm2, %xmm0

  1269. #else

  1270. 	movaps	%xmm0, %xmm8

  1271. 	unpcklps %xmm1, %xmm0

  1272. 	unpckhps %xmm1, %xmm8

  1273. 

  1274. 	movaps	%xmm2, %xmm4

  1275. 	unpcklps %xmm3, %xmm2

  1276. 	unpckhps %xmm3, %xmm4

  1277. 

  1278. 	addps	%xmm8, %xmm0

  1279. 	addps	%xmm4, %xmm2

  1280. 

  1281. 	movhlps	%xmm0, %xmm1

  1282. 	movhlps	%xmm2, %xmm3

  1283. 

  1284. 	addps	%xmm1, %xmm0

  1285. 	addps	%xmm3, %xmm2

  1286. 	movlhps %xmm2, %xmm0

  1287. #endif

  1288. 

  1289. 	pshufd	$0xb1, %xmm0, %xmm1

  1290. 

  1291. #ifdef HAVE_SSE3

  1292. 	movddup	ALPHA, %xmm15

  1293. #else

  1294. 	movsd	ALPHA, %xmm15

  1295. 	pshufd	$0x44, %xmm15, %xmm15

  1296. #endif

  1297. 

  1298. 	mulps	%xmm15, %xmm0

  1299. 	mulps	%xmm15, %xmm1

  1300. 

  1301. 	xorps	%xmm5, %xmm0

  1302. 

  1303. #ifdef HAVE_SSE3

  1304. 	haddps	%xmm1, %xmm0

  1305. #else

  1306. 	movaps	%xmm0, %xmm2

  1307. 	shufps	$0x88, %xmm1, %xmm0

  1308. 	shufps	$0xdd, %xmm1, %xmm2

  1309. 

  1310. 	addps	%xmm2, %xmm0

  1311. #endif

  1312. 

  1313. 	movsd	(Y), %xmm12

  1314. 	addq	INCY, Y

  1315. 	movhps	(Y), %xmm12

  1316. 	addq	INCY, Y

  1317. 

  1318. 	shufps	$0xd8, %xmm0, %xmm0

  1319. 

  1320. 	addps	%xmm12, %xmm0

  1321. 

  1322. 	movlps	%xmm0, (Y1)

  1323. 	addq	INCY, Y1

  1324. 	movhps	%xmm0, (Y1)

  1325. 	addq	INCY, Y1

  1326. 

  1327. #if GEMV_UNROLL == 2

  1328. 	cmpq	$2, N

  1329. 	jge	.L21

  1330. #endif

  1331. 	ALIGN_3

  1332. 

  1333. .L30:

  1334. 	cmpq	$1, N

  1335. 	jl	.L999

  1336. 

  1337. 	leaq	32 * SIZE(BUFFER), X1

  1338. 

  1339. 	movq	A, A1

  1340. 

  1341. 	xorps	%xmm0, %xmm0

  1342. 	xorps	%xmm1, %xmm1

  1343. 

  1344. #ifdef ALIGNED_ACCESS

  1345. 	cmpq	M, MM

  1346. 	je	.L3X

  1347. 

  1348. #ifdef movsd

  1349. 	xorps	%xmm8, %xmm8

  1350. #endif

  1351. 	movsd	-32 * SIZE(A1), %xmm8

  1352. #ifdef movsd

  1353. 	xorps	%xmm12, %xmm12

  1354. #endif

  1355. 	movsd	-32 * SIZE(X1), %xmm12

  1356. 

  1357. 	pshufd	$0xb1, %xmm8,  %xmm4

  1358. 	mulps	%xmm12,  %xmm8

  1359. 	addps	%xmm8,  %xmm0

  1360. 	mulps	%xmm12,  %xmm4

  1361. 	SUBPS	%xmm4,  %xmm1

  1362. 

  1363. 	addq	 $2 * SIZE, A1

  1364. 	addq	 $2 * SIZE, X1

  1365. 	ALIGN_3

  1366. .L3X:

  1367. #endif

  1368. 

  1369. 	movaps	-32 * SIZE(X1), %xmm12

  1370. 	movaps	-28 * SIZE(X1), %xmm13

  1371. 

  1372. 	movq	MM,  I

  1373. 	sarq	$3,  I

  1374. 	jle	.L35

  1375. 

  1376. 	MOVUPS_A1(-32 * SIZE, A1, %xmm8)

  1377. 	MOVUPS_A1(-28 * SIZE, A1, %xmm10)

  1378. 

  1379. 	decq	 I

  1380. 	jle	 .L34

  1381. 	ALIGN_3

  1382. 

  1383. .L33:

  1384. #ifdef PREFETCH

  1385. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A1)

  1386. #endif

  1387. 

  1388. 	pshufd	$0xb1, %xmm8,  %xmm4

  1389. 	mulps	%xmm12,  %xmm8

  1390. 	addps	%xmm8,  %xmm0

  1391. 	MOVUPS_A1(-24 * SIZE, A1, %xmm8)

  1392. 	mulps	%xmm12,  %xmm4

  1393. 	SUBPS	%xmm4,  %xmm1

  1394. 

  1395. 	movaps	-24 * SIZE(X1), %xmm12

  1396. 

  1397. 	pshufd	$0xb1, %xmm10,  %xmm6

  1398. 	mulps	%xmm13,  %xmm10

  1399. 	addps	%xmm10,  %xmm0

  1400. 	MOVUPS_A1(-20 * SIZE, A1, %xmm10)

  1401. 	mulps	%xmm13,  %xmm6

  1402. 	SUBPS	%xmm6,  %xmm1

  1403. 

  1404. 	movaps	-20 * SIZE(X1), %xmm13

  1405. 

  1406. 	pshufd	$0xb1, %xmm8,  %xmm4

  1407. 	mulps	%xmm12,  %xmm8

  1408. 	addps	%xmm8,  %xmm0

  1409. 	MOVUPS_A1(-16 * SIZE, A1, %xmm8)

  1410. 	mulps	%xmm12,  %xmm4

  1411. 	SUBPS	%xmm4,  %xmm1

  1412. 

  1413. 	movaps	-16 * SIZE(X1), %xmm12

  1414. 

  1415. #ifdef PREFETCHW

  1416. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(X1)

  1417. #endif

  1418. 

  1419. 	pshufd	$0xb1, %xmm10,  %xmm6

  1420. 	mulps	%xmm13,  %xmm10

  1421. 	addps	%xmm10,  %xmm0

  1422. 	MOVUPS_A1(-12 * SIZE, A1, %xmm10)

  1423. 	mulps	%xmm13,  %xmm6

  1424. 	SUBPS	%xmm6,  %xmm1

  1425. 

  1426. 	movaps	-12 * SIZE(X1), %xmm13

  1427. 

  1428. 	subq	 $-16 * SIZE, A1

  1429. 	subq	 $-16 * SIZE, X1

  1430. 

  1431. 	subq	 $1, I

  1432. 	BRANCH

  1433. 	jg	.L33

  1434. 	ALIGN_3

  1435. 

  1436. .L34:

  1437. 	pshufd	$0xb1, %xmm8,  %xmm4

  1438. 	mulps	%xmm12,  %xmm8

  1439. 	addps	%xmm8,  %xmm0

  1440. 	MOVUPS_A1(-24 * SIZE, A1, %xmm8)

  1441. 	mulps	%xmm12,  %xmm4

  1442. 	SUBPS	%xmm4,  %xmm1

  1443. 

  1444. 	movaps	-24 * SIZE(X1), %xmm12

  1445. 

  1446. 	pshufd	$0xb1, %xmm10,  %xmm6

  1447. 	mulps	%xmm13,  %xmm10

  1448. 	addps	%xmm10,  %xmm0

  1449. 	MOVUPS_A1(-20 * SIZE, A1, %xmm10)

  1450. 	mulps	%xmm13,  %xmm6

  1451. 	SUBPS	%xmm6,  %xmm1

  1452. 

  1453. 	movaps	-20 * SIZE(X1), %xmm13

  1454. 

  1455. 	pshufd	$0xb1, %xmm8,  %xmm4

  1456. 	mulps	%xmm12,  %xmm8

  1457. 	addps	%xmm8,  %xmm0

  1458. 	mulps	%xmm12,  %xmm4

  1459. 	SUBPS	%xmm4,  %xmm1

  1460. 

  1461. 	movaps	-16 * SIZE(X1), %xmm12

  1462. 

  1463. 	pshufd	$0xb1, %xmm10,  %xmm6

  1464. 	mulps	%xmm13,  %xmm10

  1465. 	addps	%xmm10,  %xmm0

  1466. 	mulps	%xmm13,  %xmm6

  1467. 	SUBPS	%xmm6,  %xmm1

  1468. 

  1469. 	movaps	-12 * SIZE(X1), %xmm13

  1470. 

  1471. 	subq	 $-16 * SIZE, A1

  1472. 	subq	 $-16 * SIZE, X1

  1473. 	ALIGN_3

  1474. 

  1475. .L35:

  1476. 	testq	$4, MM

  1477. 	je	.L37

  1478. 

  1479. 	MOVUPS_A1(-32 * SIZE, A1, %xmm8)

  1480. 	MOVUPS_A1(-28 * SIZE, A1, %xmm10)

  1481. 

  1482. 	pshufd	$0xb1, %xmm8,  %xmm4

  1483. 	mulps	%xmm12,  %xmm8

  1484. 	addps	%xmm8,  %xmm0

  1485. 	mulps	%xmm12,  %xmm4

  1486. 	SUBPS	%xmm4,  %xmm1

  1487. 

  1488. 	movaps	-24 * SIZE(X1), %xmm12

  1489. 

  1490. 	pshufd	$0xb1, %xmm10,  %xmm6

  1491. 	mulps	%xmm13,  %xmm10

  1492. 	addps	%xmm10,  %xmm0

  1493. 	mulps	%xmm13,  %xmm6

  1494. 	SUBPS	%xmm6,  %xmm1

  1495. 

  1496. 	movaps	-20 * SIZE(X1), %xmm13

  1497. 

  1498. 	addq	 $8 * SIZE, A1

  1499. 	ALIGN_3

  1500. 

  1501. .L37:

  1502. 	testq	$2, MM

  1503. 	je	.L38

  1504. 

  1505. 	MOVUPS_A1(-32 * SIZE, A1, %xmm8)

  1506. 

  1507. 	pshufd	$0xb1, %xmm8,  %xmm4

  1508. 	mulps	%xmm12,  %xmm8

  1509. 	addps	%xmm8,  %xmm0

  1510. 	mulps	%xmm12,  %xmm4

  1511. 	SUBPS	%xmm4,  %xmm1

  1512. 

  1513. 	movaps	%xmm13, %xmm12

  1514. 

  1515. 	addq	 $4 * SIZE, A1

  1516. 	ALIGN_3

  1517. 

  1518. .L38:

  1519. 	testq	$1, MM

  1520. 	je	.L39

  1521. 

  1522. #ifdef movsd

  1523. 	xorps	%xmm8, %xmm8

  1524. #endif

  1525. 	movsd	-32 * SIZE(A1), %xmm8

  1526. 

  1527. 	pshufd	$0xb1, %xmm8,  %xmm4

  1528. 	mulps	%xmm12,  %xmm8

  1529. 	addps	%xmm8,  %xmm0

  1530. 	mulps	%xmm12,  %xmm4

  1531. 	SUBPS	%xmm4,  %xmm1

  1532. 	ALIGN_3

  1533. 

  1534. .L39:

  1535. 	pcmpeqb	%xmm5, %xmm5

  1536. 	psllq	$63,    %xmm5

  1537. 

  1538. #if (!defined(CONJ) && !defined(XCONJ)) || (defined(CONJ) && defined(XCONJ))

  1539. 	xorps	%xmm5, %xmm0

  1540. #else

  1541. 	xorps	%xmm5, %xmm1

  1542. #endif

  1543. 

  1544. #ifdef HAVE_SSE3

  1545. 	haddps	%xmm1, %xmm0

  1546. 	haddps	%xmm0, %xmm0

  1547. #else

  1548. 	movaps	%xmm0, %xmm8

  1549. 	unpcklps %xmm1, %xmm0

  1550. 	unpckhps %xmm1, %xmm8

  1551. 

  1552. 	addps	%xmm8, %xmm0

  1553. 

  1554. 	movhlps	%xmm0, %xmm1

  1555. 

  1556. 	addps	%xmm1, %xmm0

  1557. #endif

  1558. 

  1559. 	pshufd	$0xb1, %xmm0, %xmm1

  1560. 

  1561. #ifdef HAVE_SSE3

  1562. 	movddup	ALPHA, %xmm15

  1563. #else

  1564. 	movsd	ALPHA, %xmm15

  1565. 	pshufd	$0x44, %xmm15, %xmm15

  1566. #endif

  1567. 

  1568. 	mulps	%xmm15, %xmm0

  1569. 	mulps	%xmm15, %xmm1

  1570. 

  1571. 	xorps	%xmm5, %xmm0

  1572. 

  1573. #ifdef HAVE_SSE3

  1574. 	haddps	%xmm1, %xmm0

  1575. #else

  1576. 	movaps	%xmm0, %xmm2

  1577. 	shufps	$0x88, %xmm1, %xmm0

  1578. 	shufps	$0xdd, %xmm1, %xmm2

  1579. 

  1580. 	addps	%xmm2, %xmm0

  1581. #endif

  1582. 

  1583. 	movsd	(Y), %xmm12

  1584. 	addq	INCY, Y

  1585. 

  1586. 	shufps	$0xd8, %xmm0, %xmm0

  1587. 

  1588. 	addps	%xmm12, %xmm0

  1589. 

  1590. 	movlps	%xmm0, (Y1)

  1591. 	addq	INCY, Y1

  1592. #ifdef ALIGNED_ACCESS

  1593. 	jmp	.L999

  1594. 	ALIGN_3

  1595. 

  1596. .L100:

  1597. 

  1598. #if GEMV_UNROLL >= 4

  1599. 	cmpq	$4, N

  1600. 	jl	.L110

  1601. 	ALIGN_3

  1602. 

  1603. .L101:

  1604. 	subq	$4, N

  1605. 

  1606. 	leaq	32 * SIZE(BUFFER), X1

  1607. 

  1608. 	movq	A, A1

  1609. 	leaq	(A1, LDA, 2), A2

  1610. 	leaq	(A1, LDA, 4), A

  1611. 

  1612. 	xorps	%xmm0, %xmm0

  1613. 	xorps	%xmm1, %xmm1

  1614. 	xorps	%xmm2, %xmm2

  1615. 	xorps	%xmm3, %xmm3

  1616. 	xorps	%xmm4, %xmm4

  1617. 	xorps	%xmm5, %xmm5

  1618. 	xorps	%xmm6, %xmm6

  1619. 	xorps	%xmm7, %xmm7

  1620. 

  1621. #ifdef ALIGNED_ACCESS

  1622. 	cmpq	M, MM

  1623. 	je	.L10X

  1624. 

  1625. #ifdef movsd

  1626. 	xorps	%xmm8, %xmm8

  1627. #endif

  1628. 	movsd	-32 * SIZE(A1), %xmm8

  1629. #ifdef movsd

  1630. 	xorps	%xmm9, %xmm9

  1631. #endif

  1632. 	movsd	-32 * SIZE(A1, LDA), %xmm9

  1633. #ifdef movsd

  1634. 	xorps	%xmm10, %xmm10

  1635. #endif

  1636. 	movsd	-32 * SIZE(A2), %xmm10

  1637. #ifdef movsd

  1638. 	xorps	%xmm11, %xmm11

  1639. #endif

  1640. 	movsd	-32 * SIZE(A2, LDA), %xmm11

  1641. 

  1642. #ifdef movsd

  1643. 	xorps	%xmm12, %xmm12

  1644. #endif

  1645. 	movsd	-32 * SIZE(X1), %xmm12

  1646. 

  1647. 	pshufd	$0xb1,  %xmm8, %xmm14

  1648. 	mulps	%xmm12, %xmm8

  1649. 	addps	%xmm8,  %xmm0

  1650. 	pshufd	$0xb1,  %xmm9, %xmm15

  1651. 	mulps	%xmm12, %xmm9

  1652. 	addps	%xmm9,  %xmm2

  1653. 

  1654. 	mulps	%xmm12, %xmm14

  1655. 	SUBPS	%xmm14, %xmm1

  1656. 	mulps	%xmm12, %xmm15

  1657. 	SUBPS	%xmm15, %xmm3

  1658. 

  1659. 	pshufd	$0xb1,  %xmm10, %xmm14

  1660. 	mulps	%xmm12, %xmm10

  1661. 	addps	%xmm10, %xmm4

  1662. 	pshufd	$0xb1,  %xmm11, %xmm15

  1663. 	mulps	%xmm12, %xmm11

  1664. 	addps	%xmm11, %xmm6

  1665. 

  1666. 	mulps	%xmm12, %xmm14

  1667. 	SUBPS	%xmm14, %xmm5

  1668. 	mulps	%xmm12, %xmm15

  1669. 	SUBPS	%xmm15, %xmm7

  1670. 

  1671. 	addq	 $2 * SIZE, A1

  1672. 	addq	 $2 * SIZE, A2

  1673. 	addq	 $2 * SIZE, X1

  1674. 	ALIGN_3

  1675. .L10X:

  1676. #endif

  1677. 

  1678. 	movaps	-32 * SIZE(X1), %xmm12

  1679. 	movaps	-28 * SIZE(X1), %xmm13

  1680. 

  1681. #ifdef PREFETCHW

  1682. 	PREFETCHW	7 * SIZE(Y1)

  1683. #endif

  1684. 

  1685. 	movq	MM,  I

  1686. 	sarq	$3,  I

  1687. 	jle	.L105

  1688. 

  1689. 	movaps	-32 * SIZE(A1), %xmm8

  1690. 	movsd	-32 * SIZE(A1, LDA), %xmm9

  1691. 	movhps	-30 * SIZE(A1, LDA), %xmm9

  1692. 

  1693. 	movaps	-32 * SIZE(A2), %xmm10

  1694. 	movsd	-32 * SIZE(A2, LDA), %xmm11

  1695. 	movhps	-30 * SIZE(A2, LDA), %xmm11

  1696. 

  1697. 	decq	 I

  1698. 	jle	 .L104

  1699. 	ALIGN_3

  1700. 

  1701. .L103:

  1702. #ifdef PREFETCH

  1703. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A1)

  1704. #endif

  1705. 

  1706. 	pshufd	$0xb1,  %xmm8, %xmm14

  1707. 	mulps	%xmm12, %xmm8

  1708. 	addps	%xmm8,  %xmm0

  1709. 	movaps	-28 * SIZE(A1), %xmm8

  1710. 	pshufd	$0xb1,  %xmm9, %xmm15

  1711. 	mulps	%xmm12, %xmm9

  1712. 	addps	%xmm9,  %xmm2

  1713. 	movsd	-28 * SIZE(A1, LDA), %xmm9

  1714. 	movhps	-26 * SIZE(A1, LDA), %xmm9

  1715. 

  1716. 	mulps	%xmm12, %xmm14

  1717. 	SUBPS	%xmm14, %xmm1

  1718. 	mulps	%xmm12, %xmm15

  1719. 	SUBPS	%xmm15, %xmm3

  1720. 

  1721. 	pshufd	$0xb1,  %xmm10, %xmm14

  1722. 	mulps	%xmm12, %xmm10

  1723. 	addps	%xmm10, %xmm4

  1724. 	movaps	-28 * SIZE(A2), %xmm10

  1725. 	pshufd	$0xb1,  %xmm11, %xmm15

  1726. 	mulps	%xmm12, %xmm11

  1727. 	addps	%xmm11, %xmm6

  1728. 	movsd	-28 * SIZE(A2, LDA), %xmm11

  1729. 	movhps	-26 * SIZE(A2, LDA), %xmm11

  1730. 

  1731. 	mulps	%xmm12, %xmm14

  1732. 	SUBPS	%xmm14, %xmm5

  1733. 	mulps	%xmm12, %xmm15

  1734. 	movaps	-24 * SIZE(X1), %xmm12

  1735. 	SUBPS	%xmm15, %xmm7

  1736. 

  1737. #ifdef PREFETCH

  1738. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A1, LDA)

  1739. #endif

  1740. 

  1741. 	pshufd	$0xb1,  %xmm8, %xmm14

  1742. 	mulps	%xmm13, %xmm8

  1743. 	addps	%xmm8,  %xmm0

  1744. 	movaps	-24 * SIZE(A1), %xmm8

  1745. 	pshufd	$0xb1,  %xmm9, %xmm15

  1746. 	mulps	%xmm13, %xmm9

  1747. 	addps	%xmm9,  %xmm2

  1748. 	movsd	-24 * SIZE(A1, LDA), %xmm9

  1749. 	movhps	-22 * SIZE(A1, LDA), %xmm9

  1750. 

  1751. 	mulps	%xmm13, %xmm14

  1752. 	SUBPS	%xmm14, %xmm1

  1753. 	mulps	%xmm13, %xmm15

  1754. 	SUBPS	%xmm15, %xmm3

  1755. 

  1756. 	pshufd	$0xb1,  %xmm10, %xmm14

  1757. 	mulps	%xmm13, %xmm10

  1758. 	addps	%xmm10, %xmm4

  1759. 	movaps	-24 * SIZE(A2), %xmm10

  1760. 	pshufd	$0xb1,  %xmm11, %xmm15

  1761. 	mulps	%xmm13, %xmm11

  1762. 	addps	%xmm11, %xmm6

  1763. 	movsd	-24 * SIZE(A2, LDA), %xmm11

  1764. 	movhps	-22 * SIZE(A2, LDA), %xmm11

  1765. 

  1766. 	mulps	%xmm13, %xmm14

  1767. 	SUBPS	%xmm14, %xmm5

  1768. 	mulps	%xmm13, %xmm15

  1769. 	movaps	-20 * SIZE(X1), %xmm13

  1770. 	SUBPS	%xmm15, %xmm7

  1771. 

  1772. #ifdef PREFETCH

  1773. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A2)

  1774. #endif

  1775. 

  1776. 	pshufd	$0xb1,  %xmm8, %xmm14

  1777. 	mulps	%xmm12, %xmm8

  1778. 	addps	%xmm8,  %xmm0

  1779. 	movaps	-20 * SIZE(A1), %xmm8

  1780. 	pshufd	$0xb1,  %xmm9, %xmm15

  1781. 	mulps	%xmm12, %xmm9

  1782. 	addps	%xmm9,  %xmm2

  1783. 	movsd	-20 * SIZE(A1, LDA), %xmm9

  1784. 	movhps	-18 * SIZE(A1, LDA), %xmm9

  1785. 

  1786. 	mulps	%xmm12, %xmm14

  1787. 	SUBPS	%xmm14, %xmm1

  1788. 	mulps	%xmm12, %xmm15

  1789. 	SUBPS	%xmm15, %xmm3

  1790. 

  1791. 	pshufd	$0xb1,  %xmm10, %xmm14

  1792. 	mulps	%xmm12, %xmm10

  1793. 	addps	%xmm10, %xmm4

  1794. 	movaps	-20 * SIZE(A2), %xmm10

  1795. 	pshufd	$0xb1,  %xmm11, %xmm15

  1796. 	mulps	%xmm12, %xmm11

  1797. 	addps	%xmm11, %xmm6

  1798. 	movsd	-20 * SIZE(A2, LDA), %xmm11

  1799. 	movhps	-18 * SIZE(A2, LDA), %xmm11

  1800. 

  1801. 	mulps	%xmm12, %xmm14

  1802. 	SUBPS	%xmm14, %xmm5

  1803. 	mulps	%xmm12, %xmm15

  1804. 	movaps	-16 * SIZE(X1), %xmm12

  1805. 	SUBPS	%xmm15, %xmm7

  1806. 

  1807. #ifdef PREFETCH

  1808. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(A2, LDA)

  1809. #endif

  1810. 

  1811. 	pshufd	$0xb1,  %xmm8, %xmm14

  1812. 	mulps	%xmm13, %xmm8

  1813. 	addps	%xmm8,  %xmm0

  1814. 	movaps	-16 * SIZE(A1), %xmm8

  1815. 	pshufd	$0xb1,  %xmm9, %xmm15

  1816. 	mulps	%xmm13, %xmm9

  1817. 	addps	%xmm9,  %xmm2

  1818. 	movsd	-16 * SIZE(A1, LDA), %xmm9

  1819. 	movhps	-14 * SIZE(A1, LDA), %xmm9

  1820. 

  1821. 	mulps	%xmm13, %xmm14

  1822. 	SUBPS	%xmm14, %xmm1

  1823. 	mulps	%xmm13, %xmm15

  1824. 	SUBPS	%xmm15, %xmm3

  1825. 

  1826. #ifdef PREFETCHW

  1827. 	PREFETCH	(PREFETCHSIZE) - 128 + PREOFFSET(X1)

  1828. #endif

  1829. 

  1830. 	pshufd	$0xb1,  %xmm10, %xmm14

  1831. 	mulps	%xmm13, %xmm10

  1832. 	addps	%xmm10, %xmm4

  1833. 	movaps	-16 * SIZE(A2), %xmm10

  1834. 	pshufd	$0xb1,  %xmm11, %xmm15

  1835. 	mulps	%xmm13, %xmm11

  1836. 	addps	%xmm11, %xmm6

  1837. 	movsd	-16 * SIZE(A2, LDA), %xmm11

  1838. 	movhps	-14 * SIZE(A2, LDA), %xmm11

  1839. 

  1840. 	mulps	%xmm13, %xmm14

  1841. 	SUBPS	%xmm14, %xmm5

  1842. 	mulps	%xmm13, %xmm15

  1843. 	movaps	-12 * SIZE(X1), %xmm13

  1844. 	SUBPS	%xmm15, %xmm7

  1845. 

  1846. 	subq	 $-16 * SIZE, A1

  1847. 	subq	 $-16 * SIZE, A2

  1848. 	subq	 $-16 * SIZE, X1

  1849. 

  1850. 	subq	 $1, I

  1851. 	BRANCH

  1852. 	jg	.L103

  1853. 	ALIGN_3

  1854. 

  1855. .L104:

  1856. 	pshufd	$0xb1,  %xmm8, %xmm14

  1857. 	mulps	%xmm12, %xmm8

  1858. 	addps	%xmm8,  %xmm0

  1859. 	movaps	-28 * SIZE(A1), %xmm8

  1860. 	pshufd	$0xb1,  %xmm9, %xmm15

  1861. 	mulps	%xmm12, %xmm9

  1862. 	addps	%xmm9,  %xmm2

  1863. 	movsd	-28 * SIZE(A1, LDA), %xmm9

  1864. 	movhps	-26 * SIZE(A1, LDA), %xmm9

  1865. 

  1866. 	mulps	%xmm12, %xmm14

  1867. 	SUBPS	%xmm14, %xmm1

  1868. 	mulps	%xmm12, %xmm15

  1869. 	SUBPS	%xmm15, %xmm3

  1870. 

  1871. 	pshufd	$0xb1,  %xmm10, %xmm14

  1872. 	mulps	%xmm12, %xmm10

  1873. 	addps	%xmm10, %xmm4

  1874. 	movaps	-28 * SIZE(A2), %xmm10

  1875. 	pshufd	$0xb1,  %xmm11, %xmm15

  1876. 	mulps	%xmm12, %xmm11

  1877. 	addps	%xmm11, %xmm6

  1878. 	movsd	-28 * SIZE(A2, LDA), %xmm11

  1879. 	movhps	-26 * SIZE(A2, LDA), %xmm11

  1880. 

  1881. 	mulps	%xmm12, %xmm14

  1882. 	SUBPS	%xmm14, %xmm5

  1883. 	mulps	%xmm12, %xmm15

  1884. 	movaps	-24 * SIZE(X1), %xmm12

  1885. 	SUBPS	%xmm15, %xmm7

  1886. 

  1887. 	pshufd	$0xb1,  %xmm8, %xmm14

  1888. 	mulps	%xmm13, %xmm8

  1889. 	addps	%xmm8,  %xmm0

  1890. 	movaps	-24 * SIZE(A1), %xmm8

  1891. 	pshufd	$0xb1,  %xmm9, %xmm15

  1892. 	mulps	%xmm13, %xmm9

  1893. 	addps	%xmm9,  %xmm2

  1894. 	movsd	-24 * SIZE(A1, LDA), %xmm9

  1895. 	movhps	-22 * SIZE(A1, LDA), %xmm9

  1896. 

  1897. 	mulps	%xmm13, %xmm14

  1898. 	SUBPS	%xmm14, %xmm1

  1899. 	mulps	%xmm13, %xmm15

  1900. 	SUBPS	%xmm15, %xmm3

  1901. 

  1902. 	pshufd	$0xb1,  %xmm10, %xmm14

  1903. 	mulps	%xmm13, %xmm10

  1904. 	addps	%xmm10, %xmm4

  1905. 	movaps	-24 * SIZE(A2), %xmm10

  1906. 	pshufd	$0xb1,  %xmm11, %xmm15

  1907. 	mulps	%xmm13, %xmm11

  1908. 	addps	%xmm11, %xmm6

  1909. 	movsd	-24 * SIZE(A2, LDA), %xmm11

  1910. 	movhps	-22 * SIZE(A2, LDA), %xmm11

  1911. 

  1912. 	mulps	%xmm13, %xmm14

  1913. 	SUBPS	%xmm14, %xmm5

  1914. 	mulps	%xmm13, %xmm15

  1915. 	movaps	-20 * SIZE(X1), %xmm13

  1916. 	SUBPS	%xmm15, %xmm7

  1917. 

  1918. 	pshufd	$0xb1,  %xmm8, %xmm14

  1919. 	mulps	%xmm12, %xmm8

  1920. 	addps	%xmm8,  %xmm0

  1921. 	movaps	-20 * SIZE(A1), %xmm8

  1922. 	pshufd	$0xb1,  %xmm9, %xmm15

  1923. 	mulps	%xmm12, %xmm9

  1924. 	addps	%xmm9,  %xmm2

  1925. 	movsd	-20 * SIZE(A1, LDA), %xmm9

  1926. 	movhps	-18 * SIZE(A1, LDA), %xmm9

  1927. 

  1928. 	mulps	%xmm12, %xmm14

  1929. 	SUBPS	%xmm14, %xmm1

  1930. 	mulps	%xmm12, %xmm15

  1931. 	SUBPS	%xmm15, %xmm3

  1932. 

  1933. 	pshufd	$0xb1,  %xmm10, %xmm14

  1934. 	mulps	%xmm12, %xmm10

  1935. 	addps	%xmm10, %xmm4

  1936. 	movaps	-20 * SIZE(A2), %xmm10

  1937. 	pshufd	$0xb1,  %xmm11, %xmm15

  1938. 	mulps	%xmm12, %xmm11

  1939. 	addps	%xmm11, %xmm6

  1940. 	movsd	-20 * SIZE(A2, LDA), %xmm11

  1941. 	movhps	-18 * SIZE(A2, LDA), %xmm11

  1942. 

  1943. 	mulps	%xmm12, %xmm14

  1944. 	SUBPS	%xmm14, %xmm5

  1945. 	mulps	%xmm12, %xmm15

  1946. 	movaps	-16 * SIZE(X1), %xmm12

  1947. 	SUBPS	%xmm15, %xmm7

  1948. 

  1949. 	pshufd	$0xb1,  %xmm8, %xmm14

  1950. 	mulps	%xmm13, %xmm8

  1951. 	addps	%xmm8,  %xmm0

  1952. 	pshufd	$0xb1,  %xmm9, %xmm15

  1953. 	mulps	%xmm13, %xmm9

  1954. 	addps	%xmm9,  %xmm2

  1955. 

  1956. 	mulps	%xmm13, %xmm14

  1957. 	SUBPS	%xmm14, %xmm1

  1958. 	mulps	%xmm13, %xmm15

  1959. 	SUBPS	%xmm15, %xmm3

  1960. 

  1961. 	pshufd	$0xb1,  %xmm10, %xmm14

  1962. 	mulps	%xmm13, %xmm10

  1963. 	addps	%xmm10, %xmm4

  1964. 	pshufd	$0xb1,  %xmm11, %xmm15

  1965. 	mulps	%xmm13, %xmm11

  1966. 	addps	%xmm11, %xmm6

  1967. 

  1968. 	mulps	%xmm13, %xmm14

  1969. 	SUBPS	%xmm14, %xmm5

  1970. 	mulps	%xmm13, %xmm15

  1971. 	movaps	-12 * SIZE(X1), %xmm13

  1972. 	SUBPS	%xmm15, %xmm7

  1973. 

  1974. 	subq	 $-16 * SIZE, A1

  1975. 	subq	 $-16 * SIZE, A2

  1976. 	subq	 $-16 * SIZE, X1

  1977. 	ALIGN_3

  1978. 

  1979. .L105:

  1980. 	testq	$4, MM

  1981. 	je	.L107

  1982. 

  1983. 	movaps	-32 * SIZE(A1), %xmm8

  1984. 	movsd	-32 * SIZE(A1, LDA), %xmm9

  1985. 	movhps	-30 * SIZE(A1, LDA), %xmm9

  1986. 

  1987. 	movaps	-32 * SIZE(A2), %xmm10

  1988. 	movsd	-32 * SIZE(A2, LDA), %xmm11

  1989. 	movhps	-30 * SIZE(A2, LDA), %xmm11

  1990. 

  1991. 	pshufd	$0xb1,  %xmm8, %xmm14

  1992. 	mulps	%xmm12, %xmm8

  1993. 	addps	%xmm8,  %xmm0

  1994. 	movaps	-28 * SIZE(A1), %xmm8

  1995. 	pshufd	$0xb1,  %xmm9, %xmm15

  1996. 	mulps	%xmm12, %xmm9

  1997. 	addps	%xmm9,  %xmm2

  1998. 	movsd	-28 * SIZE(A1, LDA), %xmm9

  1999. 	movhps	-26 * SIZE(A1, LDA), %xmm9

  2000. 

  2001. 	mulps	%xmm12, %xmm14

  2002. 	SUBPS	%xmm14, %xmm1

  2003. 	mulps	%xmm12, %xmm15

  2004. 	SUBPS	%xmm15, %xmm3

  2005. 

  2006. 	pshufd	$0xb1,  %xmm10, %xmm14

  2007. 	mulps	%xmm12, %xmm10

  2008. 	addps	%xmm10, %xmm4

  2009. 	movaps	-28 * SIZE(A2), %xmm10

  2010. 	pshufd	$0xb1,  %xmm11, %xmm15

  2011. 	mulps	%xmm12, %xmm11

  2012. 	addps	%xmm11, %xmm6

  2013. 	movsd	-28 * SIZE(A2, LDA), %xmm11

  2014. 	movhps	-26 * SIZE(A2, LDA), %xmm11

  2015. 

  2016. 	mulps	%xmm12, %xmm14

  2017. 	SUBPS	%xmm14, %xmm5

  2018. 	mulps	%xmm12, %xmm15

  2019. 	movaps	-24 * SIZE(X1), %xmm12

  2020. 	SUBPS	%xmm15, %xmm7

  2021. 

  2022. 	pshufd	$0xb1,  %xmm8, %xmm14

  2023. 	mulps	%xmm13, %xmm8

  2024. 	addps	%xmm8,  %xmm0

  2025. 	pshufd	$0xb1,  %xmm9, %xmm15

  2026. 	mulps	%xmm13, %xmm9

  2027. 	addps	%xmm9,  %xmm2

  2028. 

  2029. 	mulps	%xmm13, %xmm14

  2030. 	SUBPS	%xmm14, %xmm1

  2031. 	mulps	%xmm13, %xmm15

  2032. 	SUBPS	%xmm15, %xmm3

  2033. 

  2034. 	pshufd	$0xb1,  %xmm10, %xmm14

  2035. 	mulps	%xmm13, %xmm10

  2036. 	addps	%xmm10, %xmm4

  2037. 	pshufd	$0xb1,  %xmm11, %xmm15

  2038. 	mulps	%xmm13, %xmm11

  2039. 	addps	%xmm11, %xmm6

  2040. 

  2041. 	mulps	%xmm13, %xmm14

  2042. 	SUBPS	%xmm14, %xmm5

  2043. 	mulps	%xmm13, %xmm15

  2044. 	movaps	-20 * SIZE(X1), %xmm13

  2045. 	SUBPS	%xmm15, %xmm7

  2046. 

  2047. 	addq	 $8 * SIZE, A1

  2048. 	addq	 $8 * SIZE, A2

  2049. 	addq	 $8 * SIZE, X1

  2050. 	ALIGN_3

  2051. 

  2052. .L107:

  2053. 	testq	$2, MM

  2054. 	je	.L108

  2055. 

  2056. 	movaps	-32 * SIZE(A1), %xmm8

  2057. 	movsd	-32 * SIZE(A1, LDA), %xmm9

  2058. 	movhps	-30 * SIZE(A1, LDA), %xmm9

  2059. 

  2060. 	movaps	-32 * SIZE(A2), %xmm10

  2061. 	movsd	-32 * SIZE(A2, LDA), %xmm11

  2062. 	movhps	-30 * SIZE(A2, LDA), %xmm11

  2063. 

  2064. 	pshufd	$0xb1,  %xmm8, %xmm14

  2065. 	mulps	%xmm12, %xmm8

  2066. 	addps	%xmm8,  %xmm0

  2067. 	pshufd	$0xb1,  %xmm9, %xmm15

  2068. 	mulps	%xmm12, %xmm9

  2069. 	addps	%xmm9,  %xmm2

  2070. 

  2071. 	mulps	%xmm12, %xmm14

  2072. 	SUBPS	%xmm14, %xmm1

  2073. 	mulps	%xmm12, %xmm15

  2074. 	SUBPS	%xmm15, %xmm3

  2075. 

  2076. 	pshufd	$0xb1,  %xmm10, %xmm14

  2077. 	mulps	%xmm12, %xmm10

  2078. 	addps	%xmm10, %xmm4

  2079. 	pshufd	$0xb1,  %xmm11, %xmm15

  2080. 	mulps	%xmm12, %xmm11

  2081. 	addps	%xmm11, %xmm6

  2082. 

  2083. 	mulps	%xmm12, %xmm14

  2084. 	SUBPS	%xmm14, %xmm5

  2085. 	mulps	%xmm12, %xmm15

  2086. 	SUBPS	%xmm15, %xmm7

  2087. 

  2088. 	movaps	%xmm13, %xmm12

  2089. 

  2090. 	addq	 $4 * SIZE, A1

  2091. 	addq	 $4 * SIZE, A2

  2092. 	ALIGN_3

  2093. 

  2094. .L108:

  2095. 	testq	$1, MM

  2096. 	je	.L109

  2097. 

  2098. #ifdef movsd

  2099. 	xorps	%xmm8, %xmm8

  2100. #endif

  2101. 	movsd	-32 * SIZE(A1), %xmm8

  2102. #ifdef movsd

  2103. 	xorps	%xmm9, %xmm9

  2104. #endif

  2105. 	movsd	-32 * SIZE(A1, LDA), %xmm9

  2106. #ifdef movsd

  2107. 	xorps	%xmm10, %xmm10

  2108. #endif

  2109. 	movsd	-32 * SIZE(A2), %xmm10

  2110. #ifdef movsd

  2111. 	xorps	%xmm11, %xmm11

  2112. #endif

  2113. 	movsd	-32 * SIZE(A2, LDA), %xmm11

  2114. 

  2115. 	pshufd	$0xb1,  %xmm8, %xmm14

  2116. 	mulps	%xmm12, %xmm8

  2117. 	addps	%xmm8,  %xmm0

  2118. 	pshufd	$0xb1,  %xmm9, %xmm15

  2119. 	mulps	%xmm12, %xmm9

  2120. 	addps	%xmm9,  %xmm2

  2121. 

  2122. 	mulps	%xmm12, %xmm14

  2123. 	SUBPS	%xmm14, %xmm1

  2124. 	mulps	%xmm12, %xmm15

  2125. 	SUBPS	%xmm15, %xmm3

  2126. 

  2127. 	pshufd	$0xb1,  %xmm10, %xmm14

  2128. 	mulps	%xmm12, %xmm10

  2129. 	addps	%xmm10, %xmm4

  2130. 	pshufd	$0xb1,  %xmm11, %xmm15

  2131. 	mulps	%xmm12, %xmm11

  2132. 	addps	%xmm11, %xmm6

  2133. 

  2134. 	mulps	%xmm12, %xmm14

  2135. 	SUBPS	%xmm14, %xmm5

  2136. 	mulps	%xmm12, %xmm15

  2137. 	SUBPS	%xmm15, %xmm7

  2138. 	ALIGN_3

  2139. 

  2140. .L109:

  2141. 	pcmpeqb	%xmm11, %xmm11

  2142. 	psllq	$63,    %xmm11

  2143. 

  2144. #if (!defined(CONJ) && !defined(XCONJ)) || (defined(CONJ) && defined(XCONJ))

  2145. 	xorps	%xmm11, %xmm0

  2146. 	xorps	%xmm11, %xmm2

  2147. 	xorps	%xmm11, %xmm4

  2148. 	xorps	%xmm11, %xmm6

  2149. #else

  2150. 	xorps	%xmm11, %xmm1

  2151. 	xorps	%xmm11, %xmm3

  2152. 	xorps	%xmm11, %xmm5

  2153. 	xorps	%xmm11, %xmm7

  2154. #endif

  2155. 

  2156. #ifdef HAVE_SSE3

  2157. 	haddps	%xmm1, %xmm0

  2158. 	haddps	%xmm3, %xmm2

  2159. 	haddps	%xmm2, %xmm0

  2160. 

  2161. 	haddps	%xmm5, %xmm4

  2162. 	haddps	%xmm7, %xmm6

  2163. 	haddps	%xmm6, %xmm4

  2164. #else

  2165. 

  2166. 	movaps	%xmm0, %xmm8

  2167. 	unpcklps %xmm1, %xmm0

  2168. 	unpckhps %xmm1, %xmm8

  2169. 

  2170. 	movaps	%xmm2, %xmm9

  2171. 	unpcklps %xmm3, %xmm2

  2172. 	unpckhps %xmm3, %xmm9

  2173. 

  2174. 	movaps	%xmm4, %xmm10

  2175. 	unpcklps %xmm5, %xmm4

  2176. 	unpckhps %xmm5, %xmm10

  2177. 

  2178. 	movaps	%xmm6, %xmm11

  2179. 	unpcklps %xmm7, %xmm6

  2180. 	unpckhps %xmm7, %xmm11

  2181. 

  2182. 	addps	%xmm8,  %xmm0

  2183. 	addps	%xmm9,  %xmm2

  2184. 	addps	%xmm10, %xmm4

  2185. 	addps	%xmm11, %xmm6

  2186. 

  2187. 	movhlps	%xmm0, %xmm1

  2188. 	movhlps	%xmm2, %xmm3

  2189. 	movhlps	%xmm4, %xmm5

  2190. 	movhlps	%xmm6, %xmm7

  2191. 

  2192. 	addps	%xmm1, %xmm0

  2193. 	addps	%xmm3, %xmm2

  2194. 	addps	%xmm5, %xmm4

  2195. 	addps	%xmm7, %xmm6

  2196. 

  2197. 	movlhps %xmm2, %xmm0

  2198. 	movlhps %xmm6, %xmm4

  2199. #endif

  2200. 

  2201. 	pshufd	$0xb1, %xmm0, %xmm1

  2202. 	pshufd	$0xb1, %xmm4, %xmm5

  2203. 

  2204. #ifdef HAVE_SSE3

  2205. 	movddup	ALPHA, %xmm15

  2206. #else

  2207. 	movsd	ALPHA, %xmm15

  2208. 	pshufd	$0x44, %xmm15, %xmm15

  2209. #endif

  2210. 

  2211. 	mulps	%xmm15, %xmm0

  2212. 	mulps	%xmm15, %xmm1

  2213. 	mulps	%xmm15, %xmm4

  2214. 	mulps	%xmm15, %xmm5

  2215. 

  2216. 	xorps	%xmm11, %xmm0

  2217. 	xorps	%xmm11, %xmm4

  2218. 

  2219. #ifdef HAVE_SSE3

  2220. 	haddps	%xmm1, %xmm0

  2221. 	haddps	%xmm5, %xmm4

  2222. #else

  2223. 	movaps	%xmm0, %xmm2

  2224. 	shufps	$0x88, %xmm1, %xmm0

  2225. 	shufps	$0xdd, %xmm1, %xmm2

  2226. 

  2227. 	movaps	%xmm4, %xmm6

  2228. 	shufps	$0x88, %xmm5, %xmm4

  2229. 	shufps	$0xdd, %xmm5, %xmm6

  2230. 

  2231. 	addps	%xmm2, %xmm0

  2232. 	addps	%xmm6, %xmm4

  2233. #endif

  2234. 

  2235. 	movsd	(Y), %xmm2

  2236. 	addq	INCY, Y

  2237. 	movhps	(Y), %xmm2

  2238. 	addq	INCY, Y

  2239. 	movsd	(Y), %xmm6

  2240. 	addq	INCY, Y

  2241. 	movhps	(Y), %xmm6

  2242. 	addq	INCY, Y

  2243. 

  2244. 	shufps	$0xd8, %xmm0, %xmm0

  2245. 	shufps	$0xd8, %xmm4, %xmm4

  2246. 

  2247. 	addps	%xmm2, %xmm0

  2248. 	addps	%xmm6, %xmm4

  2249. 

  2250. 	movlps	%xmm0, (Y1)

  2251. 	addq	INCY, Y1

  2252. 	movhps	%xmm0, (Y1)

  2253. 	addq	INCY, Y1

  2254. 	movlps	%xmm4, (Y1)

  2255. 	addq	INCY, Y1

  2256. 	movhps	%xmm4, (Y1)

  2257. 	addq	INCY, Y1

  2258. 

  2259. 	cmpq	$4, N

  2260. 	jge	.L101

  2261. 	ALIGN_3

  2262. 

  2263. .L110:

  2264. #endif

  2265. 

  2266. 	cmpq	$2, N

  2267. 	jl	.L120

  2268. #if GEMV_UNROLL == 2

  2269. 	ALIGN_3

  2270. 

  2271. .L111:

  2272. #endif

  2273. 	subq	$2, N

  2274. 

  2275. 	leaq	32 * SIZE(BUFFER), X1

  2276. 

  2277. 	movq	A, A1

  2278. 	leaq	(A1, LDA), A2

  2279. 	leaq	(A1, LDA, 2), A

  2280. 

  2281. 	xorps	%xmm0, %xmm0

  2282. 	xorps	%xmm1, %xmm1

  2283. 	xorps	%xmm2, %xmm2

  2284. 	xorps	%xmm3, %xmm3

  2285. 

  2286. #ifdef ALIGNED_ACCESS

  2287. 	cmpq	M, MM

  2288. 	je	.L11X

  2289. 

  2290. #ifdef movsd

  2291. 	xorps	%xmm8, %xmm8

  2292. #endif

  2293. 	movsd	-32 * SIZE(A1), %xmm8

  2294. #ifdef movsd

  2295. 	xorps	%xmm9, %xmm9

  2296. #endif

  2297. 	movsd	-32 * SIZE(A2), %xmm9

  2298. 

  2299. #ifdef movsd

  2300. 	xorps	%xmm12, %xmm12

  2301. #endif

  2302. 	movsd	-32 * SIZE(X1), %xmm12

  2303. 

  2304. 	pshufd	$0xb1, %xmm8,  %xmm4

  2305. 	mulps	%xmm12,  %xmm8

  2306. 	addps	%xmm8,  %xmm0

  2307. 	mulps	%xmm12,  %xmm4

  2308. 	SUBPS	%xmm4,  %xmm1

  2309. 

  2310. 	pshufd	$0xb1, %xmm9, %xmm5

  2311. 	mulps	%xmm12,  %xmm9

  2312. 	addps	%xmm9, %xmm2

  2313. 	mulps	%xmm12,  %xmm5

  2314. 	SUBPS	%xmm5, %xmm3

  2315. 

  2316. 	addq	 $2 * SIZE, A1

  2317. 	addq	 $2 * SIZE, A2

  2318. 	addq	 $2 * SIZE, X1

  2319. 	ALIGN_3

  2320. .L11X:

  2321. #endif

  2322. 

  2323. 	movaps	-32 * SIZE(X1), %xmm12

  2324. 	movaps	-28 * SIZE(X1), %xmm13

  2325. 

  2326. #if (GEMV_UNROLL == 2) && defined(PREFETCHW)

  2327. 	PREFETCHW	3 * SIZE(Y1)

  2328. #endif

  2329. 

  2330. 	movq	MM,  I

  2331. 	sarq	$3,  I

  2332. 	jle	.L115

  2333. 

  2334. 	movaps	-32 * SIZE(A1), %xmm8

  2335. 	movsd	-32 * SIZE(A2), %xmm9

  2336. 	movhps	-30 * SIZE(A2), %xmm9

  2337. 

  2338. 	movaps	-28 * SIZE(A1), %xmm10

  2339. 	movsd	-28 * SIZE(A2), %xmm11

  2340. 	movhps	-26 * SIZE(A2), %xmm11

  2341. 

  2342. 	decq	 I

  2343. 	jle	 .L114

  2344. 	ALIGN_3

  2345. 

  2346. .L113:

  2347. #ifdef PREFETCH

  2348. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1)

  2349. #endif

  2350. 

  2351. 	pshufd	$0xb1, %xmm8,  %xmm4

  2352. 	mulps	%xmm12,  %xmm8

  2353. 	addps	%xmm8,  %xmm0

  2354. 	movaps	-24 * SIZE(A1), %xmm8

  2355. 	mulps	%xmm12,  %xmm4

  2356. 	SUBPS	%xmm4,  %xmm1

  2357. 

  2358. 	pshufd	$0xb1, %xmm9, %xmm5

  2359. 	mulps	%xmm12,  %xmm9

  2360. 	addps	%xmm9, %xmm2

  2361. 	movsd	-24 * SIZE(A2), %xmm9

  2362. 	movhps	-22 * SIZE(A2), %xmm9

  2363. 	mulps	%xmm12,  %xmm5

  2364. 	SUBPS	%xmm5, %xmm3

  2365. 

  2366. 	movaps	-24 * SIZE(X1), %xmm12

  2367. 

  2368. 	pshufd	$0xb1, %xmm10,  %xmm6

  2369. 	mulps	%xmm13,  %xmm10

  2370. 	addps	%xmm10,  %xmm0

  2371. 	movaps	-20 * SIZE(A1), %xmm10

  2372. 	mulps	%xmm13,  %xmm6

  2373. 	SUBPS	%xmm6,  %xmm1

  2374. 

  2375. 	pshufd	$0xb1, %xmm11, %xmm7

  2376. 	mulps	%xmm13,  %xmm11

  2377. 	addps	%xmm11, %xmm2

  2378. 	movsd	-20 * SIZE(A2), %xmm11

  2379. 	movhps	-18 * SIZE(A2), %xmm11

  2380. 	mulps	%xmm13,  %xmm7

  2381. 	SUBPS	%xmm7, %xmm3

  2382. 

  2383. 	movaps	-20 * SIZE(X1), %xmm13

  2384. 

  2385. #ifdef PREFETCH

  2386. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2)

  2387. #endif

  2388. 

  2389. 	pshufd	$0xb1, %xmm8,  %xmm4

  2390. 	mulps	%xmm12,  %xmm8

  2391. 	addps	%xmm8,  %xmm0

  2392. 	movaps	-16 * SIZE(A1), %xmm8

  2393. 	mulps	%xmm12,  %xmm4

  2394. 	SUBPS	%xmm4,  %xmm1

  2395. 

  2396. 	pshufd	$0xb1, %xmm9, %xmm5

  2397. 	mulps	%xmm12,  %xmm9

  2398. 	addps	%xmm9, %xmm2

  2399. 	movsd	-16 * SIZE(A2), %xmm9

  2400. 	movhps	-14 * SIZE(A2), %xmm9

  2401. 	mulps	%xmm12,  %xmm5

  2402. 	SUBPS	%xmm5, %xmm3

  2403. 

  2404. 	movaps	-16 * SIZE(X1), %xmm12

  2405. 

  2406. #ifdef PREFETCHW

  2407. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(X1)

  2408. #endif

  2409. 

  2410. 	pshufd	$0xb1, %xmm10,  %xmm6

  2411. 	mulps	%xmm13,  %xmm10

  2412. 	addps	%xmm10,  %xmm0

  2413. 	movaps	-12 * SIZE(A1), %xmm10

  2414. 	mulps	%xmm13,  %xmm6

  2415. 	SUBPS	%xmm6,  %xmm1

  2416. 

  2417. 	pshufd	$0xb1, %xmm11, %xmm7

  2418. 	mulps	%xmm13,  %xmm11

  2419. 	addps	%xmm11, %xmm2

  2420. 	movsd	-12 * SIZE(A2), %xmm11

  2421. 	movhps	-10 * SIZE(A2), %xmm11

  2422. 	mulps	%xmm13,  %xmm7

  2423. 	SUBPS	%xmm7, %xmm3

  2424. 

  2425. 	movaps	-12 * SIZE(X1), %xmm13

  2426. 

  2427. 	subq	 $-16 * SIZE, A1

  2428. 	subq	 $-16 * SIZE, A2

  2429. 	subq	 $-16 * SIZE, X1

  2430. 

  2431. 	subq	 $1, I

  2432. 	BRANCH

  2433. 	jg	.L113

  2434. 	ALIGN_3

  2435. 

  2436. .L114:

  2437. 	pshufd	$0xb1, %xmm8,  %xmm4

  2438. 	mulps	%xmm12,  %xmm8

  2439. 	addps	%xmm8,  %xmm0

  2440. 	movaps	-24 * SIZE(A1), %xmm8

  2441. 	mulps	%xmm12,  %xmm4

  2442. 	SUBPS	%xmm4,  %xmm1

  2443. 

  2444. 	pshufd	$0xb1, %xmm9, %xmm5

  2445. 	mulps	%xmm12,  %xmm9

  2446. 	addps	%xmm9, %xmm2

  2447. 	movsd	-24 * SIZE(A2), %xmm9

  2448. 	movhps	-22 * SIZE(A2), %xmm9

  2449. 	mulps	%xmm12,  %xmm5

  2450. 	SUBPS	%xmm5, %xmm3

  2451. 

  2452. 	movaps	-24 * SIZE(X1), %xmm12

  2453. 

  2454. 	pshufd	$0xb1, %xmm10,  %xmm6

  2455. 	mulps	%xmm13,  %xmm10

  2456. 	addps	%xmm10,  %xmm0

  2457. 	movaps	-20 * SIZE(A1), %xmm10

  2458. 	mulps	%xmm13,  %xmm6

  2459. 	SUBPS	%xmm6,  %xmm1

  2460. 

  2461. 	pshufd	$0xb1, %xmm11, %xmm7

  2462. 	mulps	%xmm13,  %xmm11

  2463. 	addps	%xmm11, %xmm2

  2464. 	movsd	-20 * SIZE(A2), %xmm11

  2465. 	movhps	-18 * SIZE(A2), %xmm11

  2466. 	mulps	%xmm13,  %xmm7

  2467. 	SUBPS	%xmm7, %xmm3

  2468. 

  2469. 	movaps	-20 * SIZE(X1), %xmm13

  2470. 

  2471. 	pshufd	$0xb1, %xmm8,  %xmm4

  2472. 	mulps	%xmm12,  %xmm8

  2473. 	addps	%xmm8,  %xmm0

  2474. 	mulps	%xmm12,  %xmm4

  2475. 	SUBPS	%xmm4,  %xmm1

  2476. 

  2477. 	pshufd	$0xb1, %xmm9, %xmm5

  2478. 	mulps	%xmm12,  %xmm9

  2479. 	addps	%xmm9, %xmm2

  2480. 	mulps	%xmm12,  %xmm5

  2481. 	SUBPS	%xmm5, %xmm3

  2482. 

  2483. 	movaps	-16 * SIZE(X1), %xmm12

  2484. 

  2485. 	pshufd	$0xb1, %xmm10,  %xmm6

  2486. 	mulps	%xmm13,  %xmm10

  2487. 	addps	%xmm10,  %xmm0

  2488. 	mulps	%xmm13,  %xmm6

  2489. 	SUBPS	%xmm6,  %xmm1

  2490. 

  2491. 	pshufd	$0xb1, %xmm11, %xmm7

  2492. 	mulps	%xmm13,  %xmm11

  2493. 	addps	%xmm11, %xmm2

  2494. 	mulps	%xmm13,  %xmm7

  2495. 	SUBPS	%xmm7, %xmm3

  2496. 

  2497. 	movaps	-12 * SIZE(X1), %xmm13

  2498. 

  2499. 	subq	 $-16 * SIZE, A1

  2500. 	subq	 $-16 * SIZE, A2

  2501. 	subq	 $-16 * SIZE, X1

  2502. 	ALIGN_3

  2503. 

  2504. .L115:

  2505. 	testq	$4, MM

  2506. 	je	.L117

  2507. 

  2508. 	movaps	-32 * SIZE(A1), %xmm8

  2509. 	movsd	-32 * SIZE(A2), %xmm9

  2510. 	movhps	-30 * SIZE(A2), %xmm9

  2511. 

  2512. 	movaps	-28 * SIZE(A1), %xmm10

  2513. 	movsd	-28 * SIZE(A2), %xmm11

  2514. 	movhps	-26 * SIZE(A2), %xmm11

  2515. 

  2516. 	pshufd	$0xb1, %xmm8,  %xmm4

  2517. 	mulps	%xmm12,  %xmm8

  2518. 	addps	%xmm8,  %xmm0

  2519. 	mulps	%xmm12,  %xmm4

  2520. 	SUBPS	%xmm4,  %xmm1

  2521. 

  2522. 	pshufd	$0xb1, %xmm9, %xmm5

  2523. 	mulps	%xmm12,  %xmm9

  2524. 	addps	%xmm9, %xmm2

  2525. 	mulps	%xmm12,  %xmm5

  2526. 	SUBPS	%xmm5, %xmm3

  2527. 

  2528. 	movaps	-24 * SIZE(X1), %xmm12

  2529. 

  2530. 	pshufd	$0xb1, %xmm10,  %xmm6

  2531. 	mulps	%xmm13,  %xmm10

  2532. 	addps	%xmm10,  %xmm0

  2533. 	mulps	%xmm13,  %xmm6

  2534. 	SUBPS	%xmm6,  %xmm1

  2535. 

  2536. 	pshufd	$0xb1, %xmm11, %xmm7

  2537. 	mulps	%xmm13,  %xmm11

  2538. 	addps	%xmm11, %xmm2

  2539. 	mulps	%xmm13,  %xmm7

  2540. 	SUBPS	%xmm7, %xmm3

  2541. 

  2542. 	movaps	-20 * SIZE(X1), %xmm13

  2543. 

  2544. 	addq	 $8 * SIZE, A1

  2545. 	addq	 $8 * SIZE, A2

  2546. 	ALIGN_3

  2547. 

  2548. .L117:

  2549. 	testq	$2, MM

  2550. 	je	.L118

  2551. 

  2552. 	movaps	-32 * SIZE(A1), %xmm8

  2553. 	movsd	-32 * SIZE(A2), %xmm9

  2554. 	movhps	-30 * SIZE(A2), %xmm9

  2555. 

  2556. 	pshufd	$0xb1, %xmm8,  %xmm4

  2557. 	mulps	%xmm12,  %xmm8

  2558. 	addps	%xmm8,  %xmm0

  2559. 	mulps	%xmm12,  %xmm4

  2560. 	SUBPS	%xmm4,  %xmm1

  2561. 

  2562. 	pshufd	$0xb1, %xmm9, %xmm5

  2563. 	mulps	%xmm12,  %xmm9

  2564. 	addps	%xmm9, %xmm2

  2565. 	mulps	%xmm12,  %xmm5

  2566. 	SUBPS	%xmm5, %xmm3

  2567. 

  2568. 	movaps	%xmm13, %xmm12

  2569. 

  2570. 	addq	 $4 * SIZE, A1

  2571. 	addq	 $4 * SIZE, A2

  2572. 	ALIGN_3

  2573. 

  2574. .L118:

  2575. 	testq	$1, MM

  2576. 	je	.L119

  2577. 

  2578. #ifdef movsd

  2579. 	xorps	%xmm8, %xmm8

  2580. #endif

  2581. 	movsd	-32 * SIZE(A1), %xmm8

  2582. #ifdef movsd

  2583. 	xorps	%xmm9, %xmm9

  2584. #endif

  2585. 	movsd	-32 * SIZE(A2), %xmm9

  2586. 

  2587. 	pshufd	$0xb1, %xmm8,  %xmm4

  2588. 	mulps	%xmm12,  %xmm8

  2589. 	addps	%xmm8,  %xmm0

  2590. 	mulps	%xmm12,  %xmm4

  2591. 	SUBPS	%xmm4,  %xmm1

  2592. 

  2593. 	pshufd	$0xb1, %xmm9, %xmm5

  2594. 	mulps	%xmm12,  %xmm9

  2595. 	addps	%xmm9, %xmm2

  2596. 	mulps	%xmm12,  %xmm5

  2597. 	SUBPS	%xmm5, %xmm3

  2598. 	ALIGN_3

  2599. 

  2600. .L119:

  2601. 	pcmpeqb	%xmm5, %xmm5

  2602. 	psllq	$63,    %xmm5

  2603. 

  2604. #if (!defined(CONJ) && !defined(XCONJ)) || (defined(CONJ) && defined(XCONJ))

  2605. 	xorps	%xmm5, %xmm0

  2606. 	xorps	%xmm5, %xmm2

  2607. #else

  2608. 	xorps	%xmm5, %xmm1

  2609. 	xorps	%xmm5, %xmm3

  2610. #endif

  2611. 

  2612. #ifdef HAVE_SSE3

  2613. 	haddps	%xmm1, %xmm0

  2614. 	haddps	%xmm3, %xmm2

  2615. 	haddps	%xmm2, %xmm0

  2616. #else

  2617. 	movaps	%xmm0, %xmm8

  2618. 	unpcklps %xmm1, %xmm0

  2619. 	unpckhps %xmm1, %xmm8

  2620. 

  2621. 	movaps	%xmm2, %xmm4

  2622. 	unpcklps %xmm3, %xmm2

  2623. 	unpckhps %xmm3, %xmm4

  2624. 

  2625. 	addps	%xmm8, %xmm0

  2626. 	addps	%xmm4, %xmm2

  2627. 

  2628. 	movhlps	%xmm0, %xmm1

  2629. 	movhlps	%xmm2, %xmm3

  2630. 

  2631. 	addps	%xmm1, %xmm0

  2632. 	addps	%xmm3, %xmm2

  2633. 	movlhps %xmm2, %xmm0

  2634. #endif

  2635. 

  2636. 	pshufd	$0xb1, %xmm0, %xmm1

  2637. 

  2638. #ifdef HAVE_SSE3

  2639. 	movddup	ALPHA, %xmm15

  2640. #else

  2641. 	movsd	ALPHA, %xmm15

  2642. 	pshufd	$0x44, %xmm15, %xmm15

  2643. #endif

  2644. 

  2645. 	mulps	%xmm15, %xmm0

  2646. 	mulps	%xmm15, %xmm1

  2647. 

  2648. 	xorps	%xmm5, %xmm0

  2649. 

  2650. #ifdef HAVE_SSE3

  2651. 	haddps	%xmm1, %xmm0

  2652. #else

  2653. 	movaps	%xmm0, %xmm2

  2654. 	shufps	$0x88, %xmm1, %xmm0

  2655. 	shufps	$0xdd, %xmm1, %xmm2

  2656. 

  2657. 	addps	%xmm2, %xmm0

  2658. #endif

  2659. 

  2660. 	movsd	(Y), %xmm12

  2661. 	addq	INCY, Y

  2662. 	movhps	(Y), %xmm12

  2663. 	addq	INCY, Y

  2664. 

  2665. 	shufps	$0xd8, %xmm0, %xmm0

  2666. 

  2667. 	addps	%xmm12, %xmm0

  2668. 

  2669. 	movlps	%xmm0, (Y1)

  2670. 	addq	INCY, Y1

  2671. 	movhps	%xmm0, (Y1)

  2672. 	addq	INCY, Y1

  2673. 

  2674. #if GEMV_UNROLL == 2

  2675. 	cmpq	$2, N

  2676. 	jge	.L111

  2677. #endif

  2678. 	ALIGN_3

  2679. 

  2680. .L120:

  2681. 	cmpq	$1, N

  2682. 	jl	.L999

  2683. 

  2684. 	leaq	32 * SIZE(BUFFER), X1

  2685. 

  2686. 	movq	A, A1

  2687. 

  2688. 	xorps	%xmm0, %xmm0

  2689. 	xorps	%xmm1, %xmm1

  2690. 

  2691. #ifdef ALIGNED_ACCESS

  2692. 	cmpq	M, MM

  2693. 	je	.L12X

  2694. 

  2695. #ifdef movsd

  2696. 	xorps	%xmm8, %xmm8

  2697. #endif

  2698. 	movsd	-32 * SIZE(A1), %xmm8

  2699. #ifdef movsd

  2700. 	xorps	%xmm12, %xmm12

  2701. #endif

  2702. 	movsd	-32 * SIZE(X1), %xmm12

  2703. 

  2704. 	pshufd	$0xb1, %xmm8,  %xmm4

  2705. 	mulps	%xmm12,  %xmm8

  2706. 	addps	%xmm8,  %xmm0

  2707. 	mulps	%xmm12,  %xmm4

  2708. 	SUBPS	%xmm4,  %xmm1

  2709. 

  2710. 	addq	 $2 * SIZE, A1

  2711. 	addq	 $2 * SIZE, X1

  2712. 	ALIGN_3

  2713. .L12X:

  2714. #endif

  2715. 

  2716. 	movaps	-32 * SIZE(X1), %xmm12

  2717. 	movaps	-28 * SIZE(X1), %xmm13

  2718. 

  2719. 	movq	MM,  I

  2720. 	sarq	$3,  I

  2721. 	jle	.L125

  2722. 

  2723. 	MOVUPS_A1(-32 * SIZE, A1, %xmm8)

  2724. 	MOVUPS_A1(-28 * SIZE, A1, %xmm10)

  2725. 

  2726. 	decq	 I

  2727. 	jle	 .L124

  2728. 	ALIGN_3

  2729. 

  2730. .L123:

  2731. #ifdef PREFETCH

  2732. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A1)

  2733. #endif

  2734. 

  2735. 	pshufd	$0xb1, %xmm8,  %xmm4

  2736. 	mulps	%xmm12,  %xmm8

  2737. 	addps	%xmm8,  %xmm0

  2738. 	MOVUPS_A1(-24 * SIZE, A1, %xmm8)

  2739. 	mulps	%xmm12,  %xmm4

  2740. 	SUBPS	%xmm4,  %xmm1

  2741. 

  2742. 	movaps	-24 * SIZE(X1), %xmm12

  2743. 

  2744. 	pshufd	$0xb1, %xmm10,  %xmm6

  2745. 	mulps	%xmm13,  %xmm10

  2746. 	addps	%xmm10,  %xmm0

  2747. 	MOVUPS_A1(-20 * SIZE, A1, %xmm10)

  2748. 	mulps	%xmm13,  %xmm6

  2749. 	SUBPS	%xmm6,  %xmm1

  2750. 

  2751. 	movaps	-20 * SIZE(X1), %xmm13

  2752. 

  2753. 	pshufd	$0xb1, %xmm8,  %xmm4

  2754. 	mulps	%xmm12,  %xmm8

  2755. 	addps	%xmm8,  %xmm0

  2756. 	MOVUPS_A1(-16 * SIZE, A1, %xmm8)

  2757. 	mulps	%xmm12,  %xmm4

  2758. 	SUBPS	%xmm4,  %xmm1

  2759. 

  2760. 	movaps	-16 * SIZE(X1), %xmm12

  2761. 

  2762. #ifdef PREFETCHW

  2763. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(X1)

  2764. #endif

  2765. 

  2766. 	pshufd	$0xb1, %xmm10,  %xmm6

  2767. 	mulps	%xmm13,  %xmm10

  2768. 	addps	%xmm10,  %xmm0

  2769. 	MOVUPS_A1(-12 * SIZE, A1, %xmm10)

  2770. 	mulps	%xmm13,  %xmm6

  2771. 	SUBPS	%xmm6,  %xmm1

  2772. 

  2773. 	movaps	-12 * SIZE(X1), %xmm13

  2774. 

  2775. 	subq	 $-16 * SIZE, A1

  2776. 	subq	 $-16 * SIZE, X1

  2777. 

  2778. 	subq	 $1, I

  2779. 	BRANCH

  2780. 	jg	.L123

  2781. 	ALIGN_3

  2782. 

  2783. .L124:

  2784. 	pshufd	$0xb1, %xmm8,  %xmm4

  2785. 	mulps	%xmm12,  %xmm8

  2786. 	addps	%xmm8,  %xmm0

  2787. 	MOVUPS_A1(-24 * SIZE, A1, %xmm8)

  2788. 	mulps	%xmm12,  %xmm4

  2789. 	SUBPS	%xmm4,  %xmm1

  2790. 

  2791. 	movaps	-24 * SIZE(X1), %xmm12

  2792. 

  2793. 	pshufd	$0xb1, %xmm10,  %xmm6

  2794. 	mulps	%xmm13,  %xmm10

  2795. 	addps	%xmm10,  %xmm0

  2796. 	MOVUPS_A1(-20 * SIZE, A1, %xmm10)

  2797. 	mulps	%xmm13,  %xmm6

  2798. 	SUBPS	%xmm6,  %xmm1

  2799. 

  2800. 	movaps	-20 * SIZE(X1), %xmm13

  2801. 

  2802. 	pshufd	$0xb1, %xmm8,  %xmm4

  2803. 	mulps	%xmm12,  %xmm8

  2804. 	addps	%xmm8,  %xmm0

  2805. 	mulps	%xmm12,  %xmm4

  2806. 	SUBPS	%xmm4,  %xmm1

  2807. 

  2808. 	movaps	-16 * SIZE(X1), %xmm12

  2809. 

  2810. 	pshufd	$0xb1, %xmm10,  %xmm6

  2811. 	mulps	%xmm13,  %xmm10

  2812. 	addps	%xmm10,  %xmm0

  2813. 	mulps	%xmm13,  %xmm6

  2814. 	SUBPS	%xmm6,  %xmm1

  2815. 

  2816. 	movaps	-12 * SIZE(X1), %xmm13

  2817. 

  2818. 	subq	 $-16 * SIZE, A1

  2819. 	subq	 $-16 * SIZE, X1

  2820. 	ALIGN_3

  2821. 

  2822. .L125:

  2823. 	testq	$4, MM

  2824. 	je	.L127

  2825. 

  2826. 	MOVUPS_A1(-32 * SIZE, A1, %xmm8)

  2827. 	MOVUPS_A1(-28 * SIZE, A1, %xmm10)

  2828. 

  2829. 	pshufd	$0xb1, %xmm8,  %xmm4

  2830. 	mulps	%xmm12,  %xmm8

  2831. 	addps	%xmm8,  %xmm0

  2832. 	mulps	%xmm12,  %xmm4

  2833. 	SUBPS	%xmm4,  %xmm1

  2834. 

  2835. 	movaps	-24 * SIZE(X1), %xmm12

  2836. 

  2837. 	pshufd	$0xb1, %xmm10,  %xmm6

  2838. 	mulps	%xmm13,  %xmm10

  2839. 	addps	%xmm10,  %xmm0

  2840. 	mulps	%xmm13,  %xmm6

  2841. 	SUBPS	%xmm6,  %xmm1

  2842. 

  2843. 	movaps	-20 * SIZE(X1), %xmm13

  2844. 

  2845. 	addq	 $8 * SIZE, A1

  2846. 	ALIGN_3

  2847. 

  2848. .L127:

  2849. 	testq	$2, MM

  2850. 	je	.L128

  2851. 

  2852. 	MOVUPS_A1(-32 * SIZE, A1, %xmm8)

  2853. 

  2854. 	pshufd	$0xb1, %xmm8,  %xmm4

  2855. 	mulps	%xmm12,  %xmm8

  2856. 	addps	%xmm8,  %xmm0

  2857. 	mulps	%xmm12,  %xmm4

  2858. 	SUBPS	%xmm4,  %xmm1

  2859. 

  2860. 	movaps	%xmm13, %xmm12

  2861. 

  2862. 	addq	 $4 * SIZE, A1

  2863. 	ALIGN_3

  2864. 

  2865. .L128:

  2866. 	testq	$1, MM

  2867. 	je	.L129

  2868. 

  2869. #ifdef movsd

  2870. 	xorps	%xmm8, %xmm8

  2871. #endif

  2872. 	movsd	-32 * SIZE(A1), %xmm8

  2873. 

  2874. 	pshufd	$0xb1, %xmm8,  %xmm4

  2875. 	mulps	%xmm12,  %xmm8

  2876. 	addps	%xmm8,  %xmm0

  2877. 	mulps	%xmm12,  %xmm4

  2878. 	SUBPS	%xmm4,  %xmm1

  2879. 	ALIGN_3

  2880. 

  2881. .L129:

  2882. 	pcmpeqb	%xmm5, %xmm5

  2883. 	psllq	$63,    %xmm5

  2884. 

  2885. #if (!defined(CONJ) && !defined(XCONJ)) || (defined(CONJ) && defined(XCONJ))

  2886. 	xorps	%xmm5, %xmm0

  2887. #else

  2888. 	xorps	%xmm5, %xmm1

  2889. #endif

  2890. 

  2891. #ifdef HAVE_SSE3

  2892. 	haddps	%xmm1, %xmm0

  2893. 	haddps	%xmm0, %xmm0

  2894. #else

  2895. 	movaps	%xmm0, %xmm8

  2896. 	unpcklps %xmm1, %xmm0

  2897. 	unpckhps %xmm1, %xmm8

  2898. 

  2899. 	addps	%xmm8, %xmm0

  2900. 

  2901. 	movhlps	%xmm0, %xmm1

  2902. 

  2903. 	addps	%xmm1, %xmm0

  2904. #endif

  2905. 

  2906. 	pshufd	$0xb1, %xmm0, %xmm1

  2907. 

  2908. #ifdef HAVE_SSE3

  2909. 	movddup	ALPHA, %xmm15

  2910. #else

  2911. 	movsd	ALPHA, %xmm15

  2912. 	pshufd	$0x44, %xmm15, %xmm15

  2913. #endif

  2914. 

  2915. 	mulps	%xmm15, %xmm0

  2916. 	mulps	%xmm15, %xmm1

  2917. 

  2918. 	xorps	%xmm5, %xmm0

  2919. 

  2920. #ifdef HAVE_SSE3

  2921. 	haddps	%xmm1, %xmm0

  2922. #else

  2923. 	movaps	%xmm0, %xmm2

  2924. 	shufps	$0x88, %xmm1, %xmm0

  2925. 	shufps	$0xdd, %xmm1, %xmm2

  2926. 

  2927. 	addps	%xmm2, %xmm0

  2928. #endif

  2929. 

  2930. 	movsd	(Y), %xmm12

  2931. 	addq	INCY, Y

  2932. 

  2933. 	shufps	$0xd8, %xmm0, %xmm0

  2934. 

  2935. 	addps	%xmm12, %xmm0

  2936. 

  2937. 	movlps	%xmm0, (Y1)

  2938. 	addq	INCY, Y1

  2939. 	jmp	.L999

  2940. 	ALIGN_3

  2941. 

  2942. 

  2943. .L200:

  2944. 	testq	$2 * SIZE, LDA

  2945. 	jne	.L300

  2946. 

  2947. 	cmpq	$2, N

  2948. 	jl	.L210

  2949. 	ALIGN_3

  2950. 

  2951. .L201:

  2952. 	subq	$2, N

  2953. 

  2954. 	leaq	32 * SIZE(BUFFER), X1

  2955. 

  2956. 	movq	A, A1

  2957. 	leaq	(A1, LDA), A2

  2958. 	leaq	(A1, LDA, 2), A

  2959. 

  2960. 	xorps	%xmm0, %xmm0

  2961. 	xorps	%xmm1, %xmm1

  2962. 	xorps	%xmm2, %xmm2

  2963. 	xorps	%xmm3, %xmm3

  2964. 

  2965. #ifdef ALIGNED_ACCESS

  2966. 	cmpq	M, MM

  2967. 	je	.L20X

  2968. 

  2969. #ifdef movsd

  2970. 	xorps	%xmm8, %xmm8

  2971. #endif

  2972. 	movsd	-32 * SIZE(A1), %xmm8

  2973. #ifdef movsd

  2974. 	xorps	%xmm9, %xmm9

  2975. #endif

  2976. 	movsd	-32 * SIZE(A2), %xmm9

  2977. 

  2978. #ifdef movsd

  2979. 	xorps	%xmm12, %xmm12

  2980. #endif

  2981. 	movsd	-32 * SIZE(X1), %xmm12

  2982. 

  2983. 	pshufd	$0xb1, %xmm8,  %xmm4

  2984. 	mulps	%xmm12,  %xmm8

  2985. 	addps	%xmm8,  %xmm0

  2986. 	mulps	%xmm12,  %xmm4

  2987. 	SUBPS	%xmm4,  %xmm1

  2988. 

  2989. 	pshufd	$0xb1, %xmm9, %xmm5

  2990. 	mulps	%xmm12,  %xmm9

  2991. 	addps	%xmm9, %xmm2

  2992. 	mulps	%xmm12,  %xmm5

  2993. 	SUBPS	%xmm5, %xmm3

  2994. 

  2995. 	addq	 $2 * SIZE, A1

  2996. 	addq	 $2 * SIZE, A2

  2997. 	addq	 $2 * SIZE, X1

  2998. 	ALIGN_3

  2999. .L20X:

  3000. #endif

  3001. 

  3002. 	movaps	-33 * SIZE(A1), %xmm4

  3003. 	movaps	-33 * SIZE(A2), %xmm5

  3004. 

  3005. 	movaps	-32 * SIZE(X1), %xmm12

  3006. 	movaps	-28 * SIZE(X1), %xmm13

  3007. 

  3008. #ifdef PREFETCHW

  3009. 	PREFETCHW	3 * SIZE(Y1)

  3010. #endif

  3011. 

  3012. 	movq	MM,  I

  3013. 	sarq	$3,  I

  3014. 	jle	.L205

  3015. 

  3016. 	movaps	 -29 * SIZE(A1), %xmm6

  3017. 	movaps	 -29 * SIZE(A2), %xmm7

  3018. 

  3019. 	decq	 I

  3020. 	jle	 .L204

  3021. 	ALIGN_3

  3022. 

  3023. .L203:

  3024. #ifdef PREFETCH

  3025. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1)

  3026. #endif

  3027. 

  3028. 	movss	 %xmm6, %xmm4

  3029. 	shufps	 $0x39, %xmm4, %xmm4

  3030. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3031. 	mulps	%xmm12, %xmm4

  3032. 	addps	%xmm4,  %xmm0

  3033. 	movaps	 -25 * SIZE(A1), %xmm4

  3034. 	mulps	%xmm12, %xmm14

  3035. 	SUBPS	%xmm14, %xmm1

  3036. 

  3037. 	movss	 %xmm7, %xmm5

  3038. 	shufps	 $0x39, %xmm5, %xmm5

  3039. 	pshufd	$0xb1,  %xmm5,  %xmm14

  3040. 	mulps	%xmm12, %xmm5

  3041. 	addps	%xmm5,  %xmm2

  3042. 	movaps	 -25 * SIZE(A2), %xmm5

  3043. 	mulps	%xmm12, %xmm14

  3044. 	movaps	-24 * SIZE(X1), %xmm12

  3045. 	SUBPS	%xmm14, %xmm3

  3046. 

  3047. 	movss	 %xmm4, %xmm6

  3048. 	shufps	 $0x39, %xmm6, %xmm6

  3049. 	pshufd	$0xb1,  %xmm6,  %xmm14

  3050. 	mulps	%xmm13, %xmm6

  3051. 	addps	%xmm6,  %xmm0

  3052. 	movaps	 -21 * SIZE(A1), %xmm6

  3053. 	mulps	%xmm13, %xmm14

  3054. 	SUBPS	%xmm14, %xmm1

  3055. 

  3056. 	movss	 %xmm5, %xmm7

  3057. 	shufps	 $0x39, %xmm7, %xmm7

  3058. 	pshufd	$0xb1,  %xmm7,  %xmm14

  3059. 	mulps	%xmm13, %xmm7

  3060. 	addps	%xmm7,  %xmm2

  3061. 	movaps	 -21 * SIZE(A2), %xmm7

  3062. 	mulps	%xmm13, %xmm14

  3063. 	movaps	-20 * SIZE(X1), %xmm13

  3064. 	SUBPS	%xmm14, %xmm3

  3065. 

  3066. #ifdef PREFETCH

  3067. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2)

  3068. #endif

  3069. 

  3070. 	movss	 %xmm6, %xmm4

  3071. 	shufps	 $0x39, %xmm4, %xmm4

  3072. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3073. 	mulps	%xmm12, %xmm4

  3074. 	addps	%xmm4,  %xmm0

  3075. 	movaps	 -17 * SIZE(A1), %xmm4

  3076. 	mulps	%xmm12, %xmm14

  3077. 	SUBPS	%xmm14, %xmm1

  3078. 

  3079. 	movss	 %xmm7, %xmm5

  3080. 	shufps	 $0x39, %xmm5, %xmm5

  3081. 	pshufd	$0xb1,  %xmm5,  %xmm14

  3082. 	mulps	%xmm12, %xmm5

  3083. 	addps	%xmm5,  %xmm2

  3084. 	movaps	 -17 * SIZE(A2), %xmm5

  3085. 	mulps	%xmm12, %xmm14

  3086. 	movaps	-16 * SIZE(X1), %xmm12

  3087. 	SUBPS	%xmm14, %xmm3

  3088. 

  3089. #ifdef PREFETCHW

  3090. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(X1)

  3091. #endif

  3092. 

  3093. 	movss	 %xmm4, %xmm6

  3094. 	shufps	 $0x39, %xmm6, %xmm6

  3095. 	pshufd	$0xb1,  %xmm6,  %xmm14

  3096. 	mulps	%xmm13, %xmm6

  3097. 	addps	%xmm6,  %xmm0

  3098. 	movaps	 -13 * SIZE(A1), %xmm6

  3099. 	mulps	%xmm13, %xmm14

  3100. 	SUBPS	%xmm14, %xmm1

  3101. 

  3102. 	movss	 %xmm5, %xmm7

  3103. 	shufps	 $0x39, %xmm7, %xmm7

  3104. 	pshufd	$0xb1,  %xmm7,  %xmm14

  3105. 	mulps	%xmm13, %xmm7

  3106. 	addps	%xmm7,  %xmm2

  3107. 	movaps	 -13 * SIZE(A2), %xmm7

  3108. 	mulps	%xmm13, %xmm14

  3109. 	movaps	-12 * SIZE(X1), %xmm13

  3110. 	SUBPS	%xmm14, %xmm3

  3111. 

  3112. 	subq	 $-16 * SIZE, A1

  3113. 	subq	 $-16 * SIZE, A2

  3114. 	subq	 $-16 * SIZE, X1

  3115. 

  3116. 	subq	 $1, I

  3117. 	BRANCH

  3118. 	jg	.L203

  3119. 	ALIGN_3

  3120. 

  3121. .L204:

  3122. 	movss	 %xmm6, %xmm4

  3123. 	shufps	 $0x39, %xmm4, %xmm4

  3124. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3125. 	mulps	%xmm12, %xmm4

  3126. 	addps	%xmm4,  %xmm0

  3127. 	movaps	 -25 * SIZE(A1), %xmm4

  3128. 	mulps	%xmm12, %xmm14

  3129. 	SUBPS	%xmm14, %xmm1

  3130. 

  3131. 	movss	 %xmm7, %xmm5

  3132. 	shufps	 $0x39, %xmm5, %xmm5

  3133. 	pshufd	$0xb1,  %xmm5,  %xmm14

  3134. 	mulps	%xmm12, %xmm5

  3135. 	addps	%xmm5,  %xmm2

  3136. 	movaps	 -25 * SIZE(A2), %xmm5

  3137. 	mulps	%xmm12, %xmm14

  3138. 	movaps	-24 * SIZE(X1), %xmm12

  3139. 	SUBPS	%xmm14, %xmm3

  3140. 

  3141. 	movss	 %xmm4, %xmm6

  3142. 	shufps	 $0x39, %xmm6, %xmm6

  3143. 	pshufd	$0xb1,  %xmm6,  %xmm14

  3144. 	mulps	%xmm13, %xmm6

  3145. 	addps	%xmm6,  %xmm0

  3146. 	movaps	 -21 * SIZE(A1), %xmm6

  3147. 	mulps	%xmm13, %xmm14

  3148. 	SUBPS	%xmm14, %xmm1

  3149. 

  3150. 	movss	 %xmm5, %xmm7

  3151. 	shufps	 $0x39, %xmm7, %xmm7

  3152. 	pshufd	$0xb1,  %xmm7,  %xmm14

  3153. 	mulps	%xmm13, %xmm7

  3154. 	addps	%xmm7,  %xmm2

  3155. 	movaps	 -21 * SIZE(A2), %xmm7

  3156. 	mulps	%xmm13, %xmm14

  3157. 	movaps	-20 * SIZE(X1), %xmm13

  3158. 	SUBPS	%xmm14, %xmm3

  3159. 

  3160. 	movss	 %xmm6, %xmm4

  3161. 	shufps	 $0x39, %xmm4, %xmm4

  3162. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3163. 	mulps	%xmm12, %xmm4

  3164. 	addps	%xmm4,  %xmm0

  3165. 	movaps	 -17 * SIZE(A1), %xmm4

  3166. 	mulps	%xmm12, %xmm14

  3167. 	SUBPS	%xmm14, %xmm1

  3168. 

  3169. 	movss	 %xmm7, %xmm5

  3170. 	shufps	 $0x39, %xmm5, %xmm5

  3171. 	pshufd	$0xb1,  %xmm5,  %xmm14

  3172. 	mulps	%xmm12, %xmm5

  3173. 	addps	%xmm5,  %xmm2

  3174. 	movaps	 -17 * SIZE(A2), %xmm5

  3175. 	mulps	%xmm12, %xmm14

  3176. 	movaps	-16 * SIZE(X1), %xmm12

  3177. 	SUBPS	%xmm14, %xmm3

  3178. 

  3179. 	movss	 %xmm4, %xmm6

  3180. 	shufps	 $0x39, %xmm6, %xmm6

  3181. 	pshufd	$0xb1,  %xmm6,  %xmm14

  3182. 	mulps	%xmm13, %xmm6

  3183. 	addps	%xmm6,  %xmm0

  3184. 	mulps	%xmm13, %xmm14

  3185. 	SUBPS	%xmm14, %xmm1

  3186. 

  3187. 	movss	 %xmm5, %xmm7

  3188. 	shufps	 $0x39, %xmm7, %xmm7

  3189. 	pshufd	$0xb1,  %xmm7,  %xmm14

  3190. 	mulps	%xmm13, %xmm7

  3191. 	addps	%xmm7,  %xmm2

  3192. 	mulps	%xmm13, %xmm14

  3193. 	movaps	-12 * SIZE(X1), %xmm13

  3194. 	SUBPS	%xmm14, %xmm3

  3195. 

  3196. 	subq	 $-16 * SIZE, A1

  3197. 	subq	 $-16 * SIZE, A2

  3198. 	subq	 $-16 * SIZE, X1

  3199. 	ALIGN_3

  3200. 

  3201. .L205:

  3202. 	testq	$4, MM

  3203. 	je	.L207

  3204. 

  3205. 	movaps	 -29 * SIZE(A1), %xmm6

  3206. 

  3207. 	movss	 %xmm6, %xmm4

  3208. 	shufps	 $0x39, %xmm4, %xmm4

  3209. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3210. 	mulps	%xmm12, %xmm4

  3211. 	addps	%xmm4,  %xmm0

  3212. 	mulps	%xmm12, %xmm14

  3213. 	SUBPS	%xmm14, %xmm1

  3214. 

  3215. 	movaps	 -29 * SIZE(A2), %xmm7

  3216. 

  3217. 	movss	 %xmm7, %xmm5

  3218. 	shufps	 $0x39, %xmm5, %xmm5

  3219. 	pshufd	$0xb1,  %xmm5,  %xmm14

  3220. 	mulps	%xmm12, %xmm5

  3221. 	addps	%xmm5,  %xmm2

  3222. 	mulps	%xmm12, %xmm14

  3223. 	SUBPS	%xmm14, %xmm3

  3224. 

  3225. 	movaps	 -25 * SIZE(A1), %xmm8

  3226. 

  3227. 	movss	 %xmm8, %xmm6

  3228. 	shufps	 $0x39, %xmm6, %xmm6

  3229. 	pshufd	$0xb1,  %xmm6,  %xmm14

  3230. 	mulps	%xmm13, %xmm6

  3231. 	addps	%xmm6,  %xmm0

  3232. 	mulps	%xmm13, %xmm14

  3233. 	SUBPS	%xmm14, %xmm1

  3234. 

  3235. 	movaps	 -25 * SIZE(A2), %xmm9

  3236. 

  3237. 	movss	 %xmm9, %xmm7

  3238. 	shufps	 $0x39, %xmm7, %xmm7

  3239. 	pshufd	$0xb1,  %xmm7,  %xmm14

  3240. 	mulps	%xmm13, %xmm7

  3241. 	addps	%xmm7,  %xmm2

  3242. 	mulps	%xmm13, %xmm14

  3243. 	SUBPS	%xmm14, %xmm3

  3244. 

  3245. 	movaps	%xmm8, %xmm4

  3246. 	movaps	%xmm9, %xmm5

  3247. 

  3248. 	movaps	-24 * SIZE(X1), %xmm12

  3249. 	movaps	-20 * SIZE(X1), %xmm13

  3250. 

  3251. 	addq	 $8 * SIZE, A1

  3252. 	addq	 $8 * SIZE, A2

  3253. 	ALIGN_3

  3254. 

  3255. .L207:

  3256. 	testq	$2, MM

  3257. 	je	.L208

  3258. 

  3259. 	movaps	 -29 * SIZE(A1), %xmm6

  3260. 	movaps	 -29 * SIZE(A2), %xmm7

  3261. 

  3262. 	movss	 %xmm6, %xmm4

  3263. 	shufps	 $0x39, %xmm4, %xmm4

  3264. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3265. 	mulps	%xmm12, %xmm4

  3266. 	addps	%xmm4,  %xmm0

  3267. 	mulps	%xmm12, %xmm14

  3268. 	SUBPS	%xmm14, %xmm1

  3269. 

  3270. 	movss	 %xmm7, %xmm5

  3271. 	shufps	 $0x39, %xmm5, %xmm5

  3272. 	pshufd	$0xb1,  %xmm5,  %xmm14

  3273. 	mulps	%xmm12, %xmm5

  3274. 	addps	%xmm5,  %xmm2

  3275. 	mulps	%xmm12, %xmm14

  3276. 	SUBPS	%xmm14, %xmm3

  3277. 

  3278. 	movaps	 %xmm6, %xmm4

  3279. 	movaps	 %xmm7, %xmm5

  3280. 	movaps	 %xmm13, %xmm12

  3281. 

  3282. 	addq	 $4 * SIZE, A1

  3283. 	addq	 $4 * SIZE, A2

  3284. 	ALIGN_3

  3285. 

  3286. .L208:

  3287. 	testq	$1, MM

  3288. 	je	.L209

  3289. 

  3290. #ifdef movsd

  3291. 	xorps	%xmm8, %xmm8

  3292. #endif

  3293. 	movsd	-32 * SIZE(A1), %xmm8

  3294. #ifdef movsd

  3295. 	xorps	%xmm9, %xmm9

  3296. #endif

  3297. 	movsd	-32 * SIZE(A2), %xmm9

  3298. 

  3299. 	pshufd	$0xb1, %xmm8,  %xmm4

  3300. 	mulps	%xmm12,  %xmm8

  3301. 	addps	%xmm8,  %xmm0

  3302. 	mulps	%xmm12,  %xmm4

  3303. 	SUBPS	%xmm4,  %xmm1

  3304. 

  3305. 	pshufd	$0xb1, %xmm9, %xmm5

  3306. 	mulps	%xmm12,  %xmm9

  3307. 	addps	%xmm9, %xmm2

  3308. 	mulps	%xmm12,  %xmm5

  3309. 	SUBPS	%xmm5, %xmm3

  3310. 	ALIGN_3

  3311. 

  3312. .L209:

  3313. 	pcmpeqb	%xmm5, %xmm5

  3314. 	psllq	$63,    %xmm5

  3315. 

  3316. #if (!defined(CONJ) && !defined(XCONJ)) || (defined(CONJ) && defined(XCONJ))

  3317. 	xorps	%xmm5, %xmm0

  3318. 	xorps	%xmm5, %xmm2

  3319. #else

  3320. 	xorps	%xmm5, %xmm1

  3321. 	xorps	%xmm5, %xmm3

  3322. #endif

  3323. 

  3324. #ifdef HAVE_SSE3

  3325. 	haddps	%xmm1, %xmm0

  3326. 	haddps	%xmm3, %xmm2

  3327. 	haddps	%xmm2, %xmm0

  3328. #else

  3329. 	movaps	%xmm0, %xmm8

  3330. 	unpcklps %xmm1, %xmm0

  3331. 	unpckhps %xmm1, %xmm8

  3332. 

  3333. 	movaps	%xmm2, %xmm4

  3334. 	unpcklps %xmm3, %xmm2

  3335. 	unpckhps %xmm3, %xmm4

  3336. 

  3337. 	addps	%xmm8, %xmm0

  3338. 	addps	%xmm4, %xmm2

  3339. 

  3340. 	movhlps	%xmm0, %xmm1

  3341. 	movhlps	%xmm2, %xmm3

  3342. 

  3343. 	addps	%xmm1, %xmm0

  3344. 	addps	%xmm3, %xmm2

  3345. 	movlhps %xmm2, %xmm0

  3346. #endif

  3347. 

  3348. 	pshufd	$0xb1, %xmm0, %xmm1

  3349. 

  3350. #ifdef HAVE_SSE3

  3351. 	movddup	ALPHA, %xmm15

  3352. #else

  3353. 	movsd	ALPHA, %xmm15

  3354. 	pshufd	$0x44, %xmm15, %xmm15

  3355. #endif

  3356. 

  3357. 	mulps	%xmm15, %xmm0

  3358. 	mulps	%xmm15, %xmm1

  3359. 

  3360. 	xorps	%xmm5, %xmm0

  3361. 

  3362. #ifdef HAVE_SSE3

  3363. 	haddps	%xmm1, %xmm0

  3364. #else

  3365. 	movaps	%xmm0, %xmm2

  3366. 	shufps	$0x88, %xmm1, %xmm0

  3367. 	shufps	$0xdd, %xmm1, %xmm2

  3368. 

  3369. 	addps	%xmm2, %xmm0

  3370. #endif

  3371. 

  3372. 	movsd	(Y), %xmm12

  3373. 	addq	INCY, Y

  3374. 	movhps	(Y), %xmm12

  3375. 	addq	INCY, Y

  3376. 

  3377. 	shufps	$0xd8, %xmm0, %xmm0

  3378. 

  3379. 	addps	%xmm12, %xmm0

  3380. 

  3381. 	movlps	%xmm0, (Y1)

  3382. 	addq	INCY, Y1

  3383. 	movhps	%xmm0, (Y1)

  3384. 	addq	INCY, Y1

  3385. 

  3386. 	cmpq	$2, N

  3387. 	jge	.L201

  3388. 	ALIGN_3

  3389. 

  3390. .L210:

  3391. 	cmpq	$1, N

  3392. 	jl	.L999

  3393. 

  3394. 	leaq	32 * SIZE(BUFFER), X1

  3395. 

  3396. 	movq	A, A1

  3397. 

  3398. 	xorps	%xmm0, %xmm0

  3399. 	xorps	%xmm1, %xmm1

  3400. 

  3401. #ifdef ALIGNED_ACCESS

  3402. 	cmpq	M, MM

  3403. 	je	.L21X

  3404. 

  3405. #ifdef movsd

  3406. 	xorps	%xmm8, %xmm8

  3407. #endif

  3408. 	movsd	-32 * SIZE(A1), %xmm8

  3409. #ifdef movsd

  3410. 	xorps	%xmm12, %xmm12

  3411. #endif

  3412. 	movsd	-32 * SIZE(X1), %xmm12

  3413. 

  3414. 	pshufd	$0xb1, %xmm8,  %xmm4

  3415. 	mulps	%xmm12,  %xmm8

  3416. 	addps	%xmm8,  %xmm0

  3417. 	mulps	%xmm12,  %xmm4

  3418. 	SUBPS	%xmm4,  %xmm1

  3419. 

  3420. 	addq	 $2 * SIZE, A1

  3421. 	addq	 $2 * SIZE, X1

  3422. 	ALIGN_3

  3423. .L21X:

  3424. #endif

  3425. 

  3426. 	movaps	-33 * SIZE(A1), %xmm4

  3427. 

  3428. 	movaps	-32 * SIZE(X1), %xmm12

  3429. 	movaps	-28 * SIZE(X1), %xmm13

  3430. 

  3431. 	movq	MM,  I

  3432. 	sarq	$3,  I

  3433. 	jle	.L215

  3434. 

  3435. 	movaps	 -29 * SIZE(A1), %xmm5

  3436. 	movaps	 -25 * SIZE(A1), %xmm6

  3437. 	movaps	 -21 * SIZE(A1), %xmm7

  3438. 

  3439. 	decq	 I

  3440. 	jle	 .L214

  3441. 	ALIGN_3

  3442. 

  3443. .L213:

  3444. #ifdef PREFETCH

  3445. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A1)

  3446. #endif

  3447. 

  3448. 	movss	 %xmm5, %xmm4

  3449. 	shufps	 $0x39, %xmm4, %xmm4

  3450. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3451. 	mulps	%xmm12, %xmm4

  3452. 	addps	%xmm4,  %xmm0

  3453. 	movaps	 -17 * SIZE(A1), %xmm4

  3454. 	mulps	%xmm12, %xmm14

  3455. 	movaps	-24 * SIZE(X1), %xmm12

  3456. 	SUBPS	%xmm14, %xmm1

  3457. 

  3458. 	movss	 %xmm6, %xmm5

  3459. 	shufps	 $0x39, %xmm5, %xmm5

  3460. 	pshufd	$0xb1,  %xmm5,  %xmm15

  3461. 	mulps	%xmm13, %xmm5

  3462. 	addps	%xmm5,  %xmm0

  3463. 	movaps	 -13 * SIZE(A1), %xmm5

  3464. 	mulps	%xmm13, %xmm15

  3465. 	movaps	-20 * SIZE(X1), %xmm13

  3466. 	SUBPS	%xmm15, %xmm1

  3467. 

  3468. #ifdef PREFETCHW

  3469. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(X1)

  3470. #endif

  3471. 

  3472. 	movss	 %xmm7, %xmm6

  3473. 	shufps	 $0x39, %xmm6, %xmm6

  3474. 	pshufd	$0xb1,  %xmm6,  %xmm14

  3475. 	mulps	%xmm12, %xmm6

  3476. 	addps	%xmm6,  %xmm0

  3477. 	movaps	  -9 * SIZE(A1), %xmm6

  3478. 	mulps	%xmm12, %xmm14

  3479. 	movaps	-16 * SIZE(X1), %xmm12

  3480. 	SUBPS	%xmm14, %xmm1

  3481. 

  3482. 	movss	 %xmm4, %xmm7

  3483. 	shufps	 $0x39, %xmm7, %xmm7

  3484. 	pshufd	$0xb1,  %xmm7,  %xmm15

  3485. 	mulps	%xmm13, %xmm7

  3486. 	addps	%xmm7,  %xmm0

  3487. 	movaps	  -5 * SIZE(A1), %xmm7

  3488. 	mulps	%xmm13, %xmm15

  3489. 	movaps	-12 * SIZE(X1), %xmm13

  3490. 	SUBPS	%xmm15, %xmm1

  3491. 

  3492. 	subq	 $-16 * SIZE, A1

  3493. 	subq	 $-16 * SIZE, X1

  3494. 

  3495. 	subq	 $1, I

  3496. 	BRANCH

  3497. 	jg	.L213

  3498. 	ALIGN_3

  3499. 

  3500. .L214:

  3501. 	movss	 %xmm5, %xmm4

  3502. 	shufps	 $0x39, %xmm4, %xmm4

  3503. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3504. 	mulps	%xmm12, %xmm4

  3505. 	addps	%xmm4,  %xmm0

  3506. 	movaps	 -17 * SIZE(A1), %xmm4

  3507. 	mulps	%xmm12, %xmm14

  3508. 	movaps	-24 * SIZE(X1), %xmm12

  3509. 	SUBPS	%xmm14, %xmm1

  3510. 

  3511. 	movss	 %xmm6, %xmm5

  3512. 	shufps	 $0x39, %xmm5, %xmm5

  3513. 	pshufd	$0xb1,  %xmm5,  %xmm15

  3514. 	mulps	%xmm13, %xmm5

  3515. 	addps	%xmm5,  %xmm0

  3516. 	mulps	%xmm13, %xmm15

  3517. 	movaps	-20 * SIZE(X1), %xmm13

  3518. 	SUBPS	%xmm15, %xmm1

  3519. 

  3520. 	movss	 %xmm7, %xmm6

  3521. 	shufps	 $0x39, %xmm6, %xmm6

  3522. 	pshufd	$0xb1,  %xmm6,  %xmm14

  3523. 	mulps	%xmm12, %xmm6

  3524. 	addps	%xmm6,  %xmm0

  3525. 	mulps	%xmm12, %xmm14

  3526. 	movaps	-16 * SIZE(X1), %xmm12

  3527. 	SUBPS	%xmm14, %xmm1

  3528. 

  3529. 	movss	 %xmm4, %xmm7

  3530. 	shufps	 $0x39, %xmm7, %xmm7

  3531. 	pshufd	$0xb1,  %xmm7,  %xmm15

  3532. 	mulps	%xmm13, %xmm7

  3533. 	addps	%xmm7,  %xmm0

  3534. 	mulps	%xmm13, %xmm15

  3535. 	movaps	-12 * SIZE(X1), %xmm13

  3536. 	SUBPS	%xmm15, %xmm1

  3537. 

  3538. 	subq	 $-16 * SIZE, A1

  3539. 	subq	 $-16 * SIZE, X1

  3540. 	ALIGN_3

  3541. 

  3542. .L215:

  3543. 	testq	$4, MM

  3544. 	je	.L217

  3545. 

  3546. 	movaps	 -29 * SIZE(A1), %xmm5

  3547. 	movaps	 -25 * SIZE(A1), %xmm6

  3548. 

  3549. 	movss	 %xmm5, %xmm4

  3550. 	shufps	 $0x39, %xmm4, %xmm4

  3551. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3552. 	mulps	%xmm12, %xmm4

  3553. 	addps	%xmm4,  %xmm0

  3554. 	mulps	%xmm12, %xmm14

  3555. 	SUBPS	%xmm14, %xmm1

  3556. 

  3557. 	movss	 %xmm6, %xmm5

  3558. 	shufps	 $0x39, %xmm5, %xmm5

  3559. 	pshufd	$0xb1,  %xmm5,  %xmm15

  3560. 	mulps	%xmm13, %xmm5

  3561. 	addps	%xmm5,  %xmm0

  3562. 	mulps	%xmm13, %xmm15

  3563. 	SUBPS	%xmm15, %xmm1

  3564. 

  3565. 	movaps	-24 * SIZE(X1), %xmm12

  3566. 	movaps	-20 * SIZE(X1), %xmm13

  3567. 	movaps	%xmm6, %xmm4

  3568. 

  3569. 	addq	 $8 * SIZE, A1

  3570. 	ALIGN_3

  3571. 

  3572. .L217:

  3573. 	testq	$2, MM

  3574. 	je	.L218

  3575. 

  3576. 	movaps	 -29 * SIZE(A1), %xmm5

  3577. 

  3578. 	movss	 %xmm5, %xmm4

  3579. 	shufps	 $0x39, %xmm4, %xmm4

  3580. 

  3581. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3582. 	mulps	%xmm12, %xmm4

  3583. 	addps	%xmm4,  %xmm0

  3584. 	mulps	%xmm12, %xmm14

  3585. 	SUBPS	%xmm14, %xmm1

  3586. 

  3587. 	movaps	%xmm13, %xmm12

  3588. 

  3589. 	addq	 $4 * SIZE, A1

  3590. 	ALIGN_3

  3591. 

  3592. .L218:

  3593. 	testq	$1, MM

  3594. 	je	.L219

  3595. 

  3596. #ifdef movsd

  3597. 	xorps	%xmm8, %xmm8

  3598. #endif

  3599. 	movsd	-32 * SIZE(A1), %xmm8

  3600. 

  3601. 	pshufd	$0xb1, %xmm8,  %xmm4

  3602. 	mulps	%xmm12,  %xmm8

  3603. 	addps	%xmm8,  %xmm0

  3604. 	mulps	%xmm12,  %xmm4

  3605. 	SUBPS	%xmm4,  %xmm1

  3606. 	ALIGN_3

  3607. 

  3608. .L219:

  3609. 	pcmpeqb	%xmm5, %xmm5

  3610. 	psllq	$63,    %xmm5

  3611. 

  3612. #if (!defined(CONJ) && !defined(XCONJ)) || (defined(CONJ) && defined(XCONJ))

  3613. 	xorps	%xmm5, %xmm0

  3614. #else

  3615. 	xorps	%xmm5, %xmm1

  3616. #endif

  3617. 

  3618. #ifdef HAVE_SSE3

  3619. 	haddps	%xmm1, %xmm0

  3620. 	haddps	%xmm0, %xmm0

  3621. #else

  3622. 	movaps	%xmm0, %xmm8

  3623. 	unpcklps %xmm1, %xmm0

  3624. 	unpckhps %xmm1, %xmm8

  3625. 

  3626. 	addps	%xmm8, %xmm0

  3627. 

  3628. 	movhlps	%xmm0, %xmm1

  3629. 

  3630. 	addps	%xmm1, %xmm0

  3631. #endif

  3632. 

  3633. 	pshufd	$0xb1, %xmm0, %xmm1

  3634. 

  3635. #ifdef HAVE_SSE3

  3636. 	movddup	ALPHA, %xmm15

  3637. #else

  3638. 	movsd	ALPHA, %xmm15

  3639. 	pshufd	$0x44, %xmm15, %xmm15

  3640. #endif

  3641. 

  3642. 	mulps	%xmm15, %xmm0

  3643. 	mulps	%xmm15, %xmm1

  3644. 

  3645. 	xorps	%xmm5, %xmm0

  3646. 

  3647. #ifdef HAVE_SSE3

  3648. 	haddps	%xmm1, %xmm0

  3649. #else

  3650. 	movaps	%xmm0, %xmm2

  3651. 	shufps	$0x88, %xmm1, %xmm0

  3652. 	shufps	$0xdd, %xmm1, %xmm2

  3653. 

  3654. 	addps	%xmm2, %xmm0

  3655. #endif

  3656. 

  3657. 	movsd	(Y), %xmm12

  3658. 	addq	INCY, Y

  3659. 

  3660. 	shufps	$0xd8, %xmm0, %xmm0

  3661. 

  3662. 	addps	%xmm12, %xmm0

  3663. 

  3664. 	movlps	%xmm0, (Y1)

  3665. 	addq	INCY, Y1

  3666. 	jmp	.L999

  3667. 

  3668. .L300:

  3669. 	cmpq	$2, N

  3670. 	jl	.L310

  3671. 	ALIGN_3

  3672. 

  3673. .L301:

  3674. 	subq	$2, N

  3675. 

  3676. 	leaq	32 * SIZE(BUFFER), X1

  3677. 

  3678. 	movq	A, A1

  3679. 	leaq	(A1, LDA), A2

  3680. 	leaq	(A1, LDA, 2), A

  3681. 

  3682. 	xorps	%xmm0, %xmm0

  3683. 	xorps	%xmm1, %xmm1

  3684. 	xorps	%xmm2, %xmm2

  3685. 	xorps	%xmm3, %xmm3

  3686. 

  3687. #ifdef ALIGNED_ACCESS

  3688. 	cmpq	M, MM

  3689. 	je	.L30X

  3690. 

  3691. #ifdef movsd

  3692. 	xorps	%xmm8, %xmm8

  3693. #endif

  3694. 	movsd	-32 * SIZE(A1), %xmm8

  3695. #ifdef movsd

  3696. 	xorps	%xmm9, %xmm9

  3697. #endif

  3698. 	movsd	-32 * SIZE(A2), %xmm9

  3699. 

  3700. #ifdef movsd

  3701. 	xorps	%xmm12, %xmm12

  3702. #endif

  3703. 	movsd	-32 * SIZE(X1), %xmm12

  3704. 

  3705. 	pshufd	$0xb1, %xmm8,  %xmm4

  3706. 	mulps	%xmm12,  %xmm8

  3707. 	addps	%xmm8,  %xmm0

  3708. 	mulps	%xmm12,  %xmm4

  3709. 	SUBPS	%xmm4,  %xmm1

  3710. 

  3711. 	pshufd	$0xb1, %xmm9, %xmm5

  3712. 	mulps	%xmm12,  %xmm9

  3713. 	addps	%xmm9, %xmm2

  3714. 	mulps	%xmm12,  %xmm5

  3715. 	SUBPS	%xmm5, %xmm3

  3716. 

  3717. 	addq	 $2 * SIZE, A1

  3718. 	addq	 $2 * SIZE, A2

  3719. 	addq	 $2 * SIZE, X1

  3720. 	ALIGN_3

  3721. .L30X:

  3722. #endif

  3723. 

  3724. 	movaps	-33 * SIZE(A1), %xmm4

  3725. 	movaps	-35 * SIZE(A2), %xmm5

  3726. 

  3727. 	movaps	-32 * SIZE(X1), %xmm12

  3728. 	movaps	-28 * SIZE(X1), %xmm13

  3729. 

  3730. #ifdef PREFETCHW

  3731. 	PREFETCHW	3 * SIZE(Y1)

  3732. #endif

  3733. 

  3734. 	movq	MM,  I

  3735. 	sarq	$3,  I

  3736. 	jle	.L305

  3737. 

  3738. 	movaps	 -29 * SIZE(A1), %xmm6

  3739. 	movaps	 -31 * SIZE(A2), %xmm7

  3740. 

  3741. 	decq	 I

  3742. 	jle	 .L304

  3743. 	ALIGN_3

  3744. 

  3745. .L303:

  3746. #ifdef PREFETCH

  3747. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A1)

  3748. #endif

  3749. 

  3750. 	movss	 %xmm6, %xmm4

  3751. 	shufps	 $0x39, %xmm4, %xmm4

  3752. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3753. 	mulps	%xmm12, %xmm4

  3754. 	addps	%xmm4,  %xmm0

  3755. 	movaps	 -25 * SIZE(A1), %xmm4

  3756. 	mulps	%xmm12, %xmm14

  3757. 	SUBPS	%xmm14, %xmm1

  3758. 

  3759. 	movss	 %xmm7, %xmm5

  3760. 	shufps	 $0x93, %xmm7, %xmm5

  3761. 	pshufd	$0xb1,  %xmm5,  %xmm14

  3762. 	mulps	%xmm12, %xmm5

  3763. 	addps	%xmm5,  %xmm2

  3764. 	movaps	 -27 * SIZE(A2), %xmm5

  3765. 	mulps	%xmm12, %xmm14

  3766. 	movaps	-24 * SIZE(X1), %xmm12

  3767. 	SUBPS	%xmm14, %xmm3

  3768. 

  3769. 	movss	 %xmm4, %xmm6

  3770. 	shufps	 $0x39, %xmm6, %xmm6

  3771. 	pshufd	$0xb1,  %xmm6,  %xmm14

  3772. 	mulps	%xmm13, %xmm6

  3773. 	addps	%xmm6,  %xmm0

  3774. 	movaps	 -21 * SIZE(A1), %xmm6

  3775. 	mulps	%xmm13, %xmm14

  3776. 	SUBPS	%xmm14, %xmm1

  3777. 

  3778. 	movss	 %xmm5, %xmm7

  3779. 	shufps	 $0x93, %xmm5, %xmm7

  3780. 	pshufd	$0xb1,  %xmm7,  %xmm14

  3781. 	mulps	%xmm13, %xmm7

  3782. 	addps	%xmm7,  %xmm2

  3783. 	movaps	 -23 * SIZE(A2), %xmm7

  3784. 	mulps	%xmm13, %xmm14

  3785. 	movaps	-20 * SIZE(X1), %xmm13

  3786. 	SUBPS	%xmm14, %xmm3

  3787. 

  3788. #ifdef PREFETCH

  3789. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(A2)

  3790. #endif

  3791. 

  3792. 	movss	 %xmm6, %xmm4

  3793. 	shufps	 $0x39, %xmm4, %xmm4

  3794. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3795. 	mulps	%xmm12, %xmm4

  3796. 	addps	%xmm4,  %xmm0

  3797. 	movaps	 -17 * SIZE(A1), %xmm4

  3798. 	mulps	%xmm12, %xmm14

  3799. 	SUBPS	%xmm14, %xmm1

  3800. 

  3801. 	movss	 %xmm7, %xmm5

  3802. 	shufps	 $0x93, %xmm7, %xmm5

  3803. 	pshufd	$0xb1,  %xmm5,  %xmm14

  3804. 	mulps	%xmm12, %xmm5

  3805. 	addps	%xmm5,  %xmm2

  3806. 	movaps	 -19 * SIZE(A2), %xmm5

  3807. 	mulps	%xmm12, %xmm14

  3808. 	movaps	-16 * SIZE(X1), %xmm12

  3809. 	SUBPS	%xmm14, %xmm3

  3810. 

  3811. #ifdef PREFETCHW

  3812. 	PREFETCH	(PREFETCHSIZE) * 2 - 128 + PREOFFSET(X1)

  3813. #endif

  3814. 

  3815. 	movss	 %xmm4, %xmm6

  3816. 	shufps	 $0x39, %xmm6, %xmm6

  3817. 	pshufd	$0xb1,  %xmm6,  %xmm14

  3818. 	mulps	%xmm13, %xmm6

  3819. 	addps	%xmm6,  %xmm0

  3820. 	movaps	 -13 * SIZE(A1), %xmm6

  3821. 	mulps	%xmm13, %xmm14

  3822. 	SUBPS	%xmm14, %xmm1

  3823. 

  3824. 	movss	 %xmm5, %xmm7

  3825. 	shufps	 $0x93, %xmm5, %xmm7

  3826. 	pshufd	$0xb1,  %xmm7,  %xmm14

  3827. 	mulps	%xmm13, %xmm7

  3828. 	addps	%xmm7,  %xmm2

  3829. 	movaps	 -15 * SIZE(A2), %xmm7

  3830. 	mulps	%xmm13, %xmm14

  3831. 	movaps	-12 * SIZE(X1), %xmm13

  3832. 	SUBPS	%xmm14, %xmm3

  3833. 

  3834. 	subq	 $-16 * SIZE, A1

  3835. 	subq	 $-16 * SIZE, A2

  3836. 	subq	 $-16 * SIZE, X1

  3837. 

  3838. 	subq	 $1, I

  3839. 	BRANCH

  3840. 	jg	.L303

  3841. 	ALIGN_3

  3842. 

  3843. .L304:

  3844. 	movss	 %xmm6, %xmm4

  3845. 	shufps	 $0x39, %xmm4, %xmm4

  3846. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3847. 	mulps	%xmm12, %xmm4

  3848. 	addps	%xmm4,  %xmm0

  3849. 	movaps	 -25 * SIZE(A1), %xmm4

  3850. 	mulps	%xmm12, %xmm14

  3851. 	SUBPS	%xmm14, %xmm1

  3852. 

  3853. 	movss	 %xmm7, %xmm5

  3854. 	shufps	 $0x93, %xmm7, %xmm5

  3855. 	pshufd	$0xb1,  %xmm5,  %xmm14

  3856. 	mulps	%xmm12, %xmm5

  3857. 	addps	%xmm5,  %xmm2

  3858. 	movaps	 -27 * SIZE(A2), %xmm5

  3859. 	mulps	%xmm12, %xmm14

  3860. 	movaps	-24 * SIZE(X1), %xmm12

  3861. 	SUBPS	%xmm14, %xmm3

  3862. 

  3863. 	movss	 %xmm4, %xmm6

  3864. 	shufps	 $0x39, %xmm6, %xmm6

  3865. 	pshufd	$0xb1,  %xmm6,  %xmm14

  3866. 	mulps	%xmm13, %xmm6

  3867. 	addps	%xmm6,  %xmm0

  3868. 	movaps	 -21 * SIZE(A1), %xmm6

  3869. 	mulps	%xmm13, %xmm14

  3870. 	SUBPS	%xmm14, %xmm1

  3871. 

  3872. 	movss	 %xmm5, %xmm7

  3873. 	shufps	 $0x93, %xmm5, %xmm7

  3874. 	pshufd	$0xb1,  %xmm7,  %xmm14

  3875. 	mulps	%xmm13, %xmm7

  3876. 	addps	%xmm7,  %xmm2

  3877. 	movaps	 -23 * SIZE(A2), %xmm7

  3878. 	mulps	%xmm13, %xmm14

  3879. 	movaps	-20 * SIZE(X1), %xmm13

  3880. 	SUBPS	%xmm14, %xmm3

  3881. 

  3882. 	movss	 %xmm6, %xmm4

  3883. 	shufps	 $0x39, %xmm4, %xmm4

  3884. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3885. 	mulps	%xmm12, %xmm4

  3886. 	addps	%xmm4,  %xmm0

  3887. 	movaps	 -17 * SIZE(A1), %xmm4

  3888. 	mulps	%xmm12, %xmm14

  3889. 	SUBPS	%xmm14, %xmm1

  3890. 

  3891. 	movss	 %xmm7, %xmm5

  3892. 	shufps	 $0x93, %xmm7, %xmm5

  3893. 	pshufd	$0xb1,  %xmm5,  %xmm14

  3894. 	mulps	%xmm12, %xmm5

  3895. 	addps	%xmm5,  %xmm2

  3896. 	movaps	 -19 * SIZE(A2), %xmm5

  3897. 	mulps	%xmm12, %xmm14

  3898. 	movaps	-16 * SIZE(X1), %xmm12

  3899. 	SUBPS	%xmm14, %xmm3

  3900. 

  3901. 	movss	 %xmm4, %xmm6

  3902. 	shufps	 $0x39, %xmm6, %xmm6

  3903. 	pshufd	$0xb1,  %xmm6,  %xmm14

  3904. 	mulps	%xmm13, %xmm6

  3905. 	addps	%xmm6,  %xmm0

  3906. 	mulps	%xmm13, %xmm14

  3907. 	SUBPS	%xmm14, %xmm1

  3908. 

  3909. 	movss	 %xmm5, %xmm7

  3910. 	shufps	 $0x93, %xmm5, %xmm7

  3911. 	pshufd	$0xb1,  %xmm7,  %xmm14

  3912. 	mulps	%xmm13, %xmm7

  3913. 	addps	%xmm7,  %xmm2

  3914. 	mulps	%xmm13, %xmm14

  3915. 	movaps	-12 * SIZE(X1), %xmm13

  3916. 	SUBPS	%xmm14, %xmm3

  3917. 

  3918. 	subq	 $-16 * SIZE, A1

  3919. 	subq	 $-16 * SIZE, A2

  3920. 	subq	 $-16 * SIZE, X1

  3921. 	ALIGN_3

  3922. 

  3923. .L305:

  3924. 	testq	$4, MM

  3925. 	je	.L307

  3926. 

  3927. 	movaps	 -29 * SIZE(A1), %xmm6

  3928. 

  3929. 	movss	 %xmm6, %xmm4

  3930. 	shufps	 $0x39, %xmm4, %xmm4

  3931. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3932. 	mulps	%xmm12, %xmm4

  3933. 	addps	%xmm4,  %xmm0

  3934. 	mulps	%xmm12, %xmm14

  3935. 	SUBPS	%xmm14, %xmm1

  3936. 

  3937. 	movaps	 -31 * SIZE(A2), %xmm7

  3938. 

  3939. 	movss	 %xmm7, %xmm5

  3940. 	shufps	 $0x93, %xmm7, %xmm5

  3941. 	pshufd	$0xb1,  %xmm5,  %xmm14

  3942. 	mulps	%xmm12, %xmm5

  3943. 	addps	%xmm5,  %xmm2

  3944. 	mulps	%xmm12, %xmm14

  3945. 	SUBPS	%xmm14, %xmm3

  3946. 

  3947. 	movaps	 -25 * SIZE(A1), %xmm8

  3948. 

  3949. 	movss	 %xmm8, %xmm6

  3950. 	shufps	 $0x39, %xmm6, %xmm6

  3951. 	pshufd	$0xb1,  %xmm6,  %xmm14

  3952. 	mulps	%xmm13, %xmm6

  3953. 	addps	%xmm6,  %xmm0

  3954. 	mulps	%xmm13, %xmm14

  3955. 	SUBPS	%xmm14, %xmm1

  3956. 

  3957. 	movaps	 -27 * SIZE(A2), %xmm9

  3958. 

  3959. 	movss	 %xmm9, %xmm7

  3960. 	shufps	 $0x93, %xmm9, %xmm7

  3961. 	pshufd	$0xb1,  %xmm7,  %xmm14

  3962. 	mulps	%xmm13, %xmm7

  3963. 	addps	%xmm7,  %xmm2

  3964. 	mulps	%xmm13, %xmm14

  3965. 	SUBPS	%xmm14, %xmm3

  3966. 

  3967. 	movaps	%xmm8, %xmm4

  3968. 	movaps	%xmm9, %xmm5

  3969. 

  3970. 	movaps	-24 * SIZE(X1), %xmm12

  3971. 	movaps	-20 * SIZE(X1), %xmm13

  3972. 

  3973. 	addq	 $8 * SIZE, A1

  3974. 	addq	 $8 * SIZE, A2

  3975. 	ALIGN_3

  3976. 

  3977. .L307:

  3978. 	testq	$2, MM

  3979. 	je	.L308

  3980. 

  3981. 	movaps	 -29 * SIZE(A1), %xmm6

  3982. 	movaps	 -31 * SIZE(A2), %xmm7

  3983. 

  3984. 	movss	 %xmm6, %xmm4

  3985. 	shufps	 $0x39, %xmm4, %xmm4

  3986. 	pshufd	$0xb1,  %xmm4,  %xmm14

  3987. 	mulps	%xmm12, %xmm4

  3988. 	addps	%xmm4,  %xmm0

  3989. 	mulps	%xmm12, %xmm14

  3990. 	SUBPS	%xmm14, %xmm1

  3991. 

  3992. 	movss	 %xmm7, %xmm5

  3993. 	shufps	 $0x93, %xmm7, %xmm5

  3994. 	pshufd	$0xb1,  %xmm5,  %xmm14

  3995. 	mulps	%xmm12, %xmm5

  3996. 	addps	%xmm5,  %xmm2

  3997. 	mulps	%xmm12, %xmm14

  3998. 	SUBPS	%xmm14, %xmm3

  3999. 

  4000. 	movaps	 %xmm6, %xmm4

  4001. 	movaps	 %xmm7, %xmm5

  4002. 	movaps	 %xmm13, %xmm12

  4003. 

  4004. 	addq	 $4 * SIZE, A1

  4005. 	addq	 $4 * SIZE, A2

  4006. 	ALIGN_3

  4007. 

  4008. .L308:

  4009. 	testq	$1, MM

  4010. 	je	.L309

  4011. 

  4012. #ifdef movsd

  4013. 	xorps	%xmm8, %xmm8

  4014. #endif

  4015. 	movsd	-32 * SIZE(A1), %xmm8

  4016. #ifdef movsd

  4017. 	xorps	%xmm9, %xmm9

  4018. #endif

  4019. 	movsd	-32 * SIZE(A2), %xmm9

  4020. 

  4021. 	pshufd	$0xb1, %xmm8,  %xmm4

  4022. 	mulps	%xmm12,  %xmm8

  4023. 	addps	%xmm8,  %xmm0

  4024. 	mulps	%xmm12,  %xmm4

  4025. 	SUBPS	%xmm4,  %xmm1

  4026. 

  4027. 	pshufd	$0xb1, %xmm9, %xmm5

  4028. 	mulps	%xmm12,  %xmm9

  4029. 	addps	%xmm9, %xmm2

  4030. 	mulps	%xmm12,  %xmm5

  4031. 	SUBPS	%xmm5, %xmm3

  4032. 	ALIGN_3

  4033. 

  4034. .L309:

  4035. 	pcmpeqb	%xmm5, %xmm5

  4036. 	psllq	$63,    %xmm5

  4037. 

  4038. #if (!defined(CONJ) && !defined(XCONJ)) || (defined(CONJ) && defined(XCONJ))

  4039. 	xorps	%xmm5, %xmm0

  4040. 	xorps	%xmm5, %xmm2

  4041. #else

  4042. 	xorps	%xmm5, %xmm1

  4043. 	xorps	%xmm5, %xmm3

  4044. #endif

  4045. 

  4046. #ifdef HAVE_SSE3

  4047. 	haddps	%xmm1, %xmm0

  4048. 	haddps	%xmm3, %xmm2

  4049. 	haddps	%xmm2, %xmm0

  4050. #else

  4051. 	movaps	%xmm0, %xmm8

  4052. 	unpcklps %xmm1, %xmm0

  4053. 	unpckhps %xmm1, %xmm8

  4054. 

  4055. 	movaps	%xmm2, %xmm4

  4056. 	unpcklps %xmm3, %xmm2

  4057. 	unpckhps %xmm3, %xmm4

  4058. 

  4059. 	addps	%xmm8, %xmm0

  4060. 	addps	%xmm4, %xmm2

  4061. 

  4062. 	movhlps	%xmm0, %xmm1

  4063. 	movhlps	%xmm2, %xmm3

  4064. 

  4065. 	addps	%xmm1, %xmm0

  4066. 	addps	%xmm3, %xmm2

  4067. 	movlhps %xmm2, %xmm0

  4068. #endif

  4069. 

  4070. 	pshufd	$0xb1, %xmm0, %xmm1

  4071. 

  4072. #ifdef HAVE_SSE3

  4073. 	movddup	ALPHA, %xmm15

  4074. #else

  4075. 	movsd	ALPHA, %xmm15

  4076. 	pshufd	$0x44, %xmm15, %xmm15

  4077. #endif

  4078. 

  4079. 	mulps	%xmm15, %xmm0

  4080. 	mulps	%xmm15, %xmm1

  4081. 

  4082. 	xorps	%xmm5, %xmm0

  4083. 

  4084. #ifdef HAVE_SSE3

  4085. 	haddps	%xmm1, %xmm0

  4086. #else

  4087. 	movaps	%xmm0, %xmm2

  4088. 	shufps	$0x88, %xmm1, %xmm0

  4089. 	shufps	$0xdd, %xmm1, %xmm2

  4090. 

  4091. 	addps	%xmm2, %xmm0

  4092. #endif

  4093. 

  4094. 	movsd	(Y), %xmm12

  4095. 	addq	INCY, Y

  4096. 	movhps	(Y), %xmm12

  4097. 	addq	INCY, Y

  4098. 

  4099. 	shufps	$0xd8, %xmm0, %xmm0

  4100. 

  4101. 	addps	%xmm12, %xmm0

  4102. 

  4103. 	movlps	%xmm0, (Y1)

  4104. 	addq	INCY, Y1

  4105. 	movhps	%xmm0, (Y1)

  4106. 	addq	INCY, Y1

  4107. 

  4108. 	cmpq	$2, N

  4109. 	jge	.L301

  4110. 	ALIGN_3

  4111. 

  4112. .L310:

  4113. 	cmpq	$1, N

  4114. 	jl	.L999

  4115. 

  4116. 	leaq	32 * SIZE(BUFFER), X1

  4117. 

  4118. 	movq	A, A1

  4119. 

  4120. 	xorps	%xmm0, %xmm0

  4121. 	xorps	%xmm1, %xmm1

  4122. 

  4123. #ifdef ALIGNED_ACCESS

  4124. 	cmpq	M, MM

  4125. 	je	.L31X

  4126. 

  4127. #ifdef movsd

  4128. 	xorps	%xmm8, %xmm8

  4129. #endif

  4130. 	movsd	-32 * SIZE(A1), %xmm8

  4131. #ifdef movsd

  4132. 	xorps	%xmm12, %xmm12

  4133. #endif

  4134. 	movsd	-32 * SIZE(X1), %xmm12

  4135. 

  4136. 	pshufd	$0xb1, %xmm8,  %xmm4

  4137. 	mulps	%xmm12,  %xmm8

  4138. 	addps	%xmm8,  %xmm0

  4139. 	mulps	%xmm12,  %xmm4

  4140. 	SUBPS	%xmm4,  %xmm1

  4141. 

  4142. 	addq	 $2 * SIZE, A1

  4143. 	addq	 $2 * SIZE, X1

  4144. 	ALIGN_3

  4145. .L31X:

  4146. #endif

  4147. 

  4148. 	movaps	-33 * SIZE(A1), %xmm4

  4149. 

  4150. 	movaps	-32 * SIZE(X1), %xmm12

  4151. 	movaps	-28 * SIZE(X1), %xmm13

  4152. 

  4153. 	movq	MM,  I

  4154. 	sarq	$3,  I

  4155. 	jle	.L315

  4156. 

  4157. 	movaps	 -29 * SIZE(A1), %xmm5

  4158. 	movaps	 -25 * SIZE(A1), %xmm6

  4159. 	movaps	 -21 * SIZE(A1), %xmm7

  4160. 

  4161. 	decq	 I

  4162. 	jle	 .L314

  4163. 	ALIGN_3

  4164. 

  4165. .L313:

  4166. #ifdef PREFETCH

  4167. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(A1)

  4168. #endif

  4169. 

  4170. 	movss	 %xmm5, %xmm4

  4171. 	shufps	 $0x39, %xmm4, %xmm4

  4172. 	pshufd	$0xb1,  %xmm4,  %xmm14

  4173. 	mulps	%xmm12, %xmm4

  4174. 	addps	%xmm4,  %xmm0

  4175. 	movaps	 -17 * SIZE(A1), %xmm4

  4176. 	mulps	%xmm12, %xmm14

  4177. 	movaps	-24 * SIZE(X1), %xmm12

  4178. 	SUBPS	%xmm14, %xmm1

  4179. 

  4180. 	movss	 %xmm6, %xmm5

  4181. 	shufps	 $0x39, %xmm5, %xmm5

  4182. 	pshufd	$0xb1,  %xmm5,  %xmm15

  4183. 	mulps	%xmm13, %xmm5

  4184. 	addps	%xmm5,  %xmm0

  4185. 	movaps	 -13 * SIZE(A1), %xmm5

  4186. 	mulps	%xmm13, %xmm15

  4187. 	movaps	-20 * SIZE(X1), %xmm13

  4188. 	SUBPS	%xmm15, %xmm1

  4189. 

  4190. #ifdef PREFETCHW

  4191. 	PREFETCH	(PREFETCHSIZE) * 4 - 128 + PREOFFSET(X1)

  4192. #endif

  4193. 

  4194. 	movss	 %xmm7, %xmm6

  4195. 	shufps	 $0x39, %xmm6, %xmm6

  4196. 	pshufd	$0xb1,  %xmm6,  %xmm14

  4197. 	mulps	%xmm12, %xmm6

  4198. 	addps	%xmm6,  %xmm0

  4199. 	movaps	  -9 * SIZE(A1), %xmm6

  4200. 	mulps	%xmm12, %xmm14

  4201. 	movaps	-16 * SIZE(X1), %xmm12

  4202. 	SUBPS	%xmm14, %xmm1

  4203. 

  4204. 	movss	 %xmm4, %xmm7

  4205. 	shufps	 $0x39, %xmm7, %xmm7

  4206. 	pshufd	$0xb1,  %xmm7,  %xmm15

  4207. 	mulps	%xmm13, %xmm7

  4208. 	addps	%xmm7,  %xmm0

  4209. 	movaps	  -5 * SIZE(A1), %xmm7

  4210. 	mulps	%xmm13, %xmm15

  4211. 	movaps	-12 * SIZE(X1), %xmm13

  4212. 	SUBPS	%xmm15, %xmm1

  4213. 

  4214. 	subq	 $-16 * SIZE, A1

  4215. 	subq	 $-16 * SIZE, X1

  4216. 

  4217. 	subq	 $1, I

  4218. 	BRANCH

  4219. 	jg	.L313

  4220. 	ALIGN_3

  4221. 

  4222. .L314:

  4223. 	movss	 %xmm5, %xmm4

  4224. 	shufps	 $0x39, %xmm4, %xmm4

  4225. 	pshufd	$0xb1,  %xmm4,  %xmm14

  4226. 	mulps	%xmm12, %xmm4

  4227. 	addps	%xmm4,  %xmm0

  4228. 	movaps	 -17 * SIZE(A1), %xmm4

  4229. 	mulps	%xmm12, %xmm14

  4230. 	movaps	-24 * SIZE(X1), %xmm12

  4231. 	SUBPS	%xmm14, %xmm1

  4232. 

  4233. 	movss	 %xmm6, %xmm5

  4234. 	shufps	 $0x39, %xmm5, %xmm5

  4235. 	pshufd	$0xb1,  %xmm5,  %xmm15

  4236. 	mulps	%xmm13, %xmm5

  4237. 	addps	%xmm5,  %xmm0

  4238. 	mulps	%xmm13, %xmm15

  4239. 	movaps	-20 * SIZE(X1), %xmm13

  4240. 	SUBPS	%xmm15, %xmm1

  4241. 

  4242. 	movss	 %xmm7, %xmm6

  4243. 	shufps	 $0x39, %xmm6, %xmm6

  4244. 	pshufd	$0xb1,  %xmm6,  %xmm14

  4245. 	mulps	%xmm12, %xmm6

  4246. 	addps	%xmm6,  %xmm0

  4247. 	mulps	%xmm12, %xmm14

  4248. 	movaps	-16 * SIZE(X1), %xmm12

  4249. 	SUBPS	%xmm14, %xmm1

  4250. 

  4251. 	movss	 %xmm4, %xmm7

  4252. 	shufps	 $0x39, %xmm7, %xmm7

  4253. 	pshufd	$0xb1,  %xmm7,  %xmm15

  4254. 	mulps	%xmm13, %xmm7

  4255. 	addps	%xmm7,  %xmm0

  4256. 	mulps	%xmm13, %xmm15

  4257. 	movaps	-12 * SIZE(X1), %xmm13

  4258. 	SUBPS	%xmm15, %xmm1

  4259. 

  4260. 	subq	 $-16 * SIZE, A1

  4261. 	subq	 $-16 * SIZE, X1

  4262. 	ALIGN_3

  4263. 

  4264. .L315:

  4265. 	testq	$4, MM

  4266. 	je	.L317

  4267. 

  4268. 	movaps	 -29 * SIZE(A1), %xmm5

  4269. 	movaps	 -25 * SIZE(A1), %xmm6

  4270. 

  4271. 	movss	 %xmm5, %xmm4

  4272. 	shufps	 $0x39, %xmm4, %xmm4

  4273. 	pshufd	$0xb1,  %xmm4,  %xmm14

  4274. 	mulps	%xmm12, %xmm4

  4275. 	addps	%xmm4,  %xmm0

  4276. 	mulps	%xmm12, %xmm14

  4277. 	SUBPS	%xmm14, %xmm1

  4278. 

  4279. 	movss	 %xmm6, %xmm5

  4280. 	shufps	 $0x39, %xmm5, %xmm5

  4281. 	pshufd	$0xb1,  %xmm5,  %xmm15

  4282. 	mulps	%xmm13, %xmm5

  4283. 	addps	%xmm5,  %xmm0

  4284. 	mulps	%xmm13, %xmm15

  4285. 	SUBPS	%xmm15, %xmm1

  4286. 

  4287. 	movaps	-24 * SIZE(X1), %xmm12

  4288. 	movaps	-20 * SIZE(X1), %xmm13

  4289. 	movaps	%xmm6, %xmm4

  4290. 

  4291. 	addq	 $8 * SIZE, A1

  4292. 	ALIGN_3

  4293. 

  4294. .L317:

  4295. 	testq	$2, MM

  4296. 	je	.L318

  4297. 

  4298. 	movaps	 -29 * SIZE(A1), %xmm5

  4299. 

  4300. 	movss	 %xmm5, %xmm4

  4301. 	shufps	 $0x39, %xmm4, %xmm4

  4302. 

  4303. 	pshufd	$0xb1,  %xmm4,  %xmm14

  4304. 	mulps	%xmm12, %xmm4

  4305. 	addps	%xmm4,  %xmm0

  4306. 	mulps	%xmm12, %xmm14

  4307. 	SUBPS	%xmm14, %xmm1

  4308. 

  4309. 	movaps	%xmm13, %xmm12

  4310. 

  4311. 	addq	 $4 * SIZE, A1

  4312. 	ALIGN_3

  4313. 

  4314. .L318:

  4315. 	testq	$1, MM

  4316. 	je	.L319

  4317. 

  4318. #ifdef movsd

  4319. 	xorps	%xmm8, %xmm8

  4320. #endif

  4321. 	movsd	-32 * SIZE(A1), %xmm8

  4322. 

  4323. 	pshufd	$0xb1, %xmm8,  %xmm4

  4324. 	mulps	%xmm12,  %xmm8

  4325. 	addps	%xmm8,  %xmm0

  4326. 	mulps	%xmm12,  %xmm4

  4327. 	SUBPS	%xmm4,  %xmm1

  4328. 	ALIGN_3

  4329. 

  4330. .L319:

  4331. 	pcmpeqb	%xmm5, %xmm5

  4332. 	psllq	$63,    %xmm5

  4333. 

  4334. #if (!defined(CONJ) && !defined(XCONJ)) || (defined(CONJ) && defined(XCONJ))

  4335. 	xorps	%xmm5, %xmm0

  4336. #else

  4337. 	xorps	%xmm5, %xmm1

  4338. #endif

  4339. 

  4340. #ifdef HAVE_SSE3

  4341. 	haddps	%xmm1, %xmm0

  4342. 	haddps	%xmm0, %xmm0

  4343. #else

  4344. 	movaps	%xmm0, %xmm8

  4345. 	unpcklps %xmm1, %xmm0

  4346. 	unpckhps %xmm1, %xmm8

  4347. 

  4348. 	addps	%xmm8, %xmm0

  4349. 

  4350. 	movhlps	%xmm0, %xmm1

  4351. 

  4352. 	addps	%xmm1, %xmm0

  4353. #endif

  4354. 

  4355. 	pshufd	$0xb1, %xmm0, %xmm1

  4356. 

  4357. #ifdef HAVE_SSE3

  4358. 	movddup	ALPHA, %xmm15

  4359. #else

  4360. 	movsd	ALPHA, %xmm15

  4361. 	pshufd	$0x44, %xmm15, %xmm15

  4362. #endif

  4363. 

  4364. 	mulps	%xmm15, %xmm0

  4365. 	mulps	%xmm15, %xmm1

  4366. 

  4367. 	xorps	%xmm5, %xmm0

  4368. 

  4369. #ifdef HAVE_SSE3

  4370. 	haddps	%xmm1, %xmm0

  4371. #else

  4372. 	movaps	%xmm0, %xmm2

  4373. 	shufps	$0x88, %xmm1, %xmm0

  4374. 	shufps	$0xdd, %xmm1, %xmm2

  4375. 

  4376. 	addps	%xmm2, %xmm0

  4377. #endif

  4378. 

  4379. 	movsd	(Y), %xmm12

  4380. 	addq	INCY, Y

  4381. 

  4382. 	shufps	$0xd8, %xmm0, %xmm0

  4383. 

  4384. 	addps	%xmm12, %xmm0

  4385. 

  4386. 	movlps	%xmm0, (Y1)

  4387. 	addq	INCY, Y1

  4388. #endif

  4389. 	ALIGN_3

  4390. 

  4391. .L999:

  4392. 	movq	M, I

  4393. 	salq	$ZBASE_SHIFT,I

  4394. 	addq	I,AA

  4395. 	jmp	.L0t

  4396. .L999x:

  4397. 	movq	  0(%rsp), %rbx

  4398. 	movq	  8(%rsp), %rbp

  4399. 	movq	 16(%rsp), %r12

  4400. 	movq	 24(%rsp), %r13

  4401. 	movq	 32(%rsp), %r14

  4402. 	movq	 40(%rsp), %r15

  4403. 

  4404. #ifdef WINDOWS_ABI

  4405. 	movq	 48(%rsp), %rdi

  4406. 	movq	 56(%rsp), %rsi

  4407. 	movups	 64(%rsp), %xmm6

  4408. 	movups	 80(%rsp), %xmm7

  4409. 	movups	 96(%rsp), %xmm8

  4410. 	movups	112(%rsp), %xmm9

  4411. 	movups	128(%rsp), %xmm10

  4412. 	movups	144(%rsp), %xmm11

  4413. 	movups	160(%rsp), %xmm12

  4414. 	movups	176(%rsp), %xmm13

  4415. 	movups	192(%rsp), %xmm14

  4416. 	movups	208(%rsp), %xmm15

  4417. #endif

  4418. 

  4419. 	addq	$STACKSIZE, %rsp

  4420. 	ret

  4421. 

  4422. 	EPILOGUE