OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Branch: develop
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from 'develop'
${ noResults }
OpenBLAS/kernel/x86_64/zgemv_n_atom.S

1143 lines
23 kB
Raw Permalink Blame History 

  1. /*********************************************************************/

  2. /* Copyright 2009, 2010 The University of Texas at Austin.           */

  3. /* All rights reserved.                                              */

  4. /*                                                                   */

  5. /* Redistribution and use in source and binary forms, with or        */

  6. /* without modification, are permitted provided that the following   */

  7. /* conditions are met:                                               */

  8. /*                                                                   */

  9. /*   1. Redistributions of source code must retain the above         */

  10. /*      copyright notice, this list of conditions and the following  */

  11. /*      disclaimer.                                                  */

  12. /*                                                                   */

  13. /*   2. Redistributions in binary form must reproduce the above      */

  14. /*      copyright notice, this list of conditions and the following  */

  15. /*      disclaimer in the documentation and/or other materials       */

  16. /*      provided with the distribution.                              */

  17. /*                                                                   */

  18. /*    THIS  SOFTWARE IS PROVIDED  BY THE  UNIVERSITY OF  TEXAS AT    */

  19. /*    AUSTIN  ``AS IS''  AND ANY  EXPRESS OR  IMPLIED WARRANTIES,    */

  20. /*    INCLUDING, BUT  NOT LIMITED  TO, THE IMPLIED  WARRANTIES OF    */

  21. /*    MERCHANTABILITY  AND FITNESS FOR  A PARTICULAR  PURPOSE ARE    */

  22. /*    DISCLAIMED.  IN  NO EVENT SHALL THE UNIVERSITY  OF TEXAS AT    */

  23. /*    AUSTIN OR CONTRIBUTORS BE  LIABLE FOR ANY DIRECT, INDIRECT,    */

  24. /*    INCIDENTAL,  SPECIAL, EXEMPLARY,  OR  CONSEQUENTIAL DAMAGES    */

  25. /*    (INCLUDING, BUT  NOT LIMITED TO,  PROCUREMENT OF SUBSTITUTE    */

  26. /*    GOODS  OR  SERVICES; LOSS  OF  USE,  DATA,  OR PROFITS;  OR    */

  27. /*    BUSINESS INTERRUPTION) HOWEVER CAUSED  AND ON ANY THEORY OF    */

  28. /*    LIABILITY, WHETHER  IN CONTRACT, STRICT  LIABILITY, OR TORT    */

  29. /*    (INCLUDING NEGLIGENCE OR OTHERWISE)  ARISING IN ANY WAY OUT    */

  30. /*    OF  THE  USE OF  THIS  SOFTWARE,  EVEN  IF ADVISED  OF  THE    */

  31. /*    POSSIBILITY OF SUCH DAMAGE.                                    */

  32. /*                                                                   */

  33. /* The views and conclusions contained in the software and           */

  34. /* documentation are those of the authors and should not be          */

  35. /* interpreted as representing official policies, either expressed   */

  36. /* or implied, of The University of Texas at Austin.                 */

  37. /*********************************************************************/

  38. 

  39. #define ASSEMBLER

  40. #include "common.h"

  41. #include "l2param.h"

  42. 

  43. #ifdef ATOM

  44. #define PREFETCH	prefetchnta

  45. #define PREFETCHW	prefetcht0

  46. #define PREFETCHSIZE	(8 * 6)

  47. #endif

  48. 

  49. #ifndef WINDOWS_ABI

  50. 

  51. #define STACKSIZE	64

  52. 

  53. #define OLD_INCX	 8 + STACKSIZE(%rsp)

  54. #define OLD_Y		16 + STACKSIZE(%rsp)

  55. #define OLD_INCY	24 + STACKSIZE(%rsp)

  56. #define OLD_BUFFER	32 + STACKSIZE(%rsp)

  57. 

  58. #define M	  %rdi

  59. #define N	  %rsi

  60. #define A	  %rcx

  61. #define LDA	  %r8

  62. #define X	  %r9

  63. #define INCX	  %rdx

  64. #define Y	  %rbp

  65. #define INCY	  %r10

  66. 

  67. #else

  68. 

  69. #define STACKSIZE	256

  70. 

  71. #define OLD_ALPHA_I	 40 + STACKSIZE(%rsp)

  72. #define OLD_A		 48 + STACKSIZE(%rsp)

  73. #define OLD_LDA		 56 + STACKSIZE(%rsp)

  74. #define OLD_X		 64 + STACKSIZE(%rsp)

  75. #define OLD_INCX	 72 + STACKSIZE(%rsp)

  76. #define OLD_Y		 80 + STACKSIZE(%rsp)

  77. #define OLD_INCY	 88 + STACKSIZE(%rsp)

  78. #define OLD_BUFFER	 96 + STACKSIZE(%rsp)

  79. 

  80. #define M	  %rcx

  81. #define N	  %rdx

  82. #define A	  %r8

  83. #define LDA	  %r9

  84. #define X	  %rdi

  85. #define INCX	  %rsi

  86. #define Y	  %rbp

  87. #define INCY	  %r10

  88. 

  89. #endif

  90. 

  91. #define I	%rax

  92. #define J	%r11

  93. #define A1	%r12

  94. #define A2	%r13

  95. 

  96. #define Y1	%r14

  97. #define BUFFER	%r15

  98. 

  99. #define ALPHA_R	%xmm14

  100. #define ALPHA_I	%xmm15

  101. 

  102. #if !defined(CONJ) && !defined(XCONJ)

  103. #define ADD1	   addsd

  104. #define ADD2	   addsd

  105. #define ADD3	   subsd

  106. #define ADD4	   addsd

  107. #endif

  108. 

  109. #if  defined(CONJ) && !defined(XCONJ)

  110. #define ADD1	   addsd

  111. #define ADD2	   addsd

  112. #define ADD3	   addsd

  113. #define ADD4	   subsd

  114. #endif

  115. 

  116. #if !defined(CONJ) &&  defined(XCONJ)

  117. #define ADD1	   addsd

  118. #define ADD2	   subsd

  119. #define ADD3	   addsd

  120. #define ADD4	   addsd

  121. #endif

  122. 

  123. #if  defined(CONJ) &&  defined(XCONJ)

  124. #define ADD1	   addsd

  125. #define ADD2	   subsd

  126. #define ADD3	   subsd

  127. #define ADD4	   subsd

  128. #endif

  129. 

  130. 	PROLOGUE

  131. 	PROFCODE

  132. 

  133. 	subq	$STACKSIZE, %rsp

  134. 	movq	%rbx,  0(%rsp)

  135. 	movq	%rbp,  8(%rsp)

  136. 	movq	%r12, 16(%rsp)

  137. 	movq	%r13, 24(%rsp)

  138. 	movq	%r14, 32(%rsp)

  139. 	movq	%r15, 40(%rsp)

  140. 

  141. #ifdef WINDOWS_ABI

  142. 	movq	%rdi,    48(%rsp)

  143. 	movq	%rsi,    56(%rsp)

  144. 	movups	%xmm6,   64(%rsp)

  145. 	movups	%xmm7,   80(%rsp)

  146. 	movups	%xmm8,   96(%rsp)

  147. 	movups	%xmm9,  112(%rsp)

  148. 	movups	%xmm10, 128(%rsp)

  149. 	movups	%xmm11, 144(%rsp)

  150. 	movups	%xmm12, 160(%rsp)

  151. 	movups	%xmm13, 176(%rsp)

  152. 	movups	%xmm14, 192(%rsp)

  153. 	movups	%xmm15, 208(%rsp)

  154. 

  155. 	movq	OLD_A,     A

  156. 	movq	OLD_LDA,   LDA

  157. 	movq	OLD_X,     X

  158. 

  159. 	movapd	%xmm3,       %xmm0

  160. 	movsd	OLD_ALPHA_I, %xmm1

  161. #endif

  162. 

  163. 	movq	OLD_INCX,  INCX

  164. 	movq	OLD_Y,     Y

  165. 	movq	OLD_INCY,  INCY

  166. 	movq	OLD_BUFFER, BUFFER

  167. 

  168. 	salq	$ZBASE_SHIFT,   LDA

  169. 	salq	$ZBASE_SHIFT,   INCX

  170. 	salq	$ZBASE_SHIFT,   INCY

  171. 

  172. 	movaps	%xmm0, ALPHA_R

  173. 	movaps	%xmm1, ALPHA_I

  174. 

  175. 	subq	$-16 * SIZE, A

  176. 

  177. 	testq	M, M

  178. 	jle	.L999

  179. 	testq	N, N

  180. 	jle	.L999

  181. 	ALIGN_3

  182. 

  183. 	movq	BUFFER, Y1

  184. 

  185. 	pxor	%xmm4, %xmm4

  186. 

  187. 	movq	M,   %rax

  188. 	addq	$8,  %rax

  189. 	sarq	$3,  %rax

  190. 	ALIGN_3

  191. 

  192. .L01:

  193. 	movapd	%xmm4,  0 * SIZE(Y1)

  194. 	movapd	%xmm4,  2 * SIZE(Y1)

  195. 	movapd	%xmm4,  4 * SIZE(Y1)

  196. 	movapd	%xmm4,  6 * SIZE(Y1)

  197. 	movapd	%xmm4,  8 * SIZE(Y1)

  198. 	movapd	%xmm4, 10 * SIZE(Y1)

  199. 	movapd	%xmm4, 12 * SIZE(Y1)

  200. 	movapd	%xmm4, 14 * SIZE(Y1)

  201. 

  202. 	subq	$-16 * SIZE, Y1

  203. 	decq	%rax

  204. 	jg	.L01

  205. 	ALIGN_3

  206. 

  207. .L10:

  208. 	movq	N,  J

  209. 	sarq	$1, J

  210. 	jle	.L20

  211. 	ALIGN_3

  212. 

  213. .L11:

  214. 	leaq	16 * SIZE(BUFFER), Y1

  215. 	movq	A,  A1

  216. 	leaq	(A,  LDA, 1), A2

  217. 	leaq	(A,  LDA, 2), A

  218. 

  219. 	movsd	0 * SIZE(X), %xmm4

  220. 	movsd	1 * SIZE(X), %xmm5

  221. 	addq	INCX, X

  222. 	movsd	0 * SIZE(X), %xmm6

  223. 	movsd	1 * SIZE(X), %xmm7

  224. 	addq	INCX, X

  225. 

  226. 	movapd	%xmm4,  %xmm8

  227. 	mulsd	ALPHA_R,  %xmm4

  228. 	mulsd	ALPHA_I,  %xmm8

  229. 	movapd	%xmm6, %xmm10

  230. 	mulsd	ALPHA_R,  %xmm6

  231. 	mulsd	ALPHA_I,  %xmm10

  232. 

  233. 	movapd	%xmm5,  %xmm9

  234. 	mulsd	ALPHA_I,  %xmm9

  235. 	mulsd	ALPHA_R,  %xmm5

  236. 	movapd	%xmm7, %xmm11

  237. 	mulsd	ALPHA_I,  %xmm11

  238. 	mulsd	ALPHA_R,  %xmm7

  239. 

  240. #ifndef XCONJ

  241. 	subsd	%xmm9,  %xmm4

  242. 	addsd	%xmm8,  %xmm5

  243. 	subsd	%xmm11, %xmm6

  244. 	addsd	%xmm10, %xmm7

  245. #else

  246. 	addsd	%xmm9,  %xmm4

  247. 	subsd	%xmm8,  %xmm5

  248. 	addsd	%xmm11, %xmm6

  249. 	subsd	%xmm10, %xmm7

  250. #endif

  251. 

  252. 	movsd	 -16 * SIZE(Y1), %xmm0

  253. 	movsd	 -15 * SIZE(Y1), %xmm1

  254. 	movsd	 -14 * SIZE(Y1), %xmm2

  255. 	movsd	 -13 * SIZE(Y1), %xmm3

  256. 	ALIGN_3

  257. 

  258. 	movq	M,   I

  259. 	sarq	$2,  I

  260. 	jle	.L15

  261. 

  262. 	movsd	 -16 * SIZE(A1), %xmm8

  263. 	movsd	 -15 * SIZE(A1), %xmm9

  264. 	movsd	 -14 * SIZE(A1), %xmm10

  265. 	movsd	 -13 * SIZE(A1), %xmm11

  266. 

  267. 	movapd	%xmm8,  %xmm12

  268. 	mulsd	%xmm4,  %xmm8

  269. 	mulsd	%xmm5,  %xmm12

  270. 

  271. 	movapd	%xmm10, %xmm13

  272. 	mulsd	%xmm4,  %xmm10

  273. 	ADD1	%xmm8,  %xmm0

  274. 	movsd	 -16 * SIZE(A2), %xmm8

  275. 	mulsd	%xmm5,  %xmm13

  276. 	ADD2	%xmm12, %xmm1

  277. 

  278. 	decq	 I

  279. 	jle	 .L14

  280. 	ALIGN_3

  281. 

  282. .L13:

  283. #ifdef PREFETCH

  284. 	PREFETCH	(PREFETCHSIZE + 0) * SIZE(A2)

  285. #endif

  286. 

  287. 	movapd	%xmm9,  %xmm12

  288. 	mulsd	%xmm5,  %xmm9

  289. 	ADD1	%xmm10, %xmm2

  290. 	movsd	 -14 * SIZE(A2), %xmm10

  291. 	mulsd	%xmm4,  %xmm12

  292. 	ADD2	%xmm13, %xmm3

  293. 

  294. 	movapd	%xmm11, %xmm13

  295. 	mulsd	%xmm5,  %xmm11

  296. 	ADD3	%xmm9,  %xmm0

  297. 	movsd	 -15 * SIZE(A2), %xmm9

  298. 	mulsd	%xmm4,  %xmm13

  299. 	ADD4	%xmm12, %xmm1

  300. 

  301. 	movapd	%xmm8, %xmm12

  302. 	mulsd	%xmm6,  %xmm8

  303. 	ADD3	%xmm11, %xmm2

  304. 	movsd	 -13 * SIZE(A2), %xmm11

  305. 	mulsd	%xmm7,  %xmm12

  306. 	ADD4	%xmm13, %xmm3

  307. 

  308. 	movapd	%xmm10, %xmm13

  309. 	mulsd	%xmm6,  %xmm10

  310. 	ADD1	%xmm8, %xmm0

  311. 	movsd	 -12 * SIZE(A1), %xmm8

  312. 	mulsd	%xmm7,  %xmm13

  313. 	ADD2	%xmm12, %xmm1

  314. 

  315. 	movapd	%xmm9, %xmm12

  316. 	mulsd	%xmm7,  %xmm9

  317. 	ADD1	%xmm10, %xmm2

  318. 	movsd	 -10 * SIZE(A1), %xmm10

  319. 	mulsd	%xmm6,  %xmm12

  320. 	ADD2	%xmm13, %xmm3

  321. 

  322. 	movapd	%xmm11, %xmm13

  323. 	mulsd	%xmm7,  %xmm11

  324. 	ADD3	%xmm9,  %xmm0

  325. 	movsd	 -11 * SIZE(A1), %xmm9

  326. 	mulsd	%xmm6,  %xmm13

  327. 	ADD4	%xmm12, %xmm1

  328. 

  329. 	movapd	%xmm8,  %xmm12

  330. 	movlpd	 %xmm0, -16 * SIZE(Y1)

  331. 	mulsd	%xmm4,  %xmm8

  332. 	movsd	 -12 * SIZE(Y1), %xmm0

  333. 	ADD3	%xmm11, %xmm2

  334. 	movsd	  -9 * SIZE(A1), %xmm11

  335. 	mulsd	%xmm5,  %xmm12

  336. 	movlpd	 %xmm1, -15 * SIZE(Y1)

  337. 	ADD4	%xmm13, %xmm3

  338. 	movsd	 -11 * SIZE(Y1), %xmm1

  339. 

  340. 	movapd	%xmm10, %xmm13

  341. 	movlpd	 %xmm2, -14 * SIZE(Y1)

  342. 	mulsd	%xmm4,  %xmm10

  343. 	movlpd	 %xmm3, -13 * SIZE(Y1)

  344. 	ADD1	%xmm8,  %xmm0

  345. 	movsd	 -12 * SIZE(A2), %xmm8

  346. 	mulsd	%xmm5,  %xmm13

  347. 	movsd	 -10 * SIZE(Y1), %xmm2

  348. 	ADD2	%xmm12, %xmm1

  349. 	movsd	  -9 * SIZE(Y1), %xmm3

  350. 

  351. #ifdef PREFETCH

  352. 	PREFETCH	(PREFETCHSIZE + 0) * SIZE(A1)

  353. #endif

  354. 

  355. 	movapd	%xmm9,  %xmm12

  356. 	mulsd	%xmm5,  %xmm9

  357. 	ADD1	%xmm10, %xmm2

  358. 	movsd	 -10 * SIZE(A2), %xmm10

  359. 	mulsd	%xmm4,  %xmm12

  360. 	ADD2	%xmm13, %xmm3

  361. 

  362. 	movapd	%xmm11, %xmm13

  363. 	mulsd	%xmm5,  %xmm11

  364. 	ADD3	%xmm9,  %xmm0

  365. 	movsd	 -11 * SIZE(A2), %xmm9

  366. 	mulsd	%xmm4,  %xmm13

  367. 	ADD4	%xmm12, %xmm1

  368. 

  369. 	movapd	%xmm8, %xmm12

  370. 	mulsd	%xmm6,  %xmm8

  371. 	ADD3	%xmm11, %xmm2

  372. 	movsd	  -9 * SIZE(A2), %xmm11

  373. 	mulsd	%xmm7,  %xmm12

  374. 	ADD4	%xmm13, %xmm3

  375. 

  376. 	movapd	%xmm10, %xmm13

  377. 	mulsd	%xmm6,  %xmm10

  378. 	ADD1	%xmm8, %xmm0

  379. 	movsd	  -8 * SIZE(A1), %xmm8

  380. 	mulsd	%xmm7,  %xmm13

  381. 	ADD2	%xmm12, %xmm1

  382. 

  383. 	movapd	%xmm9, %xmm12

  384. 	mulsd	%xmm7,  %xmm9

  385. 	ADD1	%xmm10, %xmm2

  386. 	movsd	  -6 * SIZE(A1), %xmm10

  387. 	mulsd	%xmm6,  %xmm12

  388. 	ADD2	%xmm13, %xmm3

  389. 

  390. 	movapd	%xmm11, %xmm13

  391. 	mulsd	%xmm7,  %xmm11

  392. 	ADD3	%xmm9,  %xmm0

  393. 	movsd	  -7 * SIZE(A1), %xmm9

  394. 	mulsd	%xmm6,  %xmm13

  395. 	ADD4	%xmm12, %xmm1

  396. 

  397. 	movapd	%xmm8,  %xmm12

  398. 	movlpd	 %xmm0, -12 * SIZE(Y1)

  399. 	mulsd	%xmm4,  %xmm8

  400. 	movsd	  -8 * SIZE(Y1), %xmm0

  401. 	ADD3	%xmm11, %xmm2

  402. 	movsd	  -5 * SIZE(A1), %xmm11

  403. 	mulsd	%xmm5,  %xmm12

  404. 	movlpd	 %xmm1, -11 * SIZE(Y1)

  405. 	ADD4	%xmm13, %xmm3

  406. 	movsd	  -7 * SIZE(Y1), %xmm1

  407. 

  408. 	movapd	%xmm10, %xmm13

  409. 	movlpd	 %xmm2, -10 * SIZE(Y1)

  410. 	mulsd	%xmm4,  %xmm10

  411. 	movsd	  -6 * SIZE(Y1), %xmm2

  412. 	ADD1	%xmm8,  %xmm0

  413. 	movsd	  -8 * SIZE(A2), %xmm8

  414. 	mulsd	%xmm5,  %xmm13

  415. 	movlpd	 %xmm3,  -9 * SIZE(Y1)

  416. 	ADD2	%xmm12, %xmm1

  417. 	movsd	  -5 * SIZE(Y1), %xmm3

  418. 

  419. 	subq	 $-8 * SIZE, A1

  420. 	subq	 $-8 * SIZE, A2

  421. 	subq	 $-8 * SIZE, Y1

  422. 

  423. 	subq	 $1, I

  424. 	BRANCH

  425. 	jg	.L13

  426. 	ALIGN_3

  427. 

  428. .L14:

  429. 	movapd	%xmm9,  %xmm12

  430. 	mulsd	%xmm5,  %xmm9

  431. 	ADD1	%xmm10, %xmm2

  432. 	movsd	 -14 * SIZE(A2), %xmm10

  433. 	mulsd	%xmm4,  %xmm12

  434. 	ADD2	%xmm13, %xmm3

  435. 

  436. 	movapd	%xmm11, %xmm13

  437. 	mulsd	%xmm5,  %xmm11

  438. 	ADD3	%xmm9,  %xmm0

  439. 	movsd	 -15 * SIZE(A2), %xmm9

  440. 	mulsd	%xmm4,  %xmm13

  441. 	ADD4	%xmm12, %xmm1

  442. 

  443. 	movapd	%xmm8, %xmm12

  444. 	mulsd	%xmm6,  %xmm8

  445. 	ADD3	%xmm11, %xmm2

  446. 	movsd	 -13 * SIZE(A2), %xmm11

  447. 	mulsd	%xmm7,  %xmm12

  448. 	ADD4	%xmm13, %xmm3

  449. 

  450. 	movapd	%xmm10, %xmm13

  451. 	mulsd	%xmm6,  %xmm10

  452. 	ADD1	%xmm8, %xmm0

  453. 	movsd	 -12 * SIZE(A1), %xmm8

  454. 	mulsd	%xmm7,  %xmm13

  455. 	ADD2	%xmm12, %xmm1

  456. 

  457. 	movapd	%xmm9, %xmm12

  458. 	mulsd	%xmm7,  %xmm9

  459. 	ADD1	%xmm10, %xmm2

  460. 	movsd	 -10 * SIZE(A1), %xmm10

  461. 	mulsd	%xmm6,  %xmm12

  462. 	ADD2	%xmm13, %xmm3

  463. 

  464. 	movapd	%xmm11, %xmm13

  465. 	mulsd	%xmm7,  %xmm11

  466. 	ADD3	%xmm9,  %xmm0

  467. 	movsd	 -11 * SIZE(A1), %xmm9

  468. 	mulsd	%xmm6,  %xmm13

  469. 	ADD4	%xmm12, %xmm1

  470. 

  471. 	movapd	%xmm8,  %xmm12

  472. 	movlpd	 %xmm0, -16 * SIZE(Y1)

  473. 	mulsd	%xmm4,  %xmm8

  474. 	movsd	 -12 * SIZE(Y1), %xmm0

  475. 	ADD3	%xmm11, %xmm2

  476. 	movsd	  -9 * SIZE(A1), %xmm11

  477. 	mulsd	%xmm5,  %xmm12

  478. 	movlpd	 %xmm1, -15 * SIZE(Y1)

  479. 	ADD4	%xmm13, %xmm3

  480. 	movsd	 -11 * SIZE(Y1), %xmm1

  481. 

  482. 	movapd	%xmm10, %xmm13

  483. 	movlpd	 %xmm2, -14 * SIZE(Y1)

  484. 	mulsd	%xmm4,  %xmm10

  485. 	movlpd	 %xmm3, -13 * SIZE(Y1)

  486. 	ADD1	%xmm8,  %xmm0

  487. 	movsd	 -12 * SIZE(A2), %xmm8

  488. 	mulsd	%xmm5,  %xmm13

  489. 	movsd	 -10 * SIZE(Y1), %xmm2

  490. 	ADD2	%xmm12, %xmm1

  491. 	movsd	  -9 * SIZE(Y1), %xmm3

  492. 

  493. 	movapd	%xmm9,  %xmm12

  494. 	mulsd	%xmm5,  %xmm9

  495. 	ADD1	%xmm10, %xmm2

  496. 	movsd	 -10 * SIZE(A2), %xmm10

  497. 	mulsd	%xmm4,  %xmm12

  498. 	ADD2	%xmm13, %xmm3

  499. 

  500. 	movapd	%xmm11, %xmm13

  501. 	mulsd	%xmm5,  %xmm11

  502. 	ADD3	%xmm9,  %xmm0

  503. 	movsd	 -11 * SIZE(A2), %xmm9

  504. 	mulsd	%xmm4,  %xmm13

  505. 	ADD4	%xmm12, %xmm1

  506. 

  507. 	movapd	%xmm8, %xmm12

  508. 	mulsd	%xmm6,  %xmm8

  509. 	ADD3	%xmm11, %xmm2

  510. 	movsd	  -9 * SIZE(A2), %xmm11

  511. 	mulsd	%xmm7,  %xmm12

  512. 	ADD4	%xmm13, %xmm3

  513. 

  514. 	movapd	%xmm10, %xmm13

  515. 	mulsd	%xmm6,  %xmm10

  516. 	ADD1	%xmm8, %xmm0

  517. 	mulsd	%xmm7,  %xmm13

  518. 	ADD2	%xmm12, %xmm1

  519. 

  520. 	movapd	%xmm9, %xmm12

  521. 	mulsd	%xmm7,  %xmm9

  522. 	ADD1	%xmm10, %xmm2

  523. 	mulsd	%xmm6,  %xmm12

  524. 	ADD2	%xmm13, %xmm3

  525. 

  526. 	movapd	%xmm11, %xmm13

  527. 	mulsd	%xmm7,  %xmm11

  528. 	ADD3	%xmm9,  %xmm0

  529. 	mulsd	%xmm6,  %xmm13

  530. 	ADD4	%xmm12, %xmm1

  531. 

  532. 	ADD3	%xmm11, %xmm2

  533. 	movlpd	 %xmm0, -12 * SIZE(Y1)

  534. 	movsd	  -8 * SIZE(Y1), %xmm0

  535. 	ADD4	%xmm13, %xmm3

  536. 	movlpd	 %xmm1, -11 * SIZE(Y1)

  537. 	movsd	  -7 * SIZE(Y1), %xmm1

  538. 

  539. 	movlpd	 %xmm2, -10 * SIZE(Y1)

  540. 	movsd	  -6 * SIZE(Y1), %xmm2

  541. 	movlpd	 %xmm3,  -9 * SIZE(Y1)

  542. 	movsd	  -5 * SIZE(Y1), %xmm3

  543. 

  544. 	subq	 $-8 * SIZE, A1

  545. 	subq	 $-8 * SIZE, A2

  546. 	subq	 $-8 * SIZE, Y1

  547. 	ALIGN_3

  548. 

  549. .L15:

  550. 	testq	$2, M

  551. 	je	.L17

  552. 

  553. 	movsd	 -16 * SIZE(A1), %xmm8

  554. 	movsd	 -15 * SIZE(A1), %xmm9

  555. 	movsd	 -14 * SIZE(A1), %xmm10

  556. 	movsd	 -13 * SIZE(A1), %xmm11

  557. 

  558. 	movapd	%xmm8,  %xmm12

  559. 	mulsd	%xmm4,  %xmm8

  560. 	mulsd	%xmm5,  %xmm12

  561. 

  562. 	movapd	%xmm10, %xmm13

  563. 	mulsd	%xmm4,  %xmm10

  564. 	ADD1	%xmm8,  %xmm0

  565. 	movsd	 -16 * SIZE(A2), %xmm8

  566. 	mulsd	%xmm5,  %xmm13

  567. 	ADD2	%xmm12, %xmm1

  568. 

  569. 	movapd	%xmm9,  %xmm12

  570. 	mulsd	%xmm5,  %xmm9

  571. 	ADD1	%xmm10, %xmm2

  572. 	movsd	 -14 * SIZE(A2), %xmm10

  573. 	mulsd	%xmm4,  %xmm12

  574. 	ADD2	%xmm13, %xmm3

  575. 

  576. 	movapd	%xmm11, %xmm13

  577. 	mulsd	%xmm5,  %xmm11

  578. 	ADD3	%xmm9,  %xmm0

  579. 	movsd	 -15 * SIZE(A2), %xmm9

  580. 	mulsd	%xmm4,  %xmm13

  581. 	ADD4	%xmm12, %xmm1

  582. 

  583. 	movapd	%xmm8, %xmm12

  584. 	mulsd	%xmm6,  %xmm8

  585. 	ADD3	%xmm11, %xmm2

  586. 	movsd	 -13 * SIZE(A2), %xmm11

  587. 	mulsd	%xmm7,  %xmm12

  588. 	ADD4	%xmm13, %xmm3

  589. 

  590. 	movapd	%xmm10, %xmm13

  591. 	mulsd	%xmm6,  %xmm10

  592. 	ADD1	%xmm8, %xmm0

  593. 	mulsd	%xmm7,  %xmm13

  594. 	ADD2	%xmm12, %xmm1

  595. 

  596. 	movapd	%xmm9, %xmm12

  597. 	mulsd	%xmm7,  %xmm9

  598. 	ADD1	%xmm10, %xmm2

  599. 	mulsd	%xmm6,  %xmm12

  600. 	ADD2	%xmm13, %xmm3

  601. 

  602. 	movapd	%xmm11, %xmm13

  603. 	mulsd	%xmm7,  %xmm11

  604. 	ADD3	%xmm9,  %xmm0

  605. 	mulsd	%xmm6,  %xmm13

  606. 	ADD4	%xmm12, %xmm1

  607. 

  608. 	ADD3	%xmm11, %xmm2

  609. 	ADD4	%xmm13, %xmm3

  610. 

  611. 	movlpd	 %xmm0, -16 * SIZE(Y1)

  612. 	movlpd	 %xmm1, -15 * SIZE(Y1)

  613. 	movsd	 -12 * SIZE(Y1), %xmm0

  614. 	movsd	 -11 * SIZE(Y1), %xmm1

  615. 

  616. 	movlpd	 %xmm2, -14 * SIZE(Y1)

  617. 	movlpd	 %xmm3, -13 * SIZE(Y1)

  618. 

  619. 

  620. 	addq	 $4 * SIZE, A1

  621. 	addq	 $4 * SIZE, A2

  622. 	addq	 $4 * SIZE, Y1

  623. 	ALIGN_3

  624. 

  625. .L17:

  626. 	testq	$1, M

  627. 	je	.L19

  628. 

  629. 	movsd	 -16 * SIZE(A1), %xmm8

  630. 	movsd	 -15 * SIZE(A1), %xmm9

  631. 	movsd	 -16 * SIZE(A2), %xmm10

  632. 	movsd	 -15 * SIZE(A2), %xmm11

  633. 

  634. 	movapd	%xmm8,  %xmm12

  635. 	mulsd	%xmm4,  %xmm8

  636. 	mulsd	%xmm5,  %xmm12

  637. 

  638. 	movapd	%xmm9,  %xmm13

  639. 	mulsd	%xmm5,  %xmm9

  640. 	ADD1	%xmm8,  %xmm0

  641. 	mulsd	%xmm4,  %xmm13

  642. 	ADD2	%xmm12, %xmm1

  643. 

  644. 	movapd	%xmm10, %xmm12

  645. 	mulsd	%xmm6,  %xmm10

  646. 	ADD3	%xmm9,  %xmm0

  647. 	mulsd	%xmm7,  %xmm12

  648. 	ADD4	%xmm13, %xmm1

  649. 

  650. 	movapd	%xmm11, %xmm13

  651. 	mulsd	%xmm7,  %xmm11

  652. 	ADD1	%xmm10, %xmm0

  653. 	mulsd	%xmm6,  %xmm13

  654. 	ADD2	%xmm12, %xmm1

  655. 

  656. 	ADD3	%xmm11, %xmm0

  657. 	ADD4	%xmm13, %xmm1

  658. 

  659. 	movlpd	 %xmm0, -16 * SIZE(Y1)

  660. 	movlpd	 %xmm1, -15 * SIZE(Y1)

  661. 	ALIGN_3

  662. 

  663. .L19:

  664. 	decq	J

  665. 	jg	.L11

  666. 	ALIGN_3

  667. 

  668. .L20:

  669. 	testq	$1, N

  670. 	jle	.L90

  671. 

  672. 	leaq	16 * SIZE(BUFFER), Y1

  673. 	movq	A,  A1

  674. 

  675. 	movsd	0 * SIZE(X), %xmm4

  676. 	movsd	1 * SIZE(X), %xmm5

  677. 

  678. 	movapd	%xmm4,  %xmm8

  679. 	mulsd	ALPHA_R,  %xmm4

  680. 	mulsd	ALPHA_I,  %xmm8

  681. 	movapd	%xmm5,  %xmm9

  682. 	mulsd	ALPHA_I,  %xmm9

  683. 	mulsd	ALPHA_R,  %xmm5

  684. 

  685. #ifndef XCONJ

  686. 	subsd	%xmm9,  %xmm4

  687. 	addsd	%xmm8,  %xmm5

  688. #else

  689. 	addsd	%xmm9,  %xmm4

  690. 	subsd	%xmm8,  %xmm5

  691. #endif

  692. 

  693. 	movsd	 -16 * SIZE(Y1), %xmm0

  694. 	movsd	 -15 * SIZE(Y1), %xmm1

  695. 	movsd	 -14 * SIZE(Y1), %xmm2

  696. 	movsd	 -13 * SIZE(Y1), %xmm3

  697. 	ALIGN_3

  698. 

  699. 	movq	M,   I

  700. 	sarq	$2,  I

  701. 	jle	.L25

  702. 

  703. 	movsd	 -16 * SIZE(A1), %xmm8

  704. 	movsd	 -15 * SIZE(A1), %xmm9

  705. 	movsd	 -14 * SIZE(A1), %xmm10

  706. 	movsd	 -13 * SIZE(A1), %xmm11

  707. 

  708. 	movapd	%xmm8,  %xmm12

  709. 	mulsd	%xmm4,  %xmm8

  710. 	mulsd	%xmm5,  %xmm12

  711. 

  712. 	movapd	%xmm10, %xmm13

  713. 	mulsd	%xmm4,  %xmm10

  714. 	ADD1	%xmm8,  %xmm0

  715. 	movsd	 -12 * SIZE(A1), %xmm8

  716. 	mulsd	%xmm5,  %xmm13

  717. 	ADD2	%xmm12, %xmm1

  718. 

  719. 	decq	 I

  720. 	jle	 .L24

  721. 	ALIGN_3

  722. 

  723. .L23:

  724. #ifdef PREFETCH

  725. 	PREFETCH	(PREFETCHSIZE + 0) * SIZE(A2)

  726. #endif

  727. 

  728. 	movapd	%xmm9,  %xmm12

  729. 	mulsd	%xmm5,  %xmm9

  730. 	ADD1	%xmm10, %xmm2

  731. 	movsd	 -10 * SIZE(A1), %xmm10

  732. 	mulsd	%xmm4,  %xmm12

  733. 	ADD2	%xmm13, %xmm3

  734. 

  735. 	movapd	%xmm11,  %xmm13

  736. 	mulsd	%xmm5,  %xmm11

  737. 	ADD3	%xmm9,  %xmm0

  738. 	movsd	 -11 * SIZE(A1), %xmm9

  739. 	mulsd	%xmm4,  %xmm13

  740. 	ADD4	%xmm12, %xmm1

  741. 

  742. 	movapd	%xmm8,  %xmm12

  743. 	movlpd	 %xmm0, -16 * SIZE(Y1)

  744. 	mulsd	%xmm4,  %xmm8

  745. 	movsd	 -12 * SIZE(Y1), %xmm0

  746. 	ADD3	%xmm11, %xmm2

  747. 	movsd	  -9 * SIZE(A1), %xmm11

  748. 

  749. 	mulsd	%xmm5,  %xmm12

  750. 	movlpd	 %xmm1, -15 * SIZE(Y1)

  751. 	ADD4	%xmm13, %xmm3

  752. 	movsd	 -11 * SIZE(Y1), %xmm1

  753. 

  754. 	movapd	%xmm10, %xmm13

  755. 	movlpd	 %xmm2, -14 * SIZE(Y1)

  756. 	mulsd	%xmm4,  %xmm10

  757. 	movsd	 -10 * SIZE(Y1), %xmm2

  758. 	ADD1	%xmm8,  %xmm0

  759. 	movsd	  -8 * SIZE(A1), %xmm8

  760. 	mulsd	%xmm5,  %xmm13

  761. 	movlpd	 %xmm3, -13 * SIZE(Y1)

  762. 	ADD2	%xmm12, %xmm1

  763. 	movsd	  -9 * SIZE(Y1), %xmm3

  764. 

  765. 	movapd	%xmm9,  %xmm12

  766. 	mulsd	%xmm5,  %xmm9

  767. 	ADD1	%xmm10, %xmm2

  768. 	movsd	  -6 * SIZE(A1), %xmm10

  769. 	mulsd	%xmm4,  %xmm12

  770. 	ADD2	%xmm13, %xmm3

  771. 

  772. 	movapd	%xmm11,  %xmm13

  773. 	mulsd	%xmm5,  %xmm11

  774. 	ADD3	%xmm9,  %xmm0

  775. 	movsd	  -7 * SIZE(A1), %xmm9

  776. 	mulsd	%xmm4,  %xmm13

  777. 	subq	 $-8 * SIZE, A1

  778. 	ADD4	%xmm12, %xmm1

  779. 

  780. 	movapd	%xmm8,  %xmm12

  781. 	movlpd	 %xmm0, -12 * SIZE(Y1)

  782. 	mulsd	%xmm4,  %xmm8

  783. 	movsd	  -8 * SIZE(Y1), %xmm0

  784. 	ADD3	%xmm11, %xmm2

  785. 	movsd	 -13 * SIZE(A1), %xmm11

  786. 	mulsd	%xmm5,  %xmm12

  787. 	movlpd	 %xmm1, -11 * SIZE(Y1)

  788. 	ADD4	%xmm13, %xmm3

  789. 	movsd	  -7 * SIZE(Y1), %xmm1

  790. 

  791. 	movapd	%xmm10, %xmm13

  792. 	movlpd	 %xmm2, -10 * SIZE(Y1)

  793. 	mulsd	%xmm4,  %xmm10

  794. 	movsd	  -6 * SIZE(Y1), %xmm2

  795. 	ADD1	%xmm8,  %xmm0

  796. 	movsd	 -12 * SIZE(A1), %xmm8

  797. 	mulsd	%xmm5,  %xmm13

  798. 	movlpd	 %xmm3,  -9 * SIZE(Y1)

  799. 	ADD2	%xmm12, %xmm1

  800. 	movsd	  -5 * SIZE(Y1), %xmm3

  801. 

  802. 	subq	 $-8 * SIZE, Y1

  803. 

  804. 	subq	 $1, I

  805. 	BRANCH

  806. 	jg	.L23

  807. 	ALIGN_3

  808. 

  809. .L24:

  810. 	movapd	%xmm9,  %xmm12

  811. 	mulsd	%xmm5,  %xmm9

  812. 	ADD1	%xmm10, %xmm2

  813. 	movsd	 -10 * SIZE(A1), %xmm10

  814. 	mulsd	%xmm4,  %xmm12

  815. 	ADD2	%xmm13, %xmm3

  816. 

  817. 	movapd	%xmm11,  %xmm13

  818. 	mulsd	%xmm5,  %xmm11

  819. 	ADD3	%xmm9,  %xmm0

  820. 	movsd	 -11 * SIZE(A1), %xmm9

  821. 	mulsd	%xmm4,  %xmm13

  822. 	ADD4	%xmm12, %xmm1

  823. 

  824. 	movapd	%xmm8,  %xmm12

  825. 	movlpd	 %xmm0, -16 * SIZE(Y1)

  826. 	mulsd	%xmm4,  %xmm8

  827. 	movsd	 -12 * SIZE(Y1), %xmm0

  828. 	ADD3	%xmm11, %xmm2

  829. 	movsd	  -9 * SIZE(A1), %xmm11

  830. 

  831. 	mulsd	%xmm5,  %xmm12

  832. 	movlpd	 %xmm1, -15 * SIZE(Y1)

  833. 	ADD4	%xmm13, %xmm3

  834. 	movsd	 -11 * SIZE(Y1), %xmm1

  835. 

  836. 	movapd	%xmm10, %xmm13

  837. 	mulsd	%xmm4,  %xmm10

  838. 	movlpd	 %xmm2, -14 * SIZE(Y1)

  839. 	ADD1	%xmm8,  %xmm0

  840. 	movsd	 -10 * SIZE(Y1), %xmm2

  841. 	mulsd	%xmm5,  %xmm13

  842. 	movlpd	 %xmm3, -13 * SIZE(Y1)

  843. 	ADD2	%xmm12, %xmm1

  844. 	movsd	  -9 * SIZE(Y1), %xmm3

  845. 

  846. 	movapd	%xmm9,  %xmm12

  847. 	mulsd	%xmm5,  %xmm9

  848. 	ADD1	%xmm10, %xmm2

  849. 	mulsd	%xmm4,  %xmm12

  850. 	ADD2	%xmm13, %xmm3

  851. 

  852. 	movapd	%xmm11,  %xmm13

  853. 	mulsd	%xmm5,  %xmm11

  854. 	ADD3	%xmm9,  %xmm0

  855. 	mulsd	%xmm4,  %xmm13

  856. 	ADD4	%xmm12, %xmm1

  857. 

  858. 	ADD3	%xmm11, %xmm2

  859. 	movlpd	 %xmm0, -12 * SIZE(Y1)

  860. 	movsd	  -8 * SIZE(Y1), %xmm0

  861. 	ADD4	%xmm13, %xmm3

  862. 	movlpd	 %xmm1, -11 * SIZE(Y1)

  863. 	movsd	  -7 * SIZE(Y1), %xmm1

  864. 

  865. 	movlpd	 %xmm2, -10 * SIZE(Y1)

  866. 	movlpd	 %xmm3,  -9 * SIZE(Y1)

  867. 	movsd	  -6 * SIZE(Y1), %xmm2

  868. 	movsd	  -5 * SIZE(Y1), %xmm3

  869. 

  870. 	subq	 $-8 * SIZE, A1

  871. 	subq	 $-8 * SIZE, Y1

  872. 	ALIGN_3

  873. 

  874. .L25:

  875. 	testq	$2, M

  876. 	je	.L27

  877. 

  878. 	movsd	 -16 * SIZE(A1), %xmm8

  879. 	movsd	 -15 * SIZE(A1), %xmm9

  880. 	movsd	 -14 * SIZE(A1), %xmm10

  881. 	movsd	 -13 * SIZE(A1), %xmm11

  882. 

  883. 	movapd	%xmm8,  %xmm12

  884. 	mulsd	%xmm4,  %xmm8

  885. 	mulsd	%xmm5,  %xmm12

  886. 

  887. 	movapd	%xmm10, %xmm13

  888. 	mulsd	%xmm4,  %xmm10

  889. 	ADD1	%xmm8,  %xmm0

  890. 	mulsd	%xmm5,  %xmm13

  891. 	ADD2	%xmm12, %xmm1

  892. 

  893. 	movapd	%xmm9,  %xmm12

  894. 	mulsd	%xmm5,  %xmm9

  895. 	ADD1	%xmm10, %xmm2

  896. 	mulsd	%xmm4,  %xmm12

  897. 	ADD2	%xmm13, %xmm3

  898. 

  899. 	movapd	%xmm11,  %xmm13

  900. 	mulsd	%xmm5,  %xmm11

  901. 	ADD3	%xmm9,  %xmm0

  902. 	mulsd	%xmm4,  %xmm13

  903. 	ADD4	%xmm12, %xmm1

  904. 

  905. 	ADD3	%xmm11, %xmm2

  906. 	movlpd	 %xmm0, -16 * SIZE(Y1)

  907. 	movsd	 -12 * SIZE(Y1), %xmm0

  908. 	ADD4	%xmm13, %xmm3

  909. 	movlpd	 %xmm1, -15 * SIZE(Y1)

  910. 	movsd	 -11 * SIZE(Y1), %xmm1

  911. 

  912. 	movlpd	 %xmm2, -14 * SIZE(Y1)

  913. 	movlpd	 %xmm3, -13 * SIZE(Y1)

  914. 

  915. 	addq	 $4 * SIZE, A1

  916. 	addq	 $4 * SIZE, Y1

  917. 	ALIGN_3

  918. 

  919. .L27:

  920. 	testq	$1, M

  921. 	je	.L90

  922. 

  923. 	movsd	 -16 * SIZE(A1), %xmm8

  924. 	movsd	 -15 * SIZE(A1), %xmm9

  925. 

  926. 	movapd	%xmm8,  %xmm12

  927. 	mulsd	%xmm4,  %xmm8

  928. 	mulsd	%xmm5,  %xmm12

  929. 

  930. 	movapd	%xmm9,  %xmm13

  931. 	mulsd	%xmm5,  %xmm9

  932. 	ADD1	%xmm8,  %xmm0

  933. 	mulsd	%xmm4,  %xmm13

  934. 	ADD2	%xmm12, %xmm1

  935. 

  936. 	ADD3	%xmm9,  %xmm0

  937. 	ADD4	%xmm13, %xmm1

  938. 

  939. 	movlpd	 %xmm0, -16 * SIZE(Y1)

  940. 	movlpd	 %xmm1, -15 * SIZE(Y1)

  941. 	ALIGN_3

  942. 

  943. .L90:

  944. 	movq	Y,  Y1

  945. 

  946. 	movq	M,  %rax

  947. 	sarq	$3, %rax

  948. 	jle	.L94

  949. 	ALIGN_3

  950. 

  951. .L92:

  952.  	movsd	 0 * SIZE(Y), %xmm0

  953. 	movhpd	 1 * SIZE(Y), %xmm0

  954. 	addq	INCY, Y

  955. 

  956. 	movsd	 0 * SIZE(Y), %xmm1

  957. 	movhpd	 1 * SIZE(Y), %xmm1

  958. 	addq	INCY, Y

  959. 

  960. 	movsd	 0 * SIZE(Y), %xmm2

  961. 	movhpd	 1 * SIZE(Y), %xmm2

  962. 	addq	INCY, Y

  963. 

  964. 	movsd	 0 * SIZE(Y), %xmm3

  965. 	movhpd	 1 * SIZE(Y), %xmm3

  966. 	addq	INCY, Y

  967. 

  968.  	movsd	 0 * SIZE(Y), %xmm4

  969. 	movhpd	 1 * SIZE(Y), %xmm4

  970. 	addq	INCY, Y

  971. 

  972. 	movsd	 0 * SIZE(Y), %xmm5

  973. 	movhpd	 1 * SIZE(Y), %xmm5

  974. 	addq	INCY, Y

  975. 

  976. 	movsd	 0 * SIZE(Y), %xmm6

  977. 	movhpd	 1 * SIZE(Y), %xmm6

  978. 	addq	INCY, Y

  979. 

  980. 	movsd	 0 * SIZE(Y), %xmm7

  981. 	movhpd	 1 * SIZE(Y), %xmm7

  982. 	addq	INCY, Y

  983. 

  984. 	addpd	 0 * SIZE(BUFFER), %xmm0

  985. 	addpd	 2 * SIZE(BUFFER), %xmm1

  986. 	addpd	 4 * SIZE(BUFFER), %xmm2

  987. 	addpd	 6 * SIZE(BUFFER), %xmm3

  988. 	addpd	 8 * SIZE(BUFFER), %xmm4

  989. 	addpd	10 * SIZE(BUFFER), %xmm5

  990. 	addpd	12 * SIZE(BUFFER), %xmm6

  991. 	addpd	14 * SIZE(BUFFER), %xmm7

  992. 

  993. 	movlpd	%xmm0,  0 * SIZE(Y1)

  994. 	movhpd	%xmm0,  1 * SIZE(Y1)

  995. 	addq	INCY, Y1

  996. 

  997. 	movlpd	%xmm1,  0 * SIZE(Y1)

  998. 	movhpd	%xmm1,  1 * SIZE(Y1)

  999. 	addq	INCY, Y1

  1000. 

  1001. 	movlpd	%xmm2,  0 * SIZE(Y1)

  1002. 	movhpd	%xmm2,  1 * SIZE(Y1)

  1003. 	addq	INCY, Y1

  1004. 

  1005. 	movlpd	%xmm3,  0 * SIZE(Y1)

  1006. 	movhpd	%xmm3,  1 * SIZE(Y1)

  1007. 	addq	INCY, Y1

  1008. 

  1009. 	movlpd	%xmm4,  0 * SIZE(Y1)

  1010. 	movhpd	%xmm4,  1 * SIZE(Y1)

  1011. 	addq	INCY, Y1

  1012. 

  1013. 	movlpd	%xmm5,  0 * SIZE(Y1)

  1014. 	movhpd	%xmm5,  1 * SIZE(Y1)

  1015. 	addq	INCY, Y1

  1016. 

  1017. 	movlpd	%xmm6,  0 * SIZE(Y1)

  1018. 	movhpd	%xmm6,  1 * SIZE(Y1)

  1019. 	addq	INCY, Y1

  1020. 

  1021. 	movlpd	%xmm7,  0 * SIZE(Y1)

  1022. 	movhpd	%xmm7,  1 * SIZE(Y1)

  1023. 	addq	INCY, Y1

  1024. 

  1025. 	subq	$-16 * SIZE, BUFFER

  1026. 	decq	%rax

  1027. 	jg	.L92

  1028. 	ALIGN_3

  1029. 

  1030. .L94:

  1031. 	testq	$7, M

  1032. 	jle	.L999

  1033. 

  1034. 	testq	$4, M

  1035. 	jle	.L95

  1036. 

  1037.  	movsd	 0 * SIZE(Y), %xmm0

  1038. 	movhpd	 1 * SIZE(Y), %xmm0

  1039. 	addq	INCY, Y

  1040. 

  1041. 	movsd	 0 * SIZE(Y), %xmm1

  1042. 	movhpd	 1 * SIZE(Y), %xmm1

  1043. 	addq	INCY, Y

  1044. 

  1045. 	movsd	 0 * SIZE(Y), %xmm2

  1046. 	movhpd	 1 * SIZE(Y), %xmm2

  1047. 	addq	INCY, Y

  1048. 

  1049. 	movsd	 0 * SIZE(Y), %xmm3

  1050. 	movhpd	 1 * SIZE(Y), %xmm3

  1051. 	addq	INCY, Y

  1052. 

  1053. 	addpd	 0 * SIZE(BUFFER), %xmm0

  1054. 	addpd	 2 * SIZE(BUFFER), %xmm1

  1055. 	addpd	 4 * SIZE(BUFFER), %xmm2

  1056. 	addpd	 6 * SIZE(BUFFER), %xmm3

  1057. 

  1058. 	movlpd	%xmm0,  0 * SIZE(Y1)

  1059. 	movhpd	%xmm0,  1 * SIZE(Y1)

  1060. 	addq	INCY, Y1

  1061. 

  1062. 	movlpd	%xmm1,  0 * SIZE(Y1)

  1063. 	movhpd	%xmm1,  1 * SIZE(Y1)

  1064. 	addq	INCY, Y1

  1065. 

  1066. 	movlpd	%xmm2,  0 * SIZE(Y1)

  1067. 	movhpd	%xmm2,  1 * SIZE(Y1)

  1068. 	addq	INCY, Y1

  1069. 

  1070. 	movlpd	%xmm3,  0 * SIZE(Y1)

  1071. 	movhpd	%xmm3,  1 * SIZE(Y1)

  1072. 	addq	INCY, Y1

  1073. 

  1074. 	addq	$8 * SIZE, BUFFER

  1075. 	ALIGN_3

  1076. 

  1077. .L95:

  1078. 	testq	$2, M

  1079. 	jle	.L96

  1080. 

  1081.  	movsd	 0 * SIZE(Y), %xmm0

  1082. 	movhpd	 1 * SIZE(Y), %xmm0

  1083. 	addq	INCY, Y

  1084. 

  1085. 	movsd	 0 * SIZE(Y), %xmm1

  1086. 	movhpd	 1 * SIZE(Y), %xmm1

  1087. 	addq	INCY, Y

  1088. 

  1089. 	addpd	 0 * SIZE(BUFFER), %xmm0

  1090. 	addpd	 2 * SIZE(BUFFER), %xmm1

  1091. 

  1092. 	movlpd	%xmm0,  0 * SIZE(Y1)

  1093. 	movhpd	%xmm0,  1 * SIZE(Y1)

  1094. 	addq	INCY, Y1

  1095. 

  1096. 	movlpd	%xmm1,  0 * SIZE(Y1)

  1097. 	movhpd	%xmm1,  1 * SIZE(Y1)

  1098. 	addq	INCY, Y1

  1099. 

  1100. 	addq	$4 * SIZE, BUFFER

  1101. 	ALIGN_3

  1102. 

  1103. .L96:

  1104. 	testq	$1, M

  1105. 	jle	.L999

  1106. 

  1107.  	movsd	 0 * SIZE(Y), %xmm0

  1108. 	movhpd	 1 * SIZE(Y), %xmm0

  1109. 

  1110. 	addpd	 0 * SIZE(BUFFER), %xmm0

  1111. 

  1112. 	movlpd	%xmm0,  0 * SIZE(Y1)

  1113. 	movhpd	%xmm0,  1 * SIZE(Y1)

  1114. 	ALIGN_3

  1115. 

  1116. .L999:

  1117. 	movq	  0(%rsp), %rbx

  1118. 	movq	  8(%rsp), %rbp

  1119. 	movq	 16(%rsp), %r12

  1120. 	movq	 24(%rsp), %r13

  1121. 	movq	 32(%rsp), %r14

  1122. 	movq	 40(%rsp), %r15

  1123. 

  1124. #ifdef WINDOWS_ABI

  1125. 	movq	 48(%rsp), %rdi

  1126. 	movq	 56(%rsp), %rsi

  1127. 	movups	 64(%rsp), %xmm6

  1128. 	movups	 80(%rsp), %xmm7

  1129. 	movups	 96(%rsp), %xmm8

  1130. 	movups	112(%rsp), %xmm9

  1131. 	movups	128(%rsp), %xmm10

  1132. 	movups	144(%rsp), %xmm11

  1133. 	movups	160(%rsp), %xmm12

  1134. 	movups	176(%rsp), %xmm13

  1135. 	movups	192(%rsp), %xmm14

  1136. 	movups	208(%rsp), %xmm15

  1137. #endif

  1138. 

  1139. 	addq	$STACKSIZE, %rsp

  1140. 	ret

  1141. 

  1142. 	EPILOGUE