OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: 94de62e8be
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from '94de62e8be'
${ noResults }
OpenBLAS/kernel/power/dtrsm_macros_LT_16x4_power8.S

5020 lines
84 kB
Raw Blame History 

  1. 

  2. #if defined(_AIX)

  3. define(`INIT_16x4', `

  4. #else

  5. .macro INIT_16x4

  6. #endif

  7. 

  8. 

  9. 	xxlxor		vs0,	vs0,	vs0

  10. 

  11. 	XVMOVDP(vs32,vs0)

  12. 	XVMOVDP(vs33,vs0)

  13. 	XVMOVDP(vs34,vs0)

  14. 	XVMOVDP(vs35,vs0)

  15. 	XVMOVDP(vs36,vs0)

  16. 	XVMOVDP(vs37,vs0)

  17. 	XVMOVDP(vs38,vs0)

  18. 	XVMOVDP(vs39,vs0)

  19. 	XVMOVDP(vs40,vs0)

  20. 	XVMOVDP(vs41,vs0)

  21. 	XVMOVDP(vs42,vs0)

  22. 	XVMOVDP(vs43,vs0)

  23. 	XVMOVDP(vs44,vs0)

  24. 	XVMOVDP(vs45,vs0)

  25. 	XVMOVDP(vs46,vs0)

  26. 	XVMOVDP(vs47,vs0)

  27. 	XVMOVDP(vs48,vs0)

  28. 	XVMOVDP(vs49,vs0)

  29. 	XVMOVDP(vs50,vs0)

  30. 	XVMOVDP(vs51,vs0)

  31. 	XVMOVDP(vs52,vs0)

  32. 	XVMOVDP(vs53,vs0)

  33. 	XVMOVDP(vs54,vs0)

  34. 	XVMOVDP(vs55,vs0)

  35. 	XVMOVDP(vs56,vs0)

  36. 	XVMOVDP(vs57,vs0)

  37. 	XVMOVDP(vs58,vs0)

  38. 	XVMOVDP(vs59,vs0)

  39. 	XVMOVDP(vs60,vs0)

  40. 	XVMOVDP(vs61,vs0)

  41. 	XVMOVDP(vs62,vs0)

  42. 	XVMOVDP(vs63,vs0)

  43. 

  44. #if defined(_AIX)

  45. ')

  46. #else

  47. .endm

  48. #endif

  49. 

  50. 

  51. #if defined(_AIX)

  52. define(`KERNEL_16x4', `

  53. #else

  54. .macro KERNEL_16x4

  55. #endif

  56. 

  57. 

  58. 	lxvd2x		vs0,	o0,	AO

  59. 

  60. 	lxvdsx		vs16,	o0,	BO

  61. 	lxvdsx		vs17,	o8,	BO

  62. 	lxvdsx		vs18,	o16,	BO

  63. 	lxvdsx		vs19,	o24,	BO

  64. 

  65. 	lxvd2x		vs1,	o16,	AO

  66. 	lxvd2x		vs2,	o32,	AO

  67. 	lxvd2x		vs3,	o48,	AO

  68. 

  69. 	addi		BO,	BO,	32

  70. 	addi		AO,	AO,	64

  71. 

  72. 	lxvd2x		vs4,	o0,	AO

  73. 	lxvd2x		vs5,	o16,	AO

  74. 	lxvd2x		vs6,	o32,	AO

  75. 	lxvd2x		vs7,	o48,	AO

  76. 

  77. 	addi		AO,	AO,	64

  78. 

  79. 	xvmaddadp	vs32,	vs0,	vs16

  80. 	xvmaddadp	vs33,	vs0,	vs17

  81. 	xvmaddadp	vs34,	vs0,	vs18

  82. 	xvmaddadp	vs35,	vs0,	vs19

  83. 	xvmaddadp	vs36,	vs1,	vs16

  84. 	xvmaddadp	vs37,	vs1,	vs17

  85. 	xvmaddadp	vs38,	vs1,	vs18

  86. 	xvmaddadp	vs39,	vs1,	vs19

  87. 	xvmaddadp	vs40,	vs2,	vs16

  88. 	xvmaddadp	vs41,	vs2,	vs17

  89. 	xvmaddadp	vs42,	vs2,	vs18

  90. 	xvmaddadp	vs43,	vs2,	vs19

  91. 	xvmaddadp	vs44,	vs3,	vs16

  92. 	xvmaddadp	vs45,	vs3,	vs17

  93. 	xvmaddadp	vs46,	vs3,	vs18

  94. 	xvmaddadp	vs47,	vs3,	vs19

  95. 	xvmaddadp	vs48,	vs4,	vs16

  96. 	xvmaddadp	vs49,	vs4,	vs17

  97. 	xvmaddadp	vs50,	vs4,	vs18

  98. 	xvmaddadp	vs51,	vs4,	vs19

  99. 	xvmaddadp	vs52,	vs5,	vs16

  100. 	xvmaddadp	vs53,	vs5,	vs17

  101. 	xvmaddadp	vs54,	vs5,	vs18

  102. 	xvmaddadp	vs55,	vs5,	vs19

  103. 	xvmaddadp	vs56,	vs6,	vs16

  104. 	xvmaddadp	vs57,	vs6,	vs17

  105. 	xvmaddadp	vs58,	vs6,	vs18

  106. 	xvmaddadp	vs59,	vs6,	vs19

  107. 	xvmaddadp	vs60,	vs7,	vs16

  108. 	xvmaddadp	vs61,	vs7,	vs17

  109. 	xvmaddadp	vs62,	vs7,	vs18

  110. 	xvmaddadp	vs63,	vs7,	vs19

  111. 

  112. 

  113. #if defined(_AIX)

  114. ')

  115. #else

  116. .endm

  117. #endif

  118. 

  119. 

  120. #if defined(_AIX)

  121. define(`INIT_8x4', `

  122. #else

  123. .macro INIT_8x4

  124. #endif

  125. 

  126. 

  127. 	xxlxor		vs0,	vs0,	vs0

  128. 

  129. 	XVMOVDP(vs32,vs0)

  130. 	XVMOVDP(vs33,vs0)

  131. 	XVMOVDP(vs34,vs0)

  132. 	XVMOVDP(vs35,vs0)

  133. 	XVMOVDP(vs36,vs0)

  134. 	XVMOVDP(vs37,vs0)

  135. 	XVMOVDP(vs38,vs0)

  136. 	XVMOVDP(vs39,vs0)

  137. 	XVMOVDP(vs40,vs0)

  138. 	XVMOVDP(vs41,vs0)

  139. 	XVMOVDP(vs42,vs0)

  140. 	XVMOVDP(vs43,vs0)

  141. 	XVMOVDP(vs44,vs0)

  142. 	XVMOVDP(vs45,vs0)

  143. 	XVMOVDP(vs46,vs0)

  144. 	XVMOVDP(vs47,vs0)

  145. 

  146. #if defined(_AIX)

  147. ')

  148. #else

  149. .endm

  150. #endif

  151. 

  152. 

  153. #if defined(_AIX)

  154. define(`KERNEL_8x4', `

  155. #else

  156. .macro KERNEL_8x4

  157. #endif

  158. 

  159. 

  160. 	lxvd2x		vs0,	o0,	AO

  161. 	lxvd2x		vs1,	o16,	AO

  162. 	lxvd2x		vs2,	o32,	AO

  163. 	lxvd2x		vs3,	o48,	AO

  164. 

  165. 	addi		AO,	AO,	64

  166. 

  167. 	lxvdsx		vs16,	o0,	BO

  168. 	lxvdsx		vs17,	o8,	BO

  169. 	lxvdsx		vs18,	o16,	BO

  170. 	lxvdsx		vs19,	o24,	BO

  171. 

  172. 	addi		BO,	BO,	32

  173. 

  174. 	xvmaddadp	vs32,	vs0,	vs16

  175. 	xvmaddadp	vs33,	vs0,	vs17

  176. 	xvmaddadp	vs34,	vs0,	vs18

  177. 	xvmaddadp	vs35,	vs0,	vs19

  178. 	xvmaddadp	vs36,	vs1,	vs16

  179. 	xvmaddadp	vs37,	vs1,	vs17

  180. 	xvmaddadp	vs38,	vs1,	vs18

  181. 	xvmaddadp	vs39,	vs1,	vs19

  182. 	xvmaddadp	vs40,	vs2,	vs16

  183. 	xvmaddadp	vs41,	vs2,	vs17

  184. 	xvmaddadp	vs42,	vs2,	vs18

  185. 	xvmaddadp	vs43,	vs2,	vs19

  186. 	xvmaddadp	vs44,	vs3,	vs16

  187. 	xvmaddadp	vs45,	vs3,	vs17

  188. 	xvmaddadp	vs46,	vs3,	vs18

  189. 	xvmaddadp	vs47,	vs3,	vs19

  190. 

  191. 

  192. #if defined(_AIX)

  193. ')

  194. #else

  195. .endm

  196. #endif

  197. 

  198. 

  199. #if defined(_AIX)

  200. define(`INIT_4x4', `

  201. #else

  202. .macro INIT_4x4

  203. #endif

  204. 

  205. 

  206. 	xxlxor		vs0,	vs0,	vs0

  207. 

  208. 	XVMOVDP(vs32,vs0)

  209. 	XVMOVDP(vs33,vs0)

  210. 	XVMOVDP(vs34,vs0)

  211. 	XVMOVDP(vs35,vs0)

  212. 	XVMOVDP(vs36,vs0)

  213. 	XVMOVDP(vs37,vs0)

  214. 	XVMOVDP(vs38,vs0)

  215. 	XVMOVDP(vs39,vs0)

  216. 

  217. #if defined(_AIX)

  218. ')

  219. #else

  220. .endm

  221. #endif

  222. 

  223. 

  224. #if defined(_AIX)

  225. define(`KERNEL_4x4', `

  226. #else

  227. .macro KERNEL_4x4

  228. #endif

  229. 

  230. 

  231. 	lxvd2x		vs0,	o0,	AO

  232. 	lxvd2x		vs1,	o16,	AO

  233. 

  234. 	addi		AO,	AO,	32

  235. 

  236. 	lxvdsx		vs16,	o0,	BO

  237. 	lxvdsx		vs17,	o8,	BO

  238. 	lxvdsx		vs18,	o16,	BO

  239. 	lxvdsx		vs19,	o24,	BO

  240. 

  241. 	addi		BO,	BO,	32

  242. 

  243. 	xvmaddadp	vs32,	vs0,	vs16

  244. 	xvmaddadp	vs33,	vs0,	vs17

  245. 	xvmaddadp	vs34,	vs0,	vs18

  246. 	xvmaddadp	vs35,	vs0,	vs19

  247. 	xvmaddadp	vs36,	vs1,	vs16

  248. 	xvmaddadp	vs37,	vs1,	vs17

  249. 	xvmaddadp	vs38,	vs1,	vs18

  250. 	xvmaddadp	vs39,	vs1,	vs19

  251. 

  252. 

  253. #if defined(_AIX)

  254. ')

  255. #else

  256. .endm

  257. #endif

  258. 

  259. 

  260. #if defined(_AIX)

  261. define(`INIT_2x4', `

  262. #else

  263. .macro INIT_2x4

  264. #endif

  265. 

  266. 

  267. 	xxlxor		vs0,	vs0,	vs0

  268. 

  269. 	XVMOVDP(vs32,vs0)

  270. 	XVMOVDP(vs33,vs0)

  271. 	XVMOVDP(vs34,vs0)

  272. 	XVMOVDP(vs35,vs0)

  273. 

  274. #if defined(_AIX)

  275. ')

  276. #else

  277. .endm

  278. #endif

  279. 

  280. 

  281. #if defined(_AIX)

  282. define(`KERNEL_2x4', `

  283. #else

  284. .macro KERNEL_2x4

  285. #endif

  286. 

  287. 

  288. 	lxvd2x		vs0,	o0,	AO

  289. 

  290. 	addi		AO,	AO,	16

  291. 

  292. 	lxvdsx		vs16,	o0,	BO

  293. 	lxvdsx		vs17,	o8,	BO

  294. 	lxvdsx		vs18,	o16,	BO

  295. 	lxvdsx		vs19,	o24,	BO

  296. 

  297. 	addi		BO,	BO,	32

  298. 

  299. 	xvmaddadp	vs32,	vs0,	vs16

  300. 	xvmaddadp	vs33,	vs0,	vs17

  301. 	xvmaddadp	vs34,	vs0,	vs18

  302. 	xvmaddadp	vs35,	vs0,	vs19

  303. 

  304. 

  305. #if defined(_AIX)

  306. ')

  307. #else

  308. .endm

  309. #endif

  310. 

  311. 

  312. #if defined(_AIX)

  313. define(`INIT_1x4', `

  314. #else

  315. .macro INIT_1x4

  316. #endif

  317. 

  318. 

  319. 	xxlxor		vs0,	vs0,	vs0

  320. 

  321. 	XVMOVDP(vs32,vs0)

  322. 	XVMOVDP(vs33,vs0)

  323. 	XVMOVDP(vs34,vs0)

  324. 	XVMOVDP(vs35,vs0)

  325. 

  326. #if defined(_AIX)

  327. ')

  328. #else

  329. .endm

  330. #endif

  331. 

  332. 

  333. #if defined(_AIX)

  334. define(`KERNEL_1x4', `

  335. #else

  336. .macro KERNEL_1x4

  337. #endif

  338. 

  339. 

  340. 	lxvdsx		vs0,	o0,	AO

  341. 

  342. 	addi		AO,	AO,	8

  343. 

  344. 	lxvdsx		vs16,	o0,	BO

  345. 	lxvdsx		vs17,	o8,	BO

  346. 	lxvdsx		vs18,	o16,	BO

  347. 	lxvdsx		vs19,	o24,	BO

  348. 

  349. 	addi		BO,	BO,	32

  350. 

  351. 	xvmaddadp	vs32,	vs0,	vs16

  352. 	xvmaddadp	vs33,	vs0,	vs17

  353. 	xvmaddadp	vs34,	vs0,	vs18

  354. 	xvmaddadp	vs35,	vs0,	vs19

  355. 

  356. 

  357. #if defined(_AIX)

  358. ')

  359. #else

  360. .endm

  361. #endif

  362. 

  363. 

  364. /*##########################################################################################

  365. 			 SOLVE_LT 16x4

  366. ##########################################################################################*/

  367. 

  368. #if defined(_AIX)

  369. define(`SOLVE_LT_16x4', `

  370. #else

  371. .macro SOLVE_LT_16x4

  372. #endif

  373. 

  374. //############### LOAD B #######################

  375. 

  376. 	mr		T1,	BO	

  377. 	mr		T4,	BO	

  378. 

  379. 	xxpermdi	vs0,	vs32,	vs33,	0

  380. 	xxpermdi	vs1,	vs34,	vs35,	0

  381. 	xxpermdi	vs2,	vs32,	vs33,	3

  382. 	xxpermdi	vs3,	vs34,	vs35,	3

  383. 

  384. 	lxvd2x		vs32,	o0,	T1

  385. 	lxvd2x		vs33,	o16,	T1

  386. 	lxvd2x		vs34,	o32,	T1

  387. 	lxvd2x		vs35,	o48,	T1

  388. 

  389. 	addi		T1,	T1,	64

  390. 

  391. 	xxpermdi	vs4,	vs36,	vs37,	0

  392. 	xxpermdi	vs5,	vs38,	vs39,	0

  393. 	xxpermdi	vs6,	vs36,	vs37,	3

  394. 	xxpermdi	vs7,	vs38,	vs39,	3

  395. 

  396. 	lxvd2x		vs36,	o0,	T1

  397. 	lxvd2x		vs37,	o16,	T1

  398. 	lxvd2x		vs38,	o32,	T1

  399. 	lxvd2x		vs39,	o48,	T1

  400. 

  401. 	addi		T1,	T1,	64

  402. 

  403. 	xxpermdi	vs8,	vs40,	vs41,	0

  404. 	xxpermdi	vs9,	vs42,	vs43,	0

  405. 	xxpermdi	vs10,	vs40,	vs41,	3

  406. 	xxpermdi	vs11,	vs42,	vs43,	3

  407. 

  408. 	lxvd2x		vs40,	o0,	T1

  409. 	lxvd2x		vs41,	o16,	T1

  410. 	lxvd2x		vs42,	o32,	T1

  411. 	lxvd2x		vs43,	o48,	T1

  412. 

  413. 	addi		T1,	T1,	64

  414. 

  415. 	xxpermdi	vs12,	vs44,	vs45,	0

  416. 	xxpermdi	vs13,	vs46,	vs47,	0

  417. 	xxpermdi	vs14,	vs44,	vs45,	3

  418. 	xxpermdi	vs15,	vs46,	vs47,	3

  419. 

  420. 	lxvd2x		vs44,	o0,	T1

  421. 	lxvd2x		vs45,	o16,	T1

  422. 	lxvd2x		vs46,	o32,	T1

  423. 	lxvd2x		vs47,	o48,	T1

  424. 

  425. 	addi		T1,	T1,	64

  426. 

  427. 	xxpermdi	vs16,	vs48,	vs49,	0

  428. 	xxpermdi	vs17,	vs50,	vs51,	0

  429. 	xxpermdi	vs18,	vs48,	vs49,	3

  430. 	xxpermdi	vs19,	vs50,	vs51,	3

  431. 

  432. 	lxvd2x		vs48,	o0,	T1

  433. 	lxvd2x		vs49,	o16,	T1

  434. 	lxvd2x		vs50,	o32,	T1

  435. 	lxvd2x		vs51,	o48,	T1

  436. 

  437. 	addi		T1,	T1,	64

  438. 

  439. 	xxpermdi	vs20,	vs52,	vs53,	0

  440. 	xxpermdi	vs21,	vs54,	vs55,	0

  441. 	xxpermdi	vs22,	vs52,	vs53,	3

  442. 	xxpermdi	vs23,	vs54,	vs55,	3

  443. 

  444. 	lxvd2x		vs52,	o0,	T1

  445. 	lxvd2x		vs53,	o16,	T1

  446. 	lxvd2x		vs54,	o32,	T1

  447. 	lxvd2x		vs55,	o48,	T1

  448. 

  449. 	addi		T1,	T1,	64

  450. 

  451. 	xxpermdi	vs24,	vs56,	vs57,	0

  452. 	xxpermdi	vs25,	vs58,	vs59,	0

  453. 	xxpermdi	vs26,	vs56,	vs57,	3

  454. 	xxpermdi	vs27,	vs58,	vs59,	3

  455. 

  456. 	lxvd2x		vs56,	o0,	T1

  457. 	lxvd2x		vs57,	o16,	T1

  458. 	lxvd2x		vs58,	o32,	T1

  459. 	lxvd2x		vs59,	o48,	T1

  460. 

  461. 	addi		T1,	T1,	64

  462. 

  463. 	xxpermdi	vs28,	vs60,	vs61,	0

  464. 	xxpermdi	vs29,	vs62,	vs63,	0

  465. 	xxpermdi	vs30,	vs60,	vs61,	3

  466. 	xxpermdi	vs31,	vs62,	vs63,	3

  467. 

  468. 

  469. 

  470. 	lxvd2x		vs60,	o0,	T1

  471. 	lxvd2x		vs61,	o16,	T1

  472. 	lxvd2x		vs62,	o32,	T1

  473. 	lxvd2x		vs63,	o48,	T1

  474. 

  475. //############### OFFSET 0 #######################

  476. 

  477. 	dcbt		AO,	PRE

  478. 	mr		T1,	AO	

  479. 

  480. 	xvsubdp		vs32,	vs32,	vs0

  481. 	xvsubdp		vs33,	vs33,	vs1

  482. 	xvsubdp		vs34,	vs34,	vs2

  483. 	xvsubdp		vs35,	vs35,	vs3

  484. 

  485. 	lxvdsx		vs0,	o0,	T1

  486. 	lxvdsx		vs1,	o8,	T1

  487. 	lxvdsx		vs2,	o16,	T1

  488. 	lxvdsx		vs3,	o24,	T1

  489. 

  490. 	addi		T1,	T1,	32

  491. 

  492. 	xvsubdp		vs36,	vs36,	vs4

  493. 	xvsubdp		vs37,	vs37,	vs5

  494. 	xvsubdp		vs38,	vs38,	vs6

  495. 	xvsubdp		vs39,	vs39,	vs7

  496. 

  497. 	lxvdsx		vs4,	o0,	T1

  498. 	lxvdsx		vs5,	o8,	T1

  499. 	lxvdsx		vs6,	o16,	T1

  500. 	lxvdsx		vs7,	o24,	T1

  501. 

  502. 	addi		T1,	T1,	32

  503. 

  504. 	xvsubdp		vs40,	vs40,	vs8

  505. 	xvsubdp		vs41,	vs41,	vs9

  506. 	xvsubdp		vs42,	vs42,	vs10

  507. 	xvsubdp		vs43,	vs43,	vs11

  508. 

  509. 	lxvdsx		vs8,	o0,	T1

  510. 	lxvdsx		vs9,	o8,	T1

  511. 	lxvdsx		vs10,	o16,	T1

  512. 	lxvdsx		vs11,	o24,	T1

  513. 

  514. 	addi		T1,	T1,	32

  515. 

  516. 	xvsubdp		vs44,	vs44,	vs12

  517. 	xvsubdp		vs45,	vs45,	vs13

  518. 	xvsubdp		vs46,	vs46,	vs14

  519. 	xvsubdp		vs47,	vs47,	vs15

  520. 

  521. 	lxvdsx		vs12,	o0,	T1

  522. 	lxvdsx		vs13,	o8,	T1

  523. 	lxvdsx		vs14,	o16,	T1

  524. 	lxvdsx		vs15,	o24,	T1

  525. 

  526. 	addi		T1,	T1,	32

  527. 

  528. 	xvsubdp		vs48,	vs48,	vs16

  529. 	xvsubdp		vs49,	vs49,	vs17

  530. 	xvsubdp		vs50,	vs50,	vs18

  531. 	xvsubdp		vs51,	vs51,	vs19

  532. 

  533. 	xvsubdp		vs52,	vs52,	vs20

  534. 	xvsubdp		vs53,	vs53,	vs21

  535. 	xvsubdp		vs54,	vs54,	vs22

  536. 	xvsubdp		vs55,	vs55,	vs23

  537. 

  538. 	xvsubdp		vs56,	vs56,	vs24

  539. 	xvsubdp		vs57,	vs57,	vs25

  540. 	xvsubdp		vs58,	vs58,	vs26

  541. 	xvsubdp		vs59,	vs59,	vs27

  542. 

  543. 	xvsubdp		vs60,	vs60,	vs28

  544. 	xvsubdp		vs61,	vs61,	vs29

  545. 	xvsubdp		vs62,	vs62,	vs30

  546. 	xvsubdp		vs63,	vs63,	vs31

  547. 

  548. //############### OFFSET 1 #######################

  549. 

  550. 	addi		T1,	T1,	1*SIZE

  551. 

  552. 	xvmuldp		vs32,	vs32,	vs0

  553. 	xvmuldp		vs33,	vs33,	vs0

  554. 

  555. 	xvnmsubadp	vs34,	vs32,	vs1

  556. 	xvnmsubadp	vs35,	vs33,	vs1

  557. 	xvnmsubadp	vs36,	vs32,	vs2

  558. 	dcbt		T1,	PRE

  559. 	xvnmsubadp	vs37,	vs33,	vs2

  560. 	xvnmsubadp	vs38,	vs32,	vs3

  561. 	xvnmsubadp	vs39,	vs33,	vs3

  562. 

  563. 	lxvdsx		vs0,	o0,	T1

  564. 	lxvdsx		vs1,	o8,	T1

  565. 	lxvdsx		vs2,	o16,	T1

  566. 	lxvdsx		vs3,	o24,	T1

  567. 

  568. 	addi		T1,	T1,	32

  569. 

  570. 	xvnmsubadp	vs40,	vs32,	vs4

  571. 	xvnmsubadp	vs41,	vs33,	vs4

  572. 	xvnmsubadp	vs42,	vs32,	vs5

  573. 	xvnmsubadp	vs43,	vs33,	vs5

  574. 	xvnmsubadp	vs44,	vs32,	vs6

  575. 	xvnmsubadp	vs45,	vs33,	vs6

  576. 	xvnmsubadp	vs46,	vs32,	vs7

  577. 	xvnmsubadp	vs47,	vs33,	vs7

  578. 

  579. 	lxvdsx		vs4,	o0,	T1

  580. 	lxvdsx		vs5,	o8,	T1

  581. 	lxvdsx		vs6,	o16,	T1

  582. 	lxvdsx		vs7,	o24,	T1

  583. 

  584. 	addi		T1,	T1,	32

  585. 

  586. 	xvnmsubadp	vs48,	vs32,	vs8

  587. 	xvnmsubadp	vs49,	vs33,	vs8

  588. 	xvnmsubadp	vs50,	vs32,	vs9

  589. 	xvnmsubadp	vs51,	vs33,	vs9

  590. 	xvnmsubadp	vs52,	vs32,	vs10

  591. 	xvnmsubadp	vs53,	vs33,	vs10

  592. 	xvnmsubadp	vs54,	vs32,	vs11

  593. 	xvnmsubadp	vs55,	vs33,	vs11

  594. 

  595. 	lxvdsx		vs8,	o0,	T1

  596. 	lxvdsx		vs9,	o8,	T1

  597. 	lxvdsx		vs10,	o16,	T1

  598. 	lxvdsx		vs11,	o24,	T1

  599. 

  600. 	addi		T1,	T1,	32

  601. 

  602. 	xvnmsubadp	vs56,	vs32,	vs12

  603. 	xvnmsubadp	vs57,	vs33,	vs12

  604. 	xvnmsubadp	vs58,	vs32,	vs13

  605. 	xvnmsubadp	vs59,	vs33,	vs13

  606. 	xvnmsubadp	vs60,	vs32,	vs14

  607. 	xvnmsubadp	vs61,	vs33,	vs14

  608. 	xvnmsubadp	vs62,	vs32,	vs15

  609. 	xvnmsubadp	vs63,	vs33,	vs15

  610. 

  611. 

  612. 	lxvdsx		vs12,	o0,	T1

  613. 	lxvdsx		vs13,	o8,	T1

  614. 	lxvdsx		vs14,	o16,	T1

  615. 

  616. 	addi		T1,	T1,	24

  617. 

  618. //############### OFFSET 2 #######################

  619. 

  620. 	xvmuldp		vs34,	vs34,	vs0

  621. 	xvmuldp		vs35,	vs35,	vs0

  622. 

  623. 	addi		T1,	T1,	2*SIZE

  624. 

  625. 	xvnmsubadp	vs36,	vs34,	vs1

  626. 	xvnmsubadp	vs37,	vs35,	vs1

  627. 	xvnmsubadp	vs38,	vs34,	vs2

  628. 	dcbt		T1,	PRE

  629. 	xvnmsubadp	vs39,	vs35,	vs2

  630. 	xvnmsubadp	vs40,	vs34,	vs3

  631. 	xvnmsubadp	vs41,	vs35,	vs3

  632. 

  633. 	lxvdsx		vs0,	o0,	T1

  634. 	lxvdsx		vs1,	o8,	T1

  635. 	lxvdsx		vs2,	o16,	T1

  636. 	lxvdsx		vs3,	o24,	T1

  637. 

  638. 	addi		T1,	T1,	32

  639. 

  640. 	xvnmsubadp	vs42,	vs34,	vs4

  641. 	xvnmsubadp	vs43,	vs35,	vs4

  642. 	xvnmsubadp	vs44,	vs34,	vs5

  643. 	xvnmsubadp	vs45,	vs35,	vs5

  644. 	xvnmsubadp	vs46,	vs34,	vs6

  645. 	xvnmsubadp	vs47,	vs35,	vs6

  646. 	xvnmsubadp	vs48,	vs34,	vs7

  647. 	xvnmsubadp	vs49,	vs35,	vs7

  648. 

  649. 	lxvdsx		vs4,	o0,	T1

  650. 	lxvdsx		vs5,	o8,	T1

  651. 	lxvdsx		vs6,	o16,	T1

  652. 	lxvdsx		vs7,	o24,	T1

  653. 

  654. 	addi		T1,	T1,	32

  655. 

  656. 	xvnmsubadp	vs50,	vs34,	vs8

  657. 	xvnmsubadp	vs51,	vs35,	vs8

  658. 	xvnmsubadp	vs52,	vs34,	vs9

  659. 	xvnmsubadp	vs53,	vs35,	vs9

  660. 	xvnmsubadp	vs54,	vs34,	vs10

  661. 	xvnmsubadp	vs55,	vs35,	vs10

  662. 	xvnmsubadp	vs56,	vs34,	vs11

  663. 	xvnmsubadp	vs57,	vs35,	vs11

  664. 

  665. 	lxvdsx		vs8,	o0,	T1

  666. 	lxvdsx		vs9,	o8,	T1

  667. 	lxvdsx		vs10,	o16,	T1

  668. 	lxvdsx		vs11,	o24,	T1

  669. 

  670. 	addi		T1,	T1,	32

  671. 

  672. 

  673. 	xvnmsubadp	vs58,	vs34,	vs12

  674. 	xvnmsubadp	vs59,	vs35,	vs12

  675. 	xvnmsubadp	vs60,	vs34,	vs13

  676. 	xvnmsubadp	vs61,	vs35,	vs13

  677. 	xvnmsubadp	vs62,	vs34,	vs14

  678. 	xvnmsubadp	vs63,	vs35,	vs14

  679. 

  680. 	lxvdsx		vs12,	o0,	T1

  681. 	lxvdsx		vs13,	o8,	T1

  682. 

  683. 	addi		T1,	T1,	16

  684. 

  685. //############### OFFSET 3 #######################

  686. 	xvmuldp		vs36,	vs36,	vs0

  687. 	xvmuldp		vs37,	vs37,	vs0

  688. 

  689. 	addi		T1,	T1,	3*SIZE

  690. 

  691. 	xvnmsubadp	vs38,	vs36,	vs1

  692. 	xvnmsubadp	vs39,	vs37,	vs1

  693. 	xvnmsubadp	vs40,	vs36,	vs2

  694. 	dcbt		T1,	PRE

  695. 	xvnmsubadp	vs41,	vs37,	vs2

  696. 	xvnmsubadp	vs42,	vs36,	vs3

  697. 	xvnmsubadp	vs43,	vs37,	vs3

  698. 

  699. 	lxvdsx		vs0,	o0,	T1

  700. 	lxvdsx		vs1,	o8,	T1

  701. 	lxvdsx		vs2,	o16,	T1

  702. 	lxvdsx		vs3,	o24,	T1

  703. 

  704. 	addi		T1,	T1,	32

  705. 

  706. 	xvnmsubadp	vs44,	vs36,	vs4

  707. 	xvnmsubadp	vs45,	vs37,	vs4

  708. 	xvnmsubadp	vs46,	vs36,	vs5

  709. 	xvnmsubadp	vs47,	vs37,	vs5

  710. 	xvnmsubadp	vs48,	vs36,	vs6

  711. 	xvnmsubadp	vs49,	vs37,	vs6

  712. 	xvnmsubadp	vs50,	vs36,	vs7

  713. 	xvnmsubadp	vs51,	vs37,	vs7

  714. 

  715. 	lxvdsx		vs4,	o0,	T1

  716. 	lxvdsx		vs5,	o8,	T1

  717. 	lxvdsx		vs6,	o16,	T1

  718. 	lxvdsx		vs7,	o24,	T1

  719. 

  720. 	addi		T1,	T1,	32

  721. 

  722. 	xvnmsubadp	vs52,	vs36,	vs8

  723. 	xvnmsubadp	vs53,	vs37,	vs8

  724. 	xvnmsubadp	vs54,	vs36,	vs9

  725. 	xvnmsubadp	vs55,	vs37,	vs9

  726. 	xvnmsubadp	vs56,	vs36,	vs10

  727. 	xvnmsubadp	vs57,	vs37,	vs10

  728. 	xvnmsubadp	vs58,	vs36,	vs11

  729. 	xvnmsubadp	vs59,	vs37,	vs11

  730. 

  731. 	lxvdsx		vs8,	o0,	T1

  732. 	lxvdsx		vs9,	o8,	T1

  733. 	lxvdsx		vs10,	o16,	T1

  734. 	lxvdsx		vs11,	o24,	T1

  735. 

  736. 	addi		T1,	T1,	32

  737. 

  738. 	xvnmsubadp	vs60,	vs36,	vs12

  739. 	xvnmsubadp	vs61,	vs37,	vs12

  740. 	xvnmsubadp	vs62,	vs36,	vs13

  741. 	xvnmsubadp	vs63,	vs37,	vs13

  742. 

  743. 	lxvdsx		vs12,	o0,	T1

  744. 

  745. 	stxvd2x		vs32,	o0,	T4

  746. 	stxvd2x		vs33,	o16,	T4

  747. 	stxvd2x		vs34,	o32,	T4

  748. 	stxvd2x		vs35,	o48,	T4

  749. 

  750. 	addi		T4,	T4,	64

  751. 

  752. 	addi		T1,	T1,	8

  753. 

  754. //############### OFFSET 4 #######################

  755. 	xvmuldp		vs38,	vs38,	vs0

  756. 	xvmuldp		vs39,	vs39,	vs0

  757. 

  758. 	addi		T1,	T1,	4*SIZE

  759. 

  760. 	xvnmsubadp	vs40,	vs38,	vs1

  761. 	xvnmsubadp	vs41,	vs39,	vs1

  762. 	xvnmsubadp	vs42,	vs38,	vs2

  763. 	dcbt		T1,	PRE

  764. 	xvnmsubadp	vs43,	vs39,	vs2

  765. 	xvnmsubadp	vs44,	vs38,	vs3

  766. 	xvnmsubadp	vs45,	vs39,	vs3

  767. 

  768. 	lxvdsx		vs0,	o0,	T1

  769. 	lxvdsx		vs1,	o8,	T1

  770. 	lxvdsx		vs2,	o16,	T1

  771. 	lxvdsx		vs3,	o24,	T1

  772. 

  773. 	addi		T1,	T1,	32

  774. 

  775. 	xvnmsubadp	vs46,	vs38,	vs4

  776. 	xvnmsubadp	vs47,	vs39,	vs4

  777. 	xvnmsubadp	vs48,	vs38,	vs5

  778. 	xvnmsubadp	vs49,	vs39,	vs5

  779. 	xvnmsubadp	vs50,	vs38,	vs6

  780. 	xvnmsubadp	vs51,	vs39,	vs6

  781. 	xvnmsubadp	vs52,	vs38,	vs7

  782. 	xvnmsubadp	vs53,	vs39,	vs7

  783. 

  784. 	lxvdsx		vs4,	o0,	T1

  785. 	lxvdsx		vs5,	o8,	T1

  786. 	lxvdsx		vs6,	o16,	T1

  787. 	lxvdsx		vs7,	o24,	T1

  788. 

  789. 	addi		T1,	T1,	32

  790. 

  791. 

  792. 	xvnmsubadp	vs54,	vs38,	vs8

  793. 	xvnmsubadp	vs55,	vs39,	vs8

  794. 	xvnmsubadp	vs56,	vs38,	vs9

  795. 	xvnmsubadp	vs57,	vs39,	vs9

  796. 	xvnmsubadp	vs58,	vs38,	vs10

  797. 	xvnmsubadp	vs59,	vs39,	vs10

  798. 	xvnmsubadp	vs60,	vs38,	vs11

  799. 	xvnmsubadp	vs61,	vs39,	vs11

  800. 

  801. 	lxvdsx		vs8,	o0,	T1

  802. 	lxvdsx		vs9,	o8,	T1

  803. 	lxvdsx		vs10,	o16,	T1

  804. 	lxvdsx		vs11,	o24,	T1

  805. 

  806. 	addi		T1,	T1,	32

  807. 

  808. 	xvnmsubadp	vs62,	vs38,	vs12

  809. 	xvnmsubadp	vs63,	vs39,	vs12

  810. 

  811. 

  812. //############### OFFSET 5 #######################

  813. 	xvmuldp		vs40,	vs40,	vs0

  814. 	xvmuldp		vs41,	vs41,	vs0

  815. 

  816. 	addi		T1,	T1,	5*SIZE

  817. 

  818. 	xvnmsubadp	vs42,	vs40,	vs1

  819. 	xvnmsubadp	vs43,	vs41,	vs1

  820. 	xvnmsubadp	vs44,	vs40,	vs2

  821. 	dcbt		T1,	PRE

  822. 	xvnmsubadp	vs45,	vs41,	vs2

  823. 	xvnmsubadp	vs46,	vs40,	vs3

  824. 	xvnmsubadp	vs47,	vs41,	vs3

  825. 

  826. 	lxvdsx		vs0,	o0,	T1

  827. 	lxvdsx		vs1,	o8,	T1

  828. 	lxvdsx		vs2,	o16,	T1

  829. 	lxvdsx		vs3,	o24,	T1

  830. 

  831. 	addi		T1,	T1,	32

  832. 

  833. 	xvnmsubadp	vs48,	vs40,	vs4

  834. 	xvnmsubadp	vs49,	vs41,	vs4

  835. 	xvnmsubadp	vs50,	vs40,	vs5

  836. 	xvnmsubadp	vs51,	vs41,	vs5

  837. 	xvnmsubadp	vs52,	vs40,	vs6

  838. 	xvnmsubadp	vs53,	vs41,	vs6

  839. 	xvnmsubadp	vs54,	vs40,	vs7

  840. 	xvnmsubadp	vs55,	vs41,	vs7

  841. 

  842. 	lxvdsx		vs4,	o0,	T1

  843. 	lxvdsx		vs5,	o8,	T1

  844. 	lxvdsx		vs6,	o16,	T1

  845. 	lxvdsx		vs7,	o24,	T1

  846. 

  847. 	addi		T1,	T1,	32

  848. 

  849. 	xvnmsubadp	vs56,	vs40,	vs8

  850. 	xvnmsubadp	vs57,	vs41,	vs8

  851. 	xvnmsubadp	vs58,	vs40,	vs9

  852. 	xvnmsubadp	vs59,	vs41,	vs9

  853. 	xvnmsubadp	vs60,	vs40,	vs10

  854. 	xvnmsubadp	vs61,	vs41,	vs10

  855. 	xvnmsubadp	vs62,	vs40,	vs11

  856. 	xvnmsubadp	vs63,	vs41,	vs11

  857. 

  858. 

  859. 	lxvdsx		vs8,	o0,	T1

  860. 	lxvdsx		vs9,	o8,	T1

  861. 	lxvdsx		vs10,	o16,	T1

  862. 

  863. 	addi		T1,	T1,	24

  864. 

  865. //############### OFFSET 6 #######################

  866. 	xvmuldp		vs42,	vs42,	vs0

  867. 	xvmuldp		vs43,	vs43,	vs0

  868. 

  869. 	addi		T1,	T1,	6*SIZE

  870. 

  871. 	xvnmsubadp	vs44,	vs42,	vs1

  872. 	xvnmsubadp	vs45,	vs43,	vs1

  873. 	xvnmsubadp	vs46,	vs42,	vs2

  874. 	dcbt		T1,	PRE

  875. 	xvnmsubadp	vs47,	vs43,	vs2

  876. 	xvnmsubadp	vs48,	vs42,	vs3

  877. 	xvnmsubadp	vs49,	vs43,	vs3

  878. 

  879. 	lxvdsx		vs0,	o0,	T1

  880. 	lxvdsx		vs1,	o8,	T1

  881. 	lxvdsx		vs2,	o16,	T1

  882. 	lxvdsx		vs3,	o24,	T1

  883. 

  884. 	addi		T1,	T1,	32

  885. 

  886. 	xvnmsubadp	vs50,	vs42,	vs4

  887. 	xvnmsubadp	vs51,	vs43,	vs4

  888. 	xvnmsubadp	vs52,	vs42,	vs5

  889. 	xvnmsubadp	vs53,	vs43,	vs5

  890. 	xvnmsubadp	vs54,	vs42,	vs6

  891. 	xvnmsubadp	vs55,	vs43,	vs6

  892. 	xvnmsubadp	vs56,	vs42,	vs7

  893. 	xvnmsubadp	vs57,	vs43,	vs7

  894. 

  895. 	lxvdsx		vs4,	o0,	T1

  896. 	lxvdsx		vs5,	o8,	T1

  897. 	lxvdsx		vs6,	o16,	T1

  898. 	lxvdsx		vs7,	o24,	T1

  899. 

  900. 	addi		T1,	T1,	32

  901. 

  902. 	xvnmsubadp	vs58,	vs42,	vs8

  903. 	xvnmsubadp	vs59,	vs43,	vs8

  904. 	xvnmsubadp	vs60,	vs42,	vs9

  905. 	xvnmsubadp	vs61,	vs43,	vs9

  906. 	xvnmsubadp	vs62,	vs42,	vs10

  907. 	xvnmsubadp	vs63,	vs43,	vs10

  908. 

  909. 	lxvdsx		vs8,	o0,	T1

  910. 	lxvdsx		vs9,	o8,	T1

  911. 

  912. 	addi		T1,	T1,	16

  913. 

  914. 	stxvd2x		vs36,	o0,	T4

  915. 	stxvd2x		vs37,	o16,	T4

  916. 	stxvd2x		vs38,	o32,	T4

  917. 	stxvd2x		vs39,	o48,	T4

  918. 

  919. 	addi		T4,	T4,	64

  920. 

  921. //############### OFFSET 7 #######################

  922. 	xvmuldp		vs44,	vs44,	vs0

  923. 	xvmuldp		vs45,	vs45,	vs0

  924. 

  925. 	addi		T1,	T1,	7*SIZE

  926. 

  927. 	xvnmsubadp	vs46,	vs44,	vs1

  928. 	xvnmsubadp	vs47,	vs45,	vs1

  929. 	xvnmsubadp	vs48,	vs44,	vs2

  930. 	dcbt		T1,	PRE

  931. 	xvnmsubadp	vs49,	vs45,	vs2

  932. 	xvnmsubadp	vs50,	vs44,	vs3

  933. 	xvnmsubadp	vs51,	vs45,	vs3

  934. 

  935. 	lxvdsx		vs0,	o0,	T1

  936. 	lxvdsx		vs1,	o8,	T1

  937. 	lxvdsx		vs2,	o16,	T1

  938. 	lxvdsx		vs3,	o24,	T1

  939. 

  940. 	addi		T1,	T1,	32

  941. 

  942. 	xvnmsubadp	vs52,	vs44,	vs4

  943. 	xvnmsubadp	vs53,	vs45,	vs4

  944. 	xvnmsubadp	vs54,	vs44,	vs5

  945. 	xvnmsubadp	vs55,	vs45,	vs5

  946. 	xvnmsubadp	vs56,	vs44,	vs6

  947. 	xvnmsubadp	vs57,	vs45,	vs6

  948. 	xvnmsubadp	vs58,	vs44,	vs7

  949. 	xvnmsubadp	vs59,	vs45,	vs7

  950. 

  951. 	lxvdsx		vs4,	o0,	T1

  952. 	lxvdsx		vs5,	o8,	T1

  953. 	lxvdsx		vs6,	o16,	T1

  954. 	lxvdsx		vs7,	o24,	T1

  955. 

  956. 	addi		T1,	T1,	32

  957. 

  958. 	xvnmsubadp	vs60,	vs44,	vs8

  959. 	xvnmsubadp	vs61,	vs45,	vs8

  960. 	xvnmsubadp	vs62,	vs44,	vs9

  961. 	xvnmsubadp	vs63,	vs45,	vs9

  962. 

  963. 	lxvdsx		vs8,	o0,	T1

  964. 

  965. 	addi		T1,	T1,	8

  966. 

  967. //############### OFFSET 8 #######################

  968. 	xvmuldp		vs46,	vs46,	vs0

  969. 	xvmuldp		vs47,	vs47,	vs0

  970. 

  971. 	addi		T1,	T1,	8*SIZE

  972. 

  973. 	xvnmsubadp	vs48,	vs46,	vs1

  974. 	xvnmsubadp	vs49,	vs47,	vs1

  975. 	xvnmsubadp	vs50,	vs46,	vs2

  976. 	dcbt		T1,	PRE

  977. 	xvnmsubadp	vs51,	vs47,	vs2

  978. 	xvnmsubadp	vs52,	vs46,	vs3

  979. 	xvnmsubadp	vs53,	vs47,	vs3

  980. 

  981. 	lxvdsx		vs0,	o0,	T1

  982. 	lxvdsx		vs1,	o8,	T1

  983. 	lxvdsx		vs2,	o16,	T1

  984. 	lxvdsx		vs3,	o24,	T1

  985. 

  986. 	addi		T1,	T1,	32

  987. 

  988. 	xvnmsubadp	vs54,	vs46,	vs4

  989. 	xvnmsubadp	vs55,	vs47,	vs4

  990. 	xvnmsubadp	vs56,	vs46,	vs5

  991. 	xvnmsubadp	vs57,	vs47,	vs5

  992. 	xvnmsubadp	vs58,	vs46,	vs6

  993. 	xvnmsubadp	vs59,	vs47,	vs6

  994. 	xvnmsubadp	vs60,	vs46,	vs7

  995. 	xvnmsubadp	vs61,	vs47,	vs7

  996. 

  997. 	lxvdsx		vs4,	o0,	T1

  998. 	lxvdsx		vs5,	o8,	T1

  999. 	lxvdsx		vs6,	o16,	T1

  1000. 	lxvdsx		vs7,	o24,	T1

  1001. 

  1002. 	addi		T1,	T1,	32

  1003. 

  1004. 	stxvd2x		vs40,	o0,	T4

  1005. 	stxvd2x		vs41,	o16,	T4

  1006. 	stxvd2x		vs42,	o32,	T4

  1007. 	stxvd2x		vs43,	o48,	T4

  1008. 

  1009. 	addi		T4,	T4,	64

  1010. 

  1011. 	xvnmsubadp	vs62,	vs46,	vs8

  1012. 	xvnmsubadp	vs63,	vs47,	vs8

  1013. 

  1014. 

  1015. //############### OFFSET 9 #######################

  1016. 	xvmuldp		vs48,	vs48,	vs0

  1017. 	xvmuldp		vs49,	vs49,	vs0

  1018. 

  1019. 	addi		T1,	T1,	9*SIZE

  1020. 

  1021. 	xvnmsubadp	vs50,	vs48,	vs1

  1022. 	xvnmsubadp	vs51,	vs49,	vs1

  1023. 	xvnmsubadp	vs52,	vs48,	vs2

  1024. 	dcbt		T1,	PRE

  1025. 	xvnmsubadp	vs53,	vs49,	vs2

  1026. 	xvnmsubadp	vs54,	vs48,	vs3

  1027. 	xvnmsubadp	vs55,	vs49,	vs3

  1028. 

  1029. 	lxvdsx		vs0,	o0,	T1

  1030. 	lxvdsx		vs1,	o8,	T1

  1031. 	lxvdsx		vs2,	o16,	T1

  1032. 	lxvdsx		vs3,	o24,	T1

  1033. 

  1034. 	addi		T1,	T1,	32

  1035. 

  1036. 	xvnmsubadp	vs56,	vs48,	vs4

  1037. 	xvnmsubadp	vs57,	vs49,	vs4

  1038. 	xvnmsubadp	vs58,	vs48,	vs5

  1039. 	xvnmsubadp	vs59,	vs49,	vs5

  1040. 	xvnmsubadp	vs60,	vs48,	vs6

  1041. 	xvnmsubadp	vs61,	vs49,	vs6

  1042. 	xvnmsubadp	vs62,	vs48,	vs7

  1043. 	xvnmsubadp	vs63,	vs49,	vs7

  1044. 

  1045. 	lxvdsx		vs4,	o0,	T1

  1046. 	lxvdsx		vs5,	o8,	T1

  1047. 	lxvdsx		vs6,	o16,	T1

  1048. 

  1049. 	addi		T1,	T1,	24

  1050. 

  1051. //############### OFFSET 10 #######################

  1052. 	xvmuldp		vs50,	vs50,	vs0

  1053. 	xvmuldp		vs51,	vs51,	vs0

  1054. 

  1055. 	addi		T1,	T1,	10*SIZE

  1056. 

  1057. 	xvnmsubadp	vs52,	vs50,	vs1

  1058. 	xvnmsubadp	vs53,	vs51,	vs1

  1059. 	xvnmsubadp	vs54,	vs50,	vs2

  1060. 	dcbt		T1,	PRE

  1061. 	xvnmsubadp	vs55,	vs51,	vs2

  1062. 	xvnmsubadp	vs56,	vs50,	vs3

  1063. 	xvnmsubadp	vs57,	vs51,	vs3

  1064. 

  1065. 	lxvdsx		vs0,	o0,	T1

  1066. 	lxvdsx		vs1,	o8,	T1

  1067. 	lxvdsx		vs2,	o16,	T1

  1068. 	lxvdsx		vs3,	o24,	T1

  1069. 

  1070. 	addi		T1,	T1,	32

  1071. 

  1072. 	xvnmsubadp	vs58,	vs50,	vs4

  1073. 	xvnmsubadp	vs59,	vs51,	vs4

  1074. 	xvnmsubadp	vs60,	vs50,	vs5

  1075. 	xvnmsubadp	vs61,	vs51,	vs5

  1076. 	xvnmsubadp	vs62,	vs50,	vs6

  1077. 	xvnmsubadp	vs63,	vs51,	vs6

  1078. 

  1079. 	lxvdsx		vs4,	o0,	T1

  1080. 	lxvdsx		vs5,	o8,	T1

  1081. 

  1082. 	addi		T1,	T1,	16

  1083. 

  1084. 	stxvd2x		vs44,	o0,	T4

  1085. 	stxvd2x		vs45,	o16,	T4

  1086. 	stxvd2x		vs46,	o32,	T4

  1087. 	stxvd2x		vs47,	o48,	T4

  1088. 

  1089. 	addi		T4,	T4,	64

  1090. 

  1091. //############### OFFSET 11 #######################

  1092. 	xvmuldp		vs52,	vs52,	vs0

  1093. 	xvmuldp		vs53,	vs53,	vs0

  1094. 

  1095. 	addi		T1,	T1,	11*SIZE

  1096. 

  1097. 	xvnmsubadp	vs54,	vs52,	vs1

  1098. 	xvnmsubadp	vs55,	vs53,	vs1

  1099. 	xvnmsubadp	vs56,	vs52,	vs2

  1100. 	dcbt		T1,	PRE

  1101. 	xvnmsubadp	vs57,	vs53,	vs2

  1102. 	xvnmsubadp	vs58,	vs52,	vs3

  1103. 	xvnmsubadp	vs59,	vs53,	vs3

  1104. 

  1105. 	lxvdsx		vs0,	o0,	T1

  1106. 	lxvdsx		vs1,	o8,	T1

  1107. 	lxvdsx		vs2,	o16,	T1

  1108. 	lxvdsx		vs3,	o24,	T1

  1109. 

  1110. 	addi		T1,	T1,	32

  1111. 

  1112. 	xvnmsubadp	vs60,	vs52,	vs4

  1113. 	xvnmsubadp	vs61,	vs53,	vs4

  1114. 	xvnmsubadp	vs62,	vs52,	vs5

  1115. 	xvnmsubadp	vs63,	vs53,	vs5

  1116. 

  1117. 	lxvdsx		vs4,	o0,	T1

  1118. 

  1119. 	addi		T1,	T1,	8

  1120. 

  1121. //############### OFFSET 12 #######################

  1122. 	xvmuldp		vs54,	vs54,	vs0

  1123. 	xvmuldp		vs55,	vs55,	vs0

  1124. 

  1125. 	addi		T1,	T1,	12*SIZE

  1126. 

  1127. 	xvnmsubadp	vs56,	vs54,	vs1

  1128. 	xvnmsubadp	vs57,	vs55,	vs1

  1129. 	xvnmsubadp	vs58,	vs54,	vs2

  1130. 	dcbt		T1,	PRE

  1131. 	xvnmsubadp	vs59,	vs55,	vs2

  1132. 	xvnmsubadp	vs60,	vs54,	vs3

  1133. 	xvnmsubadp	vs61,	vs55,	vs3

  1134. 

  1135. 	lxvdsx		vs0,	o0,	T1

  1136. 	lxvdsx		vs1,	o8,	T1

  1137. 	lxvdsx		vs2,	o16,	T1

  1138. 	lxvdsx		vs3,	o24,	T1

  1139. 

  1140. 	addi		T1,	T1,	32

  1141. 

  1142. 	stxvd2x		vs48,	o0,	T4

  1143. 	stxvd2x		vs49,	o16,	T4

  1144. 	stxvd2x		vs50,	o32,	T4

  1145. 	stxvd2x		vs51,	o48,	T4

  1146. 

  1147. 	addi		T4,	T4,	64

  1148. 

  1149. 	xvnmsubadp	vs62,	vs54,	vs4

  1150. 	xvnmsubadp	vs63,	vs55,	vs4

  1151. 

  1152. 

  1153. //############### OFFSET 13 #######################

  1154. 	xvmuldp		vs56,	vs56,	vs0

  1155. 	xvmuldp		vs57,	vs57,	vs0

  1156. 

  1157. 	addi		T1,	T1,	13*SIZE

  1158. 

  1159. 	xvnmsubadp	vs58,	vs56,	vs1

  1160. 	xvnmsubadp	vs59,	vs57,	vs1

  1161. 	xvnmsubadp	vs60,	vs56,	vs2

  1162. 	xvnmsubadp	vs61,	vs57,	vs2

  1163. 	xvnmsubadp	vs62,	vs56,	vs3

  1164. 	xvnmsubadp	vs63,	vs57,	vs3

  1165. 

  1166. 	lxvdsx		vs0,	o0,	T1

  1167. 	lxvdsx		vs1,	o8,	T1

  1168. 	lxvdsx		vs2,	o16,	T1

  1169. 

  1170. 	addi		T1,	T1,	24

  1171. 

  1172. //############### OFFSET 14 #######################

  1173. 	xvmuldp		vs58,	vs58,	vs0

  1174. 	xvmuldp		vs59,	vs59,	vs0

  1175. 

  1176. 	addi		T1,	T1,	14*SIZE

  1177. 

  1178. 	xvnmsubadp	vs60,	vs58,	vs1

  1179. 	xvnmsubadp	vs61,	vs59,	vs1

  1180. 	xvnmsubadp	vs62,	vs58,	vs2

  1181. 	xvnmsubadp	vs63,	vs59,	vs2

  1182. 

  1183. 

  1184. 	lxvdsx		vs0,	o0,	T1

  1185. 	lxvdsx		vs1,	o8,	T1

  1186. 

  1187. 	addi		T1,	T1,	16

  1188. 

  1189. 	stxvd2x		vs52,	o0,	T4

  1190. 	stxvd2x		vs53,	o16,	T4

  1191. 	stxvd2x		vs54,	o32,	T4

  1192. 	stxvd2x		vs55,	o48,	T4

  1193. 

  1194. 	addi		T4,	T4,	64

  1195. //############### OFFSET 15 #######################

  1196. 	xvmuldp		vs60,	vs60,	vs0

  1197. 	xvmuldp		vs61,	vs61,	vs0

  1198. 

  1199. 	addi		T1,	T1,	15*SIZE

  1200. 

  1201. 	xvnmsubadp	vs62,	vs60,	vs1

  1202. 	xvnmsubadp	vs63,	vs61,	vs1

  1203. 

  1204. 	lxvdsx		vs0,	o0,	T1

  1205. 

  1206. 	addi		T1,	T1,	8

  1207. 

  1208. 	xvmuldp		vs62,	vs62,	vs0

  1209. 	xvmuldp		vs63,	vs63,	vs0

  1210. 

  1211. 

  1212. //############### SAVE B #######################

  1213. 

  1214. 

  1215. 

  1216. 	stxvd2x		vs56,	o0,	T4

  1217. 	stxvd2x		vs57,	o16,	T4

  1218. 	stxvd2x		vs58,	o32,	T4

  1219. 	stxvd2x		vs59,	o48,	T4

  1220. 

  1221. 	addi		T4,	T4,	64

  1222. 

  1223. 	stxvd2x		vs60,	o0,	T4

  1224. 	stxvd2x		vs61,	o16,	T4

  1225. 	stxvd2x		vs62,	o32,	T4

  1226. 	stxvd2x		vs63,	o48,	T4

  1227. 

  1228. //############### SAVE C #######################

  1229. 

  1230. 

  1231. 	mr		T1,	CO

  1232. 	add		T2,	CO,	LDC

  1233. 

  1234. 

  1235. 	stxsdx		vs32,	o0,	T1

  1236. 	XXSWAPD(vs32,vs32)

  1237. 	stxsdx		vs34,	o8,	T1

  1238. 	XXSWAPD(vs34,vs34)

  1239. 	stxsdx		vs36,	o16,	T1

  1240. 	XXSWAPD(vs36,vs36)

  1241. 	stxsdx		vs38,	o24,	T1

  1242. 	XXSWAPD(vs38,vs38)

  1243. 

  1244. 	addi		T1,	T1,	32

  1245. 

  1246. 	stxsdx		vs40,	o0,	T1

  1247. 	XXSWAPD(vs40,vs40)

  1248. 	stxsdx		vs42,	o8,	T1

  1249. 	XXSWAPD(vs42,vs42)

  1250. 	stxsdx		vs44,	o16,	T1

  1251. 	XXSWAPD(vs44,vs44)

  1252. 	stxsdx		vs46,	o24,	T1

  1253. 	XXSWAPD(vs46,vs46)

  1254. 

  1255. 	addi		T1,	T1,	32

  1256. 

  1257. 	stxsdx		vs48,	o0,	T1

  1258. 	XXSWAPD(vs48,vs48)

  1259. 	stxsdx		vs50,	o8,	T1

  1260. 	XXSWAPD(vs50,vs50)

  1261. 	stxsdx		vs52,	o16,	T1

  1262. 	XXSWAPD(vs52,vs52)

  1263. 	stxsdx		vs54,	o24,	T1

  1264. 	XXSWAPD(vs54,vs54)

  1265. 

  1266. 	addi		T1,	T1,	32

  1267. 

  1268. 	stxsdx		vs56,	o0,	T1

  1269. 	XXSWAPD(vs56,vs56)

  1270. 	stxsdx		vs58,	o8,	T1

  1271. 	XXSWAPD(vs58,vs58)

  1272. 	stxsdx		vs60,	o16,	T1

  1273. 	XXSWAPD(vs60,vs60)

  1274. 	stxsdx		vs62,	o24,	T1

  1275. 	XXSWAPD(vs62,vs62)

  1276. 

  1277. 	stxsdx		vs32,	o0,	T2

  1278. 	stxsdx		vs34,	o8,	T2

  1279. 	stxsdx		vs36,	o16,	T2

  1280. 	stxsdx		vs38,	o24,	T2

  1281. 

  1282. 	addi		T2,	T2,	32

  1283. 

  1284. 	stxsdx		vs40,	o0,	T2

  1285. 	stxsdx		vs42,	o8,	T2

  1286. 	stxsdx		vs44,	o16,	T2

  1287. 	stxsdx		vs46,	o24,	T2

  1288. 

  1289. 	addi		T2,	T2,	32

  1290. 

  1291. 	stxsdx		vs48,	o0,	T2

  1292. 	stxsdx		vs50,	o8,	T2

  1293. 	stxsdx		vs52,	o16,	T2

  1294. 	stxsdx		vs54,	o24,	T2

  1295. 

  1296. 	addi		T2,	T2,	32

  1297. 

  1298. 	stxsdx		vs56,	o0,	T2

  1299. 	stxsdx		vs58,	o8,	T2

  1300. 	stxsdx		vs60,	o16,	T2

  1301. 	stxsdx		vs62,	o24,	T2

  1302. 

  1303. 	mr		T1,	CO

  1304. 	add		T2,	CO,	LDC

  1305. 

  1306. 

  1307. 	add		T1,	T2,	LDC

  1308. 	add		T2,	T1,	LDC

  1309. 

  1310. 

  1311. 	stxsdx		vs33,	o0,	T1

  1312. 	XXSWAPD(vs33,vs33)

  1313. 	stxsdx		vs35,	o8,	T1

  1314. 	XXSWAPD(vs35,vs35)

  1315. 	stxsdx		vs37,	o16,	T1

  1316. 	XXSWAPD(vs37,vs37)

  1317. 	stxsdx		vs39,	o24,	T1

  1318. 	XXSWAPD(vs39,vs39)

  1319. 

  1320. 	addi		T1,	T1,	32

  1321. 

  1322. 	stxsdx		vs41,	o0,	T1

  1323. 	XXSWAPD(vs41,vs41)

  1324. 	stxsdx		vs43,	o8,	T1

  1325. 	XXSWAPD(vs43,vs43)

  1326. 	stxsdx		vs45,	o16,	T1

  1327. 	XXSWAPD(vs45,vs45)

  1328. 	stxsdx		vs47,	o24,	T1

  1329. 	XXSWAPD(vs47,vs47)

  1330. 

  1331. 	addi		T1,	T1,	32

  1332. 

  1333. 	stxsdx		vs49,	o0,	T1

  1334. 	XXSWAPD(vs49,vs49)

  1335. 	stxsdx		vs51,	o8,	T1

  1336. 	XXSWAPD(vs51,vs51)

  1337. 	stxsdx		vs53,	o16,	T1

  1338. 	XXSWAPD(vs53,vs53)

  1339. 	stxsdx		vs55,	o24,	T1

  1340. 	XXSWAPD(vs55,vs55)

  1341. 

  1342. 	addi		T1,	T1,	32

  1343. 

  1344. 	stxsdx		vs57,	o0,	T1

  1345. 	XXSWAPD(vs57,vs57)

  1346. 	stxsdx		vs59,	o8,	T1

  1347. 	XXSWAPD(vs59,vs59)

  1348. 	stxsdx		vs61,	o16,	T1

  1349. 	XXSWAPD(vs61,vs61)

  1350. 	stxsdx		vs63,	o24,	T1

  1351. 	XXSWAPD(vs63,vs63)

  1352. 

  1353. 	stxsdx		vs33,	o0,	T2

  1354. 	stxsdx		vs35,	o8,	T2

  1355. 	stxsdx		vs37,	o16,	T2

  1356. 	stxsdx		vs39,	o24,	T2

  1357. 

  1358. 	addi		T2,	T2,	32

  1359. 

  1360. 	stxsdx		vs41,	o0,	T2

  1361. 	stxsdx		vs43,	o8,	T2

  1362. 	stxsdx		vs45,	o16,	T2

  1363. 	stxsdx		vs47,	o24,	T2

  1364. 

  1365. 	addi		T2,	T2,	32

  1366. 

  1367. 	stxsdx		vs49,	o0,	T2

  1368. 	stxsdx		vs51,	o8,	T2

  1369. 	stxsdx		vs53,	o16,	T2

  1370. 	stxsdx		vs55,	o24,	T2

  1371. 

  1372. 	addi		T2,	T2,	32

  1373. 

  1374. 	stxsdx		vs57,	o0,	T2

  1375. 	stxsdx		vs59,	o8,	T2

  1376. 	stxsdx		vs61,	o16,	T2

  1377. 	stxsdx		vs63,	o24,	T2

  1378. 

  1379. #if defined(_AIX)

  1380. ')

  1381. #else

  1382. .endm

  1383. #endif

  1384. 

  1385. 

  1386. /*##########################################################################################

  1387. 			 SOLVE_LT 8x4

  1388. ##########################################################################################*/

  1389. 

  1390. #if defined(_AIX)

  1391. define(`SOLVE_LT_8x4', `

  1392. #else

  1393. .macro SOLVE_LT_8x4

  1394. #endif

  1395. 

  1396. 	xxpermdi	vs0,	vs32,	vs33,	0

  1397. 	xxpermdi	vs1,	vs34,	vs35,	0

  1398. 	xxpermdi	vs2,	vs32,	vs33,	3

  1399. 	xxpermdi	vs3,	vs34,	vs35,	3

  1400. 

  1401. 	xxpermdi	vs4,	vs36,	vs37,	0

  1402. 	xxpermdi	vs5,	vs38,	vs39,	0

  1403. 	xxpermdi	vs6,	vs36,	vs37,	3

  1404. 	xxpermdi	vs7,	vs38,	vs39,	3

  1405. 

  1406. 	xxpermdi	vs8,	vs40,	vs41,	0

  1407. 	xxpermdi	vs9,	vs42,	vs43,	0

  1408. 	xxpermdi	vs10,	vs40,	vs41,	3

  1409. 	xxpermdi	vs11,	vs42,	vs43,	3

  1410. 

  1411. 	xxpermdi	vs12,	vs44,	vs45,	0

  1412. 	xxpermdi	vs13,	vs46,	vs47,	0

  1413. 	xxpermdi	vs14,	vs44,	vs45,	3

  1414. 	xxpermdi	vs15,	vs46,	vs47,	3

  1415. 

  1416. 

  1417. //############### LOAD B #######################

  1418. 

  1419. 

  1420. 	mr		T1,	BO	

  1421. 

  1422. 	lxvd2x		vs32,	o0,	T1

  1423. 	lxvd2x		vs33,	o16,	T1

  1424. 	lxvd2x		vs34,	o32,	T1

  1425. 	lxvd2x		vs35,	o48,	T1

  1426. 

  1427. 	addi		T1,	T1,	64

  1428. 

  1429. 	lxvd2x		vs36,	o0,	T1

  1430. 	lxvd2x		vs37,	o16,	T1

  1431. 	lxvd2x		vs38,	o32,	T1

  1432. 	lxvd2x		vs39,	o48,	T1

  1433. 

  1434. 	addi		T1,	T1,	64

  1435. 

  1436. 	lxvd2x		vs40,	o0,	T1

  1437. 	lxvd2x		vs41,	o16,	T1

  1438. 	lxvd2x		vs42,	o32,	T1

  1439. 	lxvd2x		vs43,	o48,	T1

  1440. 

  1441. 	addi		T1,	T1,	64

  1442. 

  1443. 	lxvd2x		vs44,	o0,	T1

  1444. 	lxvd2x		vs45,	o16,	T1

  1445. 	lxvd2x		vs46,	o32,	T1

  1446. 	lxvd2x		vs47,	o48,	T1

  1447. 

  1448. 	xvsubdp		vs32,	vs32,	vs0

  1449. 	xvsubdp		vs33,	vs33,	vs1

  1450. 	xvsubdp		vs34,	vs34,	vs2

  1451. 	xvsubdp		vs35,	vs35,	vs3

  1452. 	xvsubdp		vs36,	vs36,	vs4

  1453. 	xvsubdp		vs37,	vs37,	vs5

  1454. 	xvsubdp		vs38,	vs38,	vs6

  1455. 	xvsubdp		vs39,	vs39,	vs7

  1456. 	xvsubdp		vs40,	vs40,	vs8

  1457. 	xvsubdp		vs41,	vs41,	vs9

  1458. 	xvsubdp		vs42,	vs42,	vs10

  1459. 	xvsubdp		vs43,	vs43,	vs11

  1460. 	xvsubdp		vs44,	vs44,	vs12

  1461. 	xvsubdp		vs45,	vs45,	vs13

  1462. 	xvsubdp		vs46,	vs46,	vs14

  1463. 	xvsubdp		vs47,	vs47,	vs15

  1464. 

  1465. 	mr		T1,	AO	

  1466. 

  1467. 

  1468. //############### OFFSET 0 #######################

  1469. 

  1470. 	lxvdsx		vs0,	o0,	T1

  1471. 	lxvdsx		vs1,	o8,	T1

  1472. 	lxvdsx		vs2,	o16,	T1

  1473. 	lxvdsx		vs3,	o24,	T1

  1474. 

  1475. 	addi		T1,	T1,	32

  1476. 

  1477. 	lxvdsx		vs4,	o0,	T1

  1478. 	lxvdsx		vs5,	o8,	T1

  1479. 	lxvdsx		vs6,	o16,	T1

  1480. 	lxvdsx		vs7,	o24,	T1

  1481. 

  1482. 	addi		T1,	T1,	32

  1483. 

  1484. 	xvmuldp		vs32,	vs32,	vs0

  1485. 	xvmuldp		vs33,	vs33,	vs0

  1486. 

  1487. 	xvnmsubadp	vs34,	vs32,	vs1

  1488. 	xvnmsubadp	vs35,	vs33,	vs1

  1489. 	xvnmsubadp	vs36,	vs32,	vs2

  1490. 	xvnmsubadp	vs37,	vs33,	vs2

  1491. 	xvnmsubadp	vs38,	vs32,	vs3

  1492. 	xvnmsubadp	vs39,	vs33,	vs3

  1493. 	xvnmsubadp	vs40,	vs32,	vs4

  1494. 	xvnmsubadp	vs41,	vs33,	vs4

  1495. 	xvnmsubadp	vs42,	vs32,	vs5

  1496. 	xvnmsubadp	vs43,	vs33,	vs5

  1497. 	xvnmsubadp	vs44,	vs32,	vs6

  1498. 	xvnmsubadp	vs45,	vs33,	vs6

  1499. 	xvnmsubadp	vs46,	vs32,	vs7

  1500. 	xvnmsubadp	vs47,	vs33,	vs7

  1501. 

  1502. //############### OFFSET 1 #######################

  1503. 

  1504. 	addi		T1,	T1,	1*SIZE

  1505. 

  1506. 	lxvdsx		vs0,	o0,	T1

  1507. 	lxvdsx		vs1,	o8,	T1

  1508. 	lxvdsx		vs2,	o16,	T1

  1509. 	lxvdsx		vs3,	o24,	T1

  1510. 

  1511. 	addi		T1,	T1,	32

  1512. 

  1513. 	lxvdsx		vs4,	o0,	T1

  1514. 	lxvdsx		vs5,	o8,	T1

  1515. 	lxvdsx		vs6,	o16,	T1

  1516. 

  1517. 	addi		T1,	T1,	24

  1518. 

  1519. 	xvmuldp		vs34,	vs34,	vs0

  1520. 	xvmuldp		vs35,	vs35,	vs0

  1521. 

  1522. 	xvnmsubadp	vs36,	vs34,	vs1

  1523. 	xvnmsubadp	vs37,	vs35,	vs1

  1524. 	xvnmsubadp	vs38,	vs34,	vs2

  1525. 	xvnmsubadp	vs39,	vs35,	vs2

  1526. 	xvnmsubadp	vs40,	vs34,	vs3

  1527. 	xvnmsubadp	vs41,	vs35,	vs3

  1528. 	xvnmsubadp	vs42,	vs34,	vs4

  1529. 	xvnmsubadp	vs43,	vs35,	vs4

  1530. 	xvnmsubadp	vs44,	vs34,	vs5

  1531. 	xvnmsubadp	vs45,	vs35,	vs5

  1532. 	xvnmsubadp	vs46,	vs34,	vs6

  1533. 	xvnmsubadp	vs47,	vs35,	vs6

  1534. 

  1535. //############### OFFSET 2 #######################

  1536. 

  1537. 	addi		T1,	T1,	2*SIZE

  1538. 

  1539. 	lxvdsx		vs0,	o0,	T1

  1540. 	lxvdsx		vs1,	o8,	T1

  1541. 	lxvdsx		vs2,	o16,	T1

  1542. 	lxvdsx		vs3,	o24,	T1

  1543. 

  1544. 	addi		T1,	T1,	32

  1545. 

  1546. 	lxvdsx		vs4,	o0,	T1

  1547. 	lxvdsx		vs5,	o8,	T1

  1548. 

  1549. 	addi		T1,	T1,	16

  1550. 

  1551. 	xvmuldp		vs36,	vs36,	vs0

  1552. 	xvmuldp		vs37,	vs37,	vs0

  1553. 

  1554. 	xvnmsubadp	vs38,	vs36,	vs1

  1555. 	xvnmsubadp	vs39,	vs37,	vs1

  1556. 	xvnmsubadp	vs40,	vs36,	vs2

  1557. 	xvnmsubadp	vs41,	vs37,	vs2

  1558. 	xvnmsubadp	vs42,	vs36,	vs3

  1559. 	xvnmsubadp	vs43,	vs37,	vs3

  1560. 	xvnmsubadp	vs44,	vs36,	vs4

  1561. 	xvnmsubadp	vs45,	vs37,	vs4

  1562. 	xvnmsubadp	vs46,	vs36,	vs5

  1563. 	xvnmsubadp	vs47,	vs37,	vs5

  1564. 

  1565. //############### OFFSET 3 #######################

  1566. 

  1567. 	addi		T1,	T1,	3*SIZE

  1568. 

  1569. 	lxvdsx		vs0,	o0,	T1

  1570. 	lxvdsx		vs1,	o8,	T1

  1571. 	lxvdsx		vs2,	o16,	T1

  1572. 	lxvdsx		vs3,	o24,	T1

  1573. 

  1574. 	addi		T1,	T1,	32

  1575. 

  1576. 	lxvdsx		vs4,	o0,	T1

  1577. 

  1578. 	addi		T1,	T1,	8

  1579. 

  1580. 	xvmuldp		vs38,	vs38,	vs0

  1581. 	xvmuldp		vs39,	vs39,	vs0

  1582. 

  1583. 	xvnmsubadp	vs40,	vs38,	vs1

  1584. 	xvnmsubadp	vs41,	vs39,	vs1

  1585. 	xvnmsubadp	vs42,	vs38,	vs2

  1586. 	xvnmsubadp	vs43,	vs39,	vs2

  1587. 	xvnmsubadp	vs44,	vs38,	vs3

  1588. 	xvnmsubadp	vs45,	vs39,	vs3

  1589. 	xvnmsubadp	vs46,	vs38,	vs4

  1590. 	xvnmsubadp	vs47,	vs39,	vs4

  1591. 

  1592. //############### OFFSET 4 #######################

  1593. 

  1594. 	addi		T1,	T1,	4*SIZE

  1595. 

  1596. 	lxvdsx		vs0,	o0,	T1

  1597. 	lxvdsx		vs1,	o8,	T1

  1598. 	lxvdsx		vs2,	o16,	T1

  1599. 	lxvdsx		vs3,	o24,	T1

  1600. 

  1601. 	addi		T1,	T1,	32

  1602. 

  1603. 	xvmuldp		vs40,	vs40,	vs0

  1604. 	xvmuldp		vs41,	vs41,	vs0

  1605. 

  1606. 	xvnmsubadp	vs42,	vs40,	vs1

  1607. 	xvnmsubadp	vs43,	vs41,	vs1

  1608. 	xvnmsubadp	vs44,	vs40,	vs2

  1609. 	xvnmsubadp	vs45,	vs41,	vs2

  1610. 	xvnmsubadp	vs46,	vs40,	vs3

  1611. 	xvnmsubadp	vs47,	vs41,	vs3

  1612. 

  1613. //############### OFFSET 5 #######################

  1614. 

  1615. 	addi		T1,	T1,	5*SIZE

  1616. 

  1617. 	lxvdsx		vs0,	o0,	T1

  1618. 	lxvdsx		vs1,	o8,	T1

  1619. 	lxvdsx		vs2,	o16,	T1

  1620. 

  1621. 	addi		T1,	T1,	24

  1622. 

  1623. 	xvmuldp		vs42,	vs42,	vs0

  1624. 	xvmuldp		vs43,	vs43,	vs0

  1625. 

  1626. 	xvnmsubadp	vs44,	vs42,	vs1

  1627. 	xvnmsubadp	vs45,	vs43,	vs1

  1628. 	xvnmsubadp	vs46,	vs42,	vs2

  1629. 	xvnmsubadp	vs47,	vs43,	vs2

  1630. 

  1631. //############### OFFSET 6 #######################

  1632. 

  1633. 	addi		T1,	T1,	6*SIZE

  1634. 

  1635. 	lxvdsx		vs0,	o0,	T1

  1636. 	lxvdsx		vs1,	o8,	T1

  1637. 

  1638. 	addi		T1,	T1,	16

  1639. 

  1640. 	xvmuldp		vs44,	vs44,	vs0

  1641. 	xvmuldp		vs45,	vs45,	vs0

  1642. 

  1643. 	xvnmsubadp	vs46,	vs44,	vs1

  1644. 	xvnmsubadp	vs47,	vs45,	vs1

  1645. 

  1646. //############### OFFSET 7 #######################

  1647. 

  1648. 	addi		T1,	T1,	7*SIZE

  1649. 

  1650. 	lxvdsx		vs0,	o0,	T1

  1651. 

  1652. 	addi		T1,	T1,	8

  1653. 

  1654. 	xvmuldp		vs46,	vs46,	vs0

  1655. 	xvmuldp		vs47,	vs47,	vs0

  1656. 

  1657. 

  1658. //############### SAVE B #######################

  1659. 

  1660. 

  1661. 	mr		T1,	BO	

  1662. 

  1663. 

  1664. 	stxvd2x		vs32,	o0,	T1

  1665. 	stxvd2x		vs33,	o16,	T1

  1666. 	stxvd2x		vs34,	o32,	T1

  1667. 	stxvd2x		vs35,	o48,	T1

  1668. 

  1669. 	addi		T1,	T1,	64

  1670. 

  1671. 	stxvd2x		vs36,	o0,	T1

  1672. 	stxvd2x		vs37,	o16,	T1

  1673. 	stxvd2x		vs38,	o32,	T1

  1674. 	stxvd2x		vs39,	o48,	T1

  1675. 

  1676. 	addi		T1,	T1,	64

  1677. 

  1678. 	stxvd2x		vs40,	o0,	T1

  1679. 	stxvd2x		vs41,	o16,	T1

  1680. 	stxvd2x		vs42,	o32,	T1

  1681. 	stxvd2x		vs43,	o48,	T1

  1682. 

  1683. 	addi		T1,	T1,	64

  1684. 

  1685. 	stxvd2x		vs44,	o0,	T1

  1686. 	stxvd2x		vs45,	o16,	T1

  1687. 	stxvd2x		vs46,	o32,	T1

  1688. 	stxvd2x		vs47,	o48,	T1

  1689. 

  1690. //############### SAVE C #######################

  1691. 

  1692. 

  1693. 	mr		T1,	CO

  1694. 	add		T2,	CO,	LDC

  1695. 

  1696. 

  1697. 	stxsdx		vs32,	o0,	T1

  1698. 	XXSWAPD(vs32,vs32)

  1699. 	stxsdx		vs34,	o8,	T1

  1700. 	XXSWAPD(vs34,vs34)

  1701. 	stxsdx		vs36,	o16,	T1

  1702. 	XXSWAPD(vs36,vs36)

  1703. 	stxsdx		vs38,	o24,	T1

  1704. 	XXSWAPD(vs38,vs38)

  1705. 

  1706. 	addi		T1,	T1,	32

  1707. 

  1708. 	stxsdx		vs40,	o0,	T1

  1709. 	XXSWAPD(vs40,vs40)

  1710. 	stxsdx		vs42,	o8,	T1

  1711. 	XXSWAPD(vs42,vs42)

  1712. 	stxsdx		vs44,	o16,	T1

  1713. 	XXSWAPD(vs44,vs44)

  1714. 	stxsdx		vs46,	o24,	T1

  1715. 	XXSWAPD(vs46,vs46)

  1716. 

  1717. 	stxsdx		vs32,	o0,	T2

  1718. 	stxsdx		vs34,	o8,	T2

  1719. 	stxsdx		vs36,	o16,	T2

  1720. 	stxsdx		vs38,	o24,	T2

  1721. 

  1722. 	addi		T2,	T2,	32

  1723. 

  1724. 	stxsdx		vs40,	o0,	T2

  1725. 	stxsdx		vs42,	o8,	T2

  1726. 	stxsdx		vs44,	o16,	T2

  1727. 	stxsdx		vs46,	o24,	T2

  1728. 

  1729. 	mr		T1,	CO

  1730. 	add		T2,	CO,	LDC

  1731. 

  1732. 

  1733. 	add		T1,	T2,	LDC

  1734. 	add		T2,	T1,	LDC

  1735. 

  1736. 

  1737. 	stxsdx		vs33,	o0,	T1

  1738. 	XXSWAPD(vs33,vs33)

  1739. 	stxsdx		vs35,	o8,	T1

  1740. 	XXSWAPD(vs35,vs35)

  1741. 	stxsdx		vs37,	o16,	T1

  1742. 	XXSWAPD(vs37,vs37)

  1743. 	stxsdx		vs39,	o24,	T1

  1744. 	XXSWAPD(vs39,vs39)

  1745. 

  1746. 	addi		T1,	T1,	32

  1747. 

  1748. 	stxsdx		vs41,	o0,	T1

  1749. 	XXSWAPD(vs41,vs41)

  1750. 	stxsdx		vs43,	o8,	T1

  1751. 	XXSWAPD(vs43,vs43)

  1752. 	stxsdx		vs45,	o16,	T1

  1753. 	XXSWAPD(vs45,vs45)

  1754. 	stxsdx		vs47,	o24,	T1

  1755. 	XXSWAPD(vs47,vs47)

  1756. 

  1757. 	stxsdx		vs33,	o0,	T2

  1758. 	stxsdx		vs35,	o8,	T2

  1759. 	stxsdx		vs37,	o16,	T2

  1760. 	stxsdx		vs39,	o24,	T2

  1761. 

  1762. 	addi		T2,	T2,	32

  1763. 

  1764. 	stxsdx		vs41,	o0,	T2

  1765. 	stxsdx		vs43,	o8,	T2

  1766. 	stxsdx		vs45,	o16,	T2

  1767. 	stxsdx		vs47,	o24,	T2

  1768. 

  1769. #if defined(_AIX)

  1770. ')

  1771. #else

  1772. .endm

  1773. #endif

  1774. 

  1775. 

  1776. /*##########################################################################################

  1777. 			 SOLVE_LT 4x4

  1778. ##########################################################################################*/

  1779. 

  1780. #if defined(_AIX)

  1781. define(`SOLVE_LT_4x4', `

  1782. #else

  1783. .macro SOLVE_LT_4x4

  1784. #endif

  1785. 

  1786. 	xxpermdi	vs0,	vs32,	vs33,	0

  1787. 	xxpermdi	vs1,	vs34,	vs35,	0

  1788. 	xxpermdi	vs2,	vs32,	vs33,	3

  1789. 	xxpermdi	vs3,	vs34,	vs35,	3

  1790. 

  1791. 	xxpermdi	vs4,	vs36,	vs37,	0

  1792. 	xxpermdi	vs5,	vs38,	vs39,	0

  1793. 	xxpermdi	vs6,	vs36,	vs37,	3

  1794. 	xxpermdi	vs7,	vs38,	vs39,	3

  1795. 

  1796. 

  1797. //############### LOAD B #######################

  1798. 

  1799. 

  1800. 	mr		T1,	BO	

  1801. 

  1802. 	lxvd2x		vs32,	o0,	T1

  1803. 	lxvd2x		vs33,	o16,	T1

  1804. 	lxvd2x		vs34,	o32,	T1

  1805. 	lxvd2x		vs35,	o48,	T1

  1806. 

  1807. 	addi		T1,	T1,	64

  1808. 

  1809. 	lxvd2x		vs36,	o0,	T1

  1810. 	lxvd2x		vs37,	o16,	T1

  1811. 	lxvd2x		vs38,	o32,	T1

  1812. 	lxvd2x		vs39,	o48,	T1

  1813. 

  1814. 	xvsubdp		vs32,	vs32,	vs0

  1815. 	xvsubdp		vs33,	vs33,	vs1

  1816. 	xvsubdp		vs34,	vs34,	vs2

  1817. 	xvsubdp		vs35,	vs35,	vs3

  1818. 	xvsubdp		vs36,	vs36,	vs4

  1819. 	xvsubdp		vs37,	vs37,	vs5

  1820. 	xvsubdp		vs38,	vs38,	vs6

  1821. 	xvsubdp		vs39,	vs39,	vs7

  1822. 

  1823. 	mr		T1,	AO	

  1824. 

  1825. 

  1826. //############### OFFSET 0 #######################

  1827. 

  1828. 	lxvdsx		vs0,	o0,	T1

  1829. 	lxvdsx		vs1,	o8,	T1

  1830. 	lxvdsx		vs2,	o16,	T1

  1831. 	lxvdsx		vs3,	o24,	T1

  1832. 

  1833. 	addi		T1,	T1,	32

  1834. 

  1835. 	xvmuldp		vs32,	vs32,	vs0

  1836. 	xvmuldp		vs33,	vs33,	vs0

  1837. 

  1838. 	xvnmsubadp	vs34,	vs32,	vs1

  1839. 	xvnmsubadp	vs35,	vs33,	vs1

  1840. 	xvnmsubadp	vs36,	vs32,	vs2

  1841. 	xvnmsubadp	vs37,	vs33,	vs2

  1842. 	xvnmsubadp	vs38,	vs32,	vs3

  1843. 	xvnmsubadp	vs39,	vs33,	vs3

  1844. 

  1845. //############### OFFSET 1 #######################

  1846. 

  1847. 	addi		T1,	T1,	1*SIZE

  1848. 

  1849. 	lxvdsx		vs0,	o0,	T1

  1850. 	lxvdsx		vs1,	o8,	T1

  1851. 	lxvdsx		vs2,	o16,	T1

  1852. 

  1853. 	addi		T1,	T1,	24

  1854. 

  1855. 	xvmuldp		vs34,	vs34,	vs0

  1856. 	xvmuldp		vs35,	vs35,	vs0

  1857. 

  1858. 	xvnmsubadp	vs36,	vs34,	vs1

  1859. 	xvnmsubadp	vs37,	vs35,	vs1

  1860. 	xvnmsubadp	vs38,	vs34,	vs2

  1861. 	xvnmsubadp	vs39,	vs35,	vs2

  1862. 

  1863. //############### OFFSET 2 #######################

  1864. 

  1865. 	addi		T1,	T1,	2*SIZE

  1866. 

  1867. 	lxvdsx		vs0,	o0,	T1

  1868. 	lxvdsx		vs1,	o8,	T1

  1869. 

  1870. 	addi		T1,	T1,	16

  1871. 

  1872. 	xvmuldp		vs36,	vs36,	vs0

  1873. 	xvmuldp		vs37,	vs37,	vs0

  1874. 

  1875. 	xvnmsubadp	vs38,	vs36,	vs1

  1876. 	xvnmsubadp	vs39,	vs37,	vs1

  1877. 

  1878. //############### OFFSET 3 #######################

  1879. 

  1880. 	addi		T1,	T1,	3*SIZE

  1881. 

  1882. 	lxvdsx		vs0,	o0,	T1

  1883. 

  1884. 	addi		T1,	T1,	8

  1885. 

  1886. 	xvmuldp		vs38,	vs38,	vs0

  1887. 	xvmuldp		vs39,	vs39,	vs0

  1888. 

  1889. 

  1890. //############### SAVE B #######################

  1891. 

  1892. 

  1893. 	mr		T1,	BO	

  1894. 

  1895. 

  1896. 	stxvd2x		vs32,	o0,	T1

  1897. 	stxvd2x		vs33,	o16,	T1

  1898. 	stxvd2x		vs34,	o32,	T1

  1899. 	stxvd2x		vs35,	o48,	T1

  1900. 

  1901. 	addi		T1,	T1,	64

  1902. 

  1903. 	stxvd2x		vs36,	o0,	T1

  1904. 	stxvd2x		vs37,	o16,	T1

  1905. 	stxvd2x		vs38,	o32,	T1

  1906. 	stxvd2x		vs39,	o48,	T1

  1907. 

  1908. //############### SAVE C #######################

  1909. 

  1910. 

  1911. 	mr		T1,	CO

  1912. 	add		T2,	CO,	LDC

  1913. 

  1914. 

  1915. 	stxsdx		vs32,	o0,	T1

  1916. 	XXSWAPD(vs32,vs32)

  1917. 	stxsdx		vs34,	o8,	T1

  1918. 	XXSWAPD(vs34,vs34)

  1919. 	stxsdx		vs36,	o16,	T1

  1920. 	XXSWAPD(vs36,vs36)

  1921. 	stxsdx		vs38,	o24,	T1

  1922. 	XXSWAPD(vs38,vs38)

  1923. 

  1924. 	stxsdx		vs32,	o0,	T2

  1925. 	stxsdx		vs34,	o8,	T2

  1926. 	stxsdx		vs36,	o16,	T2

  1927. 	stxsdx		vs38,	o24,	T2

  1928. 

  1929. 	mr		T1,	CO

  1930. 	add		T2,	CO,	LDC

  1931. 

  1932. 

  1933. 	add		T1,	T2,	LDC

  1934. 	add		T2,	T1,	LDC

  1935. 

  1936. 

  1937. 	stxsdx		vs33,	o0,	T1

  1938. 	XXSWAPD(vs33,vs33)

  1939. 	stxsdx		vs35,	o8,	T1

  1940. 	XXSWAPD(vs35,vs35)

  1941. 	stxsdx		vs37,	o16,	T1

  1942. 	XXSWAPD(vs37,vs37)

  1943. 	stxsdx		vs39,	o24,	T1

  1944. 	XXSWAPD(vs39,vs39)

  1945. 

  1946. 	stxsdx		vs33,	o0,	T2

  1947. 	stxsdx		vs35,	o8,	T2

  1948. 	stxsdx		vs37,	o16,	T2

  1949. 	stxsdx		vs39,	o24,	T2

  1950. 

  1951. #if defined(_AIX)

  1952. ')

  1953. #else

  1954. .endm

  1955. #endif

  1956. 

  1957. 

  1958. /*##########################################################################################

  1959. 			 SOLVE_LT 2x4

  1960. ##########################################################################################*/

  1961. 

  1962. #if defined(_AIX)

  1963. define(`SOLVE_LT_2x4', `

  1964. #else

  1965. .macro SOLVE_LT_2x4

  1966. #endif

  1967. 

  1968. 	xxpermdi	vs0,	vs32,	vs33,	0

  1969. 	xxpermdi	vs1,	vs34,	vs35,	0

  1970. 	xxpermdi	vs2,	vs32,	vs33,	3

  1971. 	xxpermdi	vs3,	vs34,	vs35,	3

  1972. 

  1973. 

  1974. //############### LOAD B #######################

  1975. 

  1976. 

  1977. 	mr		T1,	BO	

  1978. 

  1979. 	lxvd2x		vs32,	o0,	T1

  1980. 	lxvd2x		vs33,	o16,	T1

  1981. 	lxvd2x		vs34,	o32,	T1

  1982. 	lxvd2x		vs35,	o48,	T1

  1983. 

  1984. 	xvsubdp		vs32,	vs32,	vs0

  1985. 	xvsubdp		vs33,	vs33,	vs1

  1986. 	xvsubdp		vs34,	vs34,	vs2

  1987. 	xvsubdp		vs35,	vs35,	vs3

  1988. 

  1989. 	mr		T1,	AO	

  1990. 

  1991. 

  1992. //############### OFFSET 0 #######################

  1993. 

  1994. 	lxvdsx		vs0,	o0,	T1

  1995. 	lxvdsx		vs1,	o8,	T1

  1996. 

  1997. 	addi		T1,	T1,	16

  1998. 

  1999. 	xvmuldp		vs32,	vs32,	vs0

  2000. 	xvmuldp		vs33,	vs33,	vs0

  2001. 

  2002. 	xvnmsubadp	vs34,	vs32,	vs1

  2003. 	xvnmsubadp	vs35,	vs33,	vs1

  2004. 

  2005. //############### OFFSET 1 #######################

  2006. 

  2007. 	addi		T1,	T1,	1*SIZE

  2008. 

  2009. 	lxvdsx		vs0,	o0,	T1

  2010. 

  2011. 	addi		T1,	T1,	8

  2012. 

  2013. 	xvmuldp		vs34,	vs34,	vs0

  2014. 	xvmuldp		vs35,	vs35,	vs0

  2015. 

  2016. 

  2017. //############### SAVE B #######################

  2018. 

  2019. 

  2020. 	mr		T1,	BO	

  2021. 

  2022. 

  2023. 	stxvd2x		vs32,	o0,	T1

  2024. 	stxvd2x		vs33,	o16,	T1

  2025. 	stxvd2x		vs34,	o32,	T1

  2026. 	stxvd2x		vs35,	o48,	T1

  2027. 

  2028. //############### SAVE C #######################

  2029. 

  2030. 

  2031. 	mr		T1,	CO

  2032. 	add		T2,	CO,	LDC

  2033. 

  2034. 

  2035. 	stxsdx		vs32,	o0,	T1

  2036. 	XXSWAPD(vs32,vs32)

  2037. 	stxsdx		vs34,	o8,	T1

  2038. 	XXSWAPD(vs34,vs34)

  2039. 

  2040. 	stxsdx		vs32,	o0,	T2

  2041. 	stxsdx		vs34,	o8,	T2

  2042. 

  2043. 	mr		T1,	CO

  2044. 	add		T2,	CO,	LDC

  2045. 

  2046. 

  2047. 	add		T1,	T2,	LDC

  2048. 	add		T2,	T1,	LDC

  2049. 

  2050. 

  2051. 	stxsdx		vs33,	o0,	T1

  2052. 	XXSWAPD(vs33,vs33)

  2053. 	stxsdx		vs35,	o8,	T1

  2054. 	XXSWAPD(vs35,vs35)

  2055. 

  2056. 	stxsdx		vs33,	o0,	T2

  2057. 	stxsdx		vs35,	o8,	T2

  2058. 

  2059. #if defined(_AIX)

  2060. ')

  2061. #else

  2062. .endm

  2063. #endif

  2064. 

  2065. 

  2066. /*##########################################################################################

  2067. 			 SOLVE_LT 1x4

  2068. ##########################################################################################*/

  2069. 

  2070. #if defined(_AIX)

  2071. define(`SOLVE_LT_1x4', `

  2072. #else

  2073. .macro SOLVE_LT_1x4

  2074. #endif

  2075. 

  2076. 	xxpermdi	vs0,	vs32,	vs33,	0

  2077. 	xxpermdi	vs1,	vs34,	vs35,	0

  2078. 

  2079. //############### LOAD B #######################

  2080. 

  2081. 

  2082. 	mr		T1,	BO	

  2083. 

  2084. 	lxvd2x		vs32,	o0,	T1

  2085. 	lxvd2x		vs33,	o16,	T1

  2086. 

  2087. 	xvsubdp		vs32,	vs32,	vs0

  2088. 	xvsubdp		vs33,	vs33,	vs1

  2089. 

  2090. 	mr		T1,	AO	

  2091. 

  2092. 

  2093. //############### OFFSET 0 #######################

  2094. 

  2095. 	lxvdsx		vs0,	o0,	T1

  2096. 

  2097. 	addi		T1,	T1,	8

  2098. 

  2099. 	xvmuldp		vs32,	vs32,	vs0

  2100. 	xvmuldp		vs33,	vs33,	vs0

  2101. 

  2102. 

  2103. //############### SAVE B #######################

  2104. 

  2105. 

  2106. 	mr		T1,	BO	

  2107. 

  2108. 

  2109. 	stxvd2x		vs32,	o0,	T1

  2110. 	stxvd2x		vs33,	o16,	T1

  2111. 

  2112. //############### SAVE C #######################

  2113. 

  2114. 

  2115. 	mr		T1,	CO

  2116. 	add		T2,	CO,	LDC

  2117. 

  2118. 

  2119. 	stxsdx		vs32,	o0,	T1

  2120. 	XXSWAPD(vs32,vs32)

  2121. 

  2122. 	stxsdx		vs32,	o0,	T2

  2123. 

  2124. 	mr		T1,	CO

  2125. 	add		T2,	CO,	LDC

  2126. 

  2127. 

  2128. 	add		T1,	T2,	LDC

  2129. 	add		T2,	T1,	LDC

  2130. 

  2131. 

  2132. 	stxsdx		vs33,	o0,	T1

  2133. 	XXSWAPD(vs33,vs33)

  2134. 

  2135. 	stxsdx		vs33,	o0,	T2

  2136. 

  2137. #if defined(_AIX)

  2138. ')

  2139. #else

  2140. .endm

  2141. #endif

  2142. 

  2143. 

  2144. #if defined(_AIX)

  2145. define(`INIT_16x2', `

  2146. #else

  2147. .macro INIT_16x2

  2148. #endif

  2149. 

  2150. 

  2151. 	xxlxor		vs0,	vs0,	vs0

  2152. 

  2153. 	XVMOVDP(vs32,vs0)

  2154. 	XVMOVDP(vs33,vs0)

  2155. 	XVMOVDP(vs34,vs0)

  2156. 	XVMOVDP(vs35,vs0)

  2157. 	XVMOVDP(vs36,vs0)

  2158. 	XVMOVDP(vs37,vs0)

  2159. 	XVMOVDP(vs38,vs0)

  2160. 	XVMOVDP(vs39,vs0)

  2161. 	XVMOVDP(vs40,vs0)

  2162. 	XVMOVDP(vs41,vs0)

  2163. 	XVMOVDP(vs42,vs0)

  2164. 	XVMOVDP(vs43,vs0)

  2165. 	XVMOVDP(vs44,vs0)

  2166. 	XVMOVDP(vs45,vs0)

  2167. 	XVMOVDP(vs46,vs0)

  2168. 	XVMOVDP(vs47,vs0)

  2169. 

  2170. #if defined(_AIX)

  2171. ')

  2172. #else

  2173. .endm

  2174. #endif

  2175. 

  2176. 

  2177. #if defined(_AIX)

  2178. define(`KERNEL_16x2', `

  2179. #else

  2180. .macro KERNEL_16x2

  2181. #endif

  2182. 

  2183. 

  2184. 	lxvd2x		vs0,	o0,	AO

  2185. 	lxvd2x		vs1,	o16,	AO

  2186. 	lxvd2x		vs2,	o32,	AO

  2187. 	lxvd2x		vs3,	o48,	AO

  2188. 

  2189. 	addi		AO,	AO,	64

  2190. 

  2191. 	lxvd2x		vs4,	o0,	AO

  2192. 	lxvd2x		vs5,	o16,	AO

  2193. 	lxvd2x		vs6,	o32,	AO

  2194. 	lxvd2x		vs7,	o48,	AO

  2195. 

  2196. 	addi		AO,	AO,	64

  2197. 

  2198. 	lxvdsx		vs16,	o0,	BO

  2199. 	lxvdsx		vs17,	o8,	BO

  2200. 

  2201. 	addi		BO,	BO,	16

  2202. 

  2203. 	xvmaddadp	vs32,	vs0,	vs16

  2204. 	xvmaddadp	vs33,	vs0,	vs17

  2205. 	xvmaddadp	vs34,	vs1,	vs16

  2206. 	xvmaddadp	vs35,	vs1,	vs17

  2207. 	xvmaddadp	vs36,	vs2,	vs16

  2208. 	xvmaddadp	vs37,	vs2,	vs17

  2209. 	xvmaddadp	vs38,	vs3,	vs16

  2210. 	xvmaddadp	vs39,	vs3,	vs17

  2211. 	xvmaddadp	vs40,	vs4,	vs16

  2212. 	xvmaddadp	vs41,	vs4,	vs17

  2213. 	xvmaddadp	vs42,	vs5,	vs16

  2214. 	xvmaddadp	vs43,	vs5,	vs17

  2215. 	xvmaddadp	vs44,	vs6,	vs16

  2216. 	xvmaddadp	vs45,	vs6,	vs17

  2217. 	xvmaddadp	vs46,	vs7,	vs16

  2218. 	xvmaddadp	vs47,	vs7,	vs17

  2219. 

  2220. 

  2221. #if defined(_AIX)

  2222. ')

  2223. #else

  2224. .endm

  2225. #endif

  2226. 

  2227. 

  2228. #if defined(_AIX)

  2229. define(`INIT_8x2', `

  2230. #else

  2231. .macro INIT_8x2

  2232. #endif

  2233. 

  2234. 

  2235. 	xxlxor		vs0,	vs0,	vs0

  2236. 

  2237. 	XVMOVDP(vs32,vs0)

  2238. 	XVMOVDP(vs33,vs0)

  2239. 	XVMOVDP(vs34,vs0)

  2240. 	XVMOVDP(vs35,vs0)

  2241. 	XVMOVDP(vs36,vs0)

  2242. 	XVMOVDP(vs37,vs0)

  2243. 	XVMOVDP(vs38,vs0)

  2244. 	XVMOVDP(vs39,vs0)

  2245. 

  2246. #if defined(_AIX)

  2247. ')

  2248. #else

  2249. .endm

  2250. #endif

  2251. 

  2252. 

  2253. #if defined(_AIX)

  2254. define(`KERNEL_8x2', `

  2255. #else

  2256. .macro KERNEL_8x2

  2257. #endif

  2258. 

  2259. 

  2260. 	lxvd2x		vs0,	o0,	AO

  2261. 	lxvd2x		vs1,	o16,	AO

  2262. 	lxvd2x		vs2,	o32,	AO

  2263. 	lxvd2x		vs3,	o48,	AO

  2264. 

  2265. 	addi		AO,	AO,	64

  2266. 

  2267. 	lxvdsx		vs16,	o0,	BO

  2268. 	lxvdsx		vs17,	o8,	BO

  2269. 

  2270. 	addi		BO,	BO,	16

  2271. 

  2272. 	xvmaddadp	vs32,	vs0,	vs16

  2273. 	xvmaddadp	vs33,	vs0,	vs17

  2274. 	xvmaddadp	vs34,	vs1,	vs16

  2275. 	xvmaddadp	vs35,	vs1,	vs17

  2276. 	xvmaddadp	vs36,	vs2,	vs16

  2277. 	xvmaddadp	vs37,	vs2,	vs17

  2278. 	xvmaddadp	vs38,	vs3,	vs16

  2279. 	xvmaddadp	vs39,	vs3,	vs17

  2280. 

  2281. 

  2282. #if defined(_AIX)

  2283. ')

  2284. #else

  2285. .endm

  2286. #endif

  2287. 

  2288. 

  2289. #if defined(_AIX)

  2290. define(`INIT_4x2', `

  2291. #else

  2292. .macro INIT_4x2

  2293. #endif

  2294. 

  2295. 

  2296. 	xxlxor		vs0,	vs0,	vs0

  2297. 

  2298. 	XVMOVDP(vs32,vs0)

  2299. 	XVMOVDP(vs33,vs0)

  2300. 	XVMOVDP(vs34,vs0)

  2301. 	XVMOVDP(vs35,vs0)

  2302. 

  2303. #if defined(_AIX)

  2304. ')

  2305. #else

  2306. .endm

  2307. #endif

  2308. 

  2309. 

  2310. #if defined(_AIX)

  2311. define(`KERNEL_4x2', `

  2312. #else

  2313. .macro KERNEL_4x2

  2314. #endif

  2315. 

  2316. 

  2317. 	lxvd2x		vs0,	o0,	AO

  2318. 	lxvd2x		vs1,	o16,	AO

  2319. 

  2320. 	addi		AO,	AO,	32

  2321. 

  2322. 	lxvdsx		vs16,	o0,	BO

  2323. 	lxvdsx		vs17,	o8,	BO

  2324. 

  2325. 	addi		BO,	BO,	16

  2326. 

  2327. 	xvmaddadp	vs32,	vs0,	vs16

  2328. 	xvmaddadp	vs33,	vs0,	vs17

  2329. 	xvmaddadp	vs34,	vs1,	vs16

  2330. 	xvmaddadp	vs35,	vs1,	vs17

  2331. 

  2332. 

  2333. #if defined(_AIX)

  2334. ')

  2335. #else

  2336. .endm

  2337. #endif

  2338. 

  2339. 

  2340. #if defined(_AIX)

  2341. define(`INIT_2x2', `

  2342. #else

  2343. .macro INIT_2x2

  2344. #endif

  2345. 

  2346. 

  2347. 	xxlxor		vs0,	vs0,	vs0

  2348. 

  2349. 	XVMOVDP(vs32,vs0)

  2350. 	XVMOVDP(vs33,vs0)

  2351. 

  2352. #if defined(_AIX)

  2353. ')

  2354. #else

  2355. .endm

  2356. #endif

  2357. 

  2358. 

  2359. #if defined(_AIX)

  2360. define(`KERNEL_2x2', `

  2361. #else

  2362. .macro KERNEL_2x2

  2363. #endif

  2364. 

  2365. 

  2366. 	lxvd2x		vs0,	o0,	AO

  2367. 

  2368. 	addi		AO,	AO,	16

  2369. 

  2370. 	lxvdsx		vs16,	o0,	BO

  2371. 	lxvdsx		vs17,	o8,	BO

  2372. 

  2373. 	addi		BO,	BO,	16

  2374. 

  2375. 	xvmaddadp	vs32,	vs0,	vs16

  2376. 	xvmaddadp	vs33,	vs0,	vs17

  2377. 

  2378. 

  2379. #if defined(_AIX)

  2380. ')

  2381. #else

  2382. .endm

  2383. #endif

  2384. 

  2385. 

  2386. #if defined(_AIX)

  2387. define(`INIT_1x2', `

  2388. #else

  2389. .macro INIT_1x2

  2390. #endif

  2391. 

  2392. 

  2393. 	xxlxor		vs0,	vs0,	vs0

  2394. 

  2395. 	XVMOVDP(vs32,vs0)

  2396. 	XVMOVDP(vs33,vs0)

  2397. 

  2398. #if defined(_AIX)

  2399. ')

  2400. #else

  2401. .endm

  2402. #endif

  2403. 

  2404. 

  2405. #if defined(_AIX)

  2406. define(`KERNEL_1x2', `

  2407. #else

  2408. .macro KERNEL_1x2

  2409. #endif

  2410. 

  2411. 

  2412. 	lxvdsx		vs0,	o0,	AO

  2413. 

  2414. 	addi		AO,	AO,	8

  2415. 

  2416. 	lxvdsx		vs16,	o0,	BO

  2417. 	lxvdsx		vs17,	o8,	BO

  2418. 

  2419. 	addi		BO,	BO,	16

  2420. 

  2421. 	xvmaddadp	vs32,	vs0,	vs16

  2422. 	xvmaddadp	vs33,	vs0,	vs17

  2423. 

  2424. 

  2425. #if defined(_AIX)

  2426. ')

  2427. #else

  2428. .endm

  2429. #endif

  2430. 

  2431. 

  2432. /*##########################################################################################

  2433. 			 SOLVE_LT 16x2

  2434. ##########################################################################################*/

  2435. 

  2436. #if defined(_AIX)

  2437. define(`SOLVE_LT_16x2', `

  2438. #else

  2439. .macro SOLVE_LT_16x2

  2440. #endif

  2441. 

  2442. 	xxpermdi	vs0,	vs32,	vs33,	0

  2443. 	xxpermdi	vs1,	vs32,	vs33,	3

  2444. 

  2445. 	xxpermdi	vs2,	vs34,	vs35,	0

  2446. 	xxpermdi	vs3,	vs34,	vs35,	3

  2447. 

  2448. 	xxpermdi	vs4,	vs36,	vs37,	0

  2449. 	xxpermdi	vs5,	vs36,	vs37,	3

  2450. 

  2451. 	xxpermdi	vs6,	vs38,	vs39,	0

  2452. 	xxpermdi	vs7,	vs38,	vs39,	3

  2453. 

  2454. 	xxpermdi	vs8,	vs40,	vs41,	0

  2455. 	xxpermdi	vs9,	vs40,	vs41,	3

  2456. 

  2457. 	xxpermdi	vs10,	vs42,	vs43,	0

  2458. 	xxpermdi	vs11,	vs42,	vs43,	3

  2459. 

  2460. 	xxpermdi	vs12,	vs44,	vs45,	0

  2461. 	xxpermdi	vs13,	vs44,	vs45,	3

  2462. 

  2463. 	xxpermdi	vs14,	vs46,	vs47,	0

  2464. 	xxpermdi	vs15,	vs46,	vs47,	3

  2465. 

  2466. 

  2467. //############### LOAD B #######################

  2468. 

  2469. 

  2470. 	mr		T1,	BO	

  2471. 

  2472. 	lxvd2x		vs32,	o0,	T1

  2473. 	lxvd2x		vs33,	o16,	T1

  2474. 	lxvd2x		vs34,	o32,	T1

  2475. 	lxvd2x		vs35,	o48,	T1

  2476. 

  2477. 	addi		T1,	T1,	64

  2478. 

  2479. 	lxvd2x		vs36,	o0,	T1

  2480. 	lxvd2x		vs37,	o16,	T1

  2481. 	lxvd2x		vs38,	o32,	T1

  2482. 	lxvd2x		vs39,	o48,	T1

  2483. 

  2484. 	addi		T1,	T1,	64

  2485. 

  2486. 	lxvd2x		vs40,	o0,	T1

  2487. 	lxvd2x		vs41,	o16,	T1

  2488. 	lxvd2x		vs42,	o32,	T1

  2489. 	lxvd2x		vs43,	o48,	T1

  2490. 

  2491. 	addi		T1,	T1,	64

  2492. 

  2493. 	lxvd2x		vs44,	o0,	T1

  2494. 	lxvd2x		vs45,	o16,	T1

  2495. 	lxvd2x		vs46,	o32,	T1

  2496. 	lxvd2x		vs47,	o48,	T1

  2497. 

  2498. 	xvsubdp		vs32,	vs32,	vs0

  2499. 	xvsubdp		vs33,	vs33,	vs1

  2500. 	xvsubdp		vs34,	vs34,	vs2

  2501. 	xvsubdp		vs35,	vs35,	vs3

  2502. 	xvsubdp		vs36,	vs36,	vs4

  2503. 	xvsubdp		vs37,	vs37,	vs5

  2504. 	xvsubdp		vs38,	vs38,	vs6

  2505. 	xvsubdp		vs39,	vs39,	vs7

  2506. 	xvsubdp		vs40,	vs40,	vs8

  2507. 	xvsubdp		vs41,	vs41,	vs9

  2508. 	xvsubdp		vs42,	vs42,	vs10

  2509. 	xvsubdp		vs43,	vs43,	vs11

  2510. 	xvsubdp		vs44,	vs44,	vs12

  2511. 	xvsubdp		vs45,	vs45,	vs13

  2512. 	xvsubdp		vs46,	vs46,	vs14

  2513. 	xvsubdp		vs47,	vs47,	vs15

  2514. 

  2515. 	mr		T1,	AO	

  2516. 

  2517. 

  2518. //############### OFFSET 0 #######################

  2519. 

  2520. 	lxvdsx		vs0,	o0,	T1

  2521. 	lxvdsx		vs1,	o8,	T1

  2522. 	lxvdsx		vs2,	o16,	T1

  2523. 	lxvdsx		vs3,	o24,	T1

  2524. 

  2525. 	addi		T1,	T1,	32

  2526. 

  2527. 	lxvdsx		vs4,	o0,	T1

  2528. 	lxvdsx		vs5,	o8,	T1

  2529. 	lxvdsx		vs6,	o16,	T1

  2530. 	lxvdsx		vs7,	o24,	T1

  2531. 

  2532. 	addi		T1,	T1,	32

  2533. 

  2534. 	lxvdsx		vs8,	o0,	T1

  2535. 	lxvdsx		vs9,	o8,	T1

  2536. 	lxvdsx		vs10,	o16,	T1

  2537. 	lxvdsx		vs11,	o24,	T1

  2538. 

  2539. 	addi		T1,	T1,	32

  2540. 

  2541. 	lxvdsx		vs12,	o0,	T1

  2542. 	lxvdsx		vs13,	o8,	T1

  2543. 	lxvdsx		vs14,	o16,	T1

  2544. 	lxvdsx		vs15,	o24,	T1

  2545. 

  2546. 	addi		T1,	T1,	32

  2547. 

  2548. 	xvmuldp		vs32,	vs32,	vs0

  2549. 	xvnmsubadp	vs33,	vs32,	vs1

  2550. 	xvnmsubadp	vs34,	vs32,	vs2

  2551. 	xvnmsubadp	vs35,	vs32,	vs3

  2552. 	xvnmsubadp	vs36,	vs32,	vs4

  2553. 	xvnmsubadp	vs37,	vs32,	vs5

  2554. 	xvnmsubadp	vs38,	vs32,	vs6

  2555. 	xvnmsubadp	vs39,	vs32,	vs7

  2556. 	xvnmsubadp	vs40,	vs32,	vs8

  2557. 	xvnmsubadp	vs41,	vs32,	vs9

  2558. 	xvnmsubadp	vs42,	vs32,	vs10

  2559. 	xvnmsubadp	vs43,	vs32,	vs11

  2560. 	xvnmsubadp	vs44,	vs32,	vs12

  2561. 	xvnmsubadp	vs45,	vs32,	vs13

  2562. 	xvnmsubadp	vs46,	vs32,	vs14

  2563. 	xvnmsubadp	vs47,	vs32,	vs15

  2564. 

  2565. //############### OFFSET 1 #######################

  2566. 

  2567. 	addi		T1,	T1,	1*SIZE

  2568. 

  2569. 	lxvdsx		vs0,	o0,	T1

  2570. 	lxvdsx		vs1,	o8,	T1

  2571. 	lxvdsx		vs2,	o16,	T1

  2572. 	lxvdsx		vs3,	o24,	T1

  2573. 

  2574. 	addi		T1,	T1,	32

  2575. 

  2576. 	lxvdsx		vs4,	o0,	T1

  2577. 	lxvdsx		vs5,	o8,	T1

  2578. 	lxvdsx		vs6,	o16,	T1

  2579. 	lxvdsx		vs7,	o24,	T1

  2580. 

  2581. 	addi		T1,	T1,	32

  2582. 

  2583. 	lxvdsx		vs8,	o0,	T1

  2584. 	lxvdsx		vs9,	o8,	T1

  2585. 	lxvdsx		vs10,	o16,	T1

  2586. 	lxvdsx		vs11,	o24,	T1

  2587. 

  2588. 	addi		T1,	T1,	32

  2589. 

  2590. 	lxvdsx		vs12,	o0,	T1

  2591. 	lxvdsx		vs13,	o8,	T1

  2592. 	lxvdsx		vs14,	o16,	T1

  2593. 

  2594. 	addi		T1,	T1,	24

  2595. 

  2596. 	xvmuldp		vs33,	vs33,	vs0

  2597. 	xvnmsubadp	vs34,	vs33,	vs1

  2598. 	xvnmsubadp	vs35,	vs33,	vs2

  2599. 	xvnmsubadp	vs36,	vs33,	vs3

  2600. 	xvnmsubadp	vs37,	vs33,	vs4

  2601. 	xvnmsubadp	vs38,	vs33,	vs5

  2602. 	xvnmsubadp	vs39,	vs33,	vs6

  2603. 	xvnmsubadp	vs40,	vs33,	vs7

  2604. 	xvnmsubadp	vs41,	vs33,	vs8

  2605. 	xvnmsubadp	vs42,	vs33,	vs9

  2606. 	xvnmsubadp	vs43,	vs33,	vs10

  2607. 	xvnmsubadp	vs44,	vs33,	vs11

  2608. 	xvnmsubadp	vs45,	vs33,	vs12

  2609. 	xvnmsubadp	vs46,	vs33,	vs13

  2610. 	xvnmsubadp	vs47,	vs33,	vs14

  2611. 

  2612. //############### OFFSET 2 #######################

  2613. 

  2614. 	addi		T1,	T1,	2*SIZE

  2615. 

  2616. 	lxvdsx		vs0,	o0,	T1

  2617. 	lxvdsx		vs1,	o8,	T1

  2618. 	lxvdsx		vs2,	o16,	T1

  2619. 	lxvdsx		vs3,	o24,	T1

  2620. 

  2621. 	addi		T1,	T1,	32

  2622. 

  2623. 	lxvdsx		vs4,	o0,	T1

  2624. 	lxvdsx		vs5,	o8,	T1

  2625. 	lxvdsx		vs6,	o16,	T1

  2626. 	lxvdsx		vs7,	o24,	T1

  2627. 

  2628. 	addi		T1,	T1,	32

  2629. 

  2630. 	lxvdsx		vs8,	o0,	T1

  2631. 	lxvdsx		vs9,	o8,	T1

  2632. 	lxvdsx		vs10,	o16,	T1

  2633. 	lxvdsx		vs11,	o24,	T1

  2634. 

  2635. 	addi		T1,	T1,	32

  2636. 

  2637. 	lxvdsx		vs12,	o0,	T1

  2638. 	lxvdsx		vs13,	o8,	T1

  2639. 

  2640. 	addi		T1,	T1,	16

  2641. 

  2642. 	xvmuldp		vs34,	vs34,	vs0

  2643. 	xvnmsubadp	vs35,	vs34,	vs1

  2644. 	xvnmsubadp	vs36,	vs34,	vs2

  2645. 	xvnmsubadp	vs37,	vs34,	vs3

  2646. 	xvnmsubadp	vs38,	vs34,	vs4

  2647. 	xvnmsubadp	vs39,	vs34,	vs5

  2648. 	xvnmsubadp	vs40,	vs34,	vs6

  2649. 	xvnmsubadp	vs41,	vs34,	vs7

  2650. 	xvnmsubadp	vs42,	vs34,	vs8

  2651. 	xvnmsubadp	vs43,	vs34,	vs9

  2652. 	xvnmsubadp	vs44,	vs34,	vs10

  2653. 	xvnmsubadp	vs45,	vs34,	vs11

  2654. 	xvnmsubadp	vs46,	vs34,	vs12

  2655. 	xvnmsubadp	vs47,	vs34,	vs13

  2656. 

  2657. //############### OFFSET 3 #######################

  2658. 

  2659. 	addi		T1,	T1,	3*SIZE

  2660. 

  2661. 	lxvdsx		vs0,	o0,	T1

  2662. 	lxvdsx		vs1,	o8,	T1

  2663. 	lxvdsx		vs2,	o16,	T1

  2664. 	lxvdsx		vs3,	o24,	T1

  2665. 

  2666. 	addi		T1,	T1,	32

  2667. 

  2668. 	lxvdsx		vs4,	o0,	T1

  2669. 	lxvdsx		vs5,	o8,	T1

  2670. 	lxvdsx		vs6,	o16,	T1

  2671. 	lxvdsx		vs7,	o24,	T1

  2672. 

  2673. 	addi		T1,	T1,	32

  2674. 

  2675. 	lxvdsx		vs8,	o0,	T1

  2676. 	lxvdsx		vs9,	o8,	T1

  2677. 	lxvdsx		vs10,	o16,	T1

  2678. 	lxvdsx		vs11,	o24,	T1

  2679. 

  2680. 	addi		T1,	T1,	32

  2681. 

  2682. 	lxvdsx		vs12,	o0,	T1

  2683. 

  2684. 	addi		T1,	T1,	8

  2685. 

  2686. 	xvmuldp		vs35,	vs35,	vs0

  2687. 	xvnmsubadp	vs36,	vs35,	vs1

  2688. 	xvnmsubadp	vs37,	vs35,	vs2

  2689. 	xvnmsubadp	vs38,	vs35,	vs3

  2690. 	xvnmsubadp	vs39,	vs35,	vs4

  2691. 	xvnmsubadp	vs40,	vs35,	vs5

  2692. 	xvnmsubadp	vs41,	vs35,	vs6

  2693. 	xvnmsubadp	vs42,	vs35,	vs7

  2694. 	xvnmsubadp	vs43,	vs35,	vs8

  2695. 	xvnmsubadp	vs44,	vs35,	vs9

  2696. 	xvnmsubadp	vs45,	vs35,	vs10

  2697. 	xvnmsubadp	vs46,	vs35,	vs11

  2698. 	xvnmsubadp	vs47,	vs35,	vs12

  2699. 

  2700. //############### OFFSET 4 #######################

  2701. 

  2702. 	addi		T1,	T1,	4*SIZE

  2703. 

  2704. 	lxvdsx		vs0,	o0,	T1

  2705. 	lxvdsx		vs1,	o8,	T1

  2706. 	lxvdsx		vs2,	o16,	T1

  2707. 	lxvdsx		vs3,	o24,	T1

  2708. 

  2709. 	addi		T1,	T1,	32

  2710. 

  2711. 	lxvdsx		vs4,	o0,	T1

  2712. 	lxvdsx		vs5,	o8,	T1

  2713. 	lxvdsx		vs6,	o16,	T1

  2714. 	lxvdsx		vs7,	o24,	T1

  2715. 

  2716. 	addi		T1,	T1,	32

  2717. 

  2718. 	lxvdsx		vs8,	o0,	T1

  2719. 	lxvdsx		vs9,	o8,	T1

  2720. 	lxvdsx		vs10,	o16,	T1

  2721. 	lxvdsx		vs11,	o24,	T1

  2722. 

  2723. 	addi		T1,	T1,	32

  2724. 

  2725. 	xvmuldp		vs36,	vs36,	vs0

  2726. 	xvnmsubadp	vs37,	vs36,	vs1

  2727. 	xvnmsubadp	vs38,	vs36,	vs2

  2728. 	xvnmsubadp	vs39,	vs36,	vs3

  2729. 	xvnmsubadp	vs40,	vs36,	vs4

  2730. 	xvnmsubadp	vs41,	vs36,	vs5

  2731. 	xvnmsubadp	vs42,	vs36,	vs6

  2732. 	xvnmsubadp	vs43,	vs36,	vs7

  2733. 	xvnmsubadp	vs44,	vs36,	vs8

  2734. 	xvnmsubadp	vs45,	vs36,	vs9

  2735. 	xvnmsubadp	vs46,	vs36,	vs10

  2736. 	xvnmsubadp	vs47,	vs36,	vs11

  2737. 

  2738. //############### OFFSET 5 #######################

  2739. 

  2740. 	addi		T1,	T1,	5*SIZE

  2741. 

  2742. 	lxvdsx		vs0,	o0,	T1

  2743. 	lxvdsx		vs1,	o8,	T1

  2744. 	lxvdsx		vs2,	o16,	T1

  2745. 	lxvdsx		vs3,	o24,	T1

  2746. 

  2747. 	addi		T1,	T1,	32

  2748. 

  2749. 	lxvdsx		vs4,	o0,	T1

  2750. 	lxvdsx		vs5,	o8,	T1

  2751. 	lxvdsx		vs6,	o16,	T1

  2752. 	lxvdsx		vs7,	o24,	T1

  2753. 

  2754. 	addi		T1,	T1,	32

  2755. 

  2756. 	lxvdsx		vs8,	o0,	T1

  2757. 	lxvdsx		vs9,	o8,	T1

  2758. 	lxvdsx		vs10,	o16,	T1

  2759. 

  2760. 	addi		T1,	T1,	24

  2761. 

  2762. 	xvmuldp		vs37,	vs37,	vs0

  2763. 	xvnmsubadp	vs38,	vs37,	vs1

  2764. 	xvnmsubadp	vs39,	vs37,	vs2

  2765. 	xvnmsubadp	vs40,	vs37,	vs3

  2766. 	xvnmsubadp	vs41,	vs37,	vs4

  2767. 	xvnmsubadp	vs42,	vs37,	vs5

  2768. 	xvnmsubadp	vs43,	vs37,	vs6

  2769. 	xvnmsubadp	vs44,	vs37,	vs7

  2770. 	xvnmsubadp	vs45,	vs37,	vs8

  2771. 	xvnmsubadp	vs46,	vs37,	vs9

  2772. 	xvnmsubadp	vs47,	vs37,	vs10

  2773. 

  2774. //############### OFFSET 6 #######################

  2775. 

  2776. 	addi		T1,	T1,	6*SIZE

  2777. 

  2778. 	lxvdsx		vs0,	o0,	T1

  2779. 	lxvdsx		vs1,	o8,	T1

  2780. 	lxvdsx		vs2,	o16,	T1

  2781. 	lxvdsx		vs3,	o24,	T1

  2782. 

  2783. 	addi		T1,	T1,	32

  2784. 

  2785. 	lxvdsx		vs4,	o0,	T1

  2786. 	lxvdsx		vs5,	o8,	T1

  2787. 	lxvdsx		vs6,	o16,	T1

  2788. 	lxvdsx		vs7,	o24,	T1

  2789. 

  2790. 	addi		T1,	T1,	32

  2791. 

  2792. 	lxvdsx		vs8,	o0,	T1

  2793. 	lxvdsx		vs9,	o8,	T1

  2794. 

  2795. 	addi		T1,	T1,	16

  2796. 

  2797. 	xvmuldp		vs38,	vs38,	vs0

  2798. 	xvnmsubadp	vs39,	vs38,	vs1

  2799. 	xvnmsubadp	vs40,	vs38,	vs2

  2800. 	xvnmsubadp	vs41,	vs38,	vs3

  2801. 	xvnmsubadp	vs42,	vs38,	vs4

  2802. 	xvnmsubadp	vs43,	vs38,	vs5

  2803. 	xvnmsubadp	vs44,	vs38,	vs6

  2804. 	xvnmsubadp	vs45,	vs38,	vs7

  2805. 	xvnmsubadp	vs46,	vs38,	vs8

  2806. 	xvnmsubadp	vs47,	vs38,	vs9

  2807. 

  2808. //############### OFFSET 7 #######################

  2809. 

  2810. 	addi		T1,	T1,	7*SIZE

  2811. 

  2812. 	lxvdsx		vs0,	o0,	T1

  2813. 	lxvdsx		vs1,	o8,	T1

  2814. 	lxvdsx		vs2,	o16,	T1

  2815. 	lxvdsx		vs3,	o24,	T1

  2816. 

  2817. 	addi		T1,	T1,	32

  2818. 

  2819. 	lxvdsx		vs4,	o0,	T1

  2820. 	lxvdsx		vs5,	o8,	T1

  2821. 	lxvdsx		vs6,	o16,	T1

  2822. 	lxvdsx		vs7,	o24,	T1

  2823. 

  2824. 	addi		T1,	T1,	32

  2825. 

  2826. 	lxvdsx		vs8,	o0,	T1

  2827. 

  2828. 	addi		T1,	T1,	8

  2829. 

  2830. 	xvmuldp		vs39,	vs39,	vs0

  2831. 	xvnmsubadp	vs40,	vs39,	vs1

  2832. 	xvnmsubadp	vs41,	vs39,	vs2

  2833. 	xvnmsubadp	vs42,	vs39,	vs3

  2834. 	xvnmsubadp	vs43,	vs39,	vs4

  2835. 	xvnmsubadp	vs44,	vs39,	vs5

  2836. 	xvnmsubadp	vs45,	vs39,	vs6

  2837. 	xvnmsubadp	vs46,	vs39,	vs7

  2838. 	xvnmsubadp	vs47,	vs39,	vs8

  2839. 

  2840. //############### OFFSET 8 #######################

  2841. 

  2842. 	addi		T1,	T1,	8*SIZE

  2843. 

  2844. 	lxvdsx		vs0,	o0,	T1

  2845. 	lxvdsx		vs1,	o8,	T1

  2846. 	lxvdsx		vs2,	o16,	T1

  2847. 	lxvdsx		vs3,	o24,	T1

  2848. 

  2849. 	addi		T1,	T1,	32

  2850. 

  2851. 	lxvdsx		vs4,	o0,	T1

  2852. 	lxvdsx		vs5,	o8,	T1

  2853. 	lxvdsx		vs6,	o16,	T1

  2854. 	lxvdsx		vs7,	o24,	T1

  2855. 

  2856. 	addi		T1,	T1,	32

  2857. 

  2858. 	xvmuldp		vs40,	vs40,	vs0

  2859. 	xvnmsubadp	vs41,	vs40,	vs1

  2860. 	xvnmsubadp	vs42,	vs40,	vs2

  2861. 	xvnmsubadp	vs43,	vs40,	vs3

  2862. 	xvnmsubadp	vs44,	vs40,	vs4

  2863. 	xvnmsubadp	vs45,	vs40,	vs5

  2864. 	xvnmsubadp	vs46,	vs40,	vs6

  2865. 	xvnmsubadp	vs47,	vs40,	vs7

  2866. 

  2867. //############### OFFSET 9 #######################

  2868. 

  2869. 	addi		T1,	T1,	9*SIZE

  2870. 

  2871. 	lxvdsx		vs0,	o0,	T1

  2872. 	lxvdsx		vs1,	o8,	T1

  2873. 	lxvdsx		vs2,	o16,	T1

  2874. 	lxvdsx		vs3,	o24,	T1

  2875. 

  2876. 	addi		T1,	T1,	32

  2877. 

  2878. 	lxvdsx		vs4,	o0,	T1

  2879. 	lxvdsx		vs5,	o8,	T1

  2880. 	lxvdsx		vs6,	o16,	T1

  2881. 

  2882. 	addi		T1,	T1,	24

  2883. 

  2884. 	xvmuldp		vs41,	vs41,	vs0

  2885. 	xvnmsubadp	vs42,	vs41,	vs1

  2886. 	xvnmsubadp	vs43,	vs41,	vs2

  2887. 	xvnmsubadp	vs44,	vs41,	vs3

  2888. 	xvnmsubadp	vs45,	vs41,	vs4

  2889. 	xvnmsubadp	vs46,	vs41,	vs5

  2890. 	xvnmsubadp	vs47,	vs41,	vs6

  2891. 

  2892. //############### OFFSET 10 #######################

  2893. 

  2894. 	addi		T1,	T1,	10*SIZE

  2895. 

  2896. 	lxvdsx		vs0,	o0,	T1

  2897. 	lxvdsx		vs1,	o8,	T1

  2898. 	lxvdsx		vs2,	o16,	T1

  2899. 	lxvdsx		vs3,	o24,	T1

  2900. 

  2901. 	addi		T1,	T1,	32

  2902. 

  2903. 	lxvdsx		vs4,	o0,	T1

  2904. 	lxvdsx		vs5,	o8,	T1

  2905. 

  2906. 	addi		T1,	T1,	16

  2907. 

  2908. 	xvmuldp		vs42,	vs42,	vs0

  2909. 	xvnmsubadp	vs43,	vs42,	vs1

  2910. 	xvnmsubadp	vs44,	vs42,	vs2

  2911. 	xvnmsubadp	vs45,	vs42,	vs3

  2912. 	xvnmsubadp	vs46,	vs42,	vs4

  2913. 	xvnmsubadp	vs47,	vs42,	vs5

  2914. 

  2915. //############### OFFSET 11 #######################

  2916. 

  2917. 	addi		T1,	T1,	11*SIZE

  2918. 

  2919. 	lxvdsx		vs0,	o0,	T1

  2920. 	lxvdsx		vs1,	o8,	T1

  2921. 	lxvdsx		vs2,	o16,	T1

  2922. 	lxvdsx		vs3,	o24,	T1

  2923. 

  2924. 	addi		T1,	T1,	32

  2925. 

  2926. 	lxvdsx		vs4,	o0,	T1

  2927. 

  2928. 	addi		T1,	T1,	8

  2929. 

  2930. 	xvmuldp		vs43,	vs43,	vs0

  2931. 	xvnmsubadp	vs44,	vs43,	vs1

  2932. 	xvnmsubadp	vs45,	vs43,	vs2

  2933. 	xvnmsubadp	vs46,	vs43,	vs3

  2934. 	xvnmsubadp	vs47,	vs43,	vs4

  2935. 

  2936. //############### OFFSET 12 #######################

  2937. 

  2938. 	addi		T1,	T1,	12*SIZE

  2939. 

  2940. 	lxvdsx		vs0,	o0,	T1

  2941. 	lxvdsx		vs1,	o8,	T1

  2942. 	lxvdsx		vs2,	o16,	T1

  2943. 	lxvdsx		vs3,	o24,	T1

  2944. 

  2945. 	addi		T1,	T1,	32

  2946. 

  2947. 	xvmuldp		vs44,	vs44,	vs0

  2948. 	xvnmsubadp	vs45,	vs44,	vs1

  2949. 	xvnmsubadp	vs46,	vs44,	vs2

  2950. 	xvnmsubadp	vs47,	vs44,	vs3

  2951. 

  2952. //############### OFFSET 13 #######################

  2953. 

  2954. 	addi		T1,	T1,	13*SIZE

  2955. 

  2956. 	lxvdsx		vs0,	o0,	T1

  2957. 	lxvdsx		vs1,	o8,	T1

  2958. 	lxvdsx		vs2,	o16,	T1

  2959. 

  2960. 	addi		T1,	T1,	24

  2961. 

  2962. 	xvmuldp		vs45,	vs45,	vs0

  2963. 	xvnmsubadp	vs46,	vs45,	vs1

  2964. 	xvnmsubadp	vs47,	vs45,	vs2

  2965. 

  2966. //############### OFFSET 14 #######################

  2967. 

  2968. 	addi		T1,	T1,	14*SIZE

  2969. 

  2970. 	lxvdsx		vs0,	o0,	T1

  2971. 	lxvdsx		vs1,	o8,	T1

  2972. 

  2973. 	addi		T1,	T1,	16

  2974. 

  2975. 	xvmuldp		vs46,	vs46,	vs0

  2976. 	xvnmsubadp	vs47,	vs46,	vs1

  2977. 

  2978. //############### OFFSET 15 #######################

  2979. 

  2980. 	addi		T1,	T1,	15*SIZE

  2981. 

  2982. 	lxvdsx		vs0,	o0,	T1

  2983. 

  2984. 	addi		T1,	T1,	8

  2985. 

  2986. 	xvmuldp		vs47,	vs47,	vs0

  2987. 

  2988. //############### SAVE B #######################

  2989. 

  2990. 

  2991. 	mr		T1,	BO	

  2992. 

  2993. 

  2994. 	stxvd2x		vs32,	o0,	T1

  2995. 	stxvd2x		vs33,	o16,	T1

  2996. 	stxvd2x		vs34,	o32,	T1

  2997. 	stxvd2x		vs35,	o48,	T1

  2998. 

  2999. 	addi		T1,	T1,	64

  3000. 

  3001. 	stxvd2x		vs36,	o0,	T1

  3002. 	stxvd2x		vs37,	o16,	T1

  3003. 	stxvd2x		vs38,	o32,	T1

  3004. 	stxvd2x		vs39,	o48,	T1

  3005. 

  3006. 	addi		T1,	T1,	64

  3007. 

  3008. 	stxvd2x		vs40,	o0,	T1

  3009. 	stxvd2x		vs41,	o16,	T1

  3010. 	stxvd2x		vs42,	o32,	T1

  3011. 	stxvd2x		vs43,	o48,	T1

  3012. 

  3013. 	addi		T1,	T1,	64

  3014. 

  3015. 	stxvd2x		vs44,	o0,	T1

  3016. 	stxvd2x		vs45,	o16,	T1

  3017. 	stxvd2x		vs46,	o32,	T1

  3018. 	stxvd2x		vs47,	o48,	T1

  3019. 

  3020. //############### SAVE C #######################

  3021. 

  3022. 

  3023. 	mr		T1,	CO

  3024. 	add		T2,	CO,	LDC

  3025. 

  3026. 

  3027. 	stxsdx		vs32,	o0,	T1

  3028. 	XXSWAPD(vs32,vs32)

  3029. 	stxsdx		vs33,	o8,	T1

  3030. 	XXSWAPD(vs33,vs33)

  3031. 	stxsdx		vs34,	o16,	T1

  3032. 	XXSWAPD(vs34,vs34)

  3033. 	stxsdx		vs35,	o24,	T1

  3034. 	XXSWAPD(vs35,vs35)

  3035. 

  3036. 	addi		T1,	T1,	32

  3037. 

  3038. 	stxsdx		vs36,	o0,	T1

  3039. 	XXSWAPD(vs36,vs36)

  3040. 	stxsdx		vs37,	o8,	T1

  3041. 	XXSWAPD(vs37,vs37)

  3042. 	stxsdx		vs38,	o16,	T1

  3043. 	XXSWAPD(vs38,vs38)

  3044. 	stxsdx		vs39,	o24,	T1

  3045. 	XXSWAPD(vs39,vs39)

  3046. 

  3047. 	addi		T1,	T1,	32

  3048. 

  3049. 	stxsdx		vs40,	o0,	T1

  3050. 	XXSWAPD(vs40,vs40)

  3051. 	stxsdx		vs41,	o8,	T1

  3052. 	XXSWAPD(vs41,vs41)

  3053. 	stxsdx		vs42,	o16,	T1

  3054. 	XXSWAPD(vs42,vs42)

  3055. 	stxsdx		vs43,	o24,	T1

  3056. 	XXSWAPD(vs43,vs43)

  3057. 

  3058. 	addi		T1,	T1,	32

  3059. 

  3060. 	stxsdx		vs44,	o0,	T1

  3061. 	XXSWAPD(vs44,vs44)

  3062. 	stxsdx		vs45,	o8,	T1

  3063. 	XXSWAPD(vs45,vs45)

  3064. 	stxsdx		vs46,	o16,	T1

  3065. 	XXSWAPD(vs46,vs46)

  3066. 	stxsdx		vs47,	o24,	T1

  3067. 	XXSWAPD(vs47,vs47)

  3068. 

  3069. 	stxsdx		vs32,	o0,	T2

  3070. 	stxsdx		vs33,	o8,	T2

  3071. 	stxsdx		vs34,	o16,	T2

  3072. 	stxsdx		vs35,	o24,	T2

  3073. 

  3074. 	addi		T2,	T2,	32

  3075. 

  3076. 	stxsdx		vs36,	o0,	T2

  3077. 	stxsdx		vs37,	o8,	T2

  3078. 	stxsdx		vs38,	o16,	T2

  3079. 	stxsdx		vs39,	o24,	T2

  3080. 

  3081. 	addi		T2,	T2,	32

  3082. 

  3083. 	stxsdx		vs40,	o0,	T2

  3084. 	stxsdx		vs41,	o8,	T2

  3085. 	stxsdx		vs42,	o16,	T2

  3086. 	stxsdx		vs43,	o24,	T2

  3087. 

  3088. 	addi		T2,	T2,	32

  3089. 

  3090. 	stxsdx		vs44,	o0,	T2

  3091. 	stxsdx		vs45,	o8,	T2

  3092. 	stxsdx		vs46,	o16,	T2

  3093. 	stxsdx		vs47,	o24,	T2

  3094. 

  3095. #if defined(_AIX)

  3096. ')

  3097. #else

  3098. .endm

  3099. #endif

  3100. 

  3101. 

  3102. /*##########################################################################################

  3103. 			 SOLVE_LT 8x2

  3104. ##########################################################################################*/

  3105. 

  3106. #if defined(_AIX)

  3107. define(`SOLVE_LT_8x2', `

  3108. #else

  3109. .macro SOLVE_LT_8x2

  3110. #endif

  3111. 

  3112. 	xxpermdi	vs0,	vs32,	vs33,	0

  3113. 	xxpermdi	vs1,	vs32,	vs33,	3

  3114. 

  3115. 	xxpermdi	vs2,	vs34,	vs35,	0

  3116. 	xxpermdi	vs3,	vs34,	vs35,	3

  3117. 

  3118. 	xxpermdi	vs4,	vs36,	vs37,	0

  3119. 	xxpermdi	vs5,	vs36,	vs37,	3

  3120. 

  3121. 	xxpermdi	vs6,	vs38,	vs39,	0

  3122. 	xxpermdi	vs7,	vs38,	vs39,	3

  3123. 

  3124. 

  3125. //############### LOAD B #######################

  3126. 

  3127. 

  3128. 	mr		T1,	BO	

  3129. 

  3130. 	lxvd2x		vs32,	o0,	T1

  3131. 	lxvd2x		vs33,	o16,	T1

  3132. 	lxvd2x		vs34,	o32,	T1

  3133. 	lxvd2x		vs35,	o48,	T1

  3134. 

  3135. 	addi		T1,	T1,	64

  3136. 

  3137. 	lxvd2x		vs36,	o0,	T1

  3138. 	lxvd2x		vs37,	o16,	T1

  3139. 	lxvd2x		vs38,	o32,	T1

  3140. 	lxvd2x		vs39,	o48,	T1

  3141. 

  3142. 	xvsubdp		vs32,	vs32,	vs0

  3143. 	xvsubdp		vs33,	vs33,	vs1

  3144. 	xvsubdp		vs34,	vs34,	vs2

  3145. 	xvsubdp		vs35,	vs35,	vs3

  3146. 	xvsubdp		vs36,	vs36,	vs4

  3147. 	xvsubdp		vs37,	vs37,	vs5

  3148. 	xvsubdp		vs38,	vs38,	vs6

  3149. 	xvsubdp		vs39,	vs39,	vs7

  3150. 

  3151. 	mr		T1,	AO	

  3152. 

  3153. 

  3154. //############### OFFSET 0 #######################

  3155. 

  3156. 	lxvdsx		vs0,	o0,	T1

  3157. 	lxvdsx		vs1,	o8,	T1

  3158. 	lxvdsx		vs2,	o16,	T1

  3159. 	lxvdsx		vs3,	o24,	T1

  3160. 

  3161. 	addi		T1,	T1,	32

  3162. 

  3163. 	lxvdsx		vs4,	o0,	T1

  3164. 	lxvdsx		vs5,	o8,	T1

  3165. 	lxvdsx		vs6,	o16,	T1

  3166. 	lxvdsx		vs7,	o24,	T1

  3167. 

  3168. 	addi		T1,	T1,	32

  3169. 

  3170. 	xvmuldp		vs32,	vs32,	vs0

  3171. 	xvnmsubadp	vs33,	vs32,	vs1

  3172. 	xvnmsubadp	vs34,	vs32,	vs2

  3173. 	xvnmsubadp	vs35,	vs32,	vs3

  3174. 	xvnmsubadp	vs36,	vs32,	vs4

  3175. 	xvnmsubadp	vs37,	vs32,	vs5

  3176. 	xvnmsubadp	vs38,	vs32,	vs6

  3177. 	xvnmsubadp	vs39,	vs32,	vs7

  3178. 

  3179. //############### OFFSET 1 #######################

  3180. 

  3181. 	addi		T1,	T1,	1*SIZE

  3182. 

  3183. 	lxvdsx		vs0,	o0,	T1

  3184. 	lxvdsx		vs1,	o8,	T1

  3185. 	lxvdsx		vs2,	o16,	T1

  3186. 	lxvdsx		vs3,	o24,	T1

  3187. 

  3188. 	addi		T1,	T1,	32

  3189. 

  3190. 	lxvdsx		vs4,	o0,	T1

  3191. 	lxvdsx		vs5,	o8,	T1

  3192. 	lxvdsx		vs6,	o16,	T1

  3193. 

  3194. 	addi		T1,	T1,	24

  3195. 

  3196. 	xvmuldp		vs33,	vs33,	vs0

  3197. 	xvnmsubadp	vs34,	vs33,	vs1

  3198. 	xvnmsubadp	vs35,	vs33,	vs2

  3199. 	xvnmsubadp	vs36,	vs33,	vs3

  3200. 	xvnmsubadp	vs37,	vs33,	vs4

  3201. 	xvnmsubadp	vs38,	vs33,	vs5

  3202. 	xvnmsubadp	vs39,	vs33,	vs6

  3203. 

  3204. //############### OFFSET 2 #######################

  3205. 

  3206. 	addi		T1,	T1,	2*SIZE

  3207. 

  3208. 	lxvdsx		vs0,	o0,	T1

  3209. 	lxvdsx		vs1,	o8,	T1

  3210. 	lxvdsx		vs2,	o16,	T1

  3211. 	lxvdsx		vs3,	o24,	T1

  3212. 

  3213. 	addi		T1,	T1,	32

  3214. 

  3215. 	lxvdsx		vs4,	o0,	T1

  3216. 	lxvdsx		vs5,	o8,	T1

  3217. 

  3218. 	addi		T1,	T1,	16

  3219. 

  3220. 	xvmuldp		vs34,	vs34,	vs0

  3221. 	xvnmsubadp	vs35,	vs34,	vs1

  3222. 	xvnmsubadp	vs36,	vs34,	vs2

  3223. 	xvnmsubadp	vs37,	vs34,	vs3

  3224. 	xvnmsubadp	vs38,	vs34,	vs4

  3225. 	xvnmsubadp	vs39,	vs34,	vs5

  3226. 

  3227. //############### OFFSET 3 #######################

  3228. 

  3229. 	addi		T1,	T1,	3*SIZE

  3230. 

  3231. 	lxvdsx		vs0,	o0,	T1

  3232. 	lxvdsx		vs1,	o8,	T1

  3233. 	lxvdsx		vs2,	o16,	T1

  3234. 	lxvdsx		vs3,	o24,	T1

  3235. 

  3236. 	addi		T1,	T1,	32

  3237. 

  3238. 	lxvdsx		vs4,	o0,	T1

  3239. 

  3240. 	addi		T1,	T1,	8

  3241. 

  3242. 	xvmuldp		vs35,	vs35,	vs0

  3243. 	xvnmsubadp	vs36,	vs35,	vs1

  3244. 	xvnmsubadp	vs37,	vs35,	vs2

  3245. 	xvnmsubadp	vs38,	vs35,	vs3

  3246. 	xvnmsubadp	vs39,	vs35,	vs4

  3247. 

  3248. //############### OFFSET 4 #######################

  3249. 

  3250. 	addi		T1,	T1,	4*SIZE

  3251. 

  3252. 	lxvdsx		vs0,	o0,	T1

  3253. 	lxvdsx		vs1,	o8,	T1

  3254. 	lxvdsx		vs2,	o16,	T1

  3255. 	lxvdsx		vs3,	o24,	T1

  3256. 

  3257. 	addi		T1,	T1,	32

  3258. 

  3259. 	xvmuldp		vs36,	vs36,	vs0

  3260. 	xvnmsubadp	vs37,	vs36,	vs1

  3261. 	xvnmsubadp	vs38,	vs36,	vs2

  3262. 	xvnmsubadp	vs39,	vs36,	vs3

  3263. 

  3264. //############### OFFSET 5 #######################

  3265. 

  3266. 	addi		T1,	T1,	5*SIZE

  3267. 

  3268. 	lxvdsx		vs0,	o0,	T1

  3269. 	lxvdsx		vs1,	o8,	T1

  3270. 	lxvdsx		vs2,	o16,	T1

  3271. 

  3272. 	addi		T1,	T1,	24

  3273. 

  3274. 	xvmuldp		vs37,	vs37,	vs0

  3275. 	xvnmsubadp	vs38,	vs37,	vs1

  3276. 	xvnmsubadp	vs39,	vs37,	vs2

  3277. 

  3278. //############### OFFSET 6 #######################

  3279. 

  3280. 	addi		T1,	T1,	6*SIZE

  3281. 

  3282. 	lxvdsx		vs0,	o0,	T1

  3283. 	lxvdsx		vs1,	o8,	T1

  3284. 

  3285. 	addi		T1,	T1,	16

  3286. 

  3287. 	xvmuldp		vs38,	vs38,	vs0

  3288. 	xvnmsubadp	vs39,	vs38,	vs1

  3289. 

  3290. //############### OFFSET 7 #######################

  3291. 

  3292. 	addi		T1,	T1,	7*SIZE

  3293. 

  3294. 	lxvdsx		vs0,	o0,	T1

  3295. 

  3296. 	addi		T1,	T1,	8

  3297. 

  3298. 	xvmuldp		vs39,	vs39,	vs0

  3299. 

  3300. //############### SAVE B #######################

  3301. 

  3302. 

  3303. 	mr		T1,	BO	

  3304. 

  3305. 

  3306. 	stxvd2x		vs32,	o0,	T1

  3307. 	stxvd2x		vs33,	o16,	T1

  3308. 	stxvd2x		vs34,	o32,	T1

  3309. 	stxvd2x		vs35,	o48,	T1

  3310. 

  3311. 	addi		T1,	T1,	64

  3312. 

  3313. 	stxvd2x		vs36,	o0,	T1

  3314. 	stxvd2x		vs37,	o16,	T1

  3315. 	stxvd2x		vs38,	o32,	T1

  3316. 	stxvd2x		vs39,	o48,	T1

  3317. 

  3318. //############### SAVE C #######################

  3319. 

  3320. 

  3321. 	mr		T1,	CO

  3322. 	add		T2,	CO,	LDC

  3323. 

  3324. 

  3325. 	stxsdx		vs32,	o0,	T1

  3326. 	XXSWAPD(vs32,vs32)

  3327. 	stxsdx		vs33,	o8,	T1

  3328. 	XXSWAPD(vs33,vs33)

  3329. 	stxsdx		vs34,	o16,	T1

  3330. 	XXSWAPD(vs34,vs34)

  3331. 	stxsdx		vs35,	o24,	T1

  3332. 	XXSWAPD(vs35,vs35)

  3333. 

  3334. 	addi		T1,	T1,	32

  3335. 

  3336. 	stxsdx		vs36,	o0,	T1

  3337. 	XXSWAPD(vs36,vs36)

  3338. 	stxsdx		vs37,	o8,	T1

  3339. 	XXSWAPD(vs37,vs37)

  3340. 	stxsdx		vs38,	o16,	T1

  3341. 	XXSWAPD(vs38,vs38)

  3342. 	stxsdx		vs39,	o24,	T1

  3343. 	XXSWAPD(vs39,vs39)

  3344. 

  3345. 	stxsdx		vs32,	o0,	T2

  3346. 	stxsdx		vs33,	o8,	T2

  3347. 	stxsdx		vs34,	o16,	T2

  3348. 	stxsdx		vs35,	o24,	T2

  3349. 

  3350. 	addi		T2,	T2,	32

  3351. 

  3352. 	stxsdx		vs36,	o0,	T2

  3353. 	stxsdx		vs37,	o8,	T2

  3354. 	stxsdx		vs38,	o16,	T2

  3355. 	stxsdx		vs39,	o24,	T2

  3356. 

  3357. #if defined(_AIX)

  3358. ')

  3359. #else

  3360. .endm

  3361. #endif

  3362. 

  3363. 

  3364. /*##########################################################################################

  3365. 			 SOLVE_LT 4x2

  3366. ##########################################################################################*/

  3367. 

  3368. #if defined(_AIX)

  3369. define(`SOLVE_LT_4x2', `

  3370. #else

  3371. .macro SOLVE_LT_4x2

  3372. #endif

  3373. 

  3374. 	xxpermdi	vs0,	vs32,	vs33,	0

  3375. 	xxpermdi	vs1,	vs32,	vs33,	3

  3376. 

  3377. 	xxpermdi	vs2,	vs34,	vs35,	0

  3378. 	xxpermdi	vs3,	vs34,	vs35,	3

  3379. 

  3380. 

  3381. //############### LOAD B #######################

  3382. 

  3383. 

  3384. 	mr		T1,	BO	

  3385. 

  3386. 	lxvd2x		vs32,	o0,	T1

  3387. 	lxvd2x		vs33,	o16,	T1

  3388. 	lxvd2x		vs34,	o32,	T1

  3389. 	lxvd2x		vs35,	o48,	T1

  3390. 

  3391. 	xvsubdp		vs32,	vs32,	vs0

  3392. 	xvsubdp		vs33,	vs33,	vs1

  3393. 	xvsubdp		vs34,	vs34,	vs2

  3394. 	xvsubdp		vs35,	vs35,	vs3

  3395. 

  3396. 	mr		T1,	AO	

  3397. 

  3398. 

  3399. //############### OFFSET 0 #######################

  3400. 

  3401. 	lxvdsx		vs0,	o0,	T1

  3402. 	lxvdsx		vs1,	o8,	T1

  3403. 	lxvdsx		vs2,	o16,	T1

  3404. 	lxvdsx		vs3,	o24,	T1

  3405. 

  3406. 	addi		T1,	T1,	32

  3407. 

  3408. 	xvmuldp		vs32,	vs32,	vs0

  3409. 	xvnmsubadp	vs33,	vs32,	vs1

  3410. 	xvnmsubadp	vs34,	vs32,	vs2

  3411. 	xvnmsubadp	vs35,	vs32,	vs3

  3412. 

  3413. //############### OFFSET 1 #######################

  3414. 

  3415. 	addi		T1,	T1,	1*SIZE

  3416. 

  3417. 	lxvdsx		vs0,	o0,	T1

  3418. 	lxvdsx		vs1,	o8,	T1

  3419. 	lxvdsx		vs2,	o16,	T1

  3420. 

  3421. 	addi		T1,	T1,	24

  3422. 

  3423. 	xvmuldp		vs33,	vs33,	vs0

  3424. 	xvnmsubadp	vs34,	vs33,	vs1

  3425. 	xvnmsubadp	vs35,	vs33,	vs2

  3426. 

  3427. //############### OFFSET 2 #######################

  3428. 

  3429. 	addi		T1,	T1,	2*SIZE

  3430. 

  3431. 	lxvdsx		vs0,	o0,	T1

  3432. 	lxvdsx		vs1,	o8,	T1

  3433. 

  3434. 	addi		T1,	T1,	16

  3435. 

  3436. 	xvmuldp		vs34,	vs34,	vs0

  3437. 	xvnmsubadp	vs35,	vs34,	vs1

  3438. 

  3439. //############### OFFSET 3 #######################

  3440. 

  3441. 	addi		T1,	T1,	3*SIZE

  3442. 

  3443. 	lxvdsx		vs0,	o0,	T1

  3444. 

  3445. 	addi		T1,	T1,	8

  3446. 

  3447. 	xvmuldp		vs35,	vs35,	vs0

  3448. 

  3449. //############### SAVE B #######################

  3450. 

  3451. 

  3452. 	mr		T1,	BO	

  3453. 

  3454. 

  3455. 	stxvd2x		vs32,	o0,	T1

  3456. 	stxvd2x		vs33,	o16,	T1

  3457. 	stxvd2x		vs34,	o32,	T1

  3458. 	stxvd2x		vs35,	o48,	T1

  3459. 

  3460. //############### SAVE C #######################

  3461. 

  3462. 

  3463. 	mr		T1,	CO

  3464. 	add		T2,	CO,	LDC

  3465. 

  3466. 

  3467. 	stxsdx		vs32,	o0,	T1

  3468. 	XXSWAPD(vs32,vs32)

  3469. 	stxsdx		vs33,	o8,	T1

  3470. 	XXSWAPD(vs33,vs33)

  3471. 	stxsdx		vs34,	o16,	T1

  3472. 	XXSWAPD(vs34,vs34)

  3473. 	stxsdx		vs35,	o24,	T1

  3474. 	XXSWAPD(vs35,vs35)

  3475. 

  3476. 	stxsdx		vs32,	o0,	T2

  3477. 	stxsdx		vs33,	o8,	T2

  3478. 	stxsdx		vs34,	o16,	T2

  3479. 	stxsdx		vs35,	o24,	T2

  3480. 

  3481. #if defined(_AIX)

  3482. ')

  3483. #else

  3484. .endm

  3485. #endif

  3486. 

  3487. 

  3488. /*##########################################################################################

  3489. 			 SOLVE_LT 2x2

  3490. ##########################################################################################*/

  3491. 

  3492. #if defined(_AIX)

  3493. define(`SOLVE_LT_2x2', `

  3494. #else

  3495. .macro SOLVE_LT_2x2

  3496. #endif

  3497. 

  3498. 	xxpermdi	vs0,	vs32,	vs33,	0

  3499. 	xxpermdi	vs1,	vs32,	vs33,	3

  3500. 

  3501. 

  3502. //############### LOAD B #######################

  3503. 

  3504. 

  3505. 	mr		T1,	BO	

  3506. 

  3507. 	lxvd2x		vs32,	o0,	T1

  3508. 	lxvd2x		vs33,	o16,	T1

  3509. 

  3510. 	xvsubdp		vs32,	vs32,	vs0

  3511. 	xvsubdp		vs33,	vs33,	vs1

  3512. 

  3513. 	mr		T1,	AO	

  3514. 

  3515. 

  3516. //############### OFFSET 0 #######################

  3517. 

  3518. 	lxvdsx		vs0,	o0,	T1

  3519. 	lxvdsx		vs1,	o8,	T1

  3520. 

  3521. 	addi		T1,	T1,	16

  3522. 

  3523. 	xvmuldp		vs32,	vs32,	vs0

  3524. 	xvnmsubadp	vs33,	vs32,	vs1

  3525. 

  3526. //############### OFFSET 1 #######################

  3527. 

  3528. 	addi		T1,	T1,	1*SIZE

  3529. 

  3530. 	lxvdsx		vs0,	o0,	T1

  3531. 

  3532. 	addi		T1,	T1,	8

  3533. 

  3534. 	xvmuldp		vs33,	vs33,	vs0

  3535. 

  3536. //############### SAVE B #######################

  3537. 

  3538. 

  3539. 	mr		T1,	BO	

  3540. 

  3541. 

  3542. 	stxvd2x		vs32,	o0,	T1

  3543. 	stxvd2x		vs33,	o16,	T1

  3544. 

  3545. //############### SAVE C #######################

  3546. 

  3547. 

  3548. 	mr		T1,	CO

  3549. 	add		T2,	CO,	LDC

  3550. 

  3551. 

  3552. 	stxsdx		vs32,	o0,	T1

  3553. 	XXSWAPD(vs32,vs32)

  3554. 	stxsdx		vs33,	o8,	T1

  3555. 	XXSWAPD(vs33,vs33)

  3556. 

  3557. 	stxsdx		vs32,	o0,	T2

  3558. 	stxsdx		vs33,	o8,	T2

  3559. 

  3560. #if defined(_AIX)

  3561. ')

  3562. #else

  3563. .endm

  3564. #endif

  3565. 

  3566. 

  3567. /*##########################################################################################

  3568. 			 SOLVE_LT 1x2

  3569. ##########################################################################################*/

  3570. 

  3571. #if defined(_AIX)

  3572. define(`SOLVE_LT_1x2', `

  3573. #else

  3574. .macro SOLVE_LT_1x2

  3575. #endif

  3576. 

  3577. 	xxpermdi	vs0,	vs32,	vs33,	0

  3578. 

  3579. //############### LOAD B #######################

  3580. 

  3581. 

  3582. 	mr		T1,	BO	

  3583. 

  3584. 	lxvd2x		vs32,	o0,	T1

  3585. 

  3586. 	xvsubdp		vs32,	vs32,	vs0

  3587. 

  3588. 	mr		T1,	AO	

  3589. 

  3590. 

  3591. //############### OFFSET 0 #######################

  3592. 

  3593. 	lxvdsx		vs0,	o0,	T1

  3594. 

  3595. 	addi		T1,	T1,	8

  3596. 

  3597. 	xvmuldp		vs32,	vs32,	vs0

  3598. 

  3599. //############### SAVE B #######################

  3600. 

  3601. 

  3602. 	mr		T1,	BO	

  3603. 

  3604. 

  3605. 	stxvd2x		vs32,	o0,	T1

  3606. 

  3607. //############### SAVE C #######################

  3608. 

  3609. 

  3610. 	mr		T1,	CO

  3611. 	add		T2,	CO,	LDC

  3612. 

  3613. 

  3614. 	stxsdx		vs32,	o0,	T1

  3615. 	XXSWAPD(vs32,vs32)

  3616. 

  3617. 	stxsdx		vs32,	o0,	T2

  3618. 

  3619. #if defined(_AIX)

  3620. ')

  3621. #else

  3622. .endm

  3623. #endif

  3624. 

  3625. 

  3626. #if defined(_AIX)

  3627. define(`INIT_16x1', `

  3628. #else

  3629. .macro INIT_16x1

  3630. #endif

  3631. 

  3632. 

  3633. 	xxlxor		vs0,	vs0,	vs0

  3634. 

  3635. 	XVMOVDP(vs32,vs0)

  3636. 	XVMOVDP(vs33,vs0)

  3637. 	XVMOVDP(vs34,vs0)

  3638. 	XVMOVDP(vs35,vs0)

  3639. 	XVMOVDP(vs36,vs0)

  3640. 	XVMOVDP(vs37,vs0)

  3641. 	XVMOVDP(vs38,vs0)

  3642. 	XVMOVDP(vs39,vs0)

  3643. 	XVMOVDP(vs40,vs0)

  3644. 	XVMOVDP(vs41,vs0)

  3645. 	XVMOVDP(vs42,vs0)

  3646. 	XVMOVDP(vs43,vs0)

  3647. 	XVMOVDP(vs44,vs0)

  3648. 	XVMOVDP(vs45,vs0)

  3649. 	XVMOVDP(vs46,vs0)

  3650. 	XVMOVDP(vs47,vs0)

  3651. 

  3652. #if defined(_AIX)

  3653. ')

  3654. #else

  3655. .endm

  3656. #endif

  3657. 

  3658. 

  3659. #if defined(_AIX)

  3660. define(`KERNEL_16x1', `

  3661. #else

  3662. .macro KERNEL_16x1

  3663. #endif

  3664. 

  3665. 

  3666. 	lxvdsx		vs0,	o0,	AO

  3667. 	lxvdsx		vs1,	o8,	AO

  3668. 	lxvdsx		vs2,	o16,	AO

  3669. 	lxvdsx		vs3,	o24,	AO

  3670. 

  3671. 	addi		AO,	AO,	32

  3672. 

  3673. 	lxvdsx		vs4,	o0,	AO

  3674. 	lxvdsx		vs5,	o8,	AO

  3675. 	lxvdsx		vs6,	o16,	AO

  3676. 	lxvdsx		vs7,	o24,	AO

  3677. 

  3678. 	addi		AO,	AO,	32

  3679. 

  3680. 	lxvdsx		vs8,	o0,	AO

  3681. 	lxvdsx		vs9,	o8,	AO

  3682. 	lxvdsx		vs10,	o16,	AO

  3683. 	lxvdsx		vs11,	o24,	AO

  3684. 

  3685. 	addi		AO,	AO,	32

  3686. 

  3687. 	lxvdsx		vs12,	o0,	AO

  3688. 	lxvdsx		vs13,	o8,	AO

  3689. 	lxvdsx		vs14,	o16,	AO

  3690. 	lxvdsx		vs15,	o24,	AO

  3691. 

  3692. 	addi		AO,	AO,	32

  3693. 

  3694. 	lxvdsx		vs16,	o0,	BO

  3695. 

  3696. 	addi		BO,	BO,	8

  3697. 

  3698. 	xvmaddadp	vs32,	vs0,	vs16

  3699. 	xvmaddadp	vs33,	vs1,	vs16

  3700. 	xvmaddadp	vs34,	vs2,	vs16

  3701. 	xvmaddadp	vs35,	vs3,	vs16

  3702. 	xvmaddadp	vs36,	vs4,	vs16

  3703. 	xvmaddadp	vs37,	vs5,	vs16

  3704. 	xvmaddadp	vs38,	vs6,	vs16

  3705. 	xvmaddadp	vs39,	vs7,	vs16

  3706. 	xvmaddadp	vs40,	vs8,	vs16

  3707. 	xvmaddadp	vs41,	vs9,	vs16

  3708. 	xvmaddadp	vs42,	vs10,	vs16

  3709. 	xvmaddadp	vs43,	vs11,	vs16

  3710. 	xvmaddadp	vs44,	vs12,	vs16

  3711. 	xvmaddadp	vs45,	vs13,	vs16

  3712. 	xvmaddadp	vs46,	vs14,	vs16

  3713. 	xvmaddadp	vs47,	vs15,	vs16

  3714. 

  3715. 

  3716. #if defined(_AIX)

  3717. ')

  3718. #else

  3719. .endm

  3720. #endif

  3721. 

  3722. 

  3723. #if defined(_AIX)

  3724. define(`INIT_8x1', `

  3725. #else

  3726. .macro INIT_8x1

  3727. #endif

  3728. 

  3729. 

  3730. 	xxlxor		vs0,	vs0,	vs0

  3731. 

  3732. 	XVMOVDP(vs32,vs0)

  3733. 	XVMOVDP(vs33,vs0)

  3734. 	XVMOVDP(vs34,vs0)

  3735. 	XVMOVDP(vs35,vs0)

  3736. 	XVMOVDP(vs36,vs0)

  3737. 	XVMOVDP(vs37,vs0)

  3738. 	XVMOVDP(vs38,vs0)

  3739. 	XVMOVDP(vs39,vs0)

  3740. 

  3741. #if defined(_AIX)

  3742. ')

  3743. #else

  3744. .endm

  3745. #endif

  3746. 

  3747. 

  3748. #if defined(_AIX)

  3749. define(`KERNEL_8x1', `

  3750. #else

  3751. .macro KERNEL_8x1

  3752. #endif

  3753. 

  3754. 

  3755. 	lxvdsx		vs0,	o0,	AO

  3756. 	lxvdsx		vs1,	o8,	AO

  3757. 	lxvdsx		vs2,	o16,	AO

  3758. 	lxvdsx		vs3,	o24,	AO

  3759. 

  3760. 	addi		AO,	AO,	32

  3761. 

  3762. 	lxvdsx		vs4,	o0,	AO

  3763. 	lxvdsx		vs5,	o8,	AO

  3764. 	lxvdsx		vs6,	o16,	AO

  3765. 	lxvdsx		vs7,	o24,	AO

  3766. 

  3767. 	addi		AO,	AO,	32

  3768. 

  3769. 	lxvdsx		vs16,	o0,	BO

  3770. 

  3771. 	addi		BO,	BO,	8

  3772. 

  3773. 	xvmaddadp	vs32,	vs0,	vs16

  3774. 	xvmaddadp	vs33,	vs1,	vs16

  3775. 	xvmaddadp	vs34,	vs2,	vs16

  3776. 	xvmaddadp	vs35,	vs3,	vs16

  3777. 	xvmaddadp	vs36,	vs4,	vs16

  3778. 	xvmaddadp	vs37,	vs5,	vs16

  3779. 	xvmaddadp	vs38,	vs6,	vs16

  3780. 	xvmaddadp	vs39,	vs7,	vs16

  3781. 

  3782. 

  3783. #if defined(_AIX)

  3784. ')

  3785. #else

  3786. .endm

  3787. #endif

  3788. 

  3789. 

  3790. #if defined(_AIX)

  3791. define(`INIT_4x1', `

  3792. #else

  3793. .macro INIT_4x1

  3794. #endif

  3795. 

  3796. 

  3797. 	xxlxor		vs0,	vs0,	vs0

  3798. 

  3799. 	XVMOVDP(vs32,vs0)

  3800. 	XVMOVDP(vs33,vs0)

  3801. 	XVMOVDP(vs34,vs0)

  3802. 	XVMOVDP(vs35,vs0)

  3803. 

  3804. #if defined(_AIX)

  3805. ')

  3806. #else

  3807. .endm

  3808. #endif

  3809. 

  3810. 

  3811. #if defined(_AIX)

  3812. define(`KERNEL_4x1', `

  3813. #else

  3814. .macro KERNEL_4x1

  3815. #endif

  3816. 

  3817. 

  3818. 	lxvdsx		vs0,	o0,	AO

  3819. 	lxvdsx		vs1,	o8,	AO

  3820. 	lxvdsx		vs2,	o16,	AO

  3821. 	lxvdsx		vs3,	o24,	AO

  3822. 

  3823. 	addi		AO,	AO,	32

  3824. 

  3825. 	lxvdsx		vs16,	o0,	BO

  3826. 

  3827. 	addi		BO,	BO,	8

  3828. 

  3829. 	xvmaddadp	vs32,	vs0,	vs16

  3830. 	xvmaddadp	vs33,	vs1,	vs16

  3831. 	xvmaddadp	vs34,	vs2,	vs16

  3832. 	xvmaddadp	vs35,	vs3,	vs16

  3833. 

  3834. 

  3835. #if defined(_AIX)

  3836. ')

  3837. #else

  3838. .endm

  3839. #endif

  3840. 

  3841. 

  3842. #if defined(_AIX)

  3843. define(`INIT_2x1', `

  3844. #else

  3845. .macro INIT_2x1

  3846. #endif

  3847. 

  3848. 

  3849. 	xxlxor		vs0,	vs0,	vs0

  3850. 

  3851. 	XVMOVDP(vs32,vs0)

  3852. 	XVMOVDP(vs33,vs0)

  3853. 

  3854. #if defined(_AIX)

  3855. ')

  3856. #else

  3857. .endm

  3858. #endif

  3859. 

  3860. 

  3861. #if defined(_AIX)

  3862. define(`KERNEL_2x1', `

  3863. #else

  3864. .macro KERNEL_2x1

  3865. #endif

  3866. 

  3867. 

  3868. 	lxvdsx		vs0,	o0,	AO

  3869. 	lxvdsx		vs1,	o8,	AO

  3870. 

  3871. 	addi		AO,	AO,	16

  3872. 

  3873. 	lxvdsx		vs16,	o0,	BO

  3874. 

  3875. 	addi		BO,	BO,	8

  3876. 

  3877. 	xvmaddadp	vs32,	vs0,	vs16

  3878. 	xvmaddadp	vs33,	vs1,	vs16

  3879. 

  3880. 

  3881. #if defined(_AIX)

  3882. ')

  3883. #else

  3884. .endm

  3885. #endif

  3886. 

  3887. 

  3888. #if defined(_AIX)

  3889. define(`INIT_1x1', `

  3890. #else

  3891. .macro INIT_1x1

  3892. #endif

  3893. 

  3894. 

  3895. 	xxlxor		vs0,	vs0,	vs0

  3896. 

  3897. 	XVMOVDP(vs32,vs0)

  3898. 

  3899. #if defined(_AIX)

  3900. ')

  3901. #else

  3902. .endm

  3903. #endif

  3904. 

  3905. 

  3906. #if defined(_AIX)

  3907. define(`KERNEL_1x1', `

  3908. #else

  3909. .macro KERNEL_1x1

  3910. #endif

  3911. 

  3912. 

  3913. 	lxvdsx		vs0,	o0,	AO

  3914. 

  3915. 	addi		AO,	AO,	8

  3916. 

  3917. 	lxvdsx		vs16,	o0,	BO

  3918. 

  3919. 	addi		BO,	BO,	8

  3920. 

  3921. 	xvmaddadp	vs32,	vs0,	vs16

  3922. 

  3923. 

  3924. #if defined(_AIX)

  3925. ')

  3926. #else

  3927. .endm

  3928. #endif

  3929. 

  3930. 

  3931. /*##########################################################################################

  3932. 			 SOLVE_LT 16x1

  3933. ##########################################################################################*/

  3934. 

  3935. #if defined(_AIX)

  3936. define(`SOLVE_LT_16x1', `

  3937. #else

  3938. .macro SOLVE_LT_16x1

  3939. #endif

  3940. 

  3941. 	XXSWAPD(vs0,vs32)

  3942. 	XXSWAPD(vs1,vs33)

  3943. 	XXSWAPD(vs2,vs34)

  3944. 	XXSWAPD(vs3,vs35)

  3945. 	XXSWAPD(vs4,vs36)

  3946. 	XXSWAPD(vs5,vs37)

  3947. 	XXSWAPD(vs6,vs38)

  3948. 	XXSWAPD(vs7,vs39)

  3949. 	XXSWAPD(vs8,vs40)

  3950. 	XXSWAPD(vs9,vs41)

  3951. 	XXSWAPD(vs10,vs42)

  3952. 	XXSWAPD(vs11,vs43)

  3953. 	XXSWAPD(vs12,vs44)

  3954. 	XXSWAPD(vs13,vs45)

  3955. 	XXSWAPD(vs14,vs46)

  3956. 	XXSWAPD(vs15,vs47)

  3957. 

  3958. //############### LOAD B #######################

  3959. 

  3960. 

  3961. 	mr		T1,	BO	

  3962. 

  3963. 	lxsdx		vs32,	o0,	T1

  3964. 	lxsdx		vs33,	o8,	T1

  3965. 	lxsdx		vs34,	o16,	T1

  3966. 	lxsdx		vs35,	o24,	T1

  3967. 

  3968. 	addi		T1,	T1,	32

  3969. 

  3970. 	lxsdx		vs36,	o0,	T1

  3971. 	lxsdx		vs37,	o8,	T1

  3972. 	lxsdx		vs38,	o16,	T1

  3973. 	lxsdx		vs39,	o24,	T1

  3974. 

  3975. 	addi		T1,	T1,	32

  3976. 

  3977. 	lxsdx		vs40,	o0,	T1

  3978. 	lxsdx		vs41,	o8,	T1

  3979. 	lxsdx		vs42,	o16,	T1

  3980. 	lxsdx		vs43,	o24,	T1

  3981. 

  3982. 	addi		T1,	T1,	32

  3983. 

  3984. 	lxsdx		vs44,	o0,	T1

  3985. 	lxsdx		vs45,	o8,	T1

  3986. 	lxsdx		vs46,	o16,	T1

  3987. 	lxsdx		vs47,	o24,	T1

  3988. 

  3989. 	xssubdp		vs32,	vs32,	vs0

  3990. 	xssubdp		vs33,	vs33,	vs1

  3991. 	xssubdp		vs34,	vs34,	vs2

  3992. 	xssubdp		vs35,	vs35,	vs3

  3993. 	xssubdp		vs36,	vs36,	vs4

  3994. 	xssubdp		vs37,	vs37,	vs5

  3995. 	xssubdp		vs38,	vs38,	vs6

  3996. 	xssubdp		vs39,	vs39,	vs7

  3997. 	xssubdp		vs40,	vs40,	vs8

  3998. 	xssubdp		vs41,	vs41,	vs9

  3999. 	xssubdp		vs42,	vs42,	vs10

  4000. 	xssubdp		vs43,	vs43,	vs11

  4001. 	xssubdp		vs44,	vs44,	vs12

  4002. 	xssubdp		vs45,	vs45,	vs13

  4003. 	xssubdp		vs46,	vs46,	vs14

  4004. 	xssubdp		vs47,	vs47,	vs15

  4005. 

  4006. 	mr		T1,	AO	

  4007. 

  4008. 

  4009. //############### OFFSET 0 #######################

  4010. 

  4011. 	lxsdx		vs0,	o0,	T1

  4012. 	lxsdx		vs1,	o8,	T1

  4013. 	lxsdx		vs2,	o16,	T1

  4014. 	lxsdx		vs3,	o24,	T1

  4015. 

  4016. 	addi		T1,	T1,	32

  4017. 

  4018. 	lxsdx		vs4,	o0,	T1

  4019. 	lxsdx		vs5,	o8,	T1

  4020. 	lxsdx		vs6,	o16,	T1

  4021. 	lxsdx		vs7,	o24,	T1

  4022. 

  4023. 	addi		T1,	T1,	32

  4024. 

  4025. 	lxsdx		vs8,	o0,	T1

  4026. 	lxsdx		vs9,	o8,	T1

  4027. 	lxsdx		vs10,	o16,	T1

  4028. 	lxsdx		vs11,	o24,	T1

  4029. 

  4030. 	addi		T1,	T1,	32

  4031. 

  4032. 	lxsdx		vs12,	o0,	T1

  4033. 	lxsdx		vs13,	o8,	T1

  4034. 	lxsdx		vs14,	o16,	T1

  4035. 	lxsdx		vs15,	o24,	T1

  4036. 

  4037. 	addi		T1,	T1,	32

  4038. 

  4039. 	xsmuldp		vs32,	vs32,	vs0

  4040. 	xsnmsubadp	vs33,	vs32,	vs1

  4041. 	xsnmsubadp	vs34,	vs32,	vs2

  4042. 	xsnmsubadp	vs35,	vs32,	vs3

  4043. 	xsnmsubadp	vs36,	vs32,	vs4

  4044. 	xsnmsubadp	vs37,	vs32,	vs5

  4045. 	xsnmsubadp	vs38,	vs32,	vs6

  4046. 	xsnmsubadp	vs39,	vs32,	vs7

  4047. 	xsnmsubadp	vs40,	vs32,	vs8

  4048. 	xsnmsubadp	vs41,	vs32,	vs9

  4049. 	xsnmsubadp	vs42,	vs32,	vs10

  4050. 	xsnmsubadp	vs43,	vs32,	vs11

  4051. 	xsnmsubadp	vs44,	vs32,	vs12

  4052. 	xsnmsubadp	vs45,	vs32,	vs13

  4053. 	xsnmsubadp	vs46,	vs32,	vs14

  4054. 	xsnmsubadp	vs47,	vs32,	vs15

  4055. 

  4056. //############### OFFSET 1 #######################

  4057. 

  4058. 	addi		T1,	T1,	1*SIZE

  4059. 

  4060. 	lxsdx		vs0,	o0,	T1

  4061. 	lxsdx		vs1,	o8,	T1

  4062. 	lxsdx		vs2,	o16,	T1

  4063. 	lxsdx		vs3,	o24,	T1

  4064. 

  4065. 	addi		T1,	T1,	32

  4066. 

  4067. 	lxsdx		vs4,	o0,	T1

  4068. 	lxsdx		vs5,	o8,	T1

  4069. 	lxsdx		vs6,	o16,	T1

  4070. 	lxsdx		vs7,	o24,	T1

  4071. 

  4072. 	addi		T1,	T1,	32

  4073. 

  4074. 	lxsdx		vs8,	o0,	T1

  4075. 	lxsdx		vs9,	o8,	T1

  4076. 	lxsdx		vs10,	o16,	T1

  4077. 	lxsdx		vs11,	o24,	T1

  4078. 

  4079. 	addi		T1,	T1,	32

  4080. 

  4081. 	lxsdx		vs12,	o0,	T1

  4082. 	lxsdx		vs13,	o8,	T1

  4083. 	lxsdx		vs14,	o16,	T1

  4084. 

  4085. 	addi		T1,	T1,	24

  4086. 

  4087. 	xsmuldp		vs33,	vs33,	vs0

  4088. 	xsnmsubadp	vs34,	vs33,	vs1

  4089. 	xsnmsubadp	vs35,	vs33,	vs2

  4090. 	xsnmsubadp	vs36,	vs33,	vs3

  4091. 	xsnmsubadp	vs37,	vs33,	vs4

  4092. 	xsnmsubadp	vs38,	vs33,	vs5

  4093. 	xsnmsubadp	vs39,	vs33,	vs6

  4094. 	xsnmsubadp	vs40,	vs33,	vs7

  4095. 	xsnmsubadp	vs41,	vs33,	vs8

  4096. 	xsnmsubadp	vs42,	vs33,	vs9

  4097. 	xsnmsubadp	vs43,	vs33,	vs10

  4098. 	xsnmsubadp	vs44,	vs33,	vs11

  4099. 	xsnmsubadp	vs45,	vs33,	vs12

  4100. 	xsnmsubadp	vs46,	vs33,	vs13

  4101. 	xsnmsubadp	vs47,	vs33,	vs14

  4102. 

  4103. //############### OFFSET 2 #######################

  4104. 

  4105. 	addi		T1,	T1,	2*SIZE

  4106. 

  4107. 	lxsdx		vs0,	o0,	T1

  4108. 	lxsdx		vs1,	o8,	T1

  4109. 	lxsdx		vs2,	o16,	T1

  4110. 	lxsdx		vs3,	o24,	T1

  4111. 

  4112. 	addi		T1,	T1,	32

  4113. 

  4114. 	lxsdx		vs4,	o0,	T1

  4115. 	lxsdx		vs5,	o8,	T1

  4116. 	lxsdx		vs6,	o16,	T1

  4117. 	lxsdx		vs7,	o24,	T1

  4118. 

  4119. 	addi		T1,	T1,	32

  4120. 

  4121. 	lxsdx		vs8,	o0,	T1

  4122. 	lxsdx		vs9,	o8,	T1

  4123. 	lxsdx		vs10,	o16,	T1

  4124. 	lxsdx		vs11,	o24,	T1

  4125. 

  4126. 	addi		T1,	T1,	32

  4127. 

  4128. 	lxsdx		vs12,	o0,	T1

  4129. 	lxsdx		vs13,	o8,	T1

  4130. 

  4131. 	addi		T1,	T1,	16

  4132. 

  4133. 	xsmuldp		vs34,	vs34,	vs0

  4134. 	xsnmsubadp	vs35,	vs34,	vs1

  4135. 	xsnmsubadp	vs36,	vs34,	vs2

  4136. 	xsnmsubadp	vs37,	vs34,	vs3

  4137. 	xsnmsubadp	vs38,	vs34,	vs4

  4138. 	xsnmsubadp	vs39,	vs34,	vs5

  4139. 	xsnmsubadp	vs40,	vs34,	vs6

  4140. 	xsnmsubadp	vs41,	vs34,	vs7

  4141. 	xsnmsubadp	vs42,	vs34,	vs8

  4142. 	xsnmsubadp	vs43,	vs34,	vs9

  4143. 	xsnmsubadp	vs44,	vs34,	vs10

  4144. 	xsnmsubadp	vs45,	vs34,	vs11

  4145. 	xsnmsubadp	vs46,	vs34,	vs12

  4146. 	xsnmsubadp	vs47,	vs34,	vs13

  4147. 

  4148. //############### OFFSET 3 #######################

  4149. 

  4150. 	addi		T1,	T1,	3*SIZE

  4151. 

  4152. 	lxsdx		vs0,	o0,	T1

  4153. 	lxsdx		vs1,	o8,	T1

  4154. 	lxsdx		vs2,	o16,	T1

  4155. 	lxsdx		vs3,	o24,	T1

  4156. 

  4157. 	addi		T1,	T1,	32

  4158. 

  4159. 	lxsdx		vs4,	o0,	T1

  4160. 	lxsdx		vs5,	o8,	T1

  4161. 	lxsdx		vs6,	o16,	T1

  4162. 	lxsdx		vs7,	o24,	T1

  4163. 

  4164. 	addi		T1,	T1,	32

  4165. 

  4166. 	lxsdx		vs8,	o0,	T1

  4167. 	lxsdx		vs9,	o8,	T1

  4168. 	lxsdx		vs10,	o16,	T1

  4169. 	lxsdx		vs11,	o24,	T1

  4170. 

  4171. 	addi		T1,	T1,	32

  4172. 

  4173. 	lxsdx		vs12,	o0,	T1

  4174. 

  4175. 	addi		T1,	T1,	8

  4176. 

  4177. 	xsmuldp		vs35,	vs35,	vs0

  4178. 	xsnmsubadp	vs36,	vs35,	vs1

  4179. 	xsnmsubadp	vs37,	vs35,	vs2

  4180. 	xsnmsubadp	vs38,	vs35,	vs3

  4181. 	xsnmsubadp	vs39,	vs35,	vs4

  4182. 	xsnmsubadp	vs40,	vs35,	vs5

  4183. 	xsnmsubadp	vs41,	vs35,	vs6

  4184. 	xsnmsubadp	vs42,	vs35,	vs7

  4185. 	xsnmsubadp	vs43,	vs35,	vs8

  4186. 	xsnmsubadp	vs44,	vs35,	vs9

  4187. 	xsnmsubadp	vs45,	vs35,	vs10

  4188. 	xsnmsubadp	vs46,	vs35,	vs11

  4189. 	xsnmsubadp	vs47,	vs35,	vs12

  4190. 

  4191. //############### OFFSET 4 #######################

  4192. 

  4193. 	addi		T1,	T1,	4*SIZE

  4194. 

  4195. 	lxsdx		vs0,	o0,	T1

  4196. 	lxsdx		vs1,	o8,	T1

  4197. 	lxsdx		vs2,	o16,	T1

  4198. 	lxsdx		vs3,	o24,	T1

  4199. 

  4200. 	addi		T1,	T1,	32

  4201. 

  4202. 	lxsdx		vs4,	o0,	T1

  4203. 	lxsdx		vs5,	o8,	T1

  4204. 	lxsdx		vs6,	o16,	T1

  4205. 	lxsdx		vs7,	o24,	T1

  4206. 

  4207. 	addi		T1,	T1,	32

  4208. 

  4209. 	lxsdx		vs8,	o0,	T1

  4210. 	lxsdx		vs9,	o8,	T1

  4211. 	lxsdx		vs10,	o16,	T1

  4212. 	lxsdx		vs11,	o24,	T1

  4213. 

  4214. 	addi		T1,	T1,	32

  4215. 

  4216. 	xsmuldp		vs36,	vs36,	vs0

  4217. 	xsnmsubadp	vs37,	vs36,	vs1

  4218. 	xsnmsubadp	vs38,	vs36,	vs2

  4219. 	xsnmsubadp	vs39,	vs36,	vs3

  4220. 	xsnmsubadp	vs40,	vs36,	vs4

  4221. 	xsnmsubadp	vs41,	vs36,	vs5

  4222. 	xsnmsubadp	vs42,	vs36,	vs6

  4223. 	xsnmsubadp	vs43,	vs36,	vs7

  4224. 	xsnmsubadp	vs44,	vs36,	vs8

  4225. 	xsnmsubadp	vs45,	vs36,	vs9

  4226. 	xsnmsubadp	vs46,	vs36,	vs10

  4227. 	xsnmsubadp	vs47,	vs36,	vs11

  4228. 

  4229. //############### OFFSET 5 #######################

  4230. 

  4231. 	addi		T1,	T1,	5*SIZE

  4232. 

  4233. 	lxsdx		vs0,	o0,	T1

  4234. 	lxsdx		vs1,	o8,	T1

  4235. 	lxsdx		vs2,	o16,	T1

  4236. 	lxsdx		vs3,	o24,	T1

  4237. 

  4238. 	addi		T1,	T1,	32

  4239. 

  4240. 	lxsdx		vs4,	o0,	T1

  4241. 	lxsdx		vs5,	o8,	T1

  4242. 	lxsdx		vs6,	o16,	T1

  4243. 	lxsdx		vs7,	o24,	T1

  4244. 

  4245. 	addi		T1,	T1,	32

  4246. 

  4247. 	lxsdx		vs8,	o0,	T1

  4248. 	lxsdx		vs9,	o8,	T1

  4249. 	lxsdx		vs10,	o16,	T1

  4250. 

  4251. 	addi		T1,	T1,	24

  4252. 

  4253. 	xsmuldp		vs37,	vs37,	vs0

  4254. 	xsnmsubadp	vs38,	vs37,	vs1

  4255. 	xsnmsubadp	vs39,	vs37,	vs2

  4256. 	xsnmsubadp	vs40,	vs37,	vs3

  4257. 	xsnmsubadp	vs41,	vs37,	vs4

  4258. 	xsnmsubadp	vs42,	vs37,	vs5

  4259. 	xsnmsubadp	vs43,	vs37,	vs6

  4260. 	xsnmsubadp	vs44,	vs37,	vs7

  4261. 	xsnmsubadp	vs45,	vs37,	vs8

  4262. 	xsnmsubadp	vs46,	vs37,	vs9

  4263. 	xsnmsubadp	vs47,	vs37,	vs10

  4264. 

  4265. //############### OFFSET 6 #######################

  4266. 

  4267. 	addi		T1,	T1,	6*SIZE

  4268. 

  4269. 	lxsdx		vs0,	o0,	T1

  4270. 	lxsdx		vs1,	o8,	T1

  4271. 	lxsdx		vs2,	o16,	T1

  4272. 	lxsdx		vs3,	o24,	T1

  4273. 

  4274. 	addi		T1,	T1,	32

  4275. 

  4276. 	lxsdx		vs4,	o0,	T1

  4277. 	lxsdx		vs5,	o8,	T1

  4278. 	lxsdx		vs6,	o16,	T1

  4279. 	lxsdx		vs7,	o24,	T1

  4280. 

  4281. 	addi		T1,	T1,	32

  4282. 

  4283. 	lxsdx		vs8,	o0,	T1

  4284. 	lxsdx		vs9,	o8,	T1

  4285. 

  4286. 	addi		T1,	T1,	16

  4287. 

  4288. 	xsmuldp		vs38,	vs38,	vs0

  4289. 	xsnmsubadp	vs39,	vs38,	vs1

  4290. 	xsnmsubadp	vs40,	vs38,	vs2

  4291. 	xsnmsubadp	vs41,	vs38,	vs3

  4292. 	xsnmsubadp	vs42,	vs38,	vs4

  4293. 	xsnmsubadp	vs43,	vs38,	vs5

  4294. 	xsnmsubadp	vs44,	vs38,	vs6

  4295. 	xsnmsubadp	vs45,	vs38,	vs7

  4296. 	xsnmsubadp	vs46,	vs38,	vs8

  4297. 	xsnmsubadp	vs47,	vs38,	vs9

  4298. 

  4299. //############### OFFSET 7 #######################

  4300. 

  4301. 	addi		T1,	T1,	7*SIZE

  4302. 

  4303. 	lxsdx		vs0,	o0,	T1

  4304. 	lxsdx		vs1,	o8,	T1

  4305. 	lxsdx		vs2,	o16,	T1

  4306. 	lxsdx		vs3,	o24,	T1

  4307. 

  4308. 	addi		T1,	T1,	32

  4309. 

  4310. 	lxsdx		vs4,	o0,	T1

  4311. 	lxsdx		vs5,	o8,	T1

  4312. 	lxsdx		vs6,	o16,	T1

  4313. 	lxsdx		vs7,	o24,	T1

  4314. 

  4315. 	addi		T1,	T1,	32

  4316. 

  4317. 	lxsdx		vs8,	o0,	T1

  4318. 

  4319. 	addi		T1,	T1,	8

  4320. 

  4321. 	xsmuldp		vs39,	vs39,	vs0

  4322. 	xsnmsubadp	vs40,	vs39,	vs1

  4323. 	xsnmsubadp	vs41,	vs39,	vs2

  4324. 	xsnmsubadp	vs42,	vs39,	vs3

  4325. 	xsnmsubadp	vs43,	vs39,	vs4

  4326. 	xsnmsubadp	vs44,	vs39,	vs5

  4327. 	xsnmsubadp	vs45,	vs39,	vs6

  4328. 	xsnmsubadp	vs46,	vs39,	vs7

  4329. 	xsnmsubadp	vs47,	vs39,	vs8

  4330. 

  4331. //############### OFFSET 8 #######################

  4332. 

  4333. 	addi		T1,	T1,	8*SIZE

  4334. 

  4335. 	lxsdx		vs0,	o0,	T1

  4336. 	lxsdx		vs1,	o8,	T1

  4337. 	lxsdx		vs2,	o16,	T1

  4338. 	lxsdx		vs3,	o24,	T1

  4339. 

  4340. 	addi		T1,	T1,	32

  4341. 

  4342. 	lxsdx		vs4,	o0,	T1

  4343. 	lxsdx		vs5,	o8,	T1

  4344. 	lxsdx		vs6,	o16,	T1

  4345. 	lxsdx		vs7,	o24,	T1

  4346. 

  4347. 	addi		T1,	T1,	32

  4348. 

  4349. 	xsmuldp		vs40,	vs40,	vs0

  4350. 	xsnmsubadp	vs41,	vs40,	vs1

  4351. 	xsnmsubadp	vs42,	vs40,	vs2

  4352. 	xsnmsubadp	vs43,	vs40,	vs3

  4353. 	xsnmsubadp	vs44,	vs40,	vs4

  4354. 	xsnmsubadp	vs45,	vs40,	vs5

  4355. 	xsnmsubadp	vs46,	vs40,	vs6

  4356. 	xsnmsubadp	vs47,	vs40,	vs7

  4357. 

  4358. //############### OFFSET 9 #######################

  4359. 

  4360. 	addi		T1,	T1,	9*SIZE

  4361. 

  4362. 	lxsdx		vs0,	o0,	T1

  4363. 	lxsdx		vs1,	o8,	T1

  4364. 	lxsdx		vs2,	o16,	T1

  4365. 	lxsdx		vs3,	o24,	T1

  4366. 

  4367. 	addi		T1,	T1,	32

  4368. 

  4369. 	lxsdx		vs4,	o0,	T1

  4370. 	lxsdx		vs5,	o8,	T1

  4371. 	lxsdx		vs6,	o16,	T1

  4372. 

  4373. 	addi		T1,	T1,	24

  4374. 

  4375. 	xsmuldp		vs41,	vs41,	vs0

  4376. 	xsnmsubadp	vs42,	vs41,	vs1

  4377. 	xsnmsubadp	vs43,	vs41,	vs2

  4378. 	xsnmsubadp	vs44,	vs41,	vs3

  4379. 	xsnmsubadp	vs45,	vs41,	vs4

  4380. 	xsnmsubadp	vs46,	vs41,	vs5

  4381. 	xsnmsubadp	vs47,	vs41,	vs6

  4382. 

  4383. //############### OFFSET 10 #######################

  4384. 

  4385. 	addi		T1,	T1,	10*SIZE

  4386. 

  4387. 	lxsdx		vs0,	o0,	T1

  4388. 	lxsdx		vs1,	o8,	T1

  4389. 	lxsdx		vs2,	o16,	T1

  4390. 	lxsdx		vs3,	o24,	T1

  4391. 

  4392. 	addi		T1,	T1,	32

  4393. 

  4394. 	lxsdx		vs4,	o0,	T1

  4395. 	lxsdx		vs5,	o8,	T1

  4396. 

  4397. 	addi		T1,	T1,	16

  4398. 

  4399. 	xsmuldp		vs42,	vs42,	vs0

  4400. 	xsnmsubadp	vs43,	vs42,	vs1

  4401. 	xsnmsubadp	vs44,	vs42,	vs2

  4402. 	xsnmsubadp	vs45,	vs42,	vs3

  4403. 	xsnmsubadp	vs46,	vs42,	vs4

  4404. 	xsnmsubadp	vs47,	vs42,	vs5

  4405. 

  4406. //############### OFFSET 11 #######################

  4407. 

  4408. 	addi		T1,	T1,	11*SIZE

  4409. 

  4410. 	lxsdx		vs0,	o0,	T1

  4411. 	lxsdx		vs1,	o8,	T1

  4412. 	lxsdx		vs2,	o16,	T1

  4413. 	lxsdx		vs3,	o24,	T1

  4414. 

  4415. 	addi		T1,	T1,	32

  4416. 

  4417. 	lxsdx		vs4,	o0,	T1

  4418. 

  4419. 	addi		T1,	T1,	8

  4420. 

  4421. 	xsmuldp		vs43,	vs43,	vs0

  4422. 	xsnmsubadp	vs44,	vs43,	vs1

  4423. 	xsnmsubadp	vs45,	vs43,	vs2

  4424. 	xsnmsubadp	vs46,	vs43,	vs3

  4425. 	xsnmsubadp	vs47,	vs43,	vs4

  4426. 

  4427. //############### OFFSET 12 #######################

  4428. 

  4429. 	addi		T1,	T1,	12*SIZE

  4430. 

  4431. 	lxsdx		vs0,	o0,	T1

  4432. 	lxsdx		vs1,	o8,	T1

  4433. 	lxsdx		vs2,	o16,	T1

  4434. 	lxsdx		vs3,	o24,	T1

  4435. 

  4436. 	addi		T1,	T1,	32

  4437. 

  4438. 	xsmuldp		vs44,	vs44,	vs0

  4439. 	xsnmsubadp	vs45,	vs44,	vs1

  4440. 	xsnmsubadp	vs46,	vs44,	vs2

  4441. 	xsnmsubadp	vs47,	vs44,	vs3

  4442. 

  4443. //############### OFFSET 13 #######################

  4444. 

  4445. 	addi		T1,	T1,	13*SIZE

  4446. 

  4447. 	lxsdx		vs0,	o0,	T1

  4448. 	lxsdx		vs1,	o8,	T1

  4449. 	lxsdx		vs2,	o16,	T1

  4450. 

  4451. 	addi		T1,	T1,	24

  4452. 

  4453. 	xsmuldp		vs45,	vs45,	vs0

  4454. 	xsnmsubadp	vs46,	vs45,	vs1

  4455. 	xsnmsubadp	vs47,	vs45,	vs2

  4456. 

  4457. //############### OFFSET 14 #######################

  4458. 

  4459. 	addi		T1,	T1,	14*SIZE

  4460. 

  4461. 	lxsdx		vs0,	o0,	T1

  4462. 	lxsdx		vs1,	o8,	T1

  4463. 

  4464. 	addi		T1,	T1,	16

  4465. 

  4466. 	xsmuldp		vs46,	vs46,	vs0

  4467. 	xsnmsubadp	vs47,	vs46,	vs1

  4468. 

  4469. //############### OFFSET 15 #######################

  4470. 

  4471. 	addi		T1,	T1,	15*SIZE

  4472. 

  4473. 	lxsdx		vs0,	o0,	T1

  4474. 

  4475. 	addi		T1,	T1,	8

  4476. 

  4477. 	xsmuldp		vs47,	vs47,	vs0

  4478. 

  4479. //############### SAVE B #######################

  4480. 

  4481. 

  4482. 	mr		T1,	BO	

  4483. 

  4484. 

  4485. 	stxsdx		vs32,	o0,	T1

  4486. 	stxsdx		vs33,	o8,	T1

  4487. 	stxsdx		vs34,	o16,	T1

  4488. 	stxsdx		vs35,	o24,	T1

  4489. 

  4490. 	addi		T1,	T1,	32

  4491. 

  4492. 	stxsdx		vs36,	o0,	T1

  4493. 	stxsdx		vs37,	o8,	T1

  4494. 	stxsdx		vs38,	o16,	T1

  4495. 	stxsdx		vs39,	o24,	T1

  4496. 

  4497. 	addi		T1,	T1,	32

  4498. 

  4499. 	stxsdx		vs40,	o0,	T1

  4500. 	stxsdx		vs41,	o8,	T1

  4501. 	stxsdx		vs42,	o16,	T1

  4502. 	stxsdx		vs43,	o24,	T1

  4503. 

  4504. 	addi		T1,	T1,	32

  4505. 

  4506. 	stxsdx		vs44,	o0,	T1

  4507. 	stxsdx		vs45,	o8,	T1

  4508. 	stxsdx		vs46,	o16,	T1

  4509. 	stxsdx		vs47,	o24,	T1

  4510. 

  4511. //############### SAVE C #######################

  4512. 

  4513. 

  4514. 	mr		T1,	CO

  4515. 

  4516. 	stxsdx		vs32,	o0,	T1

  4517. 	stxsdx		vs33,	o8,	T1

  4518. 	stxsdx		vs34,	o16,	T1

  4519. 	stxsdx		vs35,	o24,	T1

  4520. 

  4521. 	addi		T1,	T1,	32

  4522. 

  4523. 	stxsdx		vs36,	o0,	T1

  4524. 	stxsdx		vs37,	o8,	T1

  4525. 	stxsdx		vs38,	o16,	T1

  4526. 	stxsdx		vs39,	o24,	T1

  4527. 

  4528. 	addi		T1,	T1,	32

  4529. 

  4530. 	stxsdx		vs40,	o0,	T1

  4531. 	stxsdx		vs41,	o8,	T1

  4532. 	stxsdx		vs42,	o16,	T1

  4533. 	stxsdx		vs43,	o24,	T1

  4534. 

  4535. 	addi		T1,	T1,	32

  4536. 

  4537. 	stxsdx		vs44,	o0,	T1

  4538. 	stxsdx		vs45,	o8,	T1

  4539. 	stxsdx		vs46,	o16,	T1

  4540. 	stxsdx		vs47,	o24,	T1

  4541. 

  4542. #if defined(_AIX)

  4543. ')

  4544. #else

  4545. .endm

  4546. #endif

  4547. 

  4548. 

  4549. /*##########################################################################################

  4550. 			 SOLVE_LT 8x1

  4551. ##########################################################################################*/

  4552. 

  4553. #if defined(_AIX)

  4554. define(`SOLVE_LT_8x1', `

  4555. #else

  4556. .macro SOLVE_LT_8x1

  4557. #endif

  4558. 

  4559. 	XXSWAPD(vs0,vs32)

  4560. 	XXSWAPD(vs1,vs33)

  4561. 	XXSWAPD(vs2,vs34)

  4562. 	XXSWAPD(vs3,vs35)

  4563. 	XXSWAPD(vs4,vs36)

  4564. 	XXSWAPD(vs5,vs37)

  4565. 	XXSWAPD(vs6,vs38)

  4566. 	XXSWAPD(vs7,vs39)

  4567. 

  4568. //############### LOAD B #######################

  4569. 

  4570. 

  4571. 	mr		T1,	BO	

  4572. 

  4573. 	lxsdx		vs32,	o0,	T1

  4574. 	lxsdx		vs33,	o8,	T1

  4575. 	lxsdx		vs34,	o16,	T1

  4576. 	lxsdx		vs35,	o24,	T1

  4577. 

  4578. 	addi		T1,	T1,	32

  4579. 

  4580. 	lxsdx		vs36,	o0,	T1

  4581. 	lxsdx		vs37,	o8,	T1

  4582. 	lxsdx		vs38,	o16,	T1

  4583. 	lxsdx		vs39,	o24,	T1

  4584. 

  4585. 	xssubdp		vs32,	vs32,	vs0

  4586. 	xssubdp		vs33,	vs33,	vs1

  4587. 	xssubdp		vs34,	vs34,	vs2

  4588. 	xssubdp		vs35,	vs35,	vs3

  4589. 	xssubdp		vs36,	vs36,	vs4

  4590. 	xssubdp		vs37,	vs37,	vs5

  4591. 	xssubdp		vs38,	vs38,	vs6

  4592. 	xssubdp		vs39,	vs39,	vs7

  4593. 

  4594. 	mr		T1,	AO	

  4595. 

  4596. 

  4597. //############### OFFSET 0 #######################

  4598. 

  4599. 	lxsdx		vs0,	o0,	T1

  4600. 	lxsdx		vs1,	o8,	T1

  4601. 	lxsdx		vs2,	o16,	T1

  4602. 	lxsdx		vs3,	o24,	T1

  4603. 

  4604. 	addi		T1,	T1,	32

  4605. 

  4606. 	lxsdx		vs4,	o0,	T1

  4607. 	lxsdx		vs5,	o8,	T1

  4608. 	lxsdx		vs6,	o16,	T1

  4609. 	lxsdx		vs7,	o24,	T1

  4610. 

  4611. 	addi		T1,	T1,	32

  4612. 

  4613. 	xsmuldp		vs32,	vs32,	vs0

  4614. 	xsnmsubadp	vs33,	vs32,	vs1

  4615. 	xsnmsubadp	vs34,	vs32,	vs2

  4616. 	xsnmsubadp	vs35,	vs32,	vs3

  4617. 	xsnmsubadp	vs36,	vs32,	vs4

  4618. 	xsnmsubadp	vs37,	vs32,	vs5

  4619. 	xsnmsubadp	vs38,	vs32,	vs6

  4620. 	xsnmsubadp	vs39,	vs32,	vs7

  4621. 

  4622. //############### OFFSET 1 #######################

  4623. 

  4624. 	addi		T1,	T1,	1*SIZE

  4625. 

  4626. 	lxsdx		vs0,	o0,	T1

  4627. 	lxsdx		vs1,	o8,	T1

  4628. 	lxsdx		vs2,	o16,	T1

  4629. 	lxsdx		vs3,	o24,	T1

  4630. 

  4631. 	addi		T1,	T1,	32

  4632. 

  4633. 	lxsdx		vs4,	o0,	T1

  4634. 	lxsdx		vs5,	o8,	T1

  4635. 	lxsdx		vs6,	o16,	T1

  4636. 

  4637. 	addi		T1,	T1,	24

  4638. 

  4639. 	xsmuldp		vs33,	vs33,	vs0

  4640. 	xsnmsubadp	vs34,	vs33,	vs1

  4641. 	xsnmsubadp	vs35,	vs33,	vs2

  4642. 	xsnmsubadp	vs36,	vs33,	vs3

  4643. 	xsnmsubadp	vs37,	vs33,	vs4

  4644. 	xsnmsubadp	vs38,	vs33,	vs5

  4645. 	xsnmsubadp	vs39,	vs33,	vs6

  4646. 

  4647. //############### OFFSET 2 #######################

  4648. 

  4649. 	addi		T1,	T1,	2*SIZE

  4650. 

  4651. 	lxsdx		vs0,	o0,	T1

  4652. 	lxsdx		vs1,	o8,	T1

  4653. 	lxsdx		vs2,	o16,	T1

  4654. 	lxsdx		vs3,	o24,	T1

  4655. 

  4656. 	addi		T1,	T1,	32

  4657. 

  4658. 	lxsdx		vs4,	o0,	T1

  4659. 	lxsdx		vs5,	o8,	T1

  4660. 

  4661. 	addi		T1,	T1,	16

  4662. 

  4663. 	xsmuldp		vs34,	vs34,	vs0

  4664. 	xsnmsubadp	vs35,	vs34,	vs1

  4665. 	xsnmsubadp	vs36,	vs34,	vs2

  4666. 	xsnmsubadp	vs37,	vs34,	vs3

  4667. 	xsnmsubadp	vs38,	vs34,	vs4

  4668. 	xsnmsubadp	vs39,	vs34,	vs5

  4669. 

  4670. //############### OFFSET 3 #######################

  4671. 

  4672. 	addi		T1,	T1,	3*SIZE

  4673. 

  4674. 	lxsdx		vs0,	o0,	T1

  4675. 	lxsdx		vs1,	o8,	T1

  4676. 	lxsdx		vs2,	o16,	T1

  4677. 	lxsdx		vs3,	o24,	T1

  4678. 

  4679. 	addi		T1,	T1,	32

  4680. 

  4681. 	lxsdx		vs4,	o0,	T1

  4682. 

  4683. 	addi		T1,	T1,	8

  4684. 

  4685. 	xsmuldp		vs35,	vs35,	vs0

  4686. 	xsnmsubadp	vs36,	vs35,	vs1

  4687. 	xsnmsubadp	vs37,	vs35,	vs2

  4688. 	xsnmsubadp	vs38,	vs35,	vs3

  4689. 	xsnmsubadp	vs39,	vs35,	vs4

  4690. 

  4691. //############### OFFSET 4 #######################

  4692. 

  4693. 	addi		T1,	T1,	4*SIZE

  4694. 

  4695. 	lxsdx		vs0,	o0,	T1

  4696. 	lxsdx		vs1,	o8,	T1

  4697. 	lxsdx		vs2,	o16,	T1

  4698. 	lxsdx		vs3,	o24,	T1

  4699. 

  4700. 	addi		T1,	T1,	32

  4701. 

  4702. 	xsmuldp		vs36,	vs36,	vs0

  4703. 	xsnmsubadp	vs37,	vs36,	vs1

  4704. 	xsnmsubadp	vs38,	vs36,	vs2

  4705. 	xsnmsubadp	vs39,	vs36,	vs3

  4706. 

  4707. //############### OFFSET 5 #######################

  4708. 

  4709. 	addi		T1,	T1,	5*SIZE

  4710. 

  4711. 	lxsdx		vs0,	o0,	T1

  4712. 	lxsdx		vs1,	o8,	T1

  4713. 	lxsdx		vs2,	o16,	T1

  4714. 

  4715. 	addi		T1,	T1,	24

  4716. 

  4717. 	xsmuldp		vs37,	vs37,	vs0

  4718. 	xsnmsubadp	vs38,	vs37,	vs1

  4719. 	xsnmsubadp	vs39,	vs37,	vs2

  4720. 

  4721. //############### OFFSET 6 #######################

  4722. 

  4723. 	addi		T1,	T1,	6*SIZE

  4724. 

  4725. 	lxsdx		vs0,	o0,	T1

  4726. 	lxsdx		vs1,	o8,	T1

  4727. 

  4728. 	addi		T1,	T1,	16

  4729. 

  4730. 	xsmuldp		vs38,	vs38,	vs0

  4731. 	xsnmsubadp	vs39,	vs38,	vs1

  4732. 

  4733. //############### OFFSET 7 #######################

  4734. 

  4735. 	addi		T1,	T1,	7*SIZE

  4736. 

  4737. 	lxsdx		vs0,	o0,	T1

  4738. 

  4739. 	addi		T1,	T1,	8

  4740. 

  4741. 	xsmuldp		vs39,	vs39,	vs0

  4742. 

  4743. //############### SAVE B #######################

  4744. 

  4745. 

  4746. 	mr		T1,	BO	

  4747. 

  4748. 

  4749. 	stxsdx		vs32,	o0,	T1

  4750. 	stxsdx		vs33,	o8,	T1

  4751. 	stxsdx		vs34,	o16,	T1

  4752. 	stxsdx		vs35,	o24,	T1

  4753. 

  4754. 	addi		T1,	T1,	32

  4755. 

  4756. 	stxsdx		vs36,	o0,	T1

  4757. 	stxsdx		vs37,	o8,	T1

  4758. 	stxsdx		vs38,	o16,	T1

  4759. 	stxsdx		vs39,	o24,	T1

  4760. 

  4761. //############### SAVE C #######################

  4762. 

  4763. 

  4764. 	mr		T1,	CO

  4765. 

  4766. 	stxsdx		vs32,	o0,	T1

  4767. 	stxsdx		vs33,	o8,	T1

  4768. 	stxsdx		vs34,	o16,	T1

  4769. 	stxsdx		vs35,	o24,	T1

  4770. 

  4771. 	addi		T1,	T1,	32

  4772. 

  4773. 	stxsdx		vs36,	o0,	T1

  4774. 	stxsdx		vs37,	o8,	T1

  4775. 	stxsdx		vs38,	o16,	T1

  4776. 	stxsdx		vs39,	o24,	T1

  4777. 

  4778. #if defined(_AIX)

  4779. ')

  4780. #else

  4781. .endm

  4782. #endif

  4783. 

  4784. 

  4785. /*##########################################################################################

  4786. 			 SOLVE_LT 4x1

  4787. ##########################################################################################*/

  4788. 

  4789. #if defined(_AIX)

  4790. define(`SOLVE_LT_4x1', `

  4791. #else

  4792. .macro SOLVE_LT_4x1

  4793. #endif

  4794. 

  4795. 	XXSWAPD(vs0,vs32)

  4796. 	XXSWAPD(vs1,vs33)

  4797. 	XXSWAPD(vs2,vs34)

  4798. 	XXSWAPD(vs3,vs35)

  4799. 

  4800. //############### LOAD B #######################

  4801. 

  4802. 

  4803. 	mr		T1,	BO	

  4804. 

  4805. 	lxsdx		vs32,	o0,	T1

  4806. 	lxsdx		vs33,	o8,	T1

  4807. 	lxsdx		vs34,	o16,	T1

  4808. 	lxsdx		vs35,	o24,	T1

  4809. 

  4810. 	xssubdp		vs32,	vs32,	vs0

  4811. 	xssubdp		vs33,	vs33,	vs1

  4812. 	xssubdp		vs34,	vs34,	vs2

  4813. 	xssubdp		vs35,	vs35,	vs3

  4814. 

  4815. 	mr		T1,	AO	

  4816. 

  4817. 

  4818. //############### OFFSET 0 #######################

  4819. 

  4820. 	lxsdx		vs0,	o0,	T1

  4821. 	lxsdx		vs1,	o8,	T1

  4822. 	lxsdx		vs2,	o16,	T1

  4823. 	lxsdx		vs3,	o24,	T1

  4824. 

  4825. 	addi		T1,	T1,	32

  4826. 

  4827. 	xsmuldp		vs32,	vs32,	vs0

  4828. 	xsnmsubadp	vs33,	vs32,	vs1

  4829. 	xsnmsubadp	vs34,	vs32,	vs2

  4830. 	xsnmsubadp	vs35,	vs32,	vs3

  4831. 

  4832. //############### OFFSET 1 #######################

  4833. 

  4834. 	addi		T1,	T1,	1*SIZE

  4835. 

  4836. 	lxsdx		vs0,	o0,	T1

  4837. 	lxsdx		vs1,	o8,	T1

  4838. 	lxsdx		vs2,	o16,	T1

  4839. 

  4840. 	addi		T1,	T1,	24

  4841. 

  4842. 	xsmuldp		vs33,	vs33,	vs0

  4843. 	xsnmsubadp	vs34,	vs33,	vs1

  4844. 	xsnmsubadp	vs35,	vs33,	vs2

  4845. 

  4846. //############### OFFSET 2 #######################

  4847. 

  4848. 	addi		T1,	T1,	2*SIZE

  4849. 

  4850. 	lxsdx		vs0,	o0,	T1

  4851. 	lxsdx		vs1,	o8,	T1

  4852. 

  4853. 	addi		T1,	T1,	16

  4854. 

  4855. 	xsmuldp		vs34,	vs34,	vs0

  4856. 	xsnmsubadp	vs35,	vs34,	vs1

  4857. 

  4858. //############### OFFSET 3 #######################

  4859. 

  4860. 	addi		T1,	T1,	3*SIZE

  4861. 

  4862. 	lxsdx		vs0,	o0,	T1

  4863. 

  4864. 	addi		T1,	T1,	8

  4865. 

  4866. 	xsmuldp		vs35,	vs35,	vs0

  4867. 

  4868. //############### SAVE B #######################

  4869. 

  4870. 

  4871. 	mr		T1,	BO	

  4872. 

  4873. 

  4874. 	stxsdx		vs32,	o0,	T1

  4875. 	stxsdx		vs33,	o8,	T1

  4876. 	stxsdx		vs34,	o16,	T1

  4877. 	stxsdx		vs35,	o24,	T1

  4878. 

  4879. //############### SAVE C #######################

  4880. 

  4881. 

  4882. 	mr		T1,	CO

  4883. 

  4884. 	stxsdx		vs32,	o0,	T1

  4885. 	stxsdx		vs33,	o8,	T1

  4886. 	stxsdx		vs34,	o16,	T1

  4887. 	stxsdx		vs35,	o24,	T1

  4888. 

  4889. #if defined(_AIX)

  4890. ')

  4891. #else

  4892. .endm

  4893. #endif

  4894. 

  4895. 

  4896. /*##########################################################################################

  4897. 			 SOLVE_LT 2x1

  4898. ##########################################################################################*/

  4899. 

  4900. #if defined(_AIX)

  4901. define(`SOLVE_LT_2x1', `

  4902. #else

  4903. .macro SOLVE_LT_2x1

  4904. #endif

  4905. 

  4906. 	XXSWAPD(vs0,vs32)

  4907. 	XXSWAPD(vs1,vs33)

  4908. 

  4909. //############### LOAD B #######################

  4910. 

  4911. 

  4912. 	mr		T1,	BO	

  4913. 

  4914. 	lxsdx		vs32,	o0,	T1

  4915. 	lxsdx		vs33,	o8,	T1

  4916. 

  4917. 	xssubdp		vs32,	vs32,	vs0

  4918. 	xssubdp		vs33,	vs33,	vs1

  4919. 

  4920. 	mr		T1,	AO	

  4921. 

  4922. 

  4923. //############### OFFSET 0 #######################

  4924. 

  4925. 	lxsdx		vs0,	o0,	T1

  4926. 	lxsdx		vs1,	o8,	T1

  4927. 

  4928. 	addi		T1,	T1,	16

  4929. 

  4930. 	xsmuldp		vs32,	vs32,	vs0

  4931. 	xsnmsubadp	vs33,	vs32,	vs1

  4932. 

  4933. //############### OFFSET 1 #######################

  4934. 

  4935. 	addi		T1,	T1,	1*SIZE

  4936. 

  4937. 	lxsdx		vs0,	o0,	T1

  4938. 

  4939. 	addi		T1,	T1,	8

  4940. 

  4941. 	xsmuldp		vs33,	vs33,	vs0

  4942. 

  4943. //############### SAVE B #######################

  4944. 

  4945. 

  4946. 	mr		T1,	BO	

  4947. 

  4948. 

  4949. 	stxsdx		vs32,	o0,	T1

  4950. 	stxsdx		vs33,	o8,	T1

  4951. 

  4952. //############### SAVE C #######################

  4953. 

  4954. 

  4955. 	mr		T1,	CO

  4956. 

  4957. 	stxsdx		vs32,	o0,	T1

  4958. 	stxsdx		vs33,	o8,	T1

  4959. 

  4960. #if defined(_AIX)

  4961. ')

  4962. #else

  4963. .endm

  4964. #endif

  4965. 

  4966. 

  4967. /*##########################################################################################

  4968. 			 SOLVE_LT 1x1

  4969. ##########################################################################################*/

  4970. 

  4971. #if defined(_AIX)

  4972. define(`SOLVE_LT_1x1', `

  4973. #else

  4974. .macro SOLVE_LT_1x1

  4975. #endif

  4976. 

  4977. 	XXSWAPD(vs0,vs32)

  4978. 

  4979. //############### LOAD B #######################

  4980. 

  4981. 

  4982. 	mr		T1,	BO	

  4983. 

  4984. 	lxsdx		vs32,	o0,	T1

  4985. 

  4986. 	xssubdp		vs32,	vs32,	vs0

  4987. 

  4988. 	mr		T1,	AO	

  4989. 

  4990. 

  4991. //############### OFFSET 0 #######################

  4992. 

  4993. 	lxsdx		vs0,	o0,	T1

  4994. 

  4995. 	addi		T1,	T1,	8

  4996. 

  4997. 	xsmuldp		vs32,	vs32,	vs0

  4998. 

  4999. //############### SAVE B #######################

  5000. 

  5001. 

  5002. 	mr		T1,	BO	

  5003. 

  5004. 

  5005. 	stxsdx		vs32,	o0,	T1

  5006. 

  5007. //############### SAVE C #######################

  5008. 

  5009. 

  5010. 	mr		T1,	CO

  5011. 

  5012. 	stxsdx		vs32,	o0,	T1

  5013. 

  5014. #if defined(_AIX)

  5015. ')

  5016. #else

  5017. .endm

  5018. #endif