OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: 69ce737cc5
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from '69ce737cc5'
${ noResults }
OpenBLAS/kernel/arm/dgemm_kernel_8x2_vfpv3.S

1224 lines
20 kB
Raw Blame History 

  1. /***************************************************************************

  2. Copyright (c) 2013, The OpenBLAS Project

  3. All rights reserved.

  4. Redistribution and use in source and binary forms, with or without

  5. modification, are permitted provided that the following conditions are

  6. met:

  7. 1. Redistributions of source code must retain the above copyright

  8. notice, this list of conditions and the following disclaimer.

  9. 2. Redistributions in binary form must reproduce the above copyright

  10. notice, this list of conditions and the following disclaimer in

  11. the documentation and/or other materials provided with the

  12. distribution.

  13. 3. Neither the name of the OpenBLAS project nor the names of

  14. its contributors may be used to endorse or promote products

  15. derived from this software without specific prior written permission.

  16. THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"

  17. AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE

  18. IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE

  19. ARE DISCLAIMED. IN NO EVENT SHALL THE OPENBLAS PROJECT OR CONTRIBUTORS BE

  20. LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL

  21. DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR

  22. SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER

  23. CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,

  24. OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE

  25. USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.

  26. *****************************************************************************/

  27. 

  28. /**************************************************************************************

  29. * 2013/09/28 Saar

  30. * 	 BLASTEST 		: OK

  31. * 	 CTEST			: OK

  32. * 	 TEST			: OK

  33. *

  34. * 2013/09/22 Saar

  35. *	UNROLL_N		2

  36. *	UNROLL_M		8

  37. *	DGEMM_P			64

  38. *	DGEMM_Q			64

  39. *	DGEMM_R			512

  40. *	A_PRE			128

  41. *	B_PRE			128

  42. *

  43. * 	Performance on Odroid U2:

  44. *

  45. *		1 Core:		0.92 GFLOPS	ATLAS: 0.81	GFLOPS

  46. *		2 Cores:	1.83 GFLOPS	ATLAS: 1.51	GFLOPS

  47. *		3 Cores:	2.67 GFLOPS	ATLAS: 1.51	GFLOPS

  48. *		4 Cores:	3.52 GFLOPS	ATLAS: 1.51	GFLOPS

  49. *

  50. * 2013/09/28 Saar

  51. *	UNROLL_N		2

  52. *	UNROLL_M		8

  53. *	DGEMM_P			128

  54. *	DGEMM_Q			128

  55. *	DGEMM_R			2048

  56. *	A_PRE			128

  57. *	B_PRE			128

  58. *	C_PRE			32

  59. *

  60. * 	Performance on Odroid U2:

  61. *

  62. *		1 Core:		0.99 GFLOPS	ATLAS: 0.82	GFLOPS

  63. *		2 Cores:	1.97 GFLOPS	ATLAS: 1.59	GFLOPS

  64. *		3 Cores:	2.86 GFLOPS	ATLAS: 1.59	GFLOPS

  65. *		4 Cores:	3.79 GFLOPS	ATLAS: 1.59	GFLOPS

  66. **************************************************************************************/

  67. 

  68. #define ASSEMBLER

  69. #include "common.h"

  70. 

  71. #define STACKSIZE 252

  72. 

  73. #define	OLD_M	r0

  74. #define	OLD_N	r1

  75. #define	OLD_K	r2

  76. #define	OLD_A	r3

  77. #define OLD_ALPHA d0

  78. 

  79. /******************************************************

  80. * [fp, #-128] - [fp, #-64] is reserved

  81. * for store and restore of floating point

  82. * registers

  83. *******************************************************/

  84. 

  85. #define C	[fp, #-248 ]

  86. #define LDC	[fp, #-252 ]

  87. #define M	[fp, #-256 ]

  88. #define N	[fp, #-260 ]

  89. #define K	[fp, #-264 ]

  90. #define A	[fp, #-268 ]

  91. 

  92. #define ALPHA	[fp, #-276 ]

  93. 

  94. #define B	[fp, #4 ]

  95. #define OLD_C	[fp, #8 ]

  96. #define OLD_LDC	[fp, #12 ]

  97. 

  98. #define I	r0

  99. #define J	r1

  100. #define L	r2

  101. 

  102. #define	AO	r5

  103. #define	BO	r6

  104. 

  105. #define	CO1	r8

  106. #define	CO2	r9

  107. 

  108. #define K1	r7

  109. #define BC	r12

  110. 

  111. #define A_PRE	128

  112. #define A_PRE1	160

  113. #define B_PRE	128

  114. #define C_PRE	32

  115. 

  116. /**************************************************************************************

  117. * Macro definitions

  118. **************************************************************************************/

  119. 

  120. .macro INIT8x2

  121. 

  122. 	vsub.f64	d8 , d8 ,  d8

  123. 	vmov.f64		d9 , d8

  124. 	vmov.f64		d10, d8

  125. 	vmov.f64		d11, d8

  126. 	vmov.f64		d12, d8

  127. 	vmov.f64		d13, d8

  128. 	vmov.f64		d14, d8

  129. 	vmov.f64		d15, d8

  130. 	vmov.f64		d16, d8

  131. 	vmov.f64		d17, d8

  132. 	vmov.f64		d18, d8

  133. 	vmov.f64		d19, d8

  134. 	vmov.f64		d20, d8

  135. 	vmov.f64		d21, d8

  136. 	vmov.f64		d22, d8

  137. 	vmov.f64		d23, d8

  138. 

  139. .endm

  140. 

  141. .macro KERNEL8x2_START

  142. 

  143. 	vldm		BO!, { d24 , d25}

  144. 	vldm		AO!, { d0, d1 , d2, d3, d4 , d5 , d6 , d7 }

  145. 

  146. 	vmul.f64	d26 , d0 , d24

  147. 	vmul.f64	d29 , d0 , d25

  148. 	vmul.f64	d27 , d1 , d24

  149. 	vmul.f64	d30 , d1 , d25

  150. 	vmul.f64	d28 , d2 , d24

  151. 	vmul.f64	d31 , d2 , d25

  152. 

  153.         pld     [AO , #A_PRE]

  154. 

  155. 	vadd.f64	d8  , d8 , d26

  156. 	vadd.f64	d16 , d16, d29

  157. 	vadd.f64	d9  , d9 , d27

  158. 	vadd.f64	d17 , d17, d30

  159. 	vadd.f64	d10 , d10, d28

  160. 	vadd.f64	d18 , d18, d31

  161. 

  162. 	vmul.f64	d26 , d3 , d24

  163. 	vmul.f64	d27 , d4 , d24

  164. 	vmul.f64	d28 , d5 , d24

  165. 	vmul.f64	d29 , d3 , d25

  166. 	vmul.f64	d30 , d4 , d25

  167. 	vmul.f64	d31 , d5 , d25

  168. 

  169.         pld     [AO , #A_PRE1]

  170. 

  171. 	vadd.f64	d11 , d11, d26

  172. 	vadd.f64	d12 , d12, d27

  173. 	vadd.f64	d13 , d13, d28

  174. 	vadd.f64	d19 , d19, d29

  175. 	vadd.f64	d20 , d20, d30

  176. 	vadd.f64	d21 , d21, d31

  177. 

  178. 	vmul.f64	d26 , d6 , d24

  179. 	vmul.f64	d27 , d7 , d24

  180. 	vmul.f64	d29 , d6 , d25

  181. 	vmul.f64	d30 , d7 , d25

  182. 

  183. 	vldm		BO!, { d24 , d25}

  184. 	vldm		AO!, { d0, d1 , d2, d3, d4 , d5 , d6 , d7 }

  185. 

  186. 	vadd.f64	d14 , d14, d26

  187. 	vadd.f64	d15 , d15, d27

  188. 	vadd.f64	d22 , d22, d29

  189. 	vadd.f64	d23 , d23, d30

  190. 

  191. .endm

  192. 

  193. 

  194. .macro KERNEL8x2_M

  195. 

  196. 	vmul.f64	d26 , d0 , d24

  197. 	vmul.f64	d29 , d0 , d25

  198. 	vmul.f64	d27 , d1 , d24

  199. 	vmul.f64	d30 , d1 , d25

  200. 	vmul.f64	d28 , d2 , d24

  201. 	vmul.f64	d31 , d2 , d25

  202. 

  203.         pld     [AO , #A_PRE]

  204. 

  205. 	vadd.f64	d8  , d8 , d26

  206. 	vadd.f64	d16 , d16, d29

  207. 	vadd.f64	d9  , d9 , d27

  208. 	vadd.f64	d17 , d17, d30

  209. 	vadd.f64	d10 , d10, d28

  210. 	vadd.f64	d18 , d18, d31

  211. 

  212. 	vmul.f64	d26 , d3 , d24

  213. 	vmul.f64	d27 , d4 , d24

  214. 	vmul.f64	d28 , d5 , d24

  215. 	vmul.f64	d29 , d3 , d25

  216. 	vmul.f64	d30 , d4 , d25

  217. 	vmul.f64	d31 , d5 , d25

  218. 

  219.         pld     [AO , #A_PRE1]

  220. 

  221. 	vadd.f64	d11 , d11, d26

  222. 	vadd.f64	d12 , d12, d27

  223. 	vadd.f64	d13 , d13, d28

  224. 	vadd.f64	d19 , d19, d29

  225. 	vadd.f64	d20 , d20, d30

  226. 	vadd.f64	d21 , d21, d31

  227. 

  228. 	vmul.f64	d26 , d6 , d24

  229. 	vmul.f64	d27 , d7 , d24

  230. 	vmul.f64	d29 , d6 , d25

  231. 	vmul.f64	d30 , d7 , d25

  232. 

  233. 	vldm		BO!, { d24 , d25}

  234. 	vldm		AO!, { d0, d1 , d2, d3, d4 , d5 , d6 , d7 }

  235. 

  236. 	vadd.f64	d14 , d14, d26

  237. 	vadd.f64	d15 , d15, d27

  238. 	vadd.f64	d22 , d22, d29

  239. 	vadd.f64	d23 , d23, d30

  240. 

  241. .endm

  242. 

  243. 

  244. .macro KERNEL8x2_END

  245. 

  246. 	vmul.f64	d26 , d0 , d24

  247. 	vmul.f64	d29 , d0 , d25

  248. 	vmul.f64	d27 , d1 , d24

  249. 	vmul.f64	d30 , d1 , d25

  250. 	vmul.f64	d28 , d2 , d24

  251. 	vmul.f64	d31 , d2 , d25

  252. 

  253.         pld     [AO , #A_PRE]

  254. 

  255. 	vadd.f64	d8  , d8 , d26

  256. 	vadd.f64	d16 , d16, d29

  257. 	vadd.f64	d9  , d9 , d27

  258. 	vadd.f64	d17 , d17, d30

  259. 	vadd.f64	d10 , d10, d28

  260. 	vadd.f64	d18 , d18, d31

  261. 

  262. 	vmul.f64	d26 , d3 , d24

  263. 	vmul.f64	d27 , d4 , d24

  264. 	vmul.f64	d28 , d5 , d24

  265. 	vmul.f64	d29 , d3 , d25

  266. 	vmul.f64	d30 , d4 , d25

  267. 	vmul.f64	d31 , d5 , d25

  268. 

  269.         pld     [AO , #A_PRE1]

  270. 

  271. 	vadd.f64	d11 , d11, d26

  272. 	vadd.f64	d12 , d12, d27

  273. 	vadd.f64	d13 , d13, d28

  274. 	vadd.f64	d19 , d19, d29

  275. 	vadd.f64	d20 , d20, d30

  276. 	vadd.f64	d21 , d21, d31

  277. 

  278. 	vmul.f64	d26 , d6 , d24

  279. 	vmul.f64	d27 , d7 , d24

  280. 	vmul.f64	d29 , d6 , d25

  281. 	vmul.f64	d30 , d7 , d25

  282. 

  283. 	vadd.f64	d14 , d14, d26

  284. 	vadd.f64	d15 , d15, d27

  285. 	vadd.f64	d22 , d22, d29

  286. 	vadd.f64	d23 , d23, d30

  287. 

  288. .endm

  289. 

  290. 

  291. 

  292. 

  293. .macro KERNEL8x2

  294. 

  295. 	vldm		BO!, { d24 , d25}

  296. 	vldm		AO!, { d0, d1 , d2, d3, d4 , d5 , d6 , d7 }

  297. 

  298. 	vmul.f64	d26 , d0 , d24

  299. 	vmul.f64	d29 , d0 , d25

  300. 	vmul.f64	d27 , d1 , d24

  301. 	vmul.f64	d30 , d1 , d25

  302. 	vmul.f64	d28 , d2 , d24

  303. 	vmul.f64	d31 , d2 , d25

  304. 

  305.         pld     [AO , #A_PRE]

  306. 

  307. 	vadd.f64	d8  , d8 , d26

  308. 	vadd.f64	d16 , d16, d29

  309. 	vadd.f64	d9  , d9 , d27

  310. 	vadd.f64	d17 , d17, d30

  311. 	vadd.f64	d10 , d10, d28

  312. 	vadd.f64	d18 , d18, d31

  313. 

  314. 	vmul.f64	d26 , d3 , d24

  315. 	vmul.f64	d27 , d4 , d24

  316. 	vmul.f64	d28 , d5 , d24

  317. 	vmul.f64	d29 , d3 , d25

  318. 	vmul.f64	d30 , d4 , d25

  319. 	vmul.f64	d31 , d5 , d25

  320. 

  321.         pld     [AO , #A_PRE1]

  322. 

  323. 	vadd.f64	d11 , d11, d26

  324. 	vadd.f64	d12 , d12, d27

  325. 	vadd.f64	d13 , d13, d28

  326. 	vadd.f64	d19 , d19, d29

  327. 	vadd.f64	d20 , d20, d30

  328. 	vadd.f64	d21 , d21, d31

  329. 

  330. 	vmul.f64	d26 , d6 , d24

  331. 	vmul.f64	d27 , d7 , d24

  332. 	vmul.f64	d29 , d6 , d25

  333. 	vmul.f64	d30 , d7 , d25

  334. 

  335. 	vadd.f64	d14 , d14, d26

  336. 	vadd.f64	d15 , d15, d27

  337. 	vadd.f64	d22 , d22, d29

  338. 	vadd.f64	d23 , d23, d30

  339. 

  340. .endm

  341. 

  342. .macro SAVE8x2

  343. 

  344. 	vldr		d0, ALPHA

  345. 	vldm		CO2, { d24, d25, d26 , d27 , d28 , d29 , d30 , d31 }

  346. 

  347. 	vmul.f64	d8 , d0 , d8

  348. 	vmul.f64	d9 , d0 , d9

  349. 	vmul.f64	d10, d0 , d10

  350. 	vmul.f64	d11, d0 , d11

  351. 	vmul.f64	d12, d0 , d12

  352. 	vmul.f64	d13, d0 , d13

  353. 	vmul.f64	d14, d0 , d14

  354. 	vmul.f64	d15, d0 , d15

  355. 	

  356. 	vmul.f64	d16, d0 , d16

  357. 	vmul.f64	d17, d0 , d17

  358. 	vmul.f64	d18, d0 , d18

  359. 	vmul.f64	d19, d0 , d19

  360. 	vmul.f64	d20, d0 , d20

  361. 	vmul.f64	d21, d0 , d21

  362. 	vmul.f64	d22, d0 , d22

  363. 	vmul.f64	d23, d0 , d23

  364. 

  365. 	vldm		CO1, { d0 , d1 , d2  , d3  , d4  , d5  , d6  , d7 }

  366. 

  367. 	vadd.f64	d16, d16, d24

  368. 	vadd.f64	d17, d17, d25

  369. 	vadd.f64	d18, d18, d26

  370. 	vadd.f64	d19, d19, d27

  371. 

  372. 	vadd.f64	d20, d20, d28

  373. 	vadd.f64	d21, d21, d29

  374. 	vadd.f64	d22, d22, d30

  375. 	vadd.f64	d23, d23, d31

  376. 

  377. 	vadd.f64	d8 , d8 , d0

  378. 	vadd.f64	d9 , d9 , d1

  379. 	vadd.f64	d10, d10, d2

  380. 	vadd.f64	d11, d11, d3

  381. 

  382. 	vadd.f64	d12, d12, d4

  383. 	vadd.f64	d13, d13, d5

  384. 	vadd.f64	d14, d14, d6

  385. 	vadd.f64	d15, d15, d7

  386. 

  387. 	vstm		CO2!, { d16, d17, d18 , d19 , d20 , d21 , d22 , d23 }

  388. 	vstm		CO1!, { d8 , d9 , d10 , d11 , d12, d13  , d14 , d15 }

  389. 

  390. .endm

  391. 

  392. 

  393. /*************************************************************************************/

  394. 

  395. 

  396. .macro INIT4x2

  397. 

  398. 	vsub.f64	d8 ,  d8 ,  d8

  399. 	vsub.f64	d9 ,  d9 ,  d9

  400. 	vsub.f64	d10,  d10,  d10

  401. 	vsub.f64	d11,  d11,  d11

  402. 	vsub.f64	d12,  d12,  d12

  403. 	vsub.f64	d13,  d13,  d13

  404. 	vsub.f64	d14,  d14,  d14

  405. 	vsub.f64	d15,  d15,  d15

  406. 

  407. .endm

  408. 

  409. .macro KERNEL4x2

  410. 

  411. 	vldm		AO!, { d0, d1 , d2, d3 }

  412. 	vldm		BO!, { d4, d5 }

  413. 

  414. 	vmul.f64	d6 , d0 , d4

  415. 	vmul.f64	d7 , d1 , d4

  416. 	vadd.f64	d8 , d8 , d6

  417. 	vadd.f64	d9 , d9 , d7

  418. 

  419. 	vmul.f64	d6 , d2 , d4

  420. 	vmul.f64	d7 , d3 , d4

  421. 	vadd.f64	d10, d10, d6

  422. 	vadd.f64	d11, d11, d7

  423. 

  424. 	vmul.f64	d6 , d0 , d5

  425. 	vmul.f64	d7 , d1 , d5

  426. 	vadd.f64	d12, d12, d6

  427. 	vadd.f64	d13, d13, d7

  428. 

  429. 	vmul.f64	d6 , d2 , d5

  430. 	vmul.f64	d7 , d3 , d5

  431. 	vadd.f64	d14, d14, d6

  432. 	vadd.f64	d15, d15, d7

  433. 

  434. .endm

  435. 

  436. .macro SAVE4x2

  437. 

  438. 	vldr		d0, ALPHA

  439. 

  440. 	vmul.f64	d8 , d0 , d8

  441. 	vmul.f64	d9 , d0 , d9

  442. 	vmul.f64	d10, d0 , d10

  443. 	vmul.f64	d11, d0 , d11

  444. 	vmul.f64	d12, d0 , d12

  445. 	vmul.f64	d13, d0 , d13

  446. 	vmul.f64	d14, d0 , d14

  447. 	vmul.f64	d15, d0 , d15

  448. 	

  449. 	vldm		CO1, { d0, d1 , d2 , d3 }

  450. 	vldm		CO2, { d4, d5 , d6 , d7 }

  451. 

  452. 	vadd.f64	d8 , d8 , d0

  453. 	vadd.f64	d9 , d9 , d1

  454. 	vadd.f64	d10, d10, d2

  455. 	vadd.f64	d11, d11, d3

  456. 

  457. 	vadd.f64	d12, d12, d4

  458. 	vadd.f64	d13, d13, d5

  459. 	vadd.f64	d14, d14, d6

  460. 	vadd.f64	d15, d15, d7

  461. 

  462. 	vstm		CO1!, { d8 , d9 , d10 , d11 }

  463. 	vstm		CO2!, { d12, d13 ,d14 , d15 }

  464. 

  465. .endm

  466. 

  467. 

  468. 

  469. /*************************************************************************************/

  470. 

  471. .macro INIT2x2

  472. 

  473. 	vsub.f64	d8 ,  d8 ,  d8

  474. 	vsub.f64	d9 ,  d9 ,  d9

  475. 	vsub.f64	d12,  d12,  d12

  476. 	vsub.f64	d13,  d13,  d13

  477. 

  478. .endm

  479. 

  480. .macro KERNEL2x2

  481. 

  482. 	vldm		AO!, { d0, d1 }

  483. 	vldm		BO!, { d4, d5 }

  484. 

  485. 	vmul.f64	d6 , d0 , d4

  486. 	vmul.f64	d7 , d1 , d4

  487. 	vadd.f64	d8 , d8 , d6

  488. 	vadd.f64	d9 , d9 , d7

  489. 

  490. 	vmul.f64	d6 , d0 , d5

  491. 	vmul.f64	d7 , d1 , d5

  492. 	vadd.f64	d12, d12, d6

  493. 	vadd.f64	d13, d13, d7

  494. 

  495. .endm

  496. 

  497. .macro SAVE2x2

  498. 

  499. 	vldr		d0, ALPHA

  500. 

  501. 	vmul.f64	d8 , d0 , d8

  502. 	vmul.f64	d9 , d0 , d9

  503. 	vmul.f64	d12, d0 , d12

  504. 	vmul.f64	d13, d0 , d13

  505. 	

  506. 	vldm		CO1, { d0, d1 }

  507. 	vldm		CO2, { d4, d5 }

  508. 

  509. 	vadd.f64	d8 , d8 , d0

  510. 	vadd.f64	d9 , d9 , d1

  511. 

  512. 	vadd.f64	d12, d12, d4

  513. 	vadd.f64	d13, d13, d5

  514. 

  515. 	vstm		CO1!, { d8 , d9  }

  516. 	vstm		CO2!, { d12, d13 }

  517. 

  518. .endm

  519. 

  520. /*************************************************************************************/

  521. 

  522. .macro INIT1x2

  523. 

  524. 	vsub.f64	d8 ,  d8 ,  d8

  525. 	vsub.f64	d12,  d12,  d12

  526. 

  527. .endm

  528. 

  529. .macro KERNEL1x2

  530. 

  531. 	vldm		AO!, { d0 }

  532. 	vldm		BO!, { d4, d5 }

  533. 

  534. 	vmul.f64	d6 , d0 , d4

  535. 	vadd.f64	d8 , d8 , d6

  536. 

  537. 	vmul.f64	d6 , d0 , d5

  538. 	vadd.f64	d12, d12, d6

  539. 

  540. .endm

  541. 

  542. .macro SAVE1x2

  543. 

  544. 	vldr		d0, ALPHA

  545. 

  546. 	vmul.f64	d8 , d0 , d8

  547. 	vmul.f64	d12, d0 , d12

  548. 	

  549. 	vldm		CO1, { d0 }

  550. 	vldm		CO2, { d4 }

  551. 

  552. 	vadd.f64	d8 , d8 , d0

  553. 	vadd.f64	d12, d12, d4

  554. 

  555. 	vstm		CO1!, { d8 }

  556. 	vstm		CO2!, { d12}

  557. 

  558. .endm

  559. 

  560. /*************************************************************************************/

  561. 

  562. .macro INIT8x1

  563. 

  564. 	vsub.f64	d8 ,  d8 ,  d8

  565. 	vsub.f64	d9 ,  d9 ,  d9

  566. 	vsub.f64	d10,  d10,  d10

  567. 	vsub.f64	d11,  d11,  d11

  568. 	vsub.f64	d12,  d12,  d12

  569. 	vsub.f64	d13,  d13,  d13

  570. 	vsub.f64	d14,  d14,  d14

  571. 	vsub.f64	d15,  d15,  d15

  572. 

  573. .endm

  574. 

  575. .macro KERNEL8x1

  576. 

  577. 	vldm		AO!, { d0, d1 , d2, d3, d4 , d5 , d6 , d7 }

  578. 	vldm		BO!, { d24 }

  579. 

  580. 	vmul.f64	d26 , d0 , d24

  581. 	vmul.f64	d27 , d1 , d24

  582. 	vadd.f64	d8  , d8 , d26

  583. 	vadd.f64	d9  , d9 , d27

  584. 

  585. 	vmul.f64	d28 , d2 , d24

  586. 	vmul.f64	d29 , d3 , d24

  587. 	vadd.f64	d10 , d10, d28

  588. 	vadd.f64	d11 , d11, d29

  589. 

  590. 	vmul.f64	d26 , d4 , d24

  591. 	vmul.f64	d27 , d5 , d24

  592. 	vadd.f64	d12 , d12, d26

  593. 	vadd.f64	d13 , d13, d27

  594. 

  595. 	vmul.f64	d28 , d6 , d24

  596. 	vmul.f64	d29 , d7 , d24

  597. 	vadd.f64	d14 , d14, d28

  598. 	vadd.f64	d15 , d15, d29

  599. 

  600. 

  601. .endm

  602. 

  603. .macro SAVE8x1

  604. 

  605. 	vldr		d0, ALPHA

  606. 

  607. 	vmul.f64	d8 , d0 , d8

  608. 	vmul.f64	d9 , d0 , d9

  609. 	vmul.f64	d10, d0 , d10

  610. 	vmul.f64	d11, d0 , d11

  611. 	vmul.f64	d12, d0 , d12

  612. 	vmul.f64	d13, d0 , d13

  613. 	vmul.f64	d14, d0 , d14

  614. 	vmul.f64	d15, d0 , d15

  615. 	

  616. 	vldm		CO1, { d0, d1 , d2 , d3 , d4 , d5 , d6 , d7 }

  617. 

  618. 	vadd.f64	d8 , d8 , d0

  619. 	vadd.f64	d9 , d9 , d1

  620. 	vadd.f64	d10, d10, d2

  621. 	vadd.f64	d11, d11, d3

  622. 

  623. 	vadd.f64	d12, d12, d4

  624. 	vadd.f64	d13, d13, d5

  625. 	vadd.f64	d14, d14, d6

  626. 	vadd.f64	d15, d15, d7

  627. 

  628. 	vstm		CO1!, { d8 , d9 , d10 , d11 , d12, d13 ,d14 , d15 }

  629. 

  630. .endm

  631. 

  632. 

  633. /*************************************************************************************/

  634. 

  635. .macro INIT4x1

  636. 

  637. 	vsub.f64	d8 ,  d8 ,  d8

  638. 	vsub.f64	d9 ,  d9 ,  d9

  639. 	vsub.f64	d10,  d10,  d10

  640. 	vsub.f64	d11,  d11,  d11

  641. 

  642. .endm

  643. 

  644. .macro KERNEL4x1

  645. 

  646. 	vldm		AO!, { d0, d1 , d2, d3 }

  647. 	vldm		BO!, { d4 }

  648. 

  649. 	vmul.f64	d6 , d0 , d4

  650. 	vmul.f64	d7 , d1 , d4

  651. 	vadd.f64	d8 , d8 , d6

  652. 	vadd.f64	d9 , d9 , d7

  653. 

  654. 	vmul.f64	d6 , d2 , d4

  655. 	vmul.f64	d7 , d3 , d4

  656. 	vadd.f64	d10, d10, d6

  657. 	vadd.f64	d11, d11, d7

  658. 

  659. .endm

  660. 

  661. .macro SAVE4x1

  662. 

  663. 	vldr		d0, ALPHA

  664. 

  665. 	vmul.f64	d8 , d0 , d8

  666. 	vmul.f64	d9 , d0 , d9

  667. 	vmul.f64	d10, d0 , d10

  668. 	vmul.f64	d11, d0 , d11

  669. 	

  670. 	vldm		CO1, { d0, d1 , d2 , d3 }

  671. 

  672. 	vadd.f64	d8 , d8 , d0

  673. 	vadd.f64	d9 , d9 , d1

  674. 	vadd.f64	d10, d10, d2

  675. 	vadd.f64	d11, d11, d3

  676. 

  677. 	vstm		CO1!, { d8 , d9 , d10 , d11 }

  678. 

  679. .endm

  680. 

  681. /*************************************************************************************/

  682. 

  683. .macro INIT2x1

  684. 

  685. 	vsub.f64	d8 ,  d8 ,  d8

  686. 	vsub.f64	d9 ,  d9 ,  d9

  687. 

  688. .endm

  689. 

  690. .macro KERNEL2x1

  691. 

  692. 	vldm		AO!, { d0, d1 }

  693. 	vldm		BO!, { d4 }

  694. 

  695. 	vmul.f64	d6 , d0 , d4

  696. 	vmul.f64	d7 , d1 , d4

  697. 	vadd.f64	d8 , d8 , d6

  698. 	vadd.f64	d9 , d9 , d7

  699. 

  700. .endm

  701. 

  702. .macro SAVE2x1

  703. 

  704. 	vldr		d0, ALPHA

  705. 

  706. 	vmul.f64	d8 , d0 , d8

  707. 	vmul.f64	d9 , d0 , d9

  708. 	

  709. 	vldm		CO1, { d0, d1 }

  710. 

  711. 	vadd.f64	d8 , d8 , d0

  712. 	vadd.f64	d9 , d9 , d1

  713. 

  714. 	vstm		CO1!, { d8 , d9 }

  715. 

  716. .endm

  717. 

  718. /*************************************************************************************/

  719. 

  720. .macro INIT1x1

  721. 

  722. 	vsub.f64	d8 ,  d8 ,  d8

  723. 

  724. .endm

  725. 

  726. .macro KERNEL1x1

  727. 

  728. 	vldm		AO!, { d0 }

  729. 	vldm		BO!, { d4 }

  730. 

  731. 	vmul.f64	d6 , d0 , d4

  732. 	vadd.f64	d8 , d8 , d6

  733. 

  734. .endm

  735. 

  736. .macro SAVE1x1

  737. 

  738. 	vldr		d0, ALPHA

  739. 

  740. 	vmul.f64	d8 , d0 , d8

  741. 	

  742. 	vldm		CO1, { d0 }

  743. 

  744. 	vadd.f64	d8 , d8 , d0

  745. 

  746. 	vstm		CO1!, { d8 }

  747. 

  748. .endm

  749. 

  750. 

  751. 

  752. /**************************************************************************************

  753. * End of macro definitions

  754. **************************************************************************************/

  755. 

  756. 	PROLOGUE

  757. 

  758. 	.align 5

  759. 

  760. 	push	{r4 - r9, fp}

  761. 	add	fp, sp, #24

  762. 	sub	sp, sp, #STACKSIZE				// reserve stack

  763. 

  764. 	str	OLD_M, M

  765. 	str	OLD_N, N

  766. 	str	OLD_K, K

  767. 	str	OLD_A, A

  768. 	vstr	OLD_ALPHA, ALPHA

  769. 

  770. 	sub	r3, fp, #128

  771. 	vstm	r3, { d8 - d15} 				// store floating point registers

  772. 

  773. 	ldr	r3, OLD_LDC

  774. 	lsl	r3, r3, #3					// ldc = ldc * 8

  775. 	str	r3, LDC

  776. 

  777. 	ldr	r3, OLD_C

  778. 	str	r3, C

  779. 

  780. 	ldr	K1, K

  781. 	ldr	BC, B

  782. 

  783. 	ldr	J, N

  784. 	asrs	J, J, #1					// J = J / 2

  785. 	ble	_L1_BEGIN

  786. 

  787. _L2_BEGIN:

  788. 	

  789. 	ldr	CO1, C						// CO1 = C

  790. 	ldr	r4 , LDC

  791. 	add	CO2, CO1, r4					// CO2 = C + LDC

  792. 	add	r3 , CO2, r4					// C = CO2 + LDC

  793. 	str	r3 , C						// store C

  794. 

  795. 	ldr	AO, A						// AO = A

  796. 

  797. _L2_M8_BEGIN:

  798. 

  799. 	ldr	I, M

  800. 	asrs	I, I, #3					// I = I / 8

  801. 	ble	_L2_M4_BEGIN

  802. 

  803. _L2_M8_20:

  804. 

  805. 	pld	[CO1, #C_PRE]

  806. 	pld	[CO2, #C_PRE]

  807. 	INIT8x2

  808. 

  809. 	mov	BO, BC

  810. 	asrs	L , K1, #3					// L = L / 8

  811. 	ble	_L2_M8_40

  812. 	.align 5

  813. 

  814. _L2_M8_22:

  815. 

  816.         pld     [BO , #B_PRE]

  817. 	KERNEL8x2_START

  818. 	KERNEL8x2_M

  819.         pld     [BO , #B_PRE]

  820. 	KERNEL8x2_M

  821. 	KERNEL8x2_M

  822. 

  823.         pld     [BO , #B_PRE]

  824. 	KERNEL8x2_M

  825. 	KERNEL8x2_M

  826.         pld     [BO , #B_PRE]

  827. 	KERNEL8x2_M

  828. 	KERNEL8x2_END

  829. 

  830. 	subs	L, L, #1

  831. 	bgt	_L2_M8_22

  832. 	

  833. 

  834. _L2_M8_40:

  835. 	

  836. 	ands	L , K1, #7					// L = L % 8

  837. 	ble	_L2_M8_100

  838. 

  839. _L2_M8_42:

  840. 

  841. 	KERNEL8x2

  842. 

  843. 	subs	L, L, #1

  844. 	bgt	_L2_M8_42

  845. 	

  846. _L2_M8_100:

  847. 

  848. 	SAVE8x2

  849. 

  850. _L2_M8_END:

  851. 

  852. 	subs	I, I, #1

  853. 	bgt	_L2_M8_20

  854. 

  855. 

  856. _L2_M4_BEGIN:

  857. 

  858. 	ldr	I, M

  859. 	tst	I , #7

  860. 	ble	_L2_END

  861. 

  862. 	tst	I , #4

  863. 	ble	_L2_M2_BEGIN

  864. 

  865. _L2_M4_20:

  866. 

  867. 	INIT4x2

  868. 

  869. 	mov	BO, BC

  870. 	asrs	L , K1, #3					// L = L / 8

  871. 	ble	_L2_M4_40

  872. 	.align 5

  873. 

  874. _L2_M4_22:

  875. 

  876. 	KERNEL4x2

  877. 	KERNEL4x2

  878. 	KERNEL4x2

  879. 	KERNEL4x2

  880. 

  881. 	KERNEL4x2

  882. 	KERNEL4x2

  883. 	KERNEL4x2

  884. 	KERNEL4x2

  885. 

  886. 	subs	L, L, #1

  887. 	bgt	_L2_M4_22

  888. 	

  889. 

  890. _L2_M4_40:

  891. 	

  892. 	ands	L , K1, #7					// L = L % 8

  893. 	ble	_L2_M4_100

  894. 

  895. _L2_M4_42:

  896. 

  897. 	KERNEL4x2

  898. 

  899. 	subs	L, L, #1

  900. 	bgt	_L2_M4_42

  901. 	

  902. _L2_M4_100:

  903. 

  904. 	SAVE4x2

  905. 

  906. _L2_M4_END:

  907. 

  908. 

  909. 

  910. _L2_M2_BEGIN:

  911. 

  912. 	tst	I, #2					// I = I / 2

  913. 	ble	_L2_M1_BEGIN

  914. 

  915. _L2_M2_20:

  916. 

  917. 	INIT2x2

  918. 

  919. 	mov	BO, BC

  920. 	asrs	L , K1, #2					// L = L / 4

  921. 	ble	_L2_M2_40

  922. 

  923. _L2_M2_22:

  924. 

  925. 	KERNEL2x2

  926. 	KERNEL2x2

  927. 	KERNEL2x2

  928. 	KERNEL2x2

  929. 

  930. 	subs	L, L, #1

  931. 	bgt	_L2_M2_22

  932. 	

  933. 

  934. _L2_M2_40:

  935. 	

  936. 	ands	L , K1, #3					// L = L % 4

  937. 	ble	_L2_M2_100

  938. 

  939. _L2_M2_42:

  940. 

  941. 	KERNEL2x2

  942. 

  943. 	subs	L, L, #1

  944. 	bgt	_L2_M2_42

  945. 	

  946. _L2_M2_100:

  947. 

  948. 	SAVE2x2

  949. 

  950. _L2_M2_END:

  951. 

  952. 

  953. _L2_M1_BEGIN:

  954. 

  955. 	tst	I, #1					// I = I % 2

  956. 	ble	_L2_END

  957. 

  958. _L2_M1_20:

  959. 

  960. 	INIT1x2

  961. 

  962. 	mov	BO, BC

  963. 	asrs	L , K1, #2					// L = L / 4

  964. 	ble	_L2_M1_40

  965. 

  966. _L2_M1_22:

  967. 

  968. 	KERNEL1x2

  969. 	KERNEL1x2

  970. 	KERNEL1x2

  971. 	KERNEL1x2

  972. 

  973. 	subs	L, L, #1

  974. 	bgt	_L2_M1_22

  975. 	

  976. 

  977. _L2_M1_40:

  978. 	

  979. 	ands	L , K1, #3					// L = L % 4

  980. 	ble	_L2_M1_100

  981. 

  982. _L2_M1_42:

  983. 

  984. 	KERNEL1x2

  985. 

  986. 	subs	L, L, #1

  987. 	bgt	_L2_M1_42

  988. 	

  989. _L2_M1_100:

  990. 

  991. 	SAVE1x2

  992. 

  993. 

  994. _L2_END:

  995. 

  996. 	mov	r3, BC

  997. 	mov	r4, K1

  998. 	lsl	r4, r4, #4					// k * 2 * 8

  999. 	add	r3, r3, r4					// B = B + K * 2 * 8

  1000. 	mov	BC, r3

  1001. 	

  1002. 	subs	J , #1						// j--

  1003. 	bgt	_L2_BEGIN

  1004. 

  1005. 

  1006. _L1_BEGIN:	

  1007. 

  1008. 	ldr	J, N

  1009. 	tst	J , #1					// J = J % 2

  1010. 	ble	_L999

  1011. 

  1012. 	ldr	CO1, C						// CO1 = C

  1013. 	ldr	r4 , LDC

  1014. 	add	r3 , CO1, r4					// C = CO1 + LDC

  1015. 	str	r3 , C						// store C

  1016. 

  1017. 	ldr	AO, A						// AO = A

  1018. 

  1019. 

  1020. 

  1021. _L1_M8_BEGIN:

  1022. 

  1023. 	ldr	I, M

  1024. 	asrs	I, I, #3					// I = I / 8

  1025. 	ble	_L1_M4_BEGIN

  1026. 

  1027. _L1_M8_20:

  1028. 

  1029. 	INIT8x1

  1030. 

  1031. 	mov	BO, BC

  1032. 	asrs	L , K1, #3					// L = L / 8

  1033. 	ble	_L1_M8_40

  1034. 

  1035. _L1_M8_22:

  1036. 

  1037. 	KERNEL8x1

  1038. 	KERNEL8x1

  1039. 	KERNEL8x1

  1040. 	KERNEL8x1

  1041. 	KERNEL8x1

  1042. 	KERNEL8x1

  1043. 	KERNEL8x1

  1044. 	KERNEL8x1

  1045. 

  1046. 	subs	L, L, #1

  1047. 	bgt	_L1_M8_22

  1048. 	

  1049. 

  1050. _L1_M8_40:

  1051. 	

  1052. 	ands	L , K1, #7					// L = L % 8

  1053. 	ble	_L1_M8_100

  1054. 

  1055. _L1_M8_42:

  1056. 

  1057. 	KERNEL8x1

  1058. 

  1059. 	subs	L, L, #1

  1060. 	bgt	_L1_M8_42

  1061. 	

  1062. _L1_M8_100:

  1063. 

  1064. 	SAVE8x1

  1065. 

  1066. _L1_M8_END:

  1067. 

  1068. 	subs	I, I, #1

  1069. 	bgt	_L1_M8_20

  1070. 

  1071. 

  1072. 

  1073. 

  1074. _L1_M4_BEGIN:

  1075. 

  1076. 	ldr	I, M

  1077. 	tst	I, #7					// I = I % 8

  1078. 	ble	_L1_END	

  1079. 

  1080. 	tst	I, #4					// I = I % 8

  1081. 	ble	_L1_M2_BEGIN

  1082. 

  1083. _L1_M4_20:

  1084. 

  1085. 	INIT4x1

  1086. 

  1087. 	mov	BO, BC

  1088. 	asrs	L , K1, #2					// L = L / 4

  1089. 	ble	_L1_M4_40

  1090. 

  1091. _L1_M4_22:

  1092. 

  1093. 	KERNEL4x1

  1094. 	KERNEL4x1

  1095. 	KERNEL4x1

  1096. 	KERNEL4x1

  1097. 

  1098. 	subs	L, L, #1

  1099. 	bgt	_L1_M4_22

  1100. 	

  1101. 

  1102. _L1_M4_40:

  1103. 	

  1104. 	ands	L , K1, #3					// L = L % 4

  1105. 	ble	_L1_M4_100

  1106. 

  1107. _L1_M4_42:

  1108. 

  1109. 	KERNEL4x1

  1110. 

  1111. 	subs	L, L, #1

  1112. 	bgt	_L1_M4_42

  1113. 	

  1114. _L1_M4_100:

  1115. 

  1116. 	SAVE4x1

  1117. 

  1118. _L1_M4_END:

  1119. 

  1120. 

  1121. 

  1122. 

  1123. _L1_M2_BEGIN:

  1124. 

  1125. 	tst	I, #2					// I = I % 4

  1126. 	ble	_L1_M1_BEGIN

  1127. 

  1128. _L1_M2_20:

  1129. 

  1130. 	INIT2x1

  1131. 

  1132. 	mov	BO, BC

  1133. 	asrs	L , K1, #2					// L = L / 4

  1134. 	ble	_L1_M2_40

  1135. 

  1136. _L1_M2_22:

  1137. 

  1138. 	KERNEL2x1

  1139. 	KERNEL2x1

  1140. 	KERNEL2x1

  1141. 	KERNEL2x1

  1142. 

  1143. 	subs	L, L, #1

  1144. 	bgt	_L1_M2_22

  1145. 	

  1146. 

  1147. _L1_M2_40:

  1148. 	

  1149. 	ands	L , K1, #3					// L = L % 4

  1150. 	ble	_L1_M2_100

  1151. 

  1152. _L1_M2_42:

  1153. 

  1154. 	KERNEL2x1

  1155. 

  1156. 	subs	L, L, #1

  1157. 	bgt	_L1_M2_42

  1158. 	

  1159. _L1_M2_100:

  1160. 

  1161. 	SAVE2x1

  1162. 

  1163. _L1_M2_END:

  1164. 

  1165. 

  1166. 

  1167. _L1_M1_BEGIN:

  1168. 

  1169. 	tst	I, #1					// I = I % 4

  1170. 	ble	_L1_END

  1171. 

  1172. _L1_M1_20:

  1173. 

  1174. 	INIT1x1

  1175. 

  1176. 	mov	BO, BC

  1177. 	asrs	L , K1, #2					// L = L / 4

  1178. 	ble	_L1_M1_40

  1179. 

  1180. _L1_M1_22:

  1181. 

  1182. 	KERNEL1x1

  1183. 	KERNEL1x1

  1184. 	KERNEL1x1

  1185. 	KERNEL1x1

  1186. 

  1187. 	subs	L, L, #1

  1188. 	bgt	_L1_M1_22

  1189. 	

  1190. 

  1191. _L1_M1_40:

  1192. 	

  1193. 	ands	L , K1, #3					// L = L % 4

  1194. 	ble	_L1_M1_100

  1195. 

  1196. _L1_M1_42:

  1197. 

  1198. 	KERNEL1x1

  1199. 

  1200. 	subs	L, L, #1

  1201. 	bgt	_L1_M1_42

  1202. 	

  1203. _L1_M1_100:

  1204. 

  1205. 	SAVE1x1

  1206. 

  1207. 

  1208. _L1_END:

  1209. 

  1210. 

  1211. 

  1212. _L999:

  1213. 

  1214. 	sub	r3, fp, #128

  1215. 	vldm	r3, { d8 - d15}					// restore floating point registers

  1216. 

  1217. 	movs	r0, #0						// set return value

  1218. 	sub	sp, fp, #24

  1219. 	pop	{r4 - r9, fp}

  1220. 	bx	lr

  1221. 

  1222. 	EPILOGUE