diff --git a/kernel/loongarch64/crot_lsx.S b/kernel/loongarch64/crot_lsx.S
index af8f13b77..663bd8247 100644
--- a/kernel/loongarch64/crot_lsx.S
+++ b/kernel/loongarch64/crot_lsx.S
@@ -75,6 +75,8 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     slli.d  TEMP, TEMP, ZBASE_SHIFT
     slli.d  INCX, INCX, ZBASE_SHIFT
     slli.d  INCY, INCY, ZBASE_SHIFT
+    move YY, Y
+    move XX, X
     MTG  t1, C
     MTG  t2, S
     MTG  t3, a1
@@ -89,25 +91,11 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vreplgr2vr.w VXZ, t3
     srai.d I, N, 2
 #endif
+    bge $r0, I, .L997
     beq INCX, $r0, .L996
     beq INCY, $r0, .L996
-    bne INCX, TEMP, .L22 // INCX!=1 or INCY!=1
-    bne INCY, TEMP, .L22
-
-.L11:
-    bge $r0, I, .L997
-    CMPEQ $fcc0, C, a1
-    bcnez $fcc0, .L110
-    CMPEQ $fcc0, S, a1
-    bcnez $fcc0, .L112 // C!=0 S==0
-    b .L111 // C!=0 S!=0
-    .align 3
-
-.L110:
-    CMPEQ $fcc0, S, a1
-    bcnez $fcc0, .L114 // C==0 S==0
-    b .L113 // C==0 S!=0
-    .align 3
+    bne INCX, TEMP, .L221 // INCX!=1 or INCY!=1
+    bne INCY, TEMP, .L221
 
 .L111: // C!=0 S!=0
     vld VX0, X, 0 * SIZE
@@ -168,151 +156,6 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     b .L997
     .align 3
 
-.L112: // C!=0 S==0
-    vld VX0, X, 0 * SIZE
-    vld VX2, Y, 0 * SIZE
-#ifdef DOUBLE
-    vld VX1, X, 2 * SIZE
-    vld VX3, Y, 2 * SIZE
-    vpickev.d x1, VX1, VX0
-    vpickod.d x2, VX1, VX0
-    vpickev.d x3, VX3, VX2
-    vpickod.d x4, VX3, VX2
-    vfmul.d VX0, x1, VXC
-    vfmul.d VX1, x3, VXC
-    vfmul.d VX2, x2, VXC
-    vfmul.d VX3, x4, VXC
-    vilvl.d x1, VX2 ,VX0
-    vilvh.d x2, VX2, VX0
-    vilvl.d x3, VX3 ,VX1
-    vilvh.d x4, VX3, VX1
-    vst x1, X, 0 * SIZE
-    vst x3, Y, 0 * SIZE
-    vst x2, X, 2 * SIZE
-    vst x4, Y, 2 * SIZE
-    addi.d X, X, 4 * SIZE
-    addi.d Y, Y, 4 * SIZE
-#else
-    vld VX1, X, 4 * SIZE
-    vld VX3, Y, 4 * SIZE
-    vpickev.w x1, VX1, VX0
-    vpickod.w x2, VX1, VX0
-    vpickev.w x3, VX3, VX2
-    vpickod.w x4, VX3, VX2
-    vfmul.s VX0, x1, VXC
-    vfmul.s VX1, x3, VXC
-    vfmul.s VX2, x2, VXC
-    vfmul.s VX3, x4, VXC
-    vilvl.w x1, VX2 ,VX0
-    vilvh.w x2, VX2, VX0
-    vilvl.w x3, VX3 ,VX1
-    vilvh.w x4, VX3, VX1
-    vst x1, X, 0 * SIZE
-    vst x3, Y, 0 * SIZE
-    vst x2, X, 4 * SIZE
-    vst x4, Y, 4 * SIZE
-    addi.d X, X, 8 * SIZE
-    addi.d Y, Y, 8 * SIZE
-#endif
-    addi.d  I, I, -1
-    blt $r0, I, .L112
-    b .L997
-    .align 3
-
-.L113: // C==0 S!=0
-    vld VX0, X, 0 * SIZE
-    vld VX2, Y, 0 * SIZE
-#ifdef DOUBLE
-    vld VX1, X, 2 * SIZE
-    vld VX3, Y, 2 * SIZE
-    vpickev.d x1, VX1, VX0
-    vpickod.d x2, VX1, VX0
-    vpickev.d x3, VX3, VX2
-    vpickod.d x4, VX3, VX2
-    vfmul.d VX0, x3, VXS
-    vfmul.d VX1, x1, VXS
-    vfsub.d VX1, VXZ, VX1
-    vfmul.d VX2, x4, VXS
-    vfmul.d VX3, x2, VXS
-    vfsub.d VX3, VXZ, VX3
-    vilvl.d x1, VX2 ,VX0
-    vilvh.d x2, VX2, VX0
-    vilvl.d x3, VX3 ,VX1
-    vilvh.d x4, VX3, VX1
-    vst x1, X, 0 * SIZE
-    vst x3, Y, 0 * SIZE
-    vst x2, X, 2 * SIZE
-    vst x4, Y, 2 * SIZE
-    addi.d X, X, 4 * SIZE
-    addi.d Y, Y, 4 * SIZE
-#else
-    vld VX1, X, 4 * SIZE
-    vld VX3, Y, 4 * SIZE
-    vpickev.w x1, VX1, VX0
-    vpickod.w x2, VX1, VX0
-    vpickev.w x3, VX3, VX2
-    vpickod.w x4, VX3, VX2
-    vfmul.s VX0, x3, VXS
-    vfmul.s VX1, x1, VXS
-    vfsub.s VX1, VXZ, VX1
-    vfmul.s VX2, x4, VXS
-    vfmul.s VX3, x2, VXS
-    vfsub.s VX3, VXZ, VX3
-    vilvl.w x1, VX2 ,VX0
-    vilvh.w x2, VX2, VX0
-    vilvl.w x3, VX3 ,VX1
-    vilvh.w x4, VX3, VX1
-    vst x1, X, 0 * SIZE
-    vst x3, Y, 0 * SIZE
-    vst x2, X, 4 * SIZE
-    vst x4, Y, 4 * SIZE
-    addi.d X, X, 8 * SIZE
-    addi.d Y, Y, 8 * SIZE
-#endif
-    addi.d  I, I, -1
-    blt $r0, I, .L113
-    b .L997
-    .align 3
-
-.L114: // C==0 S==0
-    vst VXZ, X, 0 * SIZE
-    vst VXZ, Y, 0 * SIZE
-#ifdef DOUBLE
-    vst VXZ, X, 2 * SIZE
-    vst VXZ, Y, 2 * SIZE
-    addi.d X, X, 4 * SIZE
-    addi.d Y, Y, 4 * SIZE
-#else
-    vst VXZ, X, 4 * SIZE
-    vst VXZ, Y, 4 * SIZE
-    addi.d X, X, 8 * SIZE
-    addi.d Y, Y, 8 * SIZE
-#endif
-    addi.d  I, I, -1
-    blt $r0, I, .L114
-    b .L997
-    .align 3
-
-.L22:
-#ifdef DOUBLE
-    srai.d I, N, 2
-#endif
-    bge $r0, I, .L997
-    move YY, Y
-    move XX, X
-    CMPEQ $fcc0, C, a1
-    bcnez $fcc0, .L220
-    CMPEQ $fcc0, S, a1
-    bcnez $fcc0, .L222 // C!=0 S==0
-    b .L221 // C!=0 S!=0
-    .align 3
-
-.L220:
-    CMPEQ $fcc0, S, a1
-    bcnez $fcc0, .L224 // C==0 S==0
-    b .L223 // C==0 S!=0
-    .align 3
-
 .L221: // C!=0 S!=0
 #ifdef DOUBLE
     ld.d t1, X, 0 * SIZE
@@ -355,50 +198,6 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vstelm.d VX1, YY, 0, 1
     vstelm.d VX3, YY, 1 * SIZE, 1
     add.d YY, YY, INCY
-
-    ld.d t1, X, 0 * SIZE
-    ld.d t2, X, 1 * SIZE
-    add.d X, X, INCX
-    ld.d t3, X, 0 * SIZE
-    ld.d t4, X, 1 * SIZE
-    vinsgr2vr.d x1, t1, 0
-    vinsgr2vr.d x2, t2, 0
-    vinsgr2vr.d x1, t3, 1
-    vinsgr2vr.d x2, t4, 1
-    add.d X, X, INCX
-    ld.d t1, Y, 0 * SIZE
-    ld.d t2, Y, 1 * SIZE
-    add.d Y, Y, INCY
-    ld.d t3, Y, 0 * SIZE
-    ld.d t4, Y, 1 * SIZE
-    vinsgr2vr.d x3, t1, 0
-    vinsgr2vr.d x4, t2, 0
-    vinsgr2vr.d x3, t3, 1
-    vinsgr2vr.d x4, t4, 1
-    add.d Y, Y, INCY
-    vfmul.d VX0, x1, VXC
-    vfmadd.d VX0, x3, VXS, VX0
-    vfmul.d VX1, x1, VXS
-    vfmsub.d VX1, x3, VXC, VX1
-    vfmul.d VX2, x2, VXC
-    vfmadd.d VX2, x4, VXS, VX2
-    vfmul.d VX3, x2, VXS
-    vfmsub.d VX3, x4, VXC, VX3
-    vstelm.d VX0, XX, 0, 0
-    vstelm.d VX2, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.d VX0, XX, 0, 1
-    vstelm.d VX2, XX, 1 * SIZE, 1
-    add.d XX, XX, INCX
-    vstelm.d VX1, YY, 0, 0
-    vstelm.d VX3, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    vstelm.d VX1, YY, 0, 1
-    vstelm.d VX3, YY, 1 * SIZE, 1
-    add.d YY, YY, INCY
-    addi.d  I, I, -1
-    blt $r0, I, .L221
-    b .L995
 #else
     ld.w t1, X, 0 * SIZE
     ld.w t2, X, 1 * SIZE
@@ -473,396 +272,12 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vstelm.w VX1, YY, 0, 3
     vstelm.w VX3, YY, 1 * SIZE, 3
     add.d YY, YY, INCY
-    addi.d  I, I, -1
-    blt $r0, I, .L221
-    b .L997
 #endif
-    .align 3
-
-.L222: // C!=0 S==0
-#ifdef DOUBLE
-    ld.d t1, X, 0 * SIZE
-    ld.d t2, X, 1 * SIZE
-    add.d X, X, INCX
-    ld.d t3, X, 0 * SIZE
-    ld.d t4, X, 1 * SIZE
-    add.d X, X, INCX
-    vinsgr2vr.d x1, t1, 0
-    vinsgr2vr.d x2, t2, 0
-    vinsgr2vr.d x1, t3, 1
-    vinsgr2vr.d x2, t4, 1
-    ld.d t1, Y, 0 * SIZE
-    ld.d t2, Y, 1 * SIZE
-    add.d Y, Y, INCY
-    ld.d t3, Y, 0 * SIZE
-    ld.d t4, Y, 1 * SIZE
-    vinsgr2vr.d x3, t1, 0
-    vinsgr2vr.d x4, t2, 0
-    vinsgr2vr.d x3, t3, 1
-    vinsgr2vr.d x4, t4, 1
-    add.d Y, Y, INCY
-    vfmul.d VX0, x1, VXC
-    vfmul.d VX1, x3, VXC
-    vfmul.d VX2, x2, VXC
-    vfmul.d VX3, x4, VXC
-    vstelm.d VX0, XX, 0, 0
-    vstelm.d VX2, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.d VX0, XX, 0, 1
-    vstelm.d VX2, XX, 1 * SIZE, 1
-    add.d XX, XX, INCX
-    vstelm.d VX1, YY, 0, 0
-    vstelm.d VX3, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    vstelm.d VX1, YY, 0, 1
-    vstelm.d VX3, YY, 1 * SIZE, 1
-    add.d YY, YY, INCY
-
-    ld.d t1, X, 0 * SIZE
-    ld.d t2, X, 1 * SIZE
-    add.d X, X, INCX
-    ld.d t3, X, 0 * SIZE
-    ld.d t4, X, 1 * SIZE
-    vinsgr2vr.d x1, t1, 0
-    vinsgr2vr.d x2, t2, 0
-    vinsgr2vr.d x1, t3, 1
-    vinsgr2vr.d x2, t4, 1
-    add.d X, X, INCX
-    ld.d t1, Y, 0 * SIZE
-    ld.d t2, Y, 1 * SIZE
-    add.d Y, Y, INCY
-    ld.d t3, Y, 0 * SIZE
-    ld.d t4, Y, 1 * SIZE
-    vinsgr2vr.d x3, t1, 0
-    vinsgr2vr.d x4, t2, 0
-    vinsgr2vr.d x3, t3, 1
-    vinsgr2vr.d x4, t4, 1
-    add.d Y, Y, INCY
-    vfmul.d VX0, x1, VXC
-    vfmul.d VX1, x3, VXC
-    vfmul.d VX2, x2, VXC
-    vfmul.d VX3, x4, VXC
-    vstelm.d VX0, XX, 0, 0
-    vstelm.d VX2, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.d VX0, XX, 0, 1
-    vstelm.d VX2, XX, 1 * SIZE, 1
-    add.d XX, XX, INCX
-    vstelm.d VX1, YY, 0, 0
-    vstelm.d VX3, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    vstelm.d VX1, YY, 0, 1
-    vstelm.d VX3, YY, 1 * SIZE, 1
-    add.d YY, YY, INCY
     addi.d  I, I, -1
-    blt $r0, I, .L222
-    b .L995
-#else
-    ld.w t1, X, 0 * SIZE
-    ld.w t2, X, 1 * SIZE
-    add.d X, X, INCX
-    ld.w t3, X, 0 * SIZE
-    ld.w t4, X, 1 * SIZE
-    add.d X, X, INCX
-    vinsgr2vr.w x1, t1, 0
-    vinsgr2vr.w x2, t2, 0
-    vinsgr2vr.w x1, t3, 1
-    vinsgr2vr.w x2, t4, 1
-    ld.w t1, Y, 0 * SIZE
-    ld.w t2, Y, 1 * SIZE
-    add.d Y, Y, INCY
-    ld.w t3, Y, 0 * SIZE
-    ld.w t4, Y, 1 * SIZE
-    add.d Y, Y, INCY
-    vinsgr2vr.w x3, t1, 0
-    vinsgr2vr.w x4, t2, 0
-    vinsgr2vr.w x3, t3, 1
-    vinsgr2vr.w x4, t4, 1
-    ld.w t1, X, 0 * SIZE
-    ld.w t2, X, 1 * SIZE
-    add.d X, X, INCX
-    ld.w t3, X, 0 * SIZE
-    ld.w t4, X, 1 * SIZE
-    vinsgr2vr.w x1, t1, 2
-    vinsgr2vr.w x2, t2, 2
-    vinsgr2vr.w x1, t3, 3
-    vinsgr2vr.w x2, t4, 3
-    add.d X, X, INCX
-    ld.w t1, Y, 0 * SIZE
-    ld.w t2, Y, 1 * SIZE
-    add.d Y, Y, INCY
-    ld.w t3, Y, 0 * SIZE
-    ld.w t4, Y, 1 * SIZE
-    vinsgr2vr.w x3, t1, 2
-    vinsgr2vr.w x4, t2, 2
-    vinsgr2vr.w x3, t3, 3
-    vinsgr2vr.w x4, t4, 3
-    add.d Y, Y, INCY
-    vfmul.s VX0, x1, VXC
-    vfmul.s VX1, x3, VXC
-    vfmul.s VX2, x2, VXC
-    vfmul.s VX3, x4, VXC
-    vstelm.w VX0, XX, 0, 0
-    vstelm.w VX2, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.w VX0, XX, 0, 1
-    vstelm.w VX2, XX, 1 * SIZE, 1
-    add.d XX, XX, INCX
-    vstelm.w VX0, XX, 0, 2
-    vstelm.w VX2, XX, 1 * SIZE, 2
-    add.d XX, XX, INCX
-    vstelm.w VX0, XX, 0, 3
-    vstelm.w VX2, XX, 1 * SIZE, 3
-    add.d XX, XX, INCX
-    vstelm.w VX1, YY, 0, 0
-    vstelm.w VX3, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    vstelm.w VX1, YY, 0, 1
-    vstelm.w VX3, YY, 1 * SIZE, 1
-    add.d YY, YY, INCY
-    vstelm.w VX1, YY, 0, 2
-    vstelm.w VX3, YY, 1 * SIZE, 2
-    add.d YY, YY, INCY
-    vstelm.w VX1, YY, 0, 3
-    vstelm.w VX3, YY, 1 * SIZE, 3
-    add.d YY, YY, INCY
-    addi.d  I, I, -1
-    blt $r0, I, .L222
-    b .L997
-#endif
-    .align 3
-
-.L223: // C==0 S!=0
-#ifdef DOUBLE
-    ld.d t1, X, 0 * SIZE
-    ld.d t2, X, 1 * SIZE
-    add.d X, X, INCX
-    ld.d t3, X, 0 * SIZE
-    ld.d t4, X, 1 * SIZE
-    add.d X, X, INCX
-    vinsgr2vr.d x1, t1, 0
-    vinsgr2vr.d x2, t2, 0
-    vinsgr2vr.d x1, t3, 1
-    vinsgr2vr.d x2, t4, 1
-    ld.d t1, Y, 0 * SIZE
-    ld.d t2, Y, 1 * SIZE
-    add.d Y, Y, INCY
-    ld.d t3, Y, 0 * SIZE
-    ld.d t4, Y, 1 * SIZE
-    vinsgr2vr.d x3, t1, 0
-    vinsgr2vr.d x4, t2, 0
-    vinsgr2vr.d x3, t3, 1
-    vinsgr2vr.d x4, t4, 1
-    add.d Y, Y, INCY
-    vfmul.d VX0, x3, VXS
-    vfmul.d VX1, x1, VXS
-    vfsub.d VX1, VXZ, VX1
-    vfmul.d VX2, x4, VXS
-    vfmul.d VX3, x2, VXS
-    vfsub.d VX3, VXZ, VX3
-    vstelm.d VX0, XX, 0, 0
-    vstelm.d VX2, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.d VX0, XX, 0, 1
-    vstelm.d VX2, XX, 1 * SIZE, 1
-    add.d XX, XX, INCX
-    vstelm.d VX1, YY, 0, 0
-    vstelm.d VX3, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    vstelm.d VX1, YY, 0, 1
-    vstelm.d VX3, YY, 1 * SIZE, 1
-    add.d YY, YY, INCY
-
-    ld.d t1, X, 0 * SIZE
-    ld.d t2, X, 1 * SIZE
-    add.d X, X, INCX
-    ld.d t3, X, 0 * SIZE
-    ld.d t4, X, 1 * SIZE
-    vinsgr2vr.d x1, t1, 0
-    vinsgr2vr.d x2, t2, 0
-    vinsgr2vr.d x1, t3, 1
-    vinsgr2vr.d x2, t4, 1
-    add.d X, X, INCX
-    ld.d t1, Y, 0 * SIZE
-    ld.d t2, Y, 1 * SIZE
-    add.d Y, Y, INCY
-    ld.d t3, Y, 0 * SIZE
-    ld.d t4, Y, 1 * SIZE
-    vinsgr2vr.d x3, t1, 0
-    vinsgr2vr.d x4, t2, 0
-    vinsgr2vr.d x3, t3, 1
-    vinsgr2vr.d x4, t4, 1
-    add.d Y, Y, INCY
-    vfmul.d VX0, x3, VXS
-    vfmul.d VX1, x1, VXS
-    vfsub.d VX1, VXZ, VX1
-    vfmul.d VX2, x4, VXS
-    vfmul.d VX3, x2, VXS
-    vfsub.d VX3, VXZ, VX3
-    vstelm.d VX0, XX, 0, 0
-    vstelm.d VX2, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.d VX0, XX, 0, 1
-    vstelm.d VX2, XX, 1 * SIZE, 1
-    add.d XX, XX, INCX
-    vstelm.d VX1, YY, 0, 0
-    vstelm.d VX3, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    vstelm.d VX1, YY, 0, 1
-    vstelm.d VX3, YY, 1 * SIZE, 1
-    add.d YY, YY, INCY
-    addi.d  I, I, -1
-    blt $r0, I, .L223
-    b .L995
-#else
-    ld.w t1, X, 0 * SIZE
-    ld.w t2, X, 1 * SIZE
-    add.d X, X, INCX
-    ld.w t3, X, 0 * SIZE
-    ld.w t4, X, 1 * SIZE
-    add.d X, X, INCX
-    vinsgr2vr.w x1, t1, 0
-    vinsgr2vr.w x2, t2, 0
-    vinsgr2vr.w x1, t3, 1
-    vinsgr2vr.w x2, t4, 1
-    ld.w t1, Y, 0 * SIZE
-    ld.w t2, Y, 1 * SIZE
-    add.d Y, Y, INCY
-    ld.w t3, Y, 0 * SIZE
-    ld.w t4, Y, 1 * SIZE
-    add.d Y, Y, INCY
-    vinsgr2vr.w x3, t1, 0
-    vinsgr2vr.w x4, t2, 0
-    vinsgr2vr.w x3, t3, 1
-    vinsgr2vr.w x4, t4, 1
-    ld.w t1, X, 0 * SIZE
-    ld.w t2, X, 1 * SIZE
-    add.d X, X, INCX
-    ld.w t3, X, 0 * SIZE
-    ld.w t4, X, 1 * SIZE
-    vinsgr2vr.w x1, t1, 2
-    vinsgr2vr.w x2, t2, 2
-    vinsgr2vr.w x1, t3, 3
-    vinsgr2vr.w x2, t4, 3
-    add.d X, X, INCX
-    ld.w t1, Y, 0 * SIZE
-    ld.w t2, Y, 1 * SIZE
-    add.d Y, Y, INCY
-    ld.w t3, Y, 0 * SIZE
-    ld.w t4, Y, 1 * SIZE
-    vinsgr2vr.w x3, t1, 2
-    vinsgr2vr.w x4, t2, 2
-    vinsgr2vr.w x3, t3, 3
-    vinsgr2vr.w x4, t4, 3
-    add.d Y, Y, INCY
-    vfmul.s VX0, x3, VXS
-    vfmul.s VX1, x1, VXS
-    vfsub.s VX1, VXZ, VX1
-    vfmul.s VX2, x4, VXS
-    vfmul.s VX3, x2, VXS
-    vfsub.s VX3, VXZ, VX3
-    vstelm.w VX0, XX, 0, 0
-    vstelm.w VX2, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.w VX0, XX, 0, 1
-    vstelm.w VX2, XX, 1 * SIZE, 1
-    add.d XX, XX, INCX
-    vstelm.w VX0, XX, 0, 2
-    vstelm.w VX2, XX, 1 * SIZE, 2
-    add.d XX, XX, INCX
-    vstelm.w VX0, XX, 0, 3
-    vstelm.w VX2, XX, 1 * SIZE, 3
-    add.d XX, XX, INCX
-    vstelm.w VX1, YY, 0, 0
-    vstelm.w VX3, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    vstelm.w VX1, YY, 0, 1
-    vstelm.w VX3, YY, 1 * SIZE, 1
-    add.d YY, YY, INCY
-    vstelm.w VX1, YY, 0, 2
-    vstelm.w VX3, YY, 1 * SIZE, 2
-    add.d YY, YY, INCY
-    vstelm.w VX1, YY, 0, 3
-    vstelm.w VX3, YY, 1 * SIZE, 3
-    add.d YY, YY, INCY
-    addi.d  I, I, -1
-    blt $r0, I, .L223
-    b .L997
-#endif
-    .align 3
-
-.L224: // C==0 S==0
-#ifdef DOUBLE
-    vstelm.d VXZ, XX, 0, 0
-    vstelm.d VXZ, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 0
-    vstelm.d VXZ, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 0
-    vstelm.d VXZ, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 0
-    vstelm.d VXZ, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.d VXZ, YY, 0, 0
-    vstelm.d VXZ, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 0
-    vstelm.d VXZ, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 0
-    vstelm.d VXZ, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 0
-    vstelm.d VXZ, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    addi.d  I, I, -1
-    blt $r0, I, .L224
-    move X, XX
-    move Y, YY
-    b .L995
-#else
-    vstelm.w VXZ, XX, 0, 0
-    vstelm.w VXZ, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 0
-    vstelm.w VXZ, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 0
-    vstelm.w VXZ, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 0
-    vstelm.w VXZ, XX, 1 * SIZE, 0
-    add.d XX, XX, INCX
-    vstelm.w VXZ, YY, 0, 0
-    vstelm.w VXZ, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 0
-    vstelm.w VXZ, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 0
-    vstelm.w VXZ, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 0
-    vstelm.w VXZ, YY, 1 * SIZE, 0
-    add.d YY, YY, INCY
-    addi.d  I, I, -1
-    blt $r0, I, .L224
-    move X, XX
-    move Y, YY
+    blt $r0, I, .L221
     b .L997
-#endif
     .align 3
 
-#ifdef DOUBLE
-    .L995:
-    andi I, N, 3
-    bge $r0, I, .L999
-    b .L998
-    .align 3
-
-#endif
 .L996:
     move I, N
     b .L998
diff --git a/kernel/loongarch64/rot_lsx.S b/kernel/loongarch64/rot_lsx.S
index 3bb77aaec..ea1df4027 100644
--- a/kernel/loongarch64/rot_lsx.S
+++ b/kernel/loongarch64/rot_lsx.S
@@ -64,6 +64,8 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     slli.d  TEMP, TEMP, BASE_SHIFT
     slli.d  INCX, INCX, BASE_SHIFT
     slli.d  INCY, INCY, BASE_SHIFT
+    move    XX,   X
+    move    YY,   Y
 #ifdef DOUBLE
     movfr2gr.d t1, C
     vreplgr2vr.d VXC, t1
@@ -80,27 +82,13 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vreplgr2vr.w VXZ, t3
 #endif
     srai.d I, N, 3
+    bge $r0, I, .L997
     bne INCX, TEMP, .L20
-    bne INCY, TEMP, .L12 // INCX==1 and INCY!=1
-    b .L11  // INCX==1 and INCY==1
+    bne INCY, TEMP, .L121    // INCX==1 and INCY!=1
+    b .L111                  // INCX==1 and INCY==1
 .L20:
-    bne INCY, TEMP, .L22 // INCX!=1 and INCY!=1
-    b .L21 // INCX!=1 and INCY==1
-
-.L11:
-    bge $r0, I, .L997
-    CMPEQ $fcc0, C, a1
-    bcnez $fcc0, .L110
-    CMPEQ $fcc0, S, a1
-    bcnez $fcc0, .L112 // C!=0 S==0
-    b .L111 // C!=0 S!=0
-    .align 3
-
-.L110:
-    CMPEQ $fcc0, S, a1
-    bcnez $fcc0, .L114 // C==0 S==0
-    b .L113 // C==0 S!=0
-    .align 3
+    bne INCY, TEMP, .L221    // INCX!=1 and INCY!=1
+    b .L211                  // INCX!=1 and INCY==1
 
 .L111: // C!=0 S!=0
     vld VX0, X, 0 * SIZE
@@ -151,129 +139,6 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     b .L997
     .align 3
 
-.L112: // C!=0 S==0
-    vld VX0, X, 0 * SIZE
-    vld VX2, Y, 0 * SIZE
-#ifdef DOUBLE
-    vld VX1, X, 2 * SIZE
-    vld VX3, Y, 2 * SIZE
-#else
-    vld VX1, X, 4 * SIZE
-    vld VX3, Y, 4 * SIZE
-#endif
-    VMUL VT0, VX0, VXC
-    VMUL VT1, VX2, VXC
-    vst VT0, X, 0 * SIZE
-    vst VT1, Y, 0 * SIZE
-    VMUL VT0, VX1, VXC
-    VMUL VT1, VX3, VXC
-#ifdef DOUBLE
-    vst VT0, X, 2 * SIZE
-    vst VT1, Y, 2 * SIZE
-    vld VX0, X, 4 * SIZE
-    vld VX2, Y, 4 * SIZE
-    vld VX1, X, 6 * SIZE
-    vld VX3, Y, 6 * SIZE
-    VMUL VT0, VX0, VXC
-    VMUL VT1, VX2, VXC
-#endif
-    vst VT0, X, 4 * SIZE
-    vst VT1, Y, 4 * SIZE
-#ifdef DOUBLE
-    VMUL VT0, VX1, VXC
-    VMUL VT1, VX3, VXC
-    vst VT0, X, 6 * SIZE
-    vst VT1, Y, 6 * SIZE
-#endif
-    addi.d X, X, 8 * SIZE
-    addi.d Y, Y, 8 * SIZE
-    addi.d  I, I, -1
-    blt $r0, I, .L112
-    b .L997
-    .align 3
-
-.L113: // C==0 S!=0
-    vld VX0, X, 0 * SIZE
-    vld VX2, Y, 0 * SIZE
-#ifdef DOUBLE
-    vld VX1, X, 2 * SIZE
-    vld VX3, Y, 2 * SIZE
-#else
-    vld VX1, X, 4 * SIZE
-    vld VX3, Y, 4 * SIZE
-#endif
-    VMUL VT0, VX2, VXS
-    VMUL VT1, VX0, VXS
-    VFSUB VT1, VXZ, VT1
-    vst VT0, X, 0 * SIZE
-    vst VT1, Y, 0 * SIZE
-    VMUL VT0, VX3, VXS
-    VMUL VT1, VX1, VXS
-    VFSUB VT1, VXZ, VT1
-#ifdef DOUBLE
-    vst VT0, X, 2 * SIZE
-    vst VT1, Y, 2 * SIZE
-    vld VX0, X, 4 * SIZE
-    vld VX2, Y, 4 * SIZE
-    vld VX1, X, 6 * SIZE
-    vld VX3, Y, 6 * SIZE
-    VMUL VT0, VX2, VXS
-    VMUL VT1, VX0, VXS
-    VFSUB VT1, VXZ, VT1
-#endif
-    vst VT0, X, 4 * SIZE
-    vst VT1, Y, 4 * SIZE
-#ifdef DOUBLE
-    VMUL VT0, VX3, VXS
-    VMUL VT1, VX1, VXS
-    VFSUB VT1, VXZ, VT1
-    vst VT0, X, 6 * SIZE
-    vst VT1, Y, 6 * SIZE
-#endif
-    addi.d X, X, 8 * SIZE
-    addi.d Y, Y, 8 * SIZE
-    addi.d  I, I, -1
-    blt $r0, I, .L113
-    b .L997
-    .align 3
-
-.L114: // C==0 S==0
-    vst VXZ, X, 0 * SIZE
-    vst VXZ, Y, 0 * SIZE
-#ifdef DOUBLE
-    vst VXZ, X, 2 * SIZE
-    vst VXZ, Y, 2 * SIZE
-#endif
-    vst VXZ, X, 4 * SIZE
-    vst VXZ, Y, 4 * SIZE
-#ifdef DOUBLE
-    vst VXZ, X, 6 * SIZE
-    vst VXZ, Y, 6 * SIZE
-#endif
-    addi.d X, X, 8 * SIZE
-    addi.d Y, Y, 8 * SIZE
-    addi.d  I, I, -1
-    blt $r0, I, .L114
-    b .L997
-    .align 3
-
-.L12: // INCX==1 and INCY!=1
-    bge $r0, I, .L997
-    move YY, Y
-    move XX, X
-    CMPEQ $fcc0, C, a1
-    bcnez $fcc0, .L120
-    CMPEQ $fcc0, S, a1
-    bcnez $fcc0, .L122 // C!=0 S==0
-    b .L121 // C!=0 S!=0
-    .align 3
-
-.L120:
-    CMPEQ $fcc0, S, a1
-    bcnez $fcc0, .L124 // C==0 S==0
-    b .L123 // C==0 S!=0
-    .align 3
-
 .L121: // C!=0 S!=0
 #ifdef DOUBLE
     vld VX0, X, 0 * SIZE
@@ -339,948 +204,8 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vstelm.w VT1, YY, 0, 2
     add.d YY, YY, INCY
     vstelm.w VT1, YY, 0, 3
-    add.d YY, YY, INCY
-    vld VX1, X, 4 * SIZE
-    ld.w t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t2, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t4, Y, 0 * SIZE
-    vinsgr2vr.w VX3, t1, 0
-    vinsgr2vr.w VX3, t2, 1
-    vinsgr2vr.w VX3, t3, 2
-    vinsgr2vr.w VX3, t4, 3
-#endif
-    add.d Y, Y, INCY
-    VMUL VT0, VX1, VXC
-    VFMADD VT0, VX3, VXS, VT0
-    VMUL VT1, VX1, VXS
-    VMSUB VT1, VX3, VXC, VT1
-    vst VT0, X, 4 * SIZE
-#ifdef DOUBLE
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vld VX1, X, 6 * SIZE
-    ld.d t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t4, Y, 0 * SIZE
-    vinsgr2vr.d VX3, t3, 0
-    vinsgr2vr.d VX3, t4, 1
-    add.d Y, Y, INCY
-    VMUL VT0, VX1, VXC
-    VFMADD VT0, VX3, VXS, VT0
-    VMUL VT1, VX1, VXS
-    VMSUB VT1, VX3, VXC, VT1
-    vst VT0, X, 6 * SIZE
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-#else
-    vstelm.w VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 2
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 3
-#endif
-    add.d YY, YY, INCY
-    addi.d X, X, 8 * SIZE
-    addi.d  I, I, -1
-    blt $r0, I, .L121
-    b .L997
-    .align 3
-
-.L122: // C!=0 S==0
-#ifdef DOUBLE
-    vld VX0, X, 0 * SIZE
-    ld.d  t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d  t2, Y, 0 * SIZE
-#else
-    vld VX0, X, 0 * SIZE
-    ld.w  t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w  t2, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t4, Y, 0 * SIZE
-#endif
-#ifdef DOUBLE
-    vinsgr2vr.d VX2, t1, 0
-    vinsgr2vr.d VX2, t2, 1
-#else
-    vinsgr2vr.w VX2, t1, 0
-    vinsgr2vr.w VX2, t2, 1
-    vinsgr2vr.w VX2, t3, 2
-    vinsgr2vr.w VX2, t4, 3
-#endif
-    add.d Y, Y, INCY
-    VMUL VT0, VX0, VXC
-    VMUL VT1, VX2, VXC
-    vst VT0, X, 0 * SIZE
-#ifdef DOUBLE
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vld VX0, X, 2 * SIZE
-    ld.d t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t4, Y, 0 * SIZE
-    vinsgr2vr.d VX2, t3, 0
-    vinsgr2vr.d VX2, t4, 1
-    add.d Y, Y, INCY
-    VMUL VT0, VX0, VXC
-    VMUL VT1, VX2, VXC
-    vst VT0, X, 2 * SIZE
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vld VX1, X, 4 * SIZE
-    ld.d t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t2, Y, 0 * SIZE
-    vinsgr2vr.d VX3, t1, 0
-    vinsgr2vr.d VX3, t2, 1
-    add.d Y, Y, INCY
-    VMUL VT0, VX1, VXC
-    VMUL VT1, VX3, VXC
-    vst VT0, X, 4 * SIZE
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vld VX1, X, 6 * SIZE
-    ld.d t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t4, Y, 0 * SIZE
-    vinsgr2vr.d VX3, t3, 0
-    vinsgr2vr.d VX3, t4, 1
-    add.d Y, Y, INCY
-    VMUL VT0, VX1, VXC
-    VMUL VT1, VX3, VXC
-    vst VT0, X, 6 * SIZE
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-#else
-    vstelm.w VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 2
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 3
-    add.d YY, YY, INCY
-    vld VX1, X, 4 * SIZE
-    ld.w t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t2, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t4, Y, 0 * SIZE
-    vinsgr2vr.w VX3, t1, 0
-    vinsgr2vr.w VX3, t2, 1
-    vinsgr2vr.w VX3, t3, 2
-    vinsgr2vr.w VX3, t4, 3
-    add.d Y, Y, INCY
-    VMUL VT0, VX1, VXC
-    VMUL VT1, VX3, VXC
-    vst VT0, X, 4 * SIZE
-    vstelm.w VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 2
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 3
-#endif
-    add.d YY, YY, INCY
-    addi.d X, X, 8 * SIZE
-    addi.d  I, I, -1
-    blt $r0, I, .L122
-    b .L997
-    .align 3
-
-.L123: // C==0 S!=0
-#ifdef DOUBLE
-    vld VX0, X, 0 * SIZE
-    ld.d  t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d  t2, Y, 0 * SIZE
-#else
-    vld VX0, X, 0 * SIZE
-    ld.w  t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w  t2, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t4, Y, 0 * SIZE
-#endif
-#ifdef DOUBLE
-    vinsgr2vr.d VX2, t1, 0
-    vinsgr2vr.d VX2, t2, 1
-#else
-    vinsgr2vr.w VX2, t1, 0
-    vinsgr2vr.w VX2, t2, 1
-    vinsgr2vr.w VX2, t3, 2
-    vinsgr2vr.w VX2, t4, 3
-#endif
-    add.d Y, Y, INCY
-    VMUL VT0, VX2, VXS
-    VMUL VT1, VX0, VXS
-    VFSUB VT1, VXZ, VT1
-    vst VT0, X, 0 * SIZE
-#ifdef DOUBLE
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vld VX0, X, 2 * SIZE
-    ld.d t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t4, Y, 0 * SIZE
-    vinsgr2vr.d VX2, t3, 0
-    vinsgr2vr.d VX2, t4, 1
-    add.d Y, Y, INCY
-    VMUL VT0, VX2, VXS
-    VMUL VT1, VX0, VXS
-    VFSUB VT1, VXZ, VT1
-    vst VT0, X, 2 * SIZE
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vld VX1, X, 4 * SIZE
-    ld.d t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t2, Y, 0 * SIZE
-    vinsgr2vr.d VX3, t1, 0
-    vinsgr2vr.d VX3, t2, 1
-    add.d Y, Y, INCY
-    VMUL VT0, VX3, VXS
-    VMUL VT1, VX1, VXS
-    VFSUB VT1, VXZ, VT1
-    vst VT0, X, 4 * SIZE
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vld VX1, X, 6 * SIZE
-    ld.d t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t4, Y, 0 * SIZE
-    vinsgr2vr.d VX3, t3, 0
-    vinsgr2vr.d VX3, t4, 1
-    add.d Y, Y, INCY
-    VMUL VT0, VX3, VXS
-    VMUL VT1, VX1, VXS
-    VFSUB VT1, VXZ, VT1
-    vst VT0, X, 6 * SIZE
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-#else
-    vstelm.w VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 2
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 3
-    add.d YY, YY, INCY
-    vld VX1, X, 4 * SIZE
-    ld.w t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t2, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t4, Y, 0 * SIZE
-    vinsgr2vr.w VX3, t1, 0
-    vinsgr2vr.w VX3, t2, 1
-    vinsgr2vr.w VX3, t3, 2
-    vinsgr2vr.w VX3, t4, 3
-    add.d Y, Y, INCY
-    VMUL VT0, VX3, VXS
-    VMUL VT1, VX1, VXS
-    VFSUB VT1, VXZ, VT1
-    vst VT0, X, 4 * SIZE
-    vstelm.w VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 2
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 3
-#endif
-    add.d YY, YY, INCY
-    addi.d X, X, 8 * SIZE
-    addi.d  I, I, -1
-    blt $r0, I, .L123
-    b .L997
-    .align 3
-
-.L124: // C==0 S==0
-    vst VXZ, X, 0 * SIZE
-    vst VXZ, X, 4 * SIZE
-#ifdef DOUBLE
-    vstelm.d VXZ, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 1
-#else
-    vstelm.w VXZ, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 2
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 3
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 2
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 3
-#endif
-    add.d YY, YY, INCY
-    addi.d  I, I, -1
-    addi.d X, X, 8 * SIZE
-    blt $r0, I, .L124
-#ifdef DOUBLE
-    move Y, YY
-#endif
-    b .L997
-    .align 3
-
-.L21:// INCX!=1 and INCY==1
-    bge $r0, I, .L997
-    move XX, X
-    CMPEQ $fcc0, C, a1
-    bcnez $fcc0, .L210
-    CMPEQ $fcc0, S, a1
-    bcnez $fcc0, .L212 // C!=0 S==0
-    b .L211 // C!=0 S!=0
-    .align 3
-
-.L210:
-    CMPEQ $fcc0, S, a1
-    bcnez $fcc0, .L214 // C==0 S==0
-    b .L213 // C==0 S!=0
-    .align 3
-
-.L211: // C!=0 S!=0
-#ifdef DOUBLE
-    vld VX2, Y, 0 * SIZE
-    ld.d  t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d  t2, X, 0 * SIZE
-#else
-    vld VX2, Y, 0 * SIZE
-    ld.w  t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w  t2, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t4, X, 0 * SIZE
-#endif
-#ifdef DOUBLE
-    vinsgr2vr.d VX0, t1, 0
-    vinsgr2vr.d VX0, t2, 1
-#else
-    vinsgr2vr.w VX0, t1, 0
-    vinsgr2vr.w VX0, t2, 1
-    vinsgr2vr.w VX0, t3, 2
-    vinsgr2vr.w VX0, t4, 3
-#endif
-    add.d X, X, INCX
-    VMUL VT0, VXC, VX0
-    VFMADD VT0, VX2, VXS, VT0
-    VMUL VT1, VXS, VX0
-    VMSUB VT1, VX2, VXC, VT1
-#ifdef DOUBLE
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vst VT1, Y, 0 * SIZE
-    vld VX2, Y, 2 * SIZE
-    ld.d t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d t4, X, 0 * SIZE
-    vinsgr2vr.d VX0, t3, 0
-    vinsgr2vr.d VX0, t4, 1
-    add.d X, X, INCX
-    VMUL VT0, VXC, VX0
-    VFMADD VT0, VX2, VXS, VT0
-    VMUL VT1, VXS, VX0
-    VMSUB VT1, VX2, VXC, VT1
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vst VT1, Y, 2 * SIZE
-    vld VX3, Y, 4 * SIZE
-    ld.d t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d t2, X, 0 * SIZE
-    vinsgr2vr.d VX1, t1, 0
-    vinsgr2vr.d VX1, t2, 1
-    add.d X, X, INCX
-    VMUL VT0, VX1, VXC
-    VFMADD VT0, VX3, VXS, VT0
-    VMUL VT1, VX1, VXS
-    VMSUB VT1, VX3, VXC, VT1
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vst VT1, Y, 4 * SIZE
-    vld VX3, Y, 6 * SIZE
-    ld.d t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d t4, X, 0 * SIZE
-    vinsgr2vr.d VX1, t3, 0
-    vinsgr2vr.d VX1, t4, 1
-    add.d X, X, INCX
-    VMUL VT0, VX1, VXC
-    VFMADD VT0, VX3, VXS, VT0
-    VMUL VT1, VX1, VXS
-    VMSUB VT1, VX3, VXC, VT1
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vst VT1, Y, 6 * SIZE
-#else
-    vstelm.w VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 2
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 3
-    add.d XX, XX, INCX
-    vst VT1, Y, 0 * SIZE
-    vld VX3, Y, 4 * SIZE
-    ld.w t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t2, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t4, X, 0 * SIZE
-    vinsgr2vr.w VX1, t1, 0
-    vinsgr2vr.w VX1, t2, 1
-    vinsgr2vr.w VX1, t3, 2
-    vinsgr2vr.w VX1, t4, 3
-    add.d X, X, INCX
-    VMUL VT0, VX1, VXC
-    VFMADD VT0, VX3, VXS, VT0
-    VMUL VT1, VX1, VXS
-    VMSUB VT1, VX3, VXC, VT1
-    vstelm.w VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 2
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 3
-    add.d XX, XX, INCX
-    vst VT1, Y, 4 * SIZE
-#endif
-    addi.d Y, Y, 8 * SIZE
-    addi.d  I, I, -1
-    blt $r0, I, .L211
-    b .L997
-    .align 3
-
-.L212: // C!=0 S==0
-#ifdef DOUBLE
-    vld VX2, Y, 0 * SIZE
-    ld.d  t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d  t2, X, 0 * SIZE
-#else
-    vld VX2, Y, 0 * SIZE
-    ld.w  t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w  t2, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t4, X, 0 * SIZE
-#endif
-#ifdef DOUBLE
-    vinsgr2vr.d VX0, t1, 0
-    vinsgr2vr.d VX0, t2, 1
-#else
-    vinsgr2vr.w VX0, t1, 0
-    vinsgr2vr.w VX0, t2, 1
-    vinsgr2vr.w VX0, t3, 2
-    vinsgr2vr.w VX0, t4, 3
-#endif
-    add.d X, X, INCX
-    VMUL VT0, VXC, VX0
-    VMUL VT1, VX2, VXC
-
-#ifdef DOUBLE
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vst VT1, Y, 0 * SIZE
-    vld VX2, Y, 2 * SIZE
-    ld.d t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d t4, X, 0 * SIZE
-    vinsgr2vr.d VX0, t3, 0
-    vinsgr2vr.d VX0, t4, 1
-    add.d X, X, INCX
-    VMUL VT0, VXC, VX0
-    VMUL VT1, VX2, VXC
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vst VT1, Y, 2 * SIZE
-    vld VX3, Y, 4 * SIZE
-    ld.d t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d t2, X, 0 * SIZE
-    vinsgr2vr.d VX1, t1, 0
-    vinsgr2vr.d VX1, t2, 1
-    add.d X, X, INCX
-    VMUL VT0, VX1, VXC
-    VMUL VT1, VX3, VXS
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vst VT1, Y, 4 * SIZE
-    vld VX3, Y, 6 * SIZE
-    ld.d t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d t4, X, 0 * SIZE
-    vinsgr2vr.d VX1, t3, 0
-    vinsgr2vr.d VX1, t4, 1
-    add.d X, X, INCX
-    VMUL VT0, VX1, VXC
-    VMUL VT1, VX3, VXS
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    vst VT1, Y, 6 * SIZE
-#else
-    vstelm.w VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 2
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 3
-    add.d XX, XX, INCX
-    vst VT1, Y, 0 * SIZE
-    vld VX3, Y, 4 * SIZE
-    ld.w t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t2, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t4, X, 0 * SIZE
-    vinsgr2vr.w VX1, t1, 0
-    vinsgr2vr.w VX1, t2, 1
-    vinsgr2vr.w VX1, t3, 2
-    vinsgr2vr.w VX1, t4, 3
-    add.d X, X, INCX
-    VMUL VT0, VX1, VXC
-    VMUL VT1, VX3, VXS
-    vstelm.w VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 2
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 3
-    add.d XX, XX, INCX
-    vst VT1, Y, 4 * SIZE
-#endif
-    addi.d Y, Y, 8 * SIZE
-    addi.d  I, I, -1
-    blt $r0, I, .L212
-    b .L997
-    .align 3
-
-.L213: // C==0 S!=0
-#ifdef DOUBLE
-    vld VX2, Y, 0 * SIZE
-    ld.d  t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d  t2, X, 0 * SIZE
-#else
-    vld VX2, Y, 0 * SIZE
-    ld.w  t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w  t2, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t4, X, 0 * SIZE
-#endif
-#ifdef DOUBLE
-    vinsgr2vr.d VX0, t1, 0
-    vinsgr2vr.d VX0, t2, 1
-#else
-    vinsgr2vr.w VX0, t1, 0
-    vinsgr2vr.w VX0, t2, 1
-    vinsgr2vr.w VX0, t3, 2
-    vinsgr2vr.w VX0, t4, 3
-#endif
-    add.d X, X, INCX
-    VMUL VT0, VXS, VX2
-    VMUL VT1, VXS, VX0
-    VFSUB VT1, VXZ, VT1
-
-#ifdef DOUBLE
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vst VT1, Y, 0 * SIZE
-    vld VX2, Y, 2 * SIZE
-    ld.d t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d t4, X, 0 * SIZE
-    vinsgr2vr.d VX0, t3, 0
-    vinsgr2vr.d VX0, t4, 1
-    add.d X, X, INCX
-    VMUL VT0, VXS, VX2
-    VMUL VT1, VXS, VX0
-    VFSUB VT1, VXZ, VT1
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vst VT1, Y, 2 * SIZE
-    vld VX3, Y, 4 * SIZE
-    ld.d t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d t2, X, 0 * SIZE
-    vinsgr2vr.d VX1, t1, 0
-    vinsgr2vr.d VX1, t2, 1
-    add.d X, X, INCX
-    VMUL VT0, VX3, VXS
-    VMUL VT1, VX1, VXS
-    VFSUB VT1, VXZ, VT1
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vst VT1, Y, 4 * SIZE
-    vld VX3, Y, 6 * SIZE
-    ld.d t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d t4, X, 0 * SIZE
-    vinsgr2vr.d VX1, t3, 0
-    vinsgr2vr.d VX1, t4, 1
-    add.d X, X, INCX
-    VMUL VT0, VX3, VXS
-    VMUL VT1, VX1, VXS
-    VFSUB VT1, VXZ, VT1
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vst VT1, Y, 6 * SIZE
-#else
-    vstelm.w VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 2
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 3
-    add.d XX, XX, INCX
-    vst VT1, Y, 0 * SIZE
-    vld VX3, Y, 4 * SIZE
-    ld.w t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t2, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t4, X, 0 * SIZE
-    vinsgr2vr.w VX1, t1, 0
-    vinsgr2vr.w VX1, t2, 1
-    vinsgr2vr.w VX1, t3, 2
-    vinsgr2vr.w VX1, t4, 3
-    add.d X, X, INCX
-    VMUL VT0, VX3, VXS
-    VMUL VT1, VX1, VXS
-    VFSUB VT1, VXZ, VT1
-    vstelm.w VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 2
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 3
-    add.d XX, XX, INCX
-    vst VT1, Y, 4 * SIZE
-#endif
-    addi.d Y, Y, 8 * SIZE
-    addi.d  I, I, -1
-    blt $r0, I, .L213
-    b .L997
-    .align 3
-
-.L214: // C==0 S==0
-#ifdef DOUBLE
-    vstelm.d VXZ, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 1
-    add.d XX, XX, INCX
-    vst VT1, Y, 0 * SIZE
-    vstelm.d VXZ, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 1
-#else
-    vstelm.w VXZ, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 2
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 3
-    add.d XX, XX, INCX
-    vst VT1, Y, 0 * SIZE
-    vstelm.w VXZ, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 2
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 3
-#endif
-    add.d XX, XX, INCX
-    vst VT1, Y, 4 * SIZE
-    addi.d Y, Y, 8 * SIZE
-    addi.d  I, I, -1
-    blt $r0, I, .L211
-#ifdef DOUBLE
-    move X, XX
-#endif
-    b .L997
-    .align 3
-
-.L22:
-    bge $r0, I, .L997
-    move YY, Y
-    move XX, X
-    CMPEQ $fcc0, C, a1
-    bcnez $fcc0, .L220
-    CMPEQ $fcc0, S, a1
-    bcnez $fcc0, .L222 // C!=0 S==0
-    b .L221 // C!=0 S!=0
-    .align 3
-
-.L220:
-    CMPEQ $fcc0, S, a1
-    bcnez $fcc0, .L224 // C==0 S==0
-    b .L223 // C==0 S!=0
-    .align 3
-
-.L221: // C!=0 S!=0
-#ifdef DOUBLE
-    ld.d  t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d  t2, X, 0 * SIZE
-    add.d X, X, INCX
-#else
-    ld.w  t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w  t2, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t4, X, 0 * SIZE
-    add.d X, X, INCX
-#endif
-#ifdef DOUBLE
-    vinsgr2vr.d VX0, t1, 0
-    vinsgr2vr.d VX0, t2, 1
-    ld.d t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t2, Y, 0 * SIZE
-    vinsgr2vr.d VX2, t1, 0
-    vinsgr2vr.d VX2, t2, 1
-    add.d Y, Y, INCY
-    VMUL VT0, VX0, VXC
-    VFMADD VT0, VX2, VXS, VT0
-    VMUL VT1, VX0, VXS
-    VMSUB VT1, VX2, VXC, VT1
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    ld.d t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d t4, X, 0 * SIZE
-    add.d X, X, INCX
-    vinsgr2vr.d VX0, t3, 0
-    vinsgr2vr.d VX0, t4, 1
-    ld.d t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t4, Y, 0 * SIZE
-    vinsgr2vr.d VX2, t3, 0
-    vinsgr2vr.d VX2, t4, 1
-    add.d Y, Y, INCY
-    VMUL  VT0, VX0, VXC
-    VFMADD VT0, VX2, VXS, VT0
-    VMUL  VT1, VX0, VXS
-    VMSUB VT1, VX2, VXC, VT1
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    ld.d t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d t2, X, 0 * SIZE
-    add.d X, X, INCX
-    vinsgr2vr.d VX1, t1, 0
-    vinsgr2vr.d VX1, t2, 1
-    ld.d t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t2, Y, 0 * SIZE
-    vinsgr2vr.d VX3, t1, 0
-    vinsgr2vr.d VX3, t2, 1
-    add.d Y, Y, INCY
-    VMUL VT0, VX1, VXC
-    VFMADD VT0, VX3, VXS, VT0
-    VMUL VT1, VX1, VXS
-    VMSUB VT1, VX3, VXC, VT1
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    ld.d t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.d t4, X, 0 * SIZE
-    vinsgr2vr.d VX1, t3, 0
-    vinsgr2vr.d VX1, t4, 1
-    add.d X, X, INCX
-    ld.d t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t4, Y, 0 * SIZE
-    vinsgr2vr.d VX3, t3, 0
-    vinsgr2vr.d VX3, t4, 1
-    add.d Y, Y, INCY
-    VMUL VT0, VX1, VXC
-    VFMADD VT0, VX3, VXS, VT0
-    VMUL VT1, VX1, VXS
-    VMSUB VT1, VX3, VXC, VT1
-    vstelm.d VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
-#else
-    vinsgr2vr.w VX0, t1, 0
-    vinsgr2vr.w VX0, t2, 1
-    vinsgr2vr.w VX0, t3, 2
-    vinsgr2vr.w VX0, t4, 3
-    ld.w t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t2, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t4, Y, 0 * SIZE
-    vinsgr2vr.w VX2, t1, 0
-    vinsgr2vr.w VX2, t2, 1
-    vinsgr2vr.w VX2, t3, 2
-    vinsgr2vr.w VX2, t4, 3
-    add.d Y, Y, INCY
-    VMUL VT0, VX0, VXC
-    VFMADD VT0, VX2, VXS, VT0
-    VMUL VT1, VX0, VXS
-    VMSUB VT1, VX2, VXC, VT1
-    vstelm.w VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 2
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 3
-    add.d XX, XX, INCX
-    vstelm.w VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 2
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 3
-    add.d YY, YY, INCY
-    ld.w t1, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t2, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t3, X, 0 * SIZE
-    add.d X, X, INCX
-    ld.w t4, X, 0 * SIZE
-    vinsgr2vr.w VX1, t1, 0
-    vinsgr2vr.w VX1, t2, 1
-    vinsgr2vr.w VX1, t3, 2
-    vinsgr2vr.w VX1, t4, 3
-    add.d X, X, INCX
+    add.d YY, YY, INCY
+    vld VX1, X, 4 * SIZE
     ld.w t1, Y, 0 * SIZE
     add.d Y, Y, INCY
     ld.w t2, Y, 0 * SIZE
@@ -1292,19 +217,34 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vinsgr2vr.w VX3, t2, 1
     vinsgr2vr.w VX3, t3, 2
     vinsgr2vr.w VX3, t4, 3
+#endif
     add.d Y, Y, INCY
     VMUL VT0, VX1, VXC
     VFMADD VT0, VX3, VXS, VT0
     VMUL VT1, VX1, VXS
     VMSUB VT1, VX3, VXC, VT1
-    vstelm.w VT0, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 2
-    add.d XX, XX, INCX
-    vstelm.w VT0, XX, 0, 3
-    add.d XX, XX, INCX
+    vst VT0, X, 4 * SIZE
+#ifdef DOUBLE
+    vstelm.d VT1, YY, 0, 0
+    add.d YY, YY, INCY
+    vstelm.d VT1, YY, 0, 1
+    add.d YY, YY, INCY
+    vld VX1, X, 6 * SIZE
+    ld.d t3, Y, 0 * SIZE
+    add.d Y, Y, INCY
+    ld.d t4, Y, 0 * SIZE
+    vinsgr2vr.d VX3, t3, 0
+    vinsgr2vr.d VX3, t4, 1
+    add.d Y, Y, INCY
+    VMUL VT0, VX1, VXC
+    VFMADD VT0, VX3, VXS, VT0
+    VMUL VT1, VX1, VXS
+    VMSUB VT1, VX3, VXC, VT1
+    vst VT0, X, 6 * SIZE
+    vstelm.d VT1, YY, 0, 0
+    add.d YY, YY, INCY
+    vstelm.d VT1, YY, 0, 1
+#else
     vstelm.w VT1, YY, 0, 0
     add.d YY, YY, INCY
     vstelm.w VT1, YY, 0, 1
@@ -1312,127 +252,99 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vstelm.w VT1, YY, 0, 2
     add.d YY, YY, INCY
     vstelm.w VT1, YY, 0, 3
-    add.d YY, YY, INCY
 #endif
+    add.d YY, YY, INCY
+    addi.d X, X, 8 * SIZE
     addi.d  I, I, -1
-    blt $r0, I, .L221
+    blt $r0, I, .L121
     b .L997
     .align 3
 
-.L222: // C!=0 S==0
-    ld.d t1, X, 0 * SIZE
+.L211: // C!=0 S!=0
+#ifdef DOUBLE
+    vld VX2, Y, 0 * SIZE
+    ld.d  t1, X, 0 * SIZE
     add.d X, X, INCX
-    ld.d t2, X, 0 * SIZE
+    ld.d  t2, X, 0 * SIZE
+#else
+    vld VX2, Y, 0 * SIZE
+    ld.w  t1, X, 0 * SIZE
+    add.d X, X, INCX
+    ld.w  t2, X, 0 * SIZE
     add.d X, X, INCX
-#ifndef DOUBLE
     ld.w t3, X, 0 * SIZE
     add.d X, X, INCX
     ld.w t4, X, 0 * SIZE
-    add.d X, X, INCX
 #endif
 #ifdef DOUBLE
     vinsgr2vr.d VX0, t1, 0
     vinsgr2vr.d VX0, t2, 1
-    ld.d t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t2, Y, 0 * SIZE
-    vinsgr2vr.d VX2, t1, 0
-    vinsgr2vr.d VX2, t2, 1
-    add.d Y, Y, INCY
-    VMUL VT0, VX0, VXC
-    VMUL VT1, VX2, VXC
+#else
+    vinsgr2vr.w VX0, t1, 0
+    vinsgr2vr.w VX0, t2, 1
+    vinsgr2vr.w VX0, t3, 2
+    vinsgr2vr.w VX0, t4, 3
+#endif
+    add.d X, X, INCX
+    VMUL VT0, VXC, VX0
+    VFMADD VT0, VX2, VXS, VT0
+    VMUL VT1, VXS, VX0
+    VMSUB VT1, VX2, VXC, VT1
+#ifdef DOUBLE
     vstelm.d VT0, XX, 0, 0
     add.d XX, XX, INCX
     vstelm.d VT0, XX, 0, 1
     add.d XX, XX, INCX
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
+    vst VT1, Y, 0 * SIZE
+    vld VX2, Y, 2 * SIZE
     ld.d t3, X, 0 * SIZE
     add.d X, X, INCX
     ld.d t4, X, 0 * SIZE
-    add.d X, X, INCX
     vinsgr2vr.d VX0, t3, 0
     vinsgr2vr.d VX0, t4, 1
-    ld.d t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t4, Y, 0 * SIZE
-    vinsgr2vr.d VX2, t3, 0
-    vinsgr2vr.d VX2, t4, 1
-    add.d Y, Y, INCY
-    VMUL VT0, VX0, VXC
-    VMUL VT1, VX2, VXC
+    add.d X, X, INCX
+    VMUL VT0, VXC, VX0
+    VFMADD VT0, VX2, VXS, VT0
+    VMUL VT1, VXS, VX0
+    VMSUB VT1, VX2, VXC, VT1
     vstelm.d VT0, XX, 0, 0
     add.d XX, XX, INCX
     vstelm.d VT0, XX, 0, 1
     add.d XX, XX, INCX
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
+    vst VT1, Y, 2 * SIZE
+    vld VX3, Y, 4 * SIZE
     ld.d t1, X, 0 * SIZE
     add.d X, X, INCX
     ld.d t2, X, 0 * SIZE
-    add.d X, X, INCX
     vinsgr2vr.d VX1, t1, 0
     vinsgr2vr.d VX1, t2, 1
-    ld.d t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t2, Y, 0 * SIZE
-    vinsgr2vr.d VX3, t1, 0
-    vinsgr2vr.d VX3, t2, 1
-    add.d Y, Y, INCY
+    add.d X, X, INCX
     VMUL VT0, VX1, VXC
-    VMUL VT1, VX3, VXC
+    VFMADD VT0, VX3, VXS, VT0
+    VMUL VT1, VX1, VXS
+    VMSUB VT1, VX3, VXC, VT1
     vstelm.d VT0, XX, 0, 0
     add.d XX, XX, INCX
     vstelm.d VT0, XX, 0, 1
     add.d XX, XX, INCX
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
-    add.d YY, YY, INCY
+    vst VT1, Y, 4 * SIZE
+    vld VX3, Y, 6 * SIZE
     ld.d t3, X, 0 * SIZE
     add.d X, X, INCX
     ld.d t4, X, 0 * SIZE
-    add.d X, X, INCX
     vinsgr2vr.d VX1, t3, 0
     vinsgr2vr.d VX1, t4, 1
-    ld.d t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.d t4, Y, 0 * SIZE
-    vinsgr2vr.d VX3, t3, 0
-    vinsgr2vr.d VX3, t4, 1
-    add.d Y, Y, INCY
+    add.d X, X, INCX
     VMUL VT0, VX1, VXC
-    VMUL VT1, VX3, VXC
+    VFMADD VT0, VX3, VXS, VT0
+    VMUL VT1, VX1, VXS
+    VMSUB VT1, VX3, VXC, VT1
     vstelm.d VT0, XX, 0, 0
     add.d XX, XX, INCX
     vstelm.d VT0, XX, 0, 1
     add.d XX, XX, INCX
-    vstelm.d VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VT1, YY, 0, 1
+    vst VT1, Y, 6 * SIZE
 #else
-    vinsgr2vr.w VX0, t1, 0
-    vinsgr2vr.w VX0, t2, 1
-    vinsgr2vr.w VX0, t3, 2
-    vinsgr2vr.w VX0, t4, 3
-    ld.w t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t2, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t4, Y, 0 * SIZE
-    vinsgr2vr.w VX2, t1, 0
-    vinsgr2vr.w VX2, t2, 1
-    vinsgr2vr.w VX2, t3, 2
-    vinsgr2vr.w VX2, t4, 3
-    add.d Y, Y, INCY
-    VMUL VT0, VX0, VXC
-    VMUL VT1, VX2, VXC
     vstelm.w VT0, XX, 0, 0
     add.d XX, XX, INCX
     vstelm.w VT0, XX, 0, 1
@@ -1441,14 +353,8 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     add.d XX, XX, INCX
     vstelm.w VT0, XX, 0, 3
     add.d XX, XX, INCX
-    vstelm.w VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 2
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 3
-    add.d YY, YY, INCY
+    vst VT1, Y, 0 * SIZE
+    vld VX3, Y, 4 * SIZE
     ld.w t1, X, 0 * SIZE
     add.d X, X, INCX
     ld.w t2, X, 0 * SIZE
@@ -1456,25 +362,15 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     ld.w t3, X, 0 * SIZE
     add.d X, X, INCX
     ld.w t4, X, 0 * SIZE
-    add.d X, X, INCX
     vinsgr2vr.w VX1, t1, 0
     vinsgr2vr.w VX1, t2, 1
     vinsgr2vr.w VX1, t3, 2
     vinsgr2vr.w VX1, t4, 3
-    ld.w t1, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t2, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t3, Y, 0 * SIZE
-    add.d Y, Y, INCY
-    ld.w t4, Y, 0 * SIZE
-    vinsgr2vr.w VX3, t1, 0
-    vinsgr2vr.w VX3, t2, 1
-    vinsgr2vr.w VX3, t3, 2
-    vinsgr2vr.w VX3, t4, 3
-    add.d Y, Y, INCY
+    add.d X, X, INCX
     VMUL VT0, VX1, VXC
-    VMUL VT1, VX3, VXC
+    VFMADD VT0, VX3, VXS, VT0
+    VMUL VT1, VX1, VXS
+    VMSUB VT1, VX3, VXC, VT1
     vstelm.w VT0, XX, 0, 0
     add.d XX, XX, INCX
     vstelm.w VT0, XX, 0, 1
@@ -1483,21 +379,15 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     add.d XX, XX, INCX
     vstelm.w VT0, XX, 0, 3
     add.d XX, XX, INCX
-    vstelm.w VT1, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 2
-    add.d YY, YY, INCY
-    vstelm.w VT1, YY, 0, 3
+    vst VT1, Y, 4 * SIZE
 #endif
-    add.d YY, YY, INCY
+    addi.d Y, Y, 8 * SIZE
     addi.d  I, I, -1
-    blt $r0, I, .L222
+    blt $r0, I, .L211
     b .L997
     .align 3
 
-.L223: // C==0 S!=0
+.L221: // C!=0 S!=0
 #ifdef DOUBLE
     ld.d  t1, X, 0 * SIZE
     add.d X, X, INCX
@@ -1522,9 +412,10 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vinsgr2vr.d VX2, t1, 0
     vinsgr2vr.d VX2, t2, 1
     add.d Y, Y, INCY
-    VMUL VT0, VX2, VXS
+    VMUL VT0, VX0, VXC
+    VFMADD VT0, VX2, VXS, VT0
     VMUL VT1, VX0, VXS
-    VFSUB VT1, VXZ, VT1
+    VMSUB VT1, VX2, VXC, VT1
     vstelm.d VT0, XX, 0, 0
     add.d XX, XX, INCX
     vstelm.d VT0, XX, 0, 1
@@ -1545,9 +436,10 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vinsgr2vr.d VX2, t3, 0
     vinsgr2vr.d VX2, t4, 1
     add.d Y, Y, INCY
-    VMUL VT0, VX2, VXS
-    VMUL VT1, VX0, VXS
-    VFSUB VT1, VXZ, VT1
+    VMUL  VT0, VX0, VXC
+    VFMADD VT0, VX2, VXS, VT0
+    VMUL  VT1, VX0, VXS
+    VMSUB VT1, VX2, VXC, VT1
     vstelm.d VT0, XX, 0, 0
     add.d XX, XX, INCX
     vstelm.d VT0, XX, 0, 1
@@ -1568,9 +460,10 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vinsgr2vr.d VX3, t1, 0
     vinsgr2vr.d VX3, t2, 1
     add.d Y, Y, INCY
-    VMUL VT0, VX3, VXS
-    VMUL VT1, VX0, VXS
-    VFSUB VT1, VXZ, VT1
+    VMUL VT0, VX1, VXC
+    VFMADD VT0, VX3, VXS, VT0
+    VMUL VT1, VX1, VXS
+    VMSUB VT1, VX3, VXC, VT1
     vstelm.d VT0, XX, 0, 0
     add.d XX, XX, INCX
     vstelm.d VT0, XX, 0, 1
@@ -1582,18 +475,19 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     ld.d t3, X, 0 * SIZE
     add.d X, X, INCX
     ld.d t4, X, 0 * SIZE
-    add.d X, X, INCX
     vinsgr2vr.d VX1, t3, 0
     vinsgr2vr.d VX1, t4, 1
+    add.d X, X, INCX
     ld.d t3, Y, 0 * SIZE
     add.d Y, Y, INCY
     ld.d t4, Y, 0 * SIZE
     vinsgr2vr.d VX3, t3, 0
     vinsgr2vr.d VX3, t4, 1
     add.d Y, Y, INCY
-    VMUL VT0, VX3, VXS
-    VMUL VT1, VX0, VXS
-    VFSUB VT1, VXZ, VT1
+    VMUL VT0, VX1, VXC
+    VFMADD VT0, VX3, VXS, VT0
+    VMUL VT1, VX1, VXS
+    VMSUB VT1, VX3, VXC, VT1
     vstelm.d VT0, XX, 0, 0
     add.d XX, XX, INCX
     vstelm.d VT0, XX, 0, 1
@@ -1601,6 +495,7 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vstelm.d VT1, YY, 0, 0
     add.d YY, YY, INCY
     vstelm.d VT1, YY, 0, 1
+    add.d YY, YY, INCY
 #else
     vinsgr2vr.w VX0, t1, 0
     vinsgr2vr.w VX0, t2, 1
@@ -1618,9 +513,10 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vinsgr2vr.w VX2, t3, 2
     vinsgr2vr.w VX2, t4, 3
     add.d Y, Y, INCY
-    VMUL VT0, VX2, VXS
+    VMUL VT0, VX0, VXC
+    VFMADD VT0, VX2, VXS, VT0
     VMUL VT1, VX0, VXS
-    VFSUB VT1, VXZ, VT1
+    VMSUB VT1, VX2, VXC, VT1
     vstelm.w VT0, XX, 0, 0
     add.d XX, XX, INCX
     vstelm.w VT0, XX, 0, 1
@@ -1644,11 +540,11 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     ld.w t3, X, 0 * SIZE
     add.d X, X, INCX
     ld.w t4, X, 0 * SIZE
-    add.d X, X, INCX
     vinsgr2vr.w VX1, t1, 0
     vinsgr2vr.w VX1, t2, 1
     vinsgr2vr.w VX1, t3, 2
     vinsgr2vr.w VX1, t4, 3
+    add.d X, X, INCX
     ld.w t1, Y, 0 * SIZE
     add.d Y, Y, INCY
     ld.w t2, Y, 0 * SIZE
@@ -1661,9 +557,10 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vinsgr2vr.w VX3, t3, 2
     vinsgr2vr.w VX3, t4, 3
     add.d Y, Y, INCY
-    VMUL VT0, VX3, VXS
-    VMUL VT1, VX0, VXS
-    VFSUB VT1, VXZ, VT1
+    VMUL VT0, VX1, VXC
+    VFMADD VT0, VX3, VXS, VT0
+    VMUL VT1, VX1, VXS
+    VMSUB VT1, VX3, VXC, VT1
     vstelm.w VT0, XX, 0, 0
     add.d XX, XX, INCX
     vstelm.w VT0, XX, 0, 1
@@ -1679,86 +576,10 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
     vstelm.w VT1, YY, 0, 2
     add.d YY, YY, INCY
     vstelm.w VT1, YY, 0, 3
-#endif
-    add.d YY, YY, INCY
-    addi.d  I, I, -1
-    blt $r0, I, .L223
-    b .L997
-    .align 3
-
-.L224: // C==0 S==0
-#ifdef DOUBLE
-    vstelm.d VXZ, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.d VXZ, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.d VXZ, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.d VXZ, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.d VXZ, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.d VXZ, YY, 0, 1
-#else
-    vstelm.w VXZ, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 2
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 3
-    add.d XX, XX, INCX
-    vstelm.w VXZ, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 2
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 3
-    add.d YY, YY, INCY
-    vstelm.w VXZ, XX, 0, 0
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 1
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 2
-    add.d XX, XX, INCX
-    vstelm.w VXZ, XX, 0, 3
-    add.d XX, XX, INCX
-    vstelm.w VXZ, YY, 0, 0
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 1
-    add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 2
     add.d YY, YY, INCY
-    vstelm.w VXZ, YY, 0, 3
 #endif
-    add.d YY, YY, INCY
     addi.d  I, I, -1
-    blt $r0, I, .L224
-#ifdef DOUBLE
-    move X, XX
-    move Y, YY
-#endif
+    blt $r0, I, .L221
     b .L997
     .align 3