1/* Do not modify. This file is auto-generated from armv4-mont.pl. */ 2#include "arm_arch.h" 3 4.text 5#if defined(__thumb2__) 6.syntax unified 7.thumb 8#else 9.code 32 10#endif 11 12#if __ARM_MAX_ARCH__>=7 13.align 5 14.LOPENSSL_armcap: 15.word OPENSSL_armcap_P-.Lbn_mul_mont 16#endif 17 18.globl bn_mul_mont 19.type bn_mul_mont,%function 20 21.align 5 22bn_mul_mont: 23.Lbn_mul_mont: 24 ldr ip,[sp,#4] @ load num 25 stmdb sp!,{r0,r2} @ sp points at argument block 26#if __ARM_MAX_ARCH__>=7 27 tst ip,#7 28 bne .Lialu 29 adr r0,.Lbn_mul_mont 30 ldr r2,.LOPENSSL_armcap 31 ldr r0,[r0,r2] 32#ifdef __APPLE__ 33 ldr r0,[r0] 34#endif 35 tst r0,#ARMV7_NEON @ NEON available? 36 ldmia sp, {r0,r2} 37 beq .Lialu 38 add sp,sp,#8 39 b bn_mul8x_mont_neon 40.align 4 41.Lialu: 42#endif 43 cmp ip,#2 44 mov r0,ip @ load num 45#ifdef __thumb2__ 46 ittt lt 47#endif 48 movlt r0,#0 49 addlt sp,sp,#2*4 50 blt .Labrt 51 52 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ save 10 registers 53 54 mov r0,r0,lsl#2 @ rescale r0 for byte count 55 sub sp,sp,r0 @ alloca(4*num) 56 sub sp,sp,#4 @ +extra dword 57 sub r0,r0,#4 @ "num=num-1" 58 add r4,r2,r0 @ &bp[num-1] 59 60 add r0,sp,r0 @ r0 to point at &tp[num-1] 61 ldr r8,[r0,#14*4] @ &n0 62 ldr r2,[r2] @ bp[0] 63 ldr r5,[r1],#4 @ ap[0],ap++ 64 ldr r6,[r3],#4 @ np[0],np++ 65 ldr r8,[r8] @ *n0 66 str r4,[r0,#15*4] @ save &bp[num] 67 68 umull r10,r11,r5,r2 @ ap[0]*bp[0] 69 str r8,[r0,#14*4] @ save n0 value 70 mul r8,r10,r8 @ "tp[0]"*n0 71 mov r12,#0 72 umlal r10,r12,r6,r8 @ np[0]*n0+"t[0]" 73 mov r4,sp 74 75.L1st: 76 ldr r5,[r1],#4 @ ap[j],ap++ 77 mov r10,r11 78 ldr r6,[r3],#4 @ np[j],np++ 79 mov r11,#0 80 umlal r10,r11,r5,r2 @ ap[j]*bp[0] 81 mov r14,#0 82 umlal r12,r14,r6,r8 @ np[j]*n0 83 adds r12,r12,r10 84 str r12,[r4],#4 @ tp[j-1]=,tp++ 85 adc r12,r14,#0 86 cmp r4,r0 87 bne .L1st 88 89 adds r12,r12,r11 90 ldr r4,[r0,#13*4] @ restore bp 91 mov r14,#0 92 ldr r8,[r0,#14*4] @ restore n0 93 adc r14,r14,#0 94 str r12,[r0] @ tp[num-1]= 95 mov r7,sp 96 str r14,[r0,#4] @ tp[num]= 97 98.Louter: 99 sub r7,r0,r7 @ "original" r0-1 value 100 sub r1,r1,r7 @ "rewind" ap to &ap[1] 101 ldr r2,[r4,#4]! @ *(++bp) 102 sub r3,r3,r7 @ "rewind" np to &np[1] 103 ldr r5,[r1,#-4] @ ap[0] 104 ldr r10,[sp] @ tp[0] 105 ldr r6,[r3,#-4] @ np[0] 106 ldr r7,[sp,#4] @ tp[1] 107 108 mov r11,#0 109 umlal r10,r11,r5,r2 @ ap[0]*bp[i]+tp[0] 110 str r4,[r0,#13*4] @ save bp 111 mul r8,r10,r8 112 mov r12,#0 113 umlal r10,r12,r6,r8 @ np[0]*n0+"tp[0]" 114 mov r4,sp 115 116.Linner: 117 ldr r5,[r1],#4 @ ap[j],ap++ 118 adds r10,r11,r7 @ +=tp[j] 119 ldr r6,[r3],#4 @ np[j],np++ 120 mov r11,#0 121 umlal r10,r11,r5,r2 @ ap[j]*bp[i] 122 mov r14,#0 123 umlal r12,r14,r6,r8 @ np[j]*n0 124 adc r11,r11,#0 125 ldr r7,[r4,#8] @ tp[j+1] 126 adds r12,r12,r10 127 str r12,[r4],#4 @ tp[j-1]=,tp++ 128 adc r12,r14,#0 129 cmp r4,r0 130 bne .Linner 131 132 adds r12,r12,r11 133 mov r14,#0 134 ldr r4,[r0,#13*4] @ restore bp 135 adc r14,r14,#0 136 ldr r8,[r0,#14*4] @ restore n0 137 adds r12,r12,r7 138 ldr r7,[r0,#15*4] @ restore &bp[num] 139 adc r14,r14,#0 140 str r12,[r0] @ tp[num-1]= 141 str r14,[r0,#4] @ tp[num]= 142 143 cmp r4,r7 144#ifdef __thumb2__ 145 itt ne 146#endif 147 movne r7,sp 148 bne .Louter 149 150 ldr r2,[r0,#12*4] @ pull rp 151 mov r5,sp 152 add r0,r0,#4 @ r0 to point at &tp[num] 153 sub r5,r0,r5 @ "original" num value 154 mov r4,sp @ "rewind" r4 155 mov r1,r4 @ "borrow" r1 156 sub r3,r3,r5 @ "rewind" r3 to &np[0] 157 158 subs r7,r7,r7 @ "clear" carry flag 159.Lsub: ldr r7,[r4],#4 160 ldr r6,[r3],#4 161 sbcs r7,r7,r6 @ tp[j]-np[j] 162 str r7,[r2],#4 @ rp[j]= 163 teq r4,r0 @ preserve carry 164 bne .Lsub 165 sbcs r14,r14,#0 @ upmost carry 166 mov r4,sp @ "rewind" r4 167 sub r2,r2,r5 @ "rewind" r2 168 169.Lcopy: ldr r7,[r4] @ conditional copy 170 ldr r5,[r2] 171 str sp,[r4],#4 @ zap tp 172#ifdef __thumb2__ 173 it cc 174#endif 175 movcc r5,r7 176 str r5,[r2],#4 177 teq r4,r0 @ preserve carry 178 bne .Lcopy 179 180 mov sp,r0 181 add sp,sp,#4 @ skip over tp[num+1] 182 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ restore registers 183 add sp,sp,#2*4 @ skip over {r0,r2} 184 mov r0,#1 185.Labrt: 186#if __ARM_ARCH__>=5 187 bx lr @ bx lr 188#else 189 tst lr,#1 190 moveq pc,lr @ be binary compatible with V4, yet 191.word 0xe12fff1e @ interoperable with Thumb ISA:-) 192#endif 193.size bn_mul_mont,.-bn_mul_mont 194#if __ARM_MAX_ARCH__>=7 195.arch armv7-a 196.fpu neon 197 198.type bn_mul8x_mont_neon,%function 199.align 5 200bn_mul8x_mont_neon: 201 mov ip,sp 202 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 203 vstmdb sp!,{d8,d9,d10,d11,d12,d13,d14,d15} @ ABI specification says so 204 ldmia ip,{r4,r5} @ load rest of parameter block 205 mov ip,sp 206 207 cmp r5,#8 208 bhi .LNEON_8n 209 210 @ special case for r5==8, everything is in register bank... 211 212 vld1.32 {d28[0]}, [r2,:32]! 213 veor d8,d8,d8 214 sub r7,sp,r5,lsl#4 215 vld1.32 {d0,d1,d2,d3}, [r1]! @ can't specify :32 :-( 216 and r7,r7,#-64 217 vld1.32 {d30[0]}, [r4,:32] 218 mov sp,r7 @ alloca 219 vzip.16 d28,d8 220 221 vmull.u32 q6,d28,d0[0] 222 vmull.u32 q7,d28,d0[1] 223 vmull.u32 q8,d28,d1[0] 224 vshl.i64 d29,d13,#16 225 vmull.u32 q9,d28,d1[1] 226 227 vadd.u64 d29,d29,d12 228 veor d8,d8,d8 229 vmul.u32 d29,d29,d30 230 231 vmull.u32 q10,d28,d2[0] 232 vld1.32 {d4,d5,d6,d7}, [r3]! 233 vmull.u32 q11,d28,d2[1] 234 vmull.u32 q12,d28,d3[0] 235 vzip.16 d29,d8 236 vmull.u32 q13,d28,d3[1] 237 238 vmlal.u32 q6,d29,d4[0] 239 sub r9,r5,#1 240 vmlal.u32 q7,d29,d4[1] 241 vmlal.u32 q8,d29,d5[0] 242 vmlal.u32 q9,d29,d5[1] 243 244 vmlal.u32 q10,d29,d6[0] 245 vmov q5,q6 246 vmlal.u32 q11,d29,d6[1] 247 vmov q6,q7 248 vmlal.u32 q12,d29,d7[0] 249 vmov q7,q8 250 vmlal.u32 q13,d29,d7[1] 251 vmov q8,q9 252 vmov q9,q10 253 vshr.u64 d10,d10,#16 254 vmov q10,q11 255 vmov q11,q12 256 vadd.u64 d10,d10,d11 257 vmov q12,q13 258 veor q13,q13 259 vshr.u64 d10,d10,#16 260 261 b .LNEON_outer8 262 263.align 4 264.LNEON_outer8: 265 vld1.32 {d28[0]}, [r2,:32]! 266 veor d8,d8,d8 267 vzip.16 d28,d8 268 vadd.u64 d12,d12,d10 269 270 vmlal.u32 q6,d28,d0[0] 271 vmlal.u32 q7,d28,d0[1] 272 vmlal.u32 q8,d28,d1[0] 273 vshl.i64 d29,d13,#16 274 vmlal.u32 q9,d28,d1[1] 275 276 vadd.u64 d29,d29,d12 277 veor d8,d8,d8 278 subs r9,r9,#1 279 vmul.u32 d29,d29,d30 280 281 vmlal.u32 q10,d28,d2[0] 282 vmlal.u32 q11,d28,d2[1] 283 vmlal.u32 q12,d28,d3[0] 284 vzip.16 d29,d8 285 vmlal.u32 q13,d28,d3[1] 286 287 vmlal.u32 q6,d29,d4[0] 288 vmlal.u32 q7,d29,d4[1] 289 vmlal.u32 q8,d29,d5[0] 290 vmlal.u32 q9,d29,d5[1] 291 292 vmlal.u32 q10,d29,d6[0] 293 vmov q5,q6 294 vmlal.u32 q11,d29,d6[1] 295 vmov q6,q7 296 vmlal.u32 q12,d29,d7[0] 297 vmov q7,q8 298 vmlal.u32 q13,d29,d7[1] 299 vmov q8,q9 300 vmov q9,q10 301 vshr.u64 d10,d10,#16 302 vmov q10,q11 303 vmov q11,q12 304 vadd.u64 d10,d10,d11 305 vmov q12,q13 306 veor q13,q13 307 vshr.u64 d10,d10,#16 308 309 bne .LNEON_outer8 310 311 vadd.u64 d12,d12,d10 312 mov r7,sp 313 vshr.u64 d10,d12,#16 314 mov r8,r5 315 vadd.u64 d13,d13,d10 316 add r6,sp,#96 317 vshr.u64 d10,d13,#16 318 vzip.16 d12,d13 319 320 b .LNEON_tail_entry 321 322.align 4 323.LNEON_8n: 324 veor q6,q6,q6 325 sub r7,sp,#128 326 veor q7,q7,q7 327 sub r7,r7,r5,lsl#4 328 veor q8,q8,q8 329 and r7,r7,#-64 330 veor q9,q9,q9 331 mov sp,r7 @ alloca 332 veor q10,q10,q10 333 add r7,r7,#256 334 veor q11,q11,q11 335 sub r8,r5,#8 336 veor q12,q12,q12 337 veor q13,q13,q13 338 339.LNEON_8n_init: 340 vst1.64 {q6,q7},[r7,:256]! 341 subs r8,r8,#8 342 vst1.64 {q8,q9},[r7,:256]! 343 vst1.64 {q10,q11},[r7,:256]! 344 vst1.64 {q12,q13},[r7,:256]! 345 bne .LNEON_8n_init 346 347 add r6,sp,#256 348 vld1.32 {d0,d1,d2,d3},[r1]! 349 add r10,sp,#8 350 vld1.32 {d30[0]},[r4,:32] 351 mov r9,r5 352 b .LNEON_8n_outer 353 354.align 4 355.LNEON_8n_outer: 356 vld1.32 {d28[0]},[r2,:32]! @ *b++ 357 veor d8,d8,d8 358 vzip.16 d28,d8 359 add r7,sp,#128 360 vld1.32 {d4,d5,d6,d7},[r3]! 361 362 vmlal.u32 q6,d28,d0[0] 363 vmlal.u32 q7,d28,d0[1] 364 veor d8,d8,d8 365 vmlal.u32 q8,d28,d1[0] 366 vshl.i64 d29,d13,#16 367 vmlal.u32 q9,d28,d1[1] 368 vadd.u64 d29,d29,d12 369 vmlal.u32 q10,d28,d2[0] 370 vmul.u32 d29,d29,d30 371 vmlal.u32 q11,d28,d2[1] 372 vst1.32 {d28},[sp,:64] @ put aside smashed b[8*i+0] 373 vmlal.u32 q12,d28,d3[0] 374 vzip.16 d29,d8 375 vmlal.u32 q13,d28,d3[1] 376 vld1.32 {d28[0]},[r2,:32]! @ *b++ 377 vmlal.u32 q6,d29,d4[0] 378 veor d10,d10,d10 379 vmlal.u32 q7,d29,d4[1] 380 vzip.16 d28,d10 381 vmlal.u32 q8,d29,d5[0] 382 vshr.u64 d12,d12,#16 383 vmlal.u32 q9,d29,d5[1] 384 vmlal.u32 q10,d29,d6[0] 385 vadd.u64 d12,d12,d13 386 vmlal.u32 q11,d29,d6[1] 387 vshr.u64 d12,d12,#16 388 vmlal.u32 q12,d29,d7[0] 389 vmlal.u32 q13,d29,d7[1] 390 vadd.u64 d14,d14,d12 391 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+0] 392 vmlal.u32 q7,d28,d0[0] 393 vld1.64 {q6},[r6,:128]! 394 vmlal.u32 q8,d28,d0[1] 395 veor d8,d8,d8 396 vmlal.u32 q9,d28,d1[0] 397 vshl.i64 d29,d15,#16 398 vmlal.u32 q10,d28,d1[1] 399 vadd.u64 d29,d29,d14 400 vmlal.u32 q11,d28,d2[0] 401 vmul.u32 d29,d29,d30 402 vmlal.u32 q12,d28,d2[1] 403 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+1] 404 vmlal.u32 q13,d28,d3[0] 405 vzip.16 d29,d8 406 vmlal.u32 q6,d28,d3[1] 407 vld1.32 {d28[0]},[r2,:32]! @ *b++ 408 vmlal.u32 q7,d29,d4[0] 409 veor d10,d10,d10 410 vmlal.u32 q8,d29,d4[1] 411 vzip.16 d28,d10 412 vmlal.u32 q9,d29,d5[0] 413 vshr.u64 d14,d14,#16 414 vmlal.u32 q10,d29,d5[1] 415 vmlal.u32 q11,d29,d6[0] 416 vadd.u64 d14,d14,d15 417 vmlal.u32 q12,d29,d6[1] 418 vshr.u64 d14,d14,#16 419 vmlal.u32 q13,d29,d7[0] 420 vmlal.u32 q6,d29,d7[1] 421 vadd.u64 d16,d16,d14 422 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+1] 423 vmlal.u32 q8,d28,d0[0] 424 vld1.64 {q7},[r6,:128]! 425 vmlal.u32 q9,d28,d0[1] 426 veor d8,d8,d8 427 vmlal.u32 q10,d28,d1[0] 428 vshl.i64 d29,d17,#16 429 vmlal.u32 q11,d28,d1[1] 430 vadd.u64 d29,d29,d16 431 vmlal.u32 q12,d28,d2[0] 432 vmul.u32 d29,d29,d30 433 vmlal.u32 q13,d28,d2[1] 434 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+2] 435 vmlal.u32 q6,d28,d3[0] 436 vzip.16 d29,d8 437 vmlal.u32 q7,d28,d3[1] 438 vld1.32 {d28[0]},[r2,:32]! @ *b++ 439 vmlal.u32 q8,d29,d4[0] 440 veor d10,d10,d10 441 vmlal.u32 q9,d29,d4[1] 442 vzip.16 d28,d10 443 vmlal.u32 q10,d29,d5[0] 444 vshr.u64 d16,d16,#16 445 vmlal.u32 q11,d29,d5[1] 446 vmlal.u32 q12,d29,d6[0] 447 vadd.u64 d16,d16,d17 448 vmlal.u32 q13,d29,d6[1] 449 vshr.u64 d16,d16,#16 450 vmlal.u32 q6,d29,d7[0] 451 vmlal.u32 q7,d29,d7[1] 452 vadd.u64 d18,d18,d16 453 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+2] 454 vmlal.u32 q9,d28,d0[0] 455 vld1.64 {q8},[r6,:128]! 456 vmlal.u32 q10,d28,d0[1] 457 veor d8,d8,d8 458 vmlal.u32 q11,d28,d1[0] 459 vshl.i64 d29,d19,#16 460 vmlal.u32 q12,d28,d1[1] 461 vadd.u64 d29,d29,d18 462 vmlal.u32 q13,d28,d2[0] 463 vmul.u32 d29,d29,d30 464 vmlal.u32 q6,d28,d2[1] 465 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+3] 466 vmlal.u32 q7,d28,d3[0] 467 vzip.16 d29,d8 468 vmlal.u32 q8,d28,d3[1] 469 vld1.32 {d28[0]},[r2,:32]! @ *b++ 470 vmlal.u32 q9,d29,d4[0] 471 veor d10,d10,d10 472 vmlal.u32 q10,d29,d4[1] 473 vzip.16 d28,d10 474 vmlal.u32 q11,d29,d5[0] 475 vshr.u64 d18,d18,#16 476 vmlal.u32 q12,d29,d5[1] 477 vmlal.u32 q13,d29,d6[0] 478 vadd.u64 d18,d18,d19 479 vmlal.u32 q6,d29,d6[1] 480 vshr.u64 d18,d18,#16 481 vmlal.u32 q7,d29,d7[0] 482 vmlal.u32 q8,d29,d7[1] 483 vadd.u64 d20,d20,d18 484 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+3] 485 vmlal.u32 q10,d28,d0[0] 486 vld1.64 {q9},[r6,:128]! 487 vmlal.u32 q11,d28,d0[1] 488 veor d8,d8,d8 489 vmlal.u32 q12,d28,d1[0] 490 vshl.i64 d29,d21,#16 491 vmlal.u32 q13,d28,d1[1] 492 vadd.u64 d29,d29,d20 493 vmlal.u32 q6,d28,d2[0] 494 vmul.u32 d29,d29,d30 495 vmlal.u32 q7,d28,d2[1] 496 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+4] 497 vmlal.u32 q8,d28,d3[0] 498 vzip.16 d29,d8 499 vmlal.u32 q9,d28,d3[1] 500 vld1.32 {d28[0]},[r2,:32]! @ *b++ 501 vmlal.u32 q10,d29,d4[0] 502 veor d10,d10,d10 503 vmlal.u32 q11,d29,d4[1] 504 vzip.16 d28,d10 505 vmlal.u32 q12,d29,d5[0] 506 vshr.u64 d20,d20,#16 507 vmlal.u32 q13,d29,d5[1] 508 vmlal.u32 q6,d29,d6[0] 509 vadd.u64 d20,d20,d21 510 vmlal.u32 q7,d29,d6[1] 511 vshr.u64 d20,d20,#16 512 vmlal.u32 q8,d29,d7[0] 513 vmlal.u32 q9,d29,d7[1] 514 vadd.u64 d22,d22,d20 515 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+4] 516 vmlal.u32 q11,d28,d0[0] 517 vld1.64 {q10},[r6,:128]! 518 vmlal.u32 q12,d28,d0[1] 519 veor d8,d8,d8 520 vmlal.u32 q13,d28,d1[0] 521 vshl.i64 d29,d23,#16 522 vmlal.u32 q6,d28,d1[1] 523 vadd.u64 d29,d29,d22 524 vmlal.u32 q7,d28,d2[0] 525 vmul.u32 d29,d29,d30 526 vmlal.u32 q8,d28,d2[1] 527 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+5] 528 vmlal.u32 q9,d28,d3[0] 529 vzip.16 d29,d8 530 vmlal.u32 q10,d28,d3[1] 531 vld1.32 {d28[0]},[r2,:32]! @ *b++ 532 vmlal.u32 q11,d29,d4[0] 533 veor d10,d10,d10 534 vmlal.u32 q12,d29,d4[1] 535 vzip.16 d28,d10 536 vmlal.u32 q13,d29,d5[0] 537 vshr.u64 d22,d22,#16 538 vmlal.u32 q6,d29,d5[1] 539 vmlal.u32 q7,d29,d6[0] 540 vadd.u64 d22,d22,d23 541 vmlal.u32 q8,d29,d6[1] 542 vshr.u64 d22,d22,#16 543 vmlal.u32 q9,d29,d7[0] 544 vmlal.u32 q10,d29,d7[1] 545 vadd.u64 d24,d24,d22 546 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+5] 547 vmlal.u32 q12,d28,d0[0] 548 vld1.64 {q11},[r6,:128]! 549 vmlal.u32 q13,d28,d0[1] 550 veor d8,d8,d8 551 vmlal.u32 q6,d28,d1[0] 552 vshl.i64 d29,d25,#16 553 vmlal.u32 q7,d28,d1[1] 554 vadd.u64 d29,d29,d24 555 vmlal.u32 q8,d28,d2[0] 556 vmul.u32 d29,d29,d30 557 vmlal.u32 q9,d28,d2[1] 558 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+6] 559 vmlal.u32 q10,d28,d3[0] 560 vzip.16 d29,d8 561 vmlal.u32 q11,d28,d3[1] 562 vld1.32 {d28[0]},[r2,:32]! @ *b++ 563 vmlal.u32 q12,d29,d4[0] 564 veor d10,d10,d10 565 vmlal.u32 q13,d29,d4[1] 566 vzip.16 d28,d10 567 vmlal.u32 q6,d29,d5[0] 568 vshr.u64 d24,d24,#16 569 vmlal.u32 q7,d29,d5[1] 570 vmlal.u32 q8,d29,d6[0] 571 vadd.u64 d24,d24,d25 572 vmlal.u32 q9,d29,d6[1] 573 vshr.u64 d24,d24,#16 574 vmlal.u32 q10,d29,d7[0] 575 vmlal.u32 q11,d29,d7[1] 576 vadd.u64 d26,d26,d24 577 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+6] 578 vmlal.u32 q13,d28,d0[0] 579 vld1.64 {q12},[r6,:128]! 580 vmlal.u32 q6,d28,d0[1] 581 veor d8,d8,d8 582 vmlal.u32 q7,d28,d1[0] 583 vshl.i64 d29,d27,#16 584 vmlal.u32 q8,d28,d1[1] 585 vadd.u64 d29,d29,d26 586 vmlal.u32 q9,d28,d2[0] 587 vmul.u32 d29,d29,d30 588 vmlal.u32 q10,d28,d2[1] 589 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+7] 590 vmlal.u32 q11,d28,d3[0] 591 vzip.16 d29,d8 592 vmlal.u32 q12,d28,d3[1] 593 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 594 vmlal.u32 q13,d29,d4[0] 595 vld1.32 {d0,d1,d2,d3},[r1]! 596 vmlal.u32 q6,d29,d4[1] 597 vmlal.u32 q7,d29,d5[0] 598 vshr.u64 d26,d26,#16 599 vmlal.u32 q8,d29,d5[1] 600 vmlal.u32 q9,d29,d6[0] 601 vadd.u64 d26,d26,d27 602 vmlal.u32 q10,d29,d6[1] 603 vshr.u64 d26,d26,#16 604 vmlal.u32 q11,d29,d7[0] 605 vmlal.u32 q12,d29,d7[1] 606 vadd.u64 d12,d12,d26 607 vst1.32 {d29},[r10,:64] @ put aside smashed m[8*i+7] 608 add r10,sp,#8 @ rewind 609 sub r8,r5,#8 610 b .LNEON_8n_inner 611 612.align 4 613.LNEON_8n_inner: 614 subs r8,r8,#8 615 vmlal.u32 q6,d28,d0[0] 616 vld1.64 {q13},[r6,:128] 617 vmlal.u32 q7,d28,d0[1] 618 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+0] 619 vmlal.u32 q8,d28,d1[0] 620 vld1.32 {d4,d5,d6,d7},[r3]! 621 vmlal.u32 q9,d28,d1[1] 622 it ne 623 addne r6,r6,#16 @ don't advance in last iteration 624 vmlal.u32 q10,d28,d2[0] 625 vmlal.u32 q11,d28,d2[1] 626 vmlal.u32 q12,d28,d3[0] 627 vmlal.u32 q13,d28,d3[1] 628 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+1] 629 vmlal.u32 q6,d29,d4[0] 630 vmlal.u32 q7,d29,d4[1] 631 vmlal.u32 q8,d29,d5[0] 632 vmlal.u32 q9,d29,d5[1] 633 vmlal.u32 q10,d29,d6[0] 634 vmlal.u32 q11,d29,d6[1] 635 vmlal.u32 q12,d29,d7[0] 636 vmlal.u32 q13,d29,d7[1] 637 vst1.64 {q6},[r7,:128]! 638 vmlal.u32 q7,d28,d0[0] 639 vld1.64 {q6},[r6,:128] 640 vmlal.u32 q8,d28,d0[1] 641 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+1] 642 vmlal.u32 q9,d28,d1[0] 643 it ne 644 addne r6,r6,#16 @ don't advance in last iteration 645 vmlal.u32 q10,d28,d1[1] 646 vmlal.u32 q11,d28,d2[0] 647 vmlal.u32 q12,d28,d2[1] 648 vmlal.u32 q13,d28,d3[0] 649 vmlal.u32 q6,d28,d3[1] 650 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+2] 651 vmlal.u32 q7,d29,d4[0] 652 vmlal.u32 q8,d29,d4[1] 653 vmlal.u32 q9,d29,d5[0] 654 vmlal.u32 q10,d29,d5[1] 655 vmlal.u32 q11,d29,d6[0] 656 vmlal.u32 q12,d29,d6[1] 657 vmlal.u32 q13,d29,d7[0] 658 vmlal.u32 q6,d29,d7[1] 659 vst1.64 {q7},[r7,:128]! 660 vmlal.u32 q8,d28,d0[0] 661 vld1.64 {q7},[r6,:128] 662 vmlal.u32 q9,d28,d0[1] 663 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+2] 664 vmlal.u32 q10,d28,d1[0] 665 it ne 666 addne r6,r6,#16 @ don't advance in last iteration 667 vmlal.u32 q11,d28,d1[1] 668 vmlal.u32 q12,d28,d2[0] 669 vmlal.u32 q13,d28,d2[1] 670 vmlal.u32 q6,d28,d3[0] 671 vmlal.u32 q7,d28,d3[1] 672 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+3] 673 vmlal.u32 q8,d29,d4[0] 674 vmlal.u32 q9,d29,d4[1] 675 vmlal.u32 q10,d29,d5[0] 676 vmlal.u32 q11,d29,d5[1] 677 vmlal.u32 q12,d29,d6[0] 678 vmlal.u32 q13,d29,d6[1] 679 vmlal.u32 q6,d29,d7[0] 680 vmlal.u32 q7,d29,d7[1] 681 vst1.64 {q8},[r7,:128]! 682 vmlal.u32 q9,d28,d0[0] 683 vld1.64 {q8},[r6,:128] 684 vmlal.u32 q10,d28,d0[1] 685 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+3] 686 vmlal.u32 q11,d28,d1[0] 687 it ne 688 addne r6,r6,#16 @ don't advance in last iteration 689 vmlal.u32 q12,d28,d1[1] 690 vmlal.u32 q13,d28,d2[0] 691 vmlal.u32 q6,d28,d2[1] 692 vmlal.u32 q7,d28,d3[0] 693 vmlal.u32 q8,d28,d3[1] 694 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+4] 695 vmlal.u32 q9,d29,d4[0] 696 vmlal.u32 q10,d29,d4[1] 697 vmlal.u32 q11,d29,d5[0] 698 vmlal.u32 q12,d29,d5[1] 699 vmlal.u32 q13,d29,d6[0] 700 vmlal.u32 q6,d29,d6[1] 701 vmlal.u32 q7,d29,d7[0] 702 vmlal.u32 q8,d29,d7[1] 703 vst1.64 {q9},[r7,:128]! 704 vmlal.u32 q10,d28,d0[0] 705 vld1.64 {q9},[r6,:128] 706 vmlal.u32 q11,d28,d0[1] 707 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+4] 708 vmlal.u32 q12,d28,d1[0] 709 it ne 710 addne r6,r6,#16 @ don't advance in last iteration 711 vmlal.u32 q13,d28,d1[1] 712 vmlal.u32 q6,d28,d2[0] 713 vmlal.u32 q7,d28,d2[1] 714 vmlal.u32 q8,d28,d3[0] 715 vmlal.u32 q9,d28,d3[1] 716 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+5] 717 vmlal.u32 q10,d29,d4[0] 718 vmlal.u32 q11,d29,d4[1] 719 vmlal.u32 q12,d29,d5[0] 720 vmlal.u32 q13,d29,d5[1] 721 vmlal.u32 q6,d29,d6[0] 722 vmlal.u32 q7,d29,d6[1] 723 vmlal.u32 q8,d29,d7[0] 724 vmlal.u32 q9,d29,d7[1] 725 vst1.64 {q10},[r7,:128]! 726 vmlal.u32 q11,d28,d0[0] 727 vld1.64 {q10},[r6,:128] 728 vmlal.u32 q12,d28,d0[1] 729 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+5] 730 vmlal.u32 q13,d28,d1[0] 731 it ne 732 addne r6,r6,#16 @ don't advance in last iteration 733 vmlal.u32 q6,d28,d1[1] 734 vmlal.u32 q7,d28,d2[0] 735 vmlal.u32 q8,d28,d2[1] 736 vmlal.u32 q9,d28,d3[0] 737 vmlal.u32 q10,d28,d3[1] 738 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+6] 739 vmlal.u32 q11,d29,d4[0] 740 vmlal.u32 q12,d29,d4[1] 741 vmlal.u32 q13,d29,d5[0] 742 vmlal.u32 q6,d29,d5[1] 743 vmlal.u32 q7,d29,d6[0] 744 vmlal.u32 q8,d29,d6[1] 745 vmlal.u32 q9,d29,d7[0] 746 vmlal.u32 q10,d29,d7[1] 747 vst1.64 {q11},[r7,:128]! 748 vmlal.u32 q12,d28,d0[0] 749 vld1.64 {q11},[r6,:128] 750 vmlal.u32 q13,d28,d0[1] 751 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+6] 752 vmlal.u32 q6,d28,d1[0] 753 it ne 754 addne r6,r6,#16 @ don't advance in last iteration 755 vmlal.u32 q7,d28,d1[1] 756 vmlal.u32 q8,d28,d2[0] 757 vmlal.u32 q9,d28,d2[1] 758 vmlal.u32 q10,d28,d3[0] 759 vmlal.u32 q11,d28,d3[1] 760 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+7] 761 vmlal.u32 q12,d29,d4[0] 762 vmlal.u32 q13,d29,d4[1] 763 vmlal.u32 q6,d29,d5[0] 764 vmlal.u32 q7,d29,d5[1] 765 vmlal.u32 q8,d29,d6[0] 766 vmlal.u32 q9,d29,d6[1] 767 vmlal.u32 q10,d29,d7[0] 768 vmlal.u32 q11,d29,d7[1] 769 vst1.64 {q12},[r7,:128]! 770 vmlal.u32 q13,d28,d0[0] 771 vld1.64 {q12},[r6,:128] 772 vmlal.u32 q6,d28,d0[1] 773 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+7] 774 vmlal.u32 q7,d28,d1[0] 775 it ne 776 addne r6,r6,#16 @ don't advance in last iteration 777 vmlal.u32 q8,d28,d1[1] 778 vmlal.u32 q9,d28,d2[0] 779 vmlal.u32 q10,d28,d2[1] 780 vmlal.u32 q11,d28,d3[0] 781 vmlal.u32 q12,d28,d3[1] 782 it eq 783 subeq r1,r1,r5,lsl#2 @ rewind 784 vmlal.u32 q13,d29,d4[0] 785 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 786 vmlal.u32 q6,d29,d4[1] 787 vld1.32 {d0,d1,d2,d3},[r1]! 788 vmlal.u32 q7,d29,d5[0] 789 add r10,sp,#8 @ rewind 790 vmlal.u32 q8,d29,d5[1] 791 vmlal.u32 q9,d29,d6[0] 792 vmlal.u32 q10,d29,d6[1] 793 vmlal.u32 q11,d29,d7[0] 794 vst1.64 {q13},[r7,:128]! 795 vmlal.u32 q12,d29,d7[1] 796 797 bne .LNEON_8n_inner 798 add r6,sp,#128 799 vst1.64 {q6,q7},[r7,:256]! 800 veor q2,q2,q2 @ d4-d5 801 vst1.64 {q8,q9},[r7,:256]! 802 veor q3,q3,q3 @ d6-d7 803 vst1.64 {q10,q11},[r7,:256]! 804 vst1.64 {q12},[r7,:128] 805 806 subs r9,r9,#8 807 vld1.64 {q6,q7},[r6,:256]! 808 vld1.64 {q8,q9},[r6,:256]! 809 vld1.64 {q10,q11},[r6,:256]! 810 vld1.64 {q12,q13},[r6,:256]! 811 812 itt ne 813 subne r3,r3,r5,lsl#2 @ rewind 814 bne .LNEON_8n_outer 815 816 add r7,sp,#128 817 vst1.64 {q2,q3}, [sp,:256]! @ start wiping stack frame 818 vshr.u64 d10,d12,#16 819 vst1.64 {q2,q3},[sp,:256]! 820 vadd.u64 d13,d13,d10 821 vst1.64 {q2,q3}, [sp,:256]! 822 vshr.u64 d10,d13,#16 823 vst1.64 {q2,q3}, [sp,:256]! 824 vzip.16 d12,d13 825 826 mov r8,r5 827 b .LNEON_tail_entry 828 829.align 4 830.LNEON_tail: 831 vadd.u64 d12,d12,d10 832 vshr.u64 d10,d12,#16 833 vld1.64 {q8,q9}, [r6, :256]! 834 vadd.u64 d13,d13,d10 835 vld1.64 {q10,q11}, [r6, :256]! 836 vshr.u64 d10,d13,#16 837 vld1.64 {q12,q13}, [r6, :256]! 838 vzip.16 d12,d13 839 840.LNEON_tail_entry: 841 vadd.u64 d14,d14,d10 842 vst1.32 {d12[0]}, [r7, :32]! 843 vshr.u64 d10,d14,#16 844 vadd.u64 d15,d15,d10 845 vshr.u64 d10,d15,#16 846 vzip.16 d14,d15 847 vadd.u64 d16,d16,d10 848 vst1.32 {d14[0]}, [r7, :32]! 849 vshr.u64 d10,d16,#16 850 vadd.u64 d17,d17,d10 851 vshr.u64 d10,d17,#16 852 vzip.16 d16,d17 853 vadd.u64 d18,d18,d10 854 vst1.32 {d16[0]}, [r7, :32]! 855 vshr.u64 d10,d18,#16 856 vadd.u64 d19,d19,d10 857 vshr.u64 d10,d19,#16 858 vzip.16 d18,d19 859 vadd.u64 d20,d20,d10 860 vst1.32 {d18[0]}, [r7, :32]! 861 vshr.u64 d10,d20,#16 862 vadd.u64 d21,d21,d10 863 vshr.u64 d10,d21,#16 864 vzip.16 d20,d21 865 vadd.u64 d22,d22,d10 866 vst1.32 {d20[0]}, [r7, :32]! 867 vshr.u64 d10,d22,#16 868 vadd.u64 d23,d23,d10 869 vshr.u64 d10,d23,#16 870 vzip.16 d22,d23 871 vadd.u64 d24,d24,d10 872 vst1.32 {d22[0]}, [r7, :32]! 873 vshr.u64 d10,d24,#16 874 vadd.u64 d25,d25,d10 875 vshr.u64 d10,d25,#16 876 vzip.16 d24,d25 877 vadd.u64 d26,d26,d10 878 vst1.32 {d24[0]}, [r7, :32]! 879 vshr.u64 d10,d26,#16 880 vadd.u64 d27,d27,d10 881 vshr.u64 d10,d27,#16 882 vzip.16 d26,d27 883 vld1.64 {q6,q7}, [r6, :256]! 884 subs r8,r8,#8 885 vst1.32 {d26[0]}, [r7, :32]! 886 bne .LNEON_tail 887 888 vst1.32 {d10[0]}, [r7, :32] @ top-most bit 889 sub r3,r3,r5,lsl#2 @ rewind r3 890 subs r1,sp,#0 @ clear carry flag 891 add r2,sp,r5,lsl#2 892 893.LNEON_sub: 894 ldmia r1!, {r4,r5,r6,r7} 895 ldmia r3!, {r8,r9,r10,r11} 896 sbcs r8, r4,r8 897 sbcs r9, r5,r9 898 sbcs r10,r6,r10 899 sbcs r11,r7,r11 900 teq r1,r2 @ preserves carry 901 stmia r0!, {r8,r9,r10,r11} 902 bne .LNEON_sub 903 904 ldr r10, [r1] @ load top-most bit 905 mov r11,sp 906 veor q0,q0,q0 907 sub r11,r2,r11 @ this is num*4 908 veor q1,q1,q1 909 mov r1,sp 910 sub r0,r0,r11 @ rewind r0 911 mov r3,r2 @ second 3/4th of frame 912 sbcs r10,r10,#0 @ result is carry flag 913 914.LNEON_copy_n_zap: 915 ldmia r1!, {r4,r5,r6,r7} 916 ldmia r0, {r8,r9,r10,r11} 917 it cc 918 movcc r8, r4 919 vst1.64 {q0,q1}, [r3,:256]! @ wipe 920 itt cc 921 movcc r9, r5 922 movcc r10,r6 923 vst1.64 {q0,q1}, [r3,:256]! @ wipe 924 it cc 925 movcc r11,r7 926 ldmia r1, {r4,r5,r6,r7} 927 stmia r0!, {r8,r9,r10,r11} 928 sub r1,r1,#16 929 ldmia r0, {r8,r9,r10,r11} 930 it cc 931 movcc r8, r4 932 vst1.64 {q0,q1}, [r1,:256]! @ wipe 933 itt cc 934 movcc r9, r5 935 movcc r10,r6 936 vst1.64 {q0,q1}, [r3,:256]! @ wipe 937 it cc 938 movcc r11,r7 939 teq r1,r2 @ preserves carry 940 stmia r0!, {r8,r9,r10,r11} 941 bne .LNEON_copy_n_zap 942 943 mov sp,ip 944 vldmia sp!,{d8,d9,d10,d11,d12,d13,d14,d15} 945 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 946 bx lr @ bx lr 947.size bn_mul8x_mont_neon,.-bn_mul8x_mont_neon 948#endif 949.byte 77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0 950.align 2 951.align 2 952#if __ARM_MAX_ARCH__>=7 953.comm OPENSSL_armcap_P,4,4 954#endif 955