1/* $FreeBSD$ */ 2/* Do not modify. This file is auto-generated from armv4-mont.pl. */ 3#include "arm_arch.h" 4 5.text 6#if defined(__thumb2__) 7.syntax unified 8.thumb 9#else 10.code 32 11#endif 12 13#if __ARM_MAX_ARCH__>=7 14.align 5 15.LOPENSSL_armcap: 16.word OPENSSL_armcap_P-.Lbn_mul_mont 17#endif 18 19.globl bn_mul_mont 20.type bn_mul_mont,%function 21 22.align 5 23bn_mul_mont: 24.Lbn_mul_mont: 25 ldr ip,[sp,#4] @ load num 26 stmdb sp!,{r0,r2} @ sp points at argument block 27#if __ARM_MAX_ARCH__>=7 28 tst ip,#7 29 bne .Lialu 30 adr r0,.Lbn_mul_mont 31 ldr r2,.LOPENSSL_armcap 32 ldr r0,[r0,r2] 33#ifdef __APPLE__ 34 ldr r0,[r0] 35#endif 36 tst r0,#ARMV7_NEON @ NEON available? 37 ldmia sp, {r0,r2} 38 beq .Lialu 39 add sp,sp,#8 40 b bn_mul8x_mont_neon 41.align 4 42.Lialu: 43#endif 44 cmp ip,#2 45 mov r0,ip @ load num 46#ifdef __thumb2__ 47 ittt lt 48#endif 49 movlt r0,#0 50 addlt sp,sp,#2*4 51 blt .Labrt 52 53 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ save 10 registers 54 55 mov r0,r0,lsl#2 @ rescale r0 for byte count 56 sub sp,sp,r0 @ alloca(4*num) 57 sub sp,sp,#4 @ +extra dword 58 sub r0,r0,#4 @ "num=num-1" 59 add r4,r2,r0 @ &bp[num-1] 60 61 add r0,sp,r0 @ r0 to point at &tp[num-1] 62 ldr r8,[r0,#14*4] @ &n0 63 ldr r2,[r2] @ bp[0] 64 ldr r5,[r1],#4 @ ap[0],ap++ 65 ldr r6,[r3],#4 @ np[0],np++ 66 ldr r8,[r8] @ *n0 67 str r4,[r0,#15*4] @ save &bp[num] 68 69 umull r10,r11,r5,r2 @ ap[0]*bp[0] 70 str r8,[r0,#14*4] @ save n0 value 71 mul r8,r10,r8 @ "tp[0]"*n0 72 mov r12,#0 73 umlal r10,r12,r6,r8 @ np[0]*n0+"t[0]" 74 mov r4,sp 75 76.L1st: 77 ldr r5,[r1],#4 @ ap[j],ap++ 78 mov r10,r11 79 ldr r6,[r3],#4 @ np[j],np++ 80 mov r11,#0 81 umlal r10,r11,r5,r2 @ ap[j]*bp[0] 82 mov r14,#0 83 umlal r12,r14,r6,r8 @ np[j]*n0 84 adds r12,r12,r10 85 str r12,[r4],#4 @ tp[j-1]=,tp++ 86 adc r12,r14,#0 87 cmp r4,r0 88 bne .L1st 89 90 adds r12,r12,r11 91 ldr r4,[r0,#13*4] @ restore bp 92 mov r14,#0 93 ldr r8,[r0,#14*4] @ restore n0 94 adc r14,r14,#0 95 str r12,[r0] @ tp[num-1]= 96 mov r7,sp 97 str r14,[r0,#4] @ tp[num]= 98 99.Louter: 100 sub r7,r0,r7 @ "original" r0-1 value 101 sub r1,r1,r7 @ "rewind" ap to &ap[1] 102 ldr r2,[r4,#4]! @ *(++bp) 103 sub r3,r3,r7 @ "rewind" np to &np[1] 104 ldr r5,[r1,#-4] @ ap[0] 105 ldr r10,[sp] @ tp[0] 106 ldr r6,[r3,#-4] @ np[0] 107 ldr r7,[sp,#4] @ tp[1] 108 109 mov r11,#0 110 umlal r10,r11,r5,r2 @ ap[0]*bp[i]+tp[0] 111 str r4,[r0,#13*4] @ save bp 112 mul r8,r10,r8 113 mov r12,#0 114 umlal r10,r12,r6,r8 @ np[0]*n0+"tp[0]" 115 mov r4,sp 116 117.Linner: 118 ldr r5,[r1],#4 @ ap[j],ap++ 119 adds r10,r11,r7 @ +=tp[j] 120 ldr r6,[r3],#4 @ np[j],np++ 121 mov r11,#0 122 umlal r10,r11,r5,r2 @ ap[j]*bp[i] 123 mov r14,#0 124 umlal r12,r14,r6,r8 @ np[j]*n0 125 adc r11,r11,#0 126 ldr r7,[r4,#8] @ tp[j+1] 127 adds r12,r12,r10 128 str r12,[r4],#4 @ tp[j-1]=,tp++ 129 adc r12,r14,#0 130 cmp r4,r0 131 bne .Linner 132 133 adds r12,r12,r11 134 mov r14,#0 135 ldr r4,[r0,#13*4] @ restore bp 136 adc r14,r14,#0 137 ldr r8,[r0,#14*4] @ restore n0 138 adds r12,r12,r7 139 ldr r7,[r0,#15*4] @ restore &bp[num] 140 adc r14,r14,#0 141 str r12,[r0] @ tp[num-1]= 142 str r14,[r0,#4] @ tp[num]= 143 144 cmp r4,r7 145#ifdef __thumb2__ 146 itt ne 147#endif 148 movne r7,sp 149 bne .Louter 150 151 ldr r2,[r0,#12*4] @ pull rp 152 mov r5,sp 153 add r0,r0,#4 @ r0 to point at &tp[num] 154 sub r5,r0,r5 @ "original" num value 155 mov r4,sp @ "rewind" r4 156 mov r1,r4 @ "borrow" r1 157 sub r3,r3,r5 @ "rewind" r3 to &np[0] 158 159 subs r7,r7,r7 @ "clear" carry flag 160.Lsub: ldr r7,[r4],#4 161 ldr r6,[r3],#4 162 sbcs r7,r7,r6 @ tp[j]-np[j] 163 str r7,[r2],#4 @ rp[j]= 164 teq r4,r0 @ preserve carry 165 bne .Lsub 166 sbcs r14,r14,#0 @ upmost carry 167 mov r4,sp @ "rewind" r4 168 sub r2,r2,r5 @ "rewind" r2 169 170.Lcopy: ldr r7,[r4] @ conditional copy 171 ldr r5,[r2] 172 str sp,[r4],#4 @ zap tp 173#ifdef __thumb2__ 174 it cc 175#endif 176 movcc r5,r7 177 str r5,[r2],#4 178 teq r4,r0 @ preserve carry 179 bne .Lcopy 180 181 mov sp,r0 182 add sp,sp,#4 @ skip over tp[num+1] 183 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ restore registers 184 add sp,sp,#2*4 @ skip over {r0,r2} 185 mov r0,#1 186.Labrt: 187#if __ARM_ARCH__>=5 188 bx lr @ bx lr 189#else 190 tst lr,#1 191 moveq pc,lr @ be binary compatible with V4, yet 192.word 0xe12fff1e @ interoperable with Thumb ISA:-) 193#endif 194.size bn_mul_mont,.-bn_mul_mont 195#if __ARM_MAX_ARCH__>=7 196.arch armv7-a 197.fpu neon 198 199.type bn_mul8x_mont_neon,%function 200.align 5 201bn_mul8x_mont_neon: 202 mov ip,sp 203 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 204 vstmdb sp!,{d8,d9,d10,d11,d12,d13,d14,d15} @ ABI specification says so 205 ldmia ip,{r4,r5} @ load rest of parameter block 206 mov ip,sp 207 208 cmp r5,#8 209 bhi .LNEON_8n 210 211 @ special case for r5==8, everything is in register bank... 212 213 vld1.32 {d28[0]}, [r2,:32]! 214 veor d8,d8,d8 215 sub r7,sp,r5,lsl#4 216 vld1.32 {d0,d1,d2,d3}, [r1]! @ can't specify :32 :-( 217 and r7,r7,#-64 218 vld1.32 {d30[0]}, [r4,:32] 219 mov sp,r7 @ alloca 220 vzip.16 d28,d8 221 222 vmull.u32 q6,d28,d0[0] 223 vmull.u32 q7,d28,d0[1] 224 vmull.u32 q8,d28,d1[0] 225 vshl.i64 d29,d13,#16 226 vmull.u32 q9,d28,d1[1] 227 228 vadd.u64 d29,d29,d12 229 veor d8,d8,d8 230 vmul.u32 d29,d29,d30 231 232 vmull.u32 q10,d28,d2[0] 233 vld1.32 {d4,d5,d6,d7}, [r3]! 234 vmull.u32 q11,d28,d2[1] 235 vmull.u32 q12,d28,d3[0] 236 vzip.16 d29,d8 237 vmull.u32 q13,d28,d3[1] 238 239 vmlal.u32 q6,d29,d4[0] 240 sub r9,r5,#1 241 vmlal.u32 q7,d29,d4[1] 242 vmlal.u32 q8,d29,d5[0] 243 vmlal.u32 q9,d29,d5[1] 244 245 vmlal.u32 q10,d29,d6[0] 246 vmov q5,q6 247 vmlal.u32 q11,d29,d6[1] 248 vmov q6,q7 249 vmlal.u32 q12,d29,d7[0] 250 vmov q7,q8 251 vmlal.u32 q13,d29,d7[1] 252 vmov q8,q9 253 vmov q9,q10 254 vshr.u64 d10,d10,#16 255 vmov q10,q11 256 vmov q11,q12 257 vadd.u64 d10,d10,d11 258 vmov q12,q13 259 veor q13,q13 260 vshr.u64 d10,d10,#16 261 262 b .LNEON_outer8 263 264.align 4 265.LNEON_outer8: 266 vld1.32 {d28[0]}, [r2,:32]! 267 veor d8,d8,d8 268 vzip.16 d28,d8 269 vadd.u64 d12,d12,d10 270 271 vmlal.u32 q6,d28,d0[0] 272 vmlal.u32 q7,d28,d0[1] 273 vmlal.u32 q8,d28,d1[0] 274 vshl.i64 d29,d13,#16 275 vmlal.u32 q9,d28,d1[1] 276 277 vadd.u64 d29,d29,d12 278 veor d8,d8,d8 279 subs r9,r9,#1 280 vmul.u32 d29,d29,d30 281 282 vmlal.u32 q10,d28,d2[0] 283 vmlal.u32 q11,d28,d2[1] 284 vmlal.u32 q12,d28,d3[0] 285 vzip.16 d29,d8 286 vmlal.u32 q13,d28,d3[1] 287 288 vmlal.u32 q6,d29,d4[0] 289 vmlal.u32 q7,d29,d4[1] 290 vmlal.u32 q8,d29,d5[0] 291 vmlal.u32 q9,d29,d5[1] 292 293 vmlal.u32 q10,d29,d6[0] 294 vmov q5,q6 295 vmlal.u32 q11,d29,d6[1] 296 vmov q6,q7 297 vmlal.u32 q12,d29,d7[0] 298 vmov q7,q8 299 vmlal.u32 q13,d29,d7[1] 300 vmov q8,q9 301 vmov q9,q10 302 vshr.u64 d10,d10,#16 303 vmov q10,q11 304 vmov q11,q12 305 vadd.u64 d10,d10,d11 306 vmov q12,q13 307 veor q13,q13 308 vshr.u64 d10,d10,#16 309 310 bne .LNEON_outer8 311 312 vadd.u64 d12,d12,d10 313 mov r7,sp 314 vshr.u64 d10,d12,#16 315 mov r8,r5 316 vadd.u64 d13,d13,d10 317 add r6,sp,#96 318 vshr.u64 d10,d13,#16 319 vzip.16 d12,d13 320 321 b .LNEON_tail_entry 322 323.align 4 324.LNEON_8n: 325 veor q6,q6,q6 326 sub r7,sp,#128 327 veor q7,q7,q7 328 sub r7,r7,r5,lsl#4 329 veor q8,q8,q8 330 and r7,r7,#-64 331 veor q9,q9,q9 332 mov sp,r7 @ alloca 333 veor q10,q10,q10 334 add r7,r7,#256 335 veor q11,q11,q11 336 sub r8,r5,#8 337 veor q12,q12,q12 338 veor q13,q13,q13 339 340.LNEON_8n_init: 341 vst1.64 {q6,q7},[r7,:256]! 342 subs r8,r8,#8 343 vst1.64 {q8,q9},[r7,:256]! 344 vst1.64 {q10,q11},[r7,:256]! 345 vst1.64 {q12,q13},[r7,:256]! 346 bne .LNEON_8n_init 347 348 add r6,sp,#256 349 vld1.32 {d0,d1,d2,d3},[r1]! 350 add r10,sp,#8 351 vld1.32 {d30[0]},[r4,:32] 352 mov r9,r5 353 b .LNEON_8n_outer 354 355.align 4 356.LNEON_8n_outer: 357 vld1.32 {d28[0]},[r2,:32]! @ *b++ 358 veor d8,d8,d8 359 vzip.16 d28,d8 360 add r7,sp,#128 361 vld1.32 {d4,d5,d6,d7},[r3]! 362 363 vmlal.u32 q6,d28,d0[0] 364 vmlal.u32 q7,d28,d0[1] 365 veor d8,d8,d8 366 vmlal.u32 q8,d28,d1[0] 367 vshl.i64 d29,d13,#16 368 vmlal.u32 q9,d28,d1[1] 369 vadd.u64 d29,d29,d12 370 vmlal.u32 q10,d28,d2[0] 371 vmul.u32 d29,d29,d30 372 vmlal.u32 q11,d28,d2[1] 373 vst1.32 {d28},[sp,:64] @ put aside smashed b[8*i+0] 374 vmlal.u32 q12,d28,d3[0] 375 vzip.16 d29,d8 376 vmlal.u32 q13,d28,d3[1] 377 vld1.32 {d28[0]},[r2,:32]! @ *b++ 378 vmlal.u32 q6,d29,d4[0] 379 veor d10,d10,d10 380 vmlal.u32 q7,d29,d4[1] 381 vzip.16 d28,d10 382 vmlal.u32 q8,d29,d5[0] 383 vshr.u64 d12,d12,#16 384 vmlal.u32 q9,d29,d5[1] 385 vmlal.u32 q10,d29,d6[0] 386 vadd.u64 d12,d12,d13 387 vmlal.u32 q11,d29,d6[1] 388 vshr.u64 d12,d12,#16 389 vmlal.u32 q12,d29,d7[0] 390 vmlal.u32 q13,d29,d7[1] 391 vadd.u64 d14,d14,d12 392 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+0] 393 vmlal.u32 q7,d28,d0[0] 394 vld1.64 {q6},[r6,:128]! 395 vmlal.u32 q8,d28,d0[1] 396 veor d8,d8,d8 397 vmlal.u32 q9,d28,d1[0] 398 vshl.i64 d29,d15,#16 399 vmlal.u32 q10,d28,d1[1] 400 vadd.u64 d29,d29,d14 401 vmlal.u32 q11,d28,d2[0] 402 vmul.u32 d29,d29,d30 403 vmlal.u32 q12,d28,d2[1] 404 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+1] 405 vmlal.u32 q13,d28,d3[0] 406 vzip.16 d29,d8 407 vmlal.u32 q6,d28,d3[1] 408 vld1.32 {d28[0]},[r2,:32]! @ *b++ 409 vmlal.u32 q7,d29,d4[0] 410 veor d10,d10,d10 411 vmlal.u32 q8,d29,d4[1] 412 vzip.16 d28,d10 413 vmlal.u32 q9,d29,d5[0] 414 vshr.u64 d14,d14,#16 415 vmlal.u32 q10,d29,d5[1] 416 vmlal.u32 q11,d29,d6[0] 417 vadd.u64 d14,d14,d15 418 vmlal.u32 q12,d29,d6[1] 419 vshr.u64 d14,d14,#16 420 vmlal.u32 q13,d29,d7[0] 421 vmlal.u32 q6,d29,d7[1] 422 vadd.u64 d16,d16,d14 423 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+1] 424 vmlal.u32 q8,d28,d0[0] 425 vld1.64 {q7},[r6,:128]! 426 vmlal.u32 q9,d28,d0[1] 427 veor d8,d8,d8 428 vmlal.u32 q10,d28,d1[0] 429 vshl.i64 d29,d17,#16 430 vmlal.u32 q11,d28,d1[1] 431 vadd.u64 d29,d29,d16 432 vmlal.u32 q12,d28,d2[0] 433 vmul.u32 d29,d29,d30 434 vmlal.u32 q13,d28,d2[1] 435 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+2] 436 vmlal.u32 q6,d28,d3[0] 437 vzip.16 d29,d8 438 vmlal.u32 q7,d28,d3[1] 439 vld1.32 {d28[0]},[r2,:32]! @ *b++ 440 vmlal.u32 q8,d29,d4[0] 441 veor d10,d10,d10 442 vmlal.u32 q9,d29,d4[1] 443 vzip.16 d28,d10 444 vmlal.u32 q10,d29,d5[0] 445 vshr.u64 d16,d16,#16 446 vmlal.u32 q11,d29,d5[1] 447 vmlal.u32 q12,d29,d6[0] 448 vadd.u64 d16,d16,d17 449 vmlal.u32 q13,d29,d6[1] 450 vshr.u64 d16,d16,#16 451 vmlal.u32 q6,d29,d7[0] 452 vmlal.u32 q7,d29,d7[1] 453 vadd.u64 d18,d18,d16 454 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+2] 455 vmlal.u32 q9,d28,d0[0] 456 vld1.64 {q8},[r6,:128]! 457 vmlal.u32 q10,d28,d0[1] 458 veor d8,d8,d8 459 vmlal.u32 q11,d28,d1[0] 460 vshl.i64 d29,d19,#16 461 vmlal.u32 q12,d28,d1[1] 462 vadd.u64 d29,d29,d18 463 vmlal.u32 q13,d28,d2[0] 464 vmul.u32 d29,d29,d30 465 vmlal.u32 q6,d28,d2[1] 466 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+3] 467 vmlal.u32 q7,d28,d3[0] 468 vzip.16 d29,d8 469 vmlal.u32 q8,d28,d3[1] 470 vld1.32 {d28[0]},[r2,:32]! @ *b++ 471 vmlal.u32 q9,d29,d4[0] 472 veor d10,d10,d10 473 vmlal.u32 q10,d29,d4[1] 474 vzip.16 d28,d10 475 vmlal.u32 q11,d29,d5[0] 476 vshr.u64 d18,d18,#16 477 vmlal.u32 q12,d29,d5[1] 478 vmlal.u32 q13,d29,d6[0] 479 vadd.u64 d18,d18,d19 480 vmlal.u32 q6,d29,d6[1] 481 vshr.u64 d18,d18,#16 482 vmlal.u32 q7,d29,d7[0] 483 vmlal.u32 q8,d29,d7[1] 484 vadd.u64 d20,d20,d18 485 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+3] 486 vmlal.u32 q10,d28,d0[0] 487 vld1.64 {q9},[r6,:128]! 488 vmlal.u32 q11,d28,d0[1] 489 veor d8,d8,d8 490 vmlal.u32 q12,d28,d1[0] 491 vshl.i64 d29,d21,#16 492 vmlal.u32 q13,d28,d1[1] 493 vadd.u64 d29,d29,d20 494 vmlal.u32 q6,d28,d2[0] 495 vmul.u32 d29,d29,d30 496 vmlal.u32 q7,d28,d2[1] 497 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+4] 498 vmlal.u32 q8,d28,d3[0] 499 vzip.16 d29,d8 500 vmlal.u32 q9,d28,d3[1] 501 vld1.32 {d28[0]},[r2,:32]! @ *b++ 502 vmlal.u32 q10,d29,d4[0] 503 veor d10,d10,d10 504 vmlal.u32 q11,d29,d4[1] 505 vzip.16 d28,d10 506 vmlal.u32 q12,d29,d5[0] 507 vshr.u64 d20,d20,#16 508 vmlal.u32 q13,d29,d5[1] 509 vmlal.u32 q6,d29,d6[0] 510 vadd.u64 d20,d20,d21 511 vmlal.u32 q7,d29,d6[1] 512 vshr.u64 d20,d20,#16 513 vmlal.u32 q8,d29,d7[0] 514 vmlal.u32 q9,d29,d7[1] 515 vadd.u64 d22,d22,d20 516 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+4] 517 vmlal.u32 q11,d28,d0[0] 518 vld1.64 {q10},[r6,:128]! 519 vmlal.u32 q12,d28,d0[1] 520 veor d8,d8,d8 521 vmlal.u32 q13,d28,d1[0] 522 vshl.i64 d29,d23,#16 523 vmlal.u32 q6,d28,d1[1] 524 vadd.u64 d29,d29,d22 525 vmlal.u32 q7,d28,d2[0] 526 vmul.u32 d29,d29,d30 527 vmlal.u32 q8,d28,d2[1] 528 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+5] 529 vmlal.u32 q9,d28,d3[0] 530 vzip.16 d29,d8 531 vmlal.u32 q10,d28,d3[1] 532 vld1.32 {d28[0]},[r2,:32]! @ *b++ 533 vmlal.u32 q11,d29,d4[0] 534 veor d10,d10,d10 535 vmlal.u32 q12,d29,d4[1] 536 vzip.16 d28,d10 537 vmlal.u32 q13,d29,d5[0] 538 vshr.u64 d22,d22,#16 539 vmlal.u32 q6,d29,d5[1] 540 vmlal.u32 q7,d29,d6[0] 541 vadd.u64 d22,d22,d23 542 vmlal.u32 q8,d29,d6[1] 543 vshr.u64 d22,d22,#16 544 vmlal.u32 q9,d29,d7[0] 545 vmlal.u32 q10,d29,d7[1] 546 vadd.u64 d24,d24,d22 547 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+5] 548 vmlal.u32 q12,d28,d0[0] 549 vld1.64 {q11},[r6,:128]! 550 vmlal.u32 q13,d28,d0[1] 551 veor d8,d8,d8 552 vmlal.u32 q6,d28,d1[0] 553 vshl.i64 d29,d25,#16 554 vmlal.u32 q7,d28,d1[1] 555 vadd.u64 d29,d29,d24 556 vmlal.u32 q8,d28,d2[0] 557 vmul.u32 d29,d29,d30 558 vmlal.u32 q9,d28,d2[1] 559 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+6] 560 vmlal.u32 q10,d28,d3[0] 561 vzip.16 d29,d8 562 vmlal.u32 q11,d28,d3[1] 563 vld1.32 {d28[0]},[r2,:32]! @ *b++ 564 vmlal.u32 q12,d29,d4[0] 565 veor d10,d10,d10 566 vmlal.u32 q13,d29,d4[1] 567 vzip.16 d28,d10 568 vmlal.u32 q6,d29,d5[0] 569 vshr.u64 d24,d24,#16 570 vmlal.u32 q7,d29,d5[1] 571 vmlal.u32 q8,d29,d6[0] 572 vadd.u64 d24,d24,d25 573 vmlal.u32 q9,d29,d6[1] 574 vshr.u64 d24,d24,#16 575 vmlal.u32 q10,d29,d7[0] 576 vmlal.u32 q11,d29,d7[1] 577 vadd.u64 d26,d26,d24 578 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+6] 579 vmlal.u32 q13,d28,d0[0] 580 vld1.64 {q12},[r6,:128]! 581 vmlal.u32 q6,d28,d0[1] 582 veor d8,d8,d8 583 vmlal.u32 q7,d28,d1[0] 584 vshl.i64 d29,d27,#16 585 vmlal.u32 q8,d28,d1[1] 586 vadd.u64 d29,d29,d26 587 vmlal.u32 q9,d28,d2[0] 588 vmul.u32 d29,d29,d30 589 vmlal.u32 q10,d28,d2[1] 590 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+7] 591 vmlal.u32 q11,d28,d3[0] 592 vzip.16 d29,d8 593 vmlal.u32 q12,d28,d3[1] 594 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 595 vmlal.u32 q13,d29,d4[0] 596 vld1.32 {d0,d1,d2,d3},[r1]! 597 vmlal.u32 q6,d29,d4[1] 598 vmlal.u32 q7,d29,d5[0] 599 vshr.u64 d26,d26,#16 600 vmlal.u32 q8,d29,d5[1] 601 vmlal.u32 q9,d29,d6[0] 602 vadd.u64 d26,d26,d27 603 vmlal.u32 q10,d29,d6[1] 604 vshr.u64 d26,d26,#16 605 vmlal.u32 q11,d29,d7[0] 606 vmlal.u32 q12,d29,d7[1] 607 vadd.u64 d12,d12,d26 608 vst1.32 {d29},[r10,:64] @ put aside smashed m[8*i+7] 609 add r10,sp,#8 @ rewind 610 sub r8,r5,#8 611 b .LNEON_8n_inner 612 613.align 4 614.LNEON_8n_inner: 615 subs r8,r8,#8 616 vmlal.u32 q6,d28,d0[0] 617 vld1.64 {q13},[r6,:128] 618 vmlal.u32 q7,d28,d0[1] 619 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+0] 620 vmlal.u32 q8,d28,d1[0] 621 vld1.32 {d4,d5,d6,d7},[r3]! 622 vmlal.u32 q9,d28,d1[1] 623 it ne 624 addne r6,r6,#16 @ don't advance in last iteration 625 vmlal.u32 q10,d28,d2[0] 626 vmlal.u32 q11,d28,d2[1] 627 vmlal.u32 q12,d28,d3[0] 628 vmlal.u32 q13,d28,d3[1] 629 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+1] 630 vmlal.u32 q6,d29,d4[0] 631 vmlal.u32 q7,d29,d4[1] 632 vmlal.u32 q8,d29,d5[0] 633 vmlal.u32 q9,d29,d5[1] 634 vmlal.u32 q10,d29,d6[0] 635 vmlal.u32 q11,d29,d6[1] 636 vmlal.u32 q12,d29,d7[0] 637 vmlal.u32 q13,d29,d7[1] 638 vst1.64 {q6},[r7,:128]! 639 vmlal.u32 q7,d28,d0[0] 640 vld1.64 {q6},[r6,:128] 641 vmlal.u32 q8,d28,d0[1] 642 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+1] 643 vmlal.u32 q9,d28,d1[0] 644 it ne 645 addne r6,r6,#16 @ don't advance in last iteration 646 vmlal.u32 q10,d28,d1[1] 647 vmlal.u32 q11,d28,d2[0] 648 vmlal.u32 q12,d28,d2[1] 649 vmlal.u32 q13,d28,d3[0] 650 vmlal.u32 q6,d28,d3[1] 651 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+2] 652 vmlal.u32 q7,d29,d4[0] 653 vmlal.u32 q8,d29,d4[1] 654 vmlal.u32 q9,d29,d5[0] 655 vmlal.u32 q10,d29,d5[1] 656 vmlal.u32 q11,d29,d6[0] 657 vmlal.u32 q12,d29,d6[1] 658 vmlal.u32 q13,d29,d7[0] 659 vmlal.u32 q6,d29,d7[1] 660 vst1.64 {q7},[r7,:128]! 661 vmlal.u32 q8,d28,d0[0] 662 vld1.64 {q7},[r6,:128] 663 vmlal.u32 q9,d28,d0[1] 664 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+2] 665 vmlal.u32 q10,d28,d1[0] 666 it ne 667 addne r6,r6,#16 @ don't advance in last iteration 668 vmlal.u32 q11,d28,d1[1] 669 vmlal.u32 q12,d28,d2[0] 670 vmlal.u32 q13,d28,d2[1] 671 vmlal.u32 q6,d28,d3[0] 672 vmlal.u32 q7,d28,d3[1] 673 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+3] 674 vmlal.u32 q8,d29,d4[0] 675 vmlal.u32 q9,d29,d4[1] 676 vmlal.u32 q10,d29,d5[0] 677 vmlal.u32 q11,d29,d5[1] 678 vmlal.u32 q12,d29,d6[0] 679 vmlal.u32 q13,d29,d6[1] 680 vmlal.u32 q6,d29,d7[0] 681 vmlal.u32 q7,d29,d7[1] 682 vst1.64 {q8},[r7,:128]! 683 vmlal.u32 q9,d28,d0[0] 684 vld1.64 {q8},[r6,:128] 685 vmlal.u32 q10,d28,d0[1] 686 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+3] 687 vmlal.u32 q11,d28,d1[0] 688 it ne 689 addne r6,r6,#16 @ don't advance in last iteration 690 vmlal.u32 q12,d28,d1[1] 691 vmlal.u32 q13,d28,d2[0] 692 vmlal.u32 q6,d28,d2[1] 693 vmlal.u32 q7,d28,d3[0] 694 vmlal.u32 q8,d28,d3[1] 695 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+4] 696 vmlal.u32 q9,d29,d4[0] 697 vmlal.u32 q10,d29,d4[1] 698 vmlal.u32 q11,d29,d5[0] 699 vmlal.u32 q12,d29,d5[1] 700 vmlal.u32 q13,d29,d6[0] 701 vmlal.u32 q6,d29,d6[1] 702 vmlal.u32 q7,d29,d7[0] 703 vmlal.u32 q8,d29,d7[1] 704 vst1.64 {q9},[r7,:128]! 705 vmlal.u32 q10,d28,d0[0] 706 vld1.64 {q9},[r6,:128] 707 vmlal.u32 q11,d28,d0[1] 708 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+4] 709 vmlal.u32 q12,d28,d1[0] 710 it ne 711 addne r6,r6,#16 @ don't advance in last iteration 712 vmlal.u32 q13,d28,d1[1] 713 vmlal.u32 q6,d28,d2[0] 714 vmlal.u32 q7,d28,d2[1] 715 vmlal.u32 q8,d28,d3[0] 716 vmlal.u32 q9,d28,d3[1] 717 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+5] 718 vmlal.u32 q10,d29,d4[0] 719 vmlal.u32 q11,d29,d4[1] 720 vmlal.u32 q12,d29,d5[0] 721 vmlal.u32 q13,d29,d5[1] 722 vmlal.u32 q6,d29,d6[0] 723 vmlal.u32 q7,d29,d6[1] 724 vmlal.u32 q8,d29,d7[0] 725 vmlal.u32 q9,d29,d7[1] 726 vst1.64 {q10},[r7,:128]! 727 vmlal.u32 q11,d28,d0[0] 728 vld1.64 {q10},[r6,:128] 729 vmlal.u32 q12,d28,d0[1] 730 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+5] 731 vmlal.u32 q13,d28,d1[0] 732 it ne 733 addne r6,r6,#16 @ don't advance in last iteration 734 vmlal.u32 q6,d28,d1[1] 735 vmlal.u32 q7,d28,d2[0] 736 vmlal.u32 q8,d28,d2[1] 737 vmlal.u32 q9,d28,d3[0] 738 vmlal.u32 q10,d28,d3[1] 739 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+6] 740 vmlal.u32 q11,d29,d4[0] 741 vmlal.u32 q12,d29,d4[1] 742 vmlal.u32 q13,d29,d5[0] 743 vmlal.u32 q6,d29,d5[1] 744 vmlal.u32 q7,d29,d6[0] 745 vmlal.u32 q8,d29,d6[1] 746 vmlal.u32 q9,d29,d7[0] 747 vmlal.u32 q10,d29,d7[1] 748 vst1.64 {q11},[r7,:128]! 749 vmlal.u32 q12,d28,d0[0] 750 vld1.64 {q11},[r6,:128] 751 vmlal.u32 q13,d28,d0[1] 752 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+6] 753 vmlal.u32 q6,d28,d1[0] 754 it ne 755 addne r6,r6,#16 @ don't advance in last iteration 756 vmlal.u32 q7,d28,d1[1] 757 vmlal.u32 q8,d28,d2[0] 758 vmlal.u32 q9,d28,d2[1] 759 vmlal.u32 q10,d28,d3[0] 760 vmlal.u32 q11,d28,d3[1] 761 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+7] 762 vmlal.u32 q12,d29,d4[0] 763 vmlal.u32 q13,d29,d4[1] 764 vmlal.u32 q6,d29,d5[0] 765 vmlal.u32 q7,d29,d5[1] 766 vmlal.u32 q8,d29,d6[0] 767 vmlal.u32 q9,d29,d6[1] 768 vmlal.u32 q10,d29,d7[0] 769 vmlal.u32 q11,d29,d7[1] 770 vst1.64 {q12},[r7,:128]! 771 vmlal.u32 q13,d28,d0[0] 772 vld1.64 {q12},[r6,:128] 773 vmlal.u32 q6,d28,d0[1] 774 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+7] 775 vmlal.u32 q7,d28,d1[0] 776 it ne 777 addne r6,r6,#16 @ don't advance in last iteration 778 vmlal.u32 q8,d28,d1[1] 779 vmlal.u32 q9,d28,d2[0] 780 vmlal.u32 q10,d28,d2[1] 781 vmlal.u32 q11,d28,d3[0] 782 vmlal.u32 q12,d28,d3[1] 783 it eq 784 subeq r1,r1,r5,lsl#2 @ rewind 785 vmlal.u32 q13,d29,d4[0] 786 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 787 vmlal.u32 q6,d29,d4[1] 788 vld1.32 {d0,d1,d2,d3},[r1]! 789 vmlal.u32 q7,d29,d5[0] 790 add r10,sp,#8 @ rewind 791 vmlal.u32 q8,d29,d5[1] 792 vmlal.u32 q9,d29,d6[0] 793 vmlal.u32 q10,d29,d6[1] 794 vmlal.u32 q11,d29,d7[0] 795 vst1.64 {q13},[r7,:128]! 796 vmlal.u32 q12,d29,d7[1] 797 798 bne .LNEON_8n_inner 799 add r6,sp,#128 800 vst1.64 {q6,q7},[r7,:256]! 801 veor q2,q2,q2 @ d4-d5 802 vst1.64 {q8,q9},[r7,:256]! 803 veor q3,q3,q3 @ d6-d7 804 vst1.64 {q10,q11},[r7,:256]! 805 vst1.64 {q12},[r7,:128] 806 807 subs r9,r9,#8 808 vld1.64 {q6,q7},[r6,:256]! 809 vld1.64 {q8,q9},[r6,:256]! 810 vld1.64 {q10,q11},[r6,:256]! 811 vld1.64 {q12,q13},[r6,:256]! 812 813 itt ne 814 subne r3,r3,r5,lsl#2 @ rewind 815 bne .LNEON_8n_outer 816 817 add r7,sp,#128 818 vst1.64 {q2,q3}, [sp,:256]! @ start wiping stack frame 819 vshr.u64 d10,d12,#16 820 vst1.64 {q2,q3},[sp,:256]! 821 vadd.u64 d13,d13,d10 822 vst1.64 {q2,q3}, [sp,:256]! 823 vshr.u64 d10,d13,#16 824 vst1.64 {q2,q3}, [sp,:256]! 825 vzip.16 d12,d13 826 827 mov r8,r5 828 b .LNEON_tail_entry 829 830.align 4 831.LNEON_tail: 832 vadd.u64 d12,d12,d10 833 vshr.u64 d10,d12,#16 834 vld1.64 {q8,q9}, [r6, :256]! 835 vadd.u64 d13,d13,d10 836 vld1.64 {q10,q11}, [r6, :256]! 837 vshr.u64 d10,d13,#16 838 vld1.64 {q12,q13}, [r6, :256]! 839 vzip.16 d12,d13 840 841.LNEON_tail_entry: 842 vadd.u64 d14,d14,d10 843 vst1.32 {d12[0]}, [r7, :32]! 844 vshr.u64 d10,d14,#16 845 vadd.u64 d15,d15,d10 846 vshr.u64 d10,d15,#16 847 vzip.16 d14,d15 848 vadd.u64 d16,d16,d10 849 vst1.32 {d14[0]}, [r7, :32]! 850 vshr.u64 d10,d16,#16 851 vadd.u64 d17,d17,d10 852 vshr.u64 d10,d17,#16 853 vzip.16 d16,d17 854 vadd.u64 d18,d18,d10 855 vst1.32 {d16[0]}, [r7, :32]! 856 vshr.u64 d10,d18,#16 857 vadd.u64 d19,d19,d10 858 vshr.u64 d10,d19,#16 859 vzip.16 d18,d19 860 vadd.u64 d20,d20,d10 861 vst1.32 {d18[0]}, [r7, :32]! 862 vshr.u64 d10,d20,#16 863 vadd.u64 d21,d21,d10 864 vshr.u64 d10,d21,#16 865 vzip.16 d20,d21 866 vadd.u64 d22,d22,d10 867 vst1.32 {d20[0]}, [r7, :32]! 868 vshr.u64 d10,d22,#16 869 vadd.u64 d23,d23,d10 870 vshr.u64 d10,d23,#16 871 vzip.16 d22,d23 872 vadd.u64 d24,d24,d10 873 vst1.32 {d22[0]}, [r7, :32]! 874 vshr.u64 d10,d24,#16 875 vadd.u64 d25,d25,d10 876 vshr.u64 d10,d25,#16 877 vzip.16 d24,d25 878 vadd.u64 d26,d26,d10 879 vst1.32 {d24[0]}, [r7, :32]! 880 vshr.u64 d10,d26,#16 881 vadd.u64 d27,d27,d10 882 vshr.u64 d10,d27,#16 883 vzip.16 d26,d27 884 vld1.64 {q6,q7}, [r6, :256]! 885 subs r8,r8,#8 886 vst1.32 {d26[0]}, [r7, :32]! 887 bne .LNEON_tail 888 889 vst1.32 {d10[0]}, [r7, :32] @ top-most bit 890 sub r3,r3,r5,lsl#2 @ rewind r3 891 subs r1,sp,#0 @ clear carry flag 892 add r2,sp,r5,lsl#2 893 894.LNEON_sub: 895 ldmia r1!, {r4,r5,r6,r7} 896 ldmia r3!, {r8,r9,r10,r11} 897 sbcs r8, r4,r8 898 sbcs r9, r5,r9 899 sbcs r10,r6,r10 900 sbcs r11,r7,r11 901 teq r1,r2 @ preserves carry 902 stmia r0!, {r8,r9,r10,r11} 903 bne .LNEON_sub 904 905 ldr r10, [r1] @ load top-most bit 906 mov r11,sp 907 veor q0,q0,q0 908 sub r11,r2,r11 @ this is num*4 909 veor q1,q1,q1 910 mov r1,sp 911 sub r0,r0,r11 @ rewind r0 912 mov r3,r2 @ second 3/4th of frame 913 sbcs r10,r10,#0 @ result is carry flag 914 915.LNEON_copy_n_zap: 916 ldmia r1!, {r4,r5,r6,r7} 917 ldmia r0, {r8,r9,r10,r11} 918 it cc 919 movcc r8, r4 920 vst1.64 {q0,q1}, [r3,:256]! @ wipe 921 itt cc 922 movcc r9, r5 923 movcc r10,r6 924 vst1.64 {q0,q1}, [r3,:256]! @ wipe 925 it cc 926 movcc r11,r7 927 ldmia r1, {r4,r5,r6,r7} 928 stmia r0!, {r8,r9,r10,r11} 929 sub r1,r1,#16 930 ldmia r0, {r8,r9,r10,r11} 931 it cc 932 movcc r8, r4 933 vst1.64 {q0,q1}, [r1,:256]! @ wipe 934 itt cc 935 movcc r9, r5 936 movcc r10,r6 937 vst1.64 {q0,q1}, [r3,:256]! @ wipe 938 it cc 939 movcc r11,r7 940 teq r1,r2 @ preserves carry 941 stmia r0!, {r8,r9,r10,r11} 942 bne .LNEON_copy_n_zap 943 944 mov sp,ip 945 vldmia sp!,{d8,d9,d10,d11,d12,d13,d14,d15} 946 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 947 bx lr @ bx lr 948.size bn_mul8x_mont_neon,.-bn_mul8x_mont_neon 949#endif 950.byte 77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0 951.align 2 952.align 2 953#if __ARM_MAX_ARCH__>=7 954.comm OPENSSL_armcap_P,4,4 955#endif 956