xref: /freebsd/sys/contrib/openzfs/module/icp/asm-arm/sha2/sha512-armv7.S (revision 24e4dcf4ba5e9dedcf89efd358ea3e1fe5867020) 
1// SPDX-License-Identifier: Apache-2.0
2/*
3 * Copyright 2004-2022 The OpenSSL Project Authors. All Rights Reserved.
4 *
5 * Licensed under the Apache License, Version 2.0 (the "License");
6 * you may not use this file except in compliance with the License.
7 * You may obtain a copy of the License at
8 *
9 *     https://www.apache.org/licenses/LICENSE-2.0
10 *
11 * Unless required by applicable law or agreed to in writing, software
12 * distributed under the License is distributed on an "AS IS" BASIS,
13 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
14 * See the License for the specific language governing permissions and
15 * limitations under the License.
16 */
17
18/*
19 * Portions Copyright (c) 2022 Tino Reichardt <milky-zfs@mcmilk.de>
20 * - modified assembly to fit into OpenZFS
21 */
22
23#if defined(__arm__)
24
25#ifndef __ARM_ARCH
26# define __ARM_ARCH__	7
27#else
28# define __ARM_ARCH__	__ARM_ARCH
29#endif
30
31#ifndef __KERNEL__
32# define VFP_ABI_PUSH	vstmdb	sp!,{d8-d15}
33# define VFP_ABI_POP	vldmia	sp!,{d8-d15}
34#else
35# define VFP_ABI_PUSH
36# define VFP_ABI_POP
37#endif
38
39#ifdef __ARMEL__
40# define LO 0
41# define HI 4
42# define WORD64(hi0,lo0,hi1,lo1)	.word	lo0,hi0, lo1,hi1
43#else
44# define HI 0
45# define LO 4
46# define WORD64(hi0,lo0,hi1,lo1)	.word	hi0,lo0, hi1,lo1
47#endif
48
49#if defined(__thumb2__)
50.syntax	unified
51.thumb
52# define adrl adr
53#else
54.code	32
55#endif
56
57.text
58
59.type	K512,%object
60.align	5
61K512:
62	WORD64(0x428a2f98,0xd728ae22,	0x71374491,0x23ef65cd)
63	WORD64(0xb5c0fbcf,0xec4d3b2f,	0xe9b5dba5,0x8189dbbc)
64	WORD64(0x3956c25b,0xf348b538,	0x59f111f1,0xb605d019)
65	WORD64(0x923f82a4,0xaf194f9b,	0xab1c5ed5,0xda6d8118)
66	WORD64(0xd807aa98,0xa3030242,	0x12835b01,0x45706fbe)
67	WORD64(0x243185be,0x4ee4b28c,	0x550c7dc3,0xd5ffb4e2)
68	WORD64(0x72be5d74,0xf27b896f,	0x80deb1fe,0x3b1696b1)
69	WORD64(0x9bdc06a7,0x25c71235,	0xc19bf174,0xcf692694)
70	WORD64(0xe49b69c1,0x9ef14ad2,	0xefbe4786,0x384f25e3)
71	WORD64(0x0fc19dc6,0x8b8cd5b5,	0x240ca1cc,0x77ac9c65)
72	WORD64(0x2de92c6f,0x592b0275,	0x4a7484aa,0x6ea6e483)
73	WORD64(0x5cb0a9dc,0xbd41fbd4,	0x76f988da,0x831153b5)
74	WORD64(0x983e5152,0xee66dfab,	0xa831c66d,0x2db43210)
75	WORD64(0xb00327c8,0x98fb213f,	0xbf597fc7,0xbeef0ee4)
76	WORD64(0xc6e00bf3,0x3da88fc2,	0xd5a79147,0x930aa725)
77	WORD64(0x06ca6351,0xe003826f,	0x14292967,0x0a0e6e70)
78	WORD64(0x27b70a85,0x46d22ffc,	0x2e1b2138,0x5c26c926)
79	WORD64(0x4d2c6dfc,0x5ac42aed,	0x53380d13,0x9d95b3df)
80	WORD64(0x650a7354,0x8baf63de,	0x766a0abb,0x3c77b2a8)
81	WORD64(0x81c2c92e,0x47edaee6,	0x92722c85,0x1482353b)
82	WORD64(0xa2bfe8a1,0x4cf10364,	0xa81a664b,0xbc423001)
83	WORD64(0xc24b8b70,0xd0f89791,	0xc76c51a3,0x0654be30)
84	WORD64(0xd192e819,0xd6ef5218,	0xd6990624,0x5565a910)
85	WORD64(0xf40e3585,0x5771202a,	0x106aa070,0x32bbd1b8)
86	WORD64(0x19a4c116,0xb8d2d0c8,	0x1e376c08,0x5141ab53)
87	WORD64(0x2748774c,0xdf8eeb99,	0x34b0bcb5,0xe19b48a8)
88	WORD64(0x391c0cb3,0xc5c95a63,	0x4ed8aa4a,0xe3418acb)
89	WORD64(0x5b9cca4f,0x7763e373,	0x682e6ff3,0xd6b2b8a3)
90	WORD64(0x748f82ee,0x5defb2fc,	0x78a5636f,0x43172f60)
91	WORD64(0x84c87814,0xa1f0ab72,	0x8cc70208,0x1a6439ec)
92	WORD64(0x90befffa,0x23631e28,	0xa4506ceb,0xde82bde9)
93	WORD64(0xbef9a3f7,0xb2c67915,	0xc67178f2,0xe372532b)
94	WORD64(0xca273ece,0xea26619c,	0xd186b8c7,0x21c0c207)
95	WORD64(0xeada7dd6,0xcde0eb1e,	0xf57d4f7f,0xee6ed178)
96	WORD64(0x06f067aa,0x72176fba,	0x0a637dc5,0xa2c898a6)
97	WORD64(0x113f9804,0xbef90dae,	0x1b710b35,0x131c471b)
98	WORD64(0x28db77f5,0x23047d84,	0x32caab7b,0x40c72493)
99	WORD64(0x3c9ebe0a,0x15c9bebc,	0x431d67c4,0x9c100d4c)
100	WORD64(0x4cc5d4be,0xcb3e42b6,	0x597f299c,0xfc657e2a)
101	WORD64(0x5fcb6fab,0x3ad6faec,	0x6c44198c,0x4a475817)
102.size	K512,.-K512
103.word	0				@ terminator
104
105.align	5
106.globl	zfs_sha512_block_armv7
107.type	zfs_sha512_block_armv7,%function
108zfs_sha512_block_armv7:
109.Lzfs_sha512_block_armv7:
110
111#if __ARM_ARCH__<7 && !defined(__thumb2__)
112	sub	r3,pc,#8		@ zfs_sha512_block_armv7
113#else
114	adr	r3,.Lzfs_sha512_block_armv7
115#endif
116
117	add	r2,r1,r2,lsl#7	@ len to point at the end of inp
118	stmdb	sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr}
119	sub	r14,r3,#672		@ K512
120	sub	sp,sp,#9*8
121
122	ldr	r7,[r0,#32+LO]
123	ldr	r8,[r0,#32+HI]
124	ldr	r9, [r0,#48+LO]
125	ldr	r10, [r0,#48+HI]
126	ldr	r11, [r0,#56+LO]
127	ldr	r12, [r0,#56+HI]
128.Loop:
129	str	r9, [sp,#48+0]
130	str	r10, [sp,#48+4]
131	str	r11, [sp,#56+0]
132	str	r12, [sp,#56+4]
133	ldr	r5,[r0,#0+LO]
134	ldr	r6,[r0,#0+HI]
135	ldr	r3,[r0,#8+LO]
136	ldr	r4,[r0,#8+HI]
137	ldr	r9, [r0,#16+LO]
138	ldr	r10, [r0,#16+HI]
139	ldr	r11, [r0,#24+LO]
140	ldr	r12, [r0,#24+HI]
141	str	r3,[sp,#8+0]
142	str	r4,[sp,#8+4]
143	str	r9, [sp,#16+0]
144	str	r10, [sp,#16+4]
145	str	r11, [sp,#24+0]
146	str	r12, [sp,#24+4]
147	ldr	r3,[r0,#40+LO]
148	ldr	r4,[r0,#40+HI]
149	str	r3,[sp,#40+0]
150	str	r4,[sp,#40+4]
151
152.L00_15:
153#if __ARM_ARCH__<7
154	ldrb	r3,[r1,#7]
155	ldrb	r9, [r1,#6]
156	ldrb	r10, [r1,#5]
157	ldrb	r11, [r1,#4]
158	ldrb	r4,[r1,#3]
159	ldrb	r12, [r1,#2]
160	orr	r3,r3,r9,lsl#8
161	ldrb	r9, [r1,#1]
162	orr	r3,r3,r10,lsl#16
163	ldrb	r10, [r1],#8
164	orr	r3,r3,r11,lsl#24
165	orr	r4,r4,r12,lsl#8
166	orr	r4,r4,r9,lsl#16
167	orr	r4,r4,r10,lsl#24
168#else
169	ldr	r3,[r1,#4]
170	ldr	r4,[r1],#8
171#ifdef __ARMEL__
172	rev	r3,r3
173	rev	r4,r4
174#endif
175#endif
176	@ Sigma1(x)	(ROTR((x),14) ^ ROTR((x),18)  ^ ROTR((x),41))
177	@ LO		lo>>14^hi<<18 ^ lo>>18^hi<<14 ^ hi>>9^lo<<23
178	@ HI		hi>>14^lo<<18 ^ hi>>18^lo<<14 ^ lo>>9^hi<<23
179	mov	r9,r7,lsr#14
180	str	r3,[sp,#64+0]
181	mov	r10,r8,lsr#14
182	str	r4,[sp,#64+4]
183	eor	r9,r9,r8,lsl#18
184	ldr	r11,[sp,#56+0]	@ h.lo
185	eor	r10,r10,r7,lsl#18
186	ldr	r12,[sp,#56+4]	@ h.hi
187	eor	r9,r9,r7,lsr#18
188	eor	r10,r10,r8,lsr#18
189	eor	r9,r9,r8,lsl#14
190	eor	r10,r10,r7,lsl#14
191	eor	r9,r9,r8,lsr#9
192	eor	r10,r10,r7,lsr#9
193	eor	r9,r9,r7,lsl#23
194	eor	r10,r10,r8,lsl#23	@ Sigma1(e)
195	adds	r3,r3,r9
196	ldr	r9,[sp,#40+0]	@ f.lo
197	adc	r4,r4,r10		@ T += Sigma1(e)
198	ldr	r10,[sp,#40+4]	@ f.hi
199	adds	r3,r3,r11
200	ldr	r11,[sp,#48+0]	@ g.lo
201	adc	r4,r4,r12		@ T += h
202	ldr	r12,[sp,#48+4]	@ g.hi
203
204	eor	r9,r9,r11
205	str	r7,[sp,#32+0]
206	eor	r10,r10,r12
207	str	r8,[sp,#32+4]
208	and	r9,r9,r7
209	str	r5,[sp,#0+0]
210	and	r10,r10,r8
211	str	r6,[sp,#0+4]
212	eor	r9,r9,r11
213	ldr	r11,[r14,#LO]	@ K[i].lo
214	eor	r10,r10,r12		@ Ch(e,f,g)
215	ldr	r12,[r14,#HI]	@ K[i].hi
216
217	adds	r3,r3,r9
218	ldr	r7,[sp,#24+0]	@ d.lo
219	adc	r4,r4,r10		@ T += Ch(e,f,g)
220	ldr	r8,[sp,#24+4]	@ d.hi
221	adds	r3,r3,r11
222	and	r9,r11,#0xff
223	adc	r4,r4,r12		@ T += K[i]
224	adds	r7,r7,r3
225	ldr	r11,[sp,#8+0]	@ b.lo
226	adc	r8,r8,r4		@ d += T
227	teq	r9,#148
228
229	ldr	r12,[sp,#16+0]	@ c.lo
230#ifdef	__thumb2__
231	it	eq			@ Thumb2 thing, sanity check in ARM
232#endif
233	orreq	r14,r14,#1
234	@ Sigma0(x)	(ROTR((x),28) ^ ROTR((x),34) ^ ROTR((x),39))
235	@ LO		lo>>28^hi<<4  ^ hi>>2^lo<<30 ^ hi>>7^lo<<25
236	@ HI		hi>>28^lo<<4  ^ lo>>2^hi<<30 ^ lo>>7^hi<<25
237	mov	r9,r5,lsr#28
238	mov	r10,r6,lsr#28
239	eor	r9,r9,r6,lsl#4
240	eor	r10,r10,r5,lsl#4
241	eor	r9,r9,r6,lsr#2
242	eor	r10,r10,r5,lsr#2
243	eor	r9,r9,r5,lsl#30
244	eor	r10,r10,r6,lsl#30
245	eor	r9,r9,r6,lsr#7
246	eor	r10,r10,r5,lsr#7
247	eor	r9,r9,r5,lsl#25
248	eor	r10,r10,r6,lsl#25	@ Sigma0(a)
249	adds	r3,r3,r9
250	and	r9,r5,r11
251	adc	r4,r4,r10		@ T += Sigma0(a)
252
253	ldr	r10,[sp,#8+4]	@ b.hi
254	orr	r5,r5,r11
255	ldr	r11,[sp,#16+4]	@ c.hi
256	and	r5,r5,r12
257	and	r12,r6,r10
258	orr	r6,r6,r10
259	orr	r5,r5,r9		@ Maj(a,b,c).lo
260	and	r6,r6,r11
261	adds	r5,r5,r3
262	orr	r6,r6,r12		@ Maj(a,b,c).hi
263	sub	sp,sp,#8
264	adc	r6,r6,r4		@ h += T
265	tst	r14,#1
266	add	r14,r14,#8
267	tst	r14,#1
268	beq	.L00_15
269	ldr	r9,[sp,#184+0]
270	ldr	r10,[sp,#184+4]
271	bic	r14,r14,#1
272.L16_79:
273	@ sigma0(x)	(ROTR((x),1)  ^ ROTR((x),8)  ^ ((x)>>7))
274	@ LO		lo>>1^hi<<31  ^ lo>>8^hi<<24 ^ lo>>7^hi<<25
275	@ HI		hi>>1^lo<<31  ^ hi>>8^lo<<24 ^ hi>>7
276	mov	r3,r9,lsr#1
277	ldr	r11,[sp,#80+0]
278	mov	r4,r10,lsr#1
279	ldr	r12,[sp,#80+4]
280	eor	r3,r3,r10,lsl#31
281	eor	r4,r4,r9,lsl#31
282	eor	r3,r3,r9,lsr#8
283	eor	r4,r4,r10,lsr#8
284	eor	r3,r3,r10,lsl#24
285	eor	r4,r4,r9,lsl#24
286	eor	r3,r3,r9,lsr#7
287	eor	r4,r4,r10,lsr#7
288	eor	r3,r3,r10,lsl#25
289
290	@ sigma1(x)	(ROTR((x),19) ^ ROTR((x),61) ^ ((x)>>6))
291	@ LO		lo>>19^hi<<13 ^ hi>>29^lo<<3 ^ lo>>6^hi<<26
292	@ HI		hi>>19^lo<<13 ^ lo>>29^hi<<3 ^ hi>>6
293	mov	r9,r11,lsr#19
294	mov	r10,r12,lsr#19
295	eor	r9,r9,r12,lsl#13
296	eor	r10,r10,r11,lsl#13
297	eor	r9,r9,r12,lsr#29
298	eor	r10,r10,r11,lsr#29
299	eor	r9,r9,r11,lsl#3
300	eor	r10,r10,r12,lsl#3
301	eor	r9,r9,r11,lsr#6
302	eor	r10,r10,r12,lsr#6
303	ldr	r11,[sp,#120+0]
304	eor	r9,r9,r12,lsl#26
305
306	ldr	r12,[sp,#120+4]
307	adds	r3,r3,r9
308	ldr	r9,[sp,#192+0]
309	adc	r4,r4,r10
310
311	ldr	r10,[sp,#192+4]
312	adds	r3,r3,r11
313	adc	r4,r4,r12
314	adds	r3,r3,r9
315	adc	r4,r4,r10
316	@ Sigma1(x)	(ROTR((x),14) ^ ROTR((x),18)  ^ ROTR((x),41))
317	@ LO		lo>>14^hi<<18 ^ lo>>18^hi<<14 ^ hi>>9^lo<<23
318	@ HI		hi>>14^lo<<18 ^ hi>>18^lo<<14 ^ lo>>9^hi<<23
319	mov	r9,r7,lsr#14
320	str	r3,[sp,#64+0]
321	mov	r10,r8,lsr#14
322	str	r4,[sp,#64+4]
323	eor	r9,r9,r8,lsl#18
324	ldr	r11,[sp,#56+0]	@ h.lo
325	eor	r10,r10,r7,lsl#18
326	ldr	r12,[sp,#56+4]	@ h.hi
327	eor	r9,r9,r7,lsr#18
328	eor	r10,r10,r8,lsr#18
329	eor	r9,r9,r8,lsl#14
330	eor	r10,r10,r7,lsl#14
331	eor	r9,r9,r8,lsr#9
332	eor	r10,r10,r7,lsr#9
333	eor	r9,r9,r7,lsl#23
334	eor	r10,r10,r8,lsl#23	@ Sigma1(e)
335	adds	r3,r3,r9
336	ldr	r9,[sp,#40+0]	@ f.lo
337	adc	r4,r4,r10		@ T += Sigma1(e)
338	ldr	r10,[sp,#40+4]	@ f.hi
339	adds	r3,r3,r11
340	ldr	r11,[sp,#48+0]	@ g.lo
341	adc	r4,r4,r12		@ T += h
342	ldr	r12,[sp,#48+4]	@ g.hi
343
344	eor	r9,r9,r11
345	str	r7,[sp,#32+0]
346	eor	r10,r10,r12
347	str	r8,[sp,#32+4]
348	and	r9,r9,r7
349	str	r5,[sp,#0+0]
350	and	r10,r10,r8
351	str	r6,[sp,#0+4]
352	eor	r9,r9,r11
353	ldr	r11,[r14,#LO]	@ K[i].lo
354	eor	r10,r10,r12		@ Ch(e,f,g)
355	ldr	r12,[r14,#HI]	@ K[i].hi
356
357	adds	r3,r3,r9
358	ldr	r7,[sp,#24+0]	@ d.lo
359	adc	r4,r4,r10		@ T += Ch(e,f,g)
360	ldr	r8,[sp,#24+4]	@ d.hi
361	adds	r3,r3,r11
362	and	r9,r11,#0xff
363	adc	r4,r4,r12		@ T += K[i]
364	adds	r7,r7,r3
365	ldr	r11,[sp,#8+0]	@ b.lo
366	adc	r8,r8,r4		@ d += T
367	teq	r9,#23
368
369	ldr	r12,[sp,#16+0]	@ c.lo
370#ifdef	__thumb2__
371	it	eq			@ Thumb2 thing, sanity check in ARM
372#endif
373	orreq	r14,r14,#1
374	@ Sigma0(x)	(ROTR((x),28) ^ ROTR((x),34) ^ ROTR((x),39))
375	@ LO		lo>>28^hi<<4  ^ hi>>2^lo<<30 ^ hi>>7^lo<<25
376	@ HI		hi>>28^lo<<4  ^ lo>>2^hi<<30 ^ lo>>7^hi<<25
377	mov	r9,r5,lsr#28
378	mov	r10,r6,lsr#28
379	eor	r9,r9,r6,lsl#4
380	eor	r10,r10,r5,lsl#4
381	eor	r9,r9,r6,lsr#2
382	eor	r10,r10,r5,lsr#2
383	eor	r9,r9,r5,lsl#30
384	eor	r10,r10,r6,lsl#30
385	eor	r9,r9,r6,lsr#7
386	eor	r10,r10,r5,lsr#7
387	eor	r9,r9,r5,lsl#25
388	eor	r10,r10,r6,lsl#25	@ Sigma0(a)
389	adds	r3,r3,r9
390	and	r9,r5,r11
391	adc	r4,r4,r10		@ T += Sigma0(a)
392
393	ldr	r10,[sp,#8+4]	@ b.hi
394	orr	r5,r5,r11
395	ldr	r11,[sp,#16+4]	@ c.hi
396	and	r5,r5,r12
397	and	r12,r6,r10
398	orr	r6,r6,r10
399	orr	r5,r5,r9		@ Maj(a,b,c).lo
400	and	r6,r6,r11
401	adds	r5,r5,r3
402	orr	r6,r6,r12		@ Maj(a,b,c).hi
403	sub	sp,sp,#8
404	adc	r6,r6,r4		@ h += T
405	tst	r14,#1
406	add	r14,r14,#8
407#ifdef	__thumb2__
408	ittt	eq			@ Thumb2 thing, sanity check in ARM
409#endif
410	ldreq	r9,[sp,#184+0]
411	ldreq	r10,[sp,#184+4]
412	beq	.L16_79
413	bic	r14,r14,#1
414
415	ldr	r3,[sp,#8+0]
416	ldr	r4,[sp,#8+4]
417	ldr	r9, [r0,#0+LO]
418	ldr	r10, [r0,#0+HI]
419	ldr	r11, [r0,#8+LO]
420	ldr	r12, [r0,#8+HI]
421	adds	r9,r5,r9
422	str	r9, [r0,#0+LO]
423	adc	r10,r6,r10
424	str	r10, [r0,#0+HI]
425	adds	r11,r3,r11
426	str	r11, [r0,#8+LO]
427	adc	r12,r4,r12
428	str	r12, [r0,#8+HI]
429
430	ldr	r5,[sp,#16+0]
431	ldr	r6,[sp,#16+4]
432	ldr	r3,[sp,#24+0]
433	ldr	r4,[sp,#24+4]
434	ldr	r9, [r0,#16+LO]
435	ldr	r10, [r0,#16+HI]
436	ldr	r11, [r0,#24+LO]
437	ldr	r12, [r0,#24+HI]
438	adds	r9,r5,r9
439	str	r9, [r0,#16+LO]
440	adc	r10,r6,r10
441	str	r10, [r0,#16+HI]
442	adds	r11,r3,r11
443	str	r11, [r0,#24+LO]
444	adc	r12,r4,r12
445	str	r12, [r0,#24+HI]
446
447	ldr	r3,[sp,#40+0]
448	ldr	r4,[sp,#40+4]
449	ldr	r9, [r0,#32+LO]
450	ldr	r10, [r0,#32+HI]
451	ldr	r11, [r0,#40+LO]
452	ldr	r12, [r0,#40+HI]
453	adds	r7,r7,r9
454	str	r7,[r0,#32+LO]
455	adc	r8,r8,r10
456	str	r8,[r0,#32+HI]
457	adds	r11,r3,r11
458	str	r11, [r0,#40+LO]
459	adc	r12,r4,r12
460	str	r12, [r0,#40+HI]
461
462	ldr	r5,[sp,#48+0]
463	ldr	r6,[sp,#48+4]
464	ldr	r3,[sp,#56+0]
465	ldr	r4,[sp,#56+4]
466	ldr	r9, [r0,#48+LO]
467	ldr	r10, [r0,#48+HI]
468	ldr	r11, [r0,#56+LO]
469	ldr	r12, [r0,#56+HI]
470	adds	r9,r5,r9
471	str	r9, [r0,#48+LO]
472	adc	r10,r6,r10
473	str	r10, [r0,#48+HI]
474	adds	r11,r3,r11
475	str	r11, [r0,#56+LO]
476	adc	r12,r4,r12
477	str	r12, [r0,#56+HI]
478
479	add	sp,sp,#640
480	sub	r14,r14,#640
481
482	teq	r1,r2
483	bne	.Loop
484
485	add	sp,sp,#8*9		@ destroy frame
486
487#if __ARM_ARCH__>=5
488	ldmia	sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,pc}
489#else
490	ldmia	sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr}
491	tst	lr,#1
492	moveq	pc,lr			@ be binary compatible with V4, yet
493.word	0xe12fff1e			@ interoperable with Thumb ISA:-)
494#endif
495.size	zfs_sha512_block_armv7,.-zfs_sha512_block_armv7
496
497#if __ARM_ARCH__ >= 7
498.arch	armv7-a
499.fpu	neon
500
501.globl	zfs_sha512_block_neon
502.type	zfs_sha512_block_neon,%function
503.align	4
504zfs_sha512_block_neon:
505.LNEON:
506	dmb	@ errata #451034 on early Cortex A8
507	add	r2,r1,r2,lsl#7	@ len to point at the end of inp
508	adr	r3,K512
509	VFP_ABI_PUSH
510	vldmia	r0,{d16,d17,d18,d19,d20,d21,d22,d23}		@ load context
511.Loop_neon:
512	vshr.u64	d24,d20,#14	@ 0
513#if 0<16
514	vld1.64	{d0},[r1]!	@ handles unaligned
515#endif
516	vshr.u64	d25,d20,#18
517#if 0>0
518	vadd.i64	d16,d30			@ h+=Maj from the past
519#endif
520	vshr.u64	d26,d20,#41
521	vld1.64	{d28},[r3,:64]!	@ K[i++]
522	vsli.64	d24,d20,#50
523	vsli.64	d25,d20,#46
524	vmov	d29,d20
525	vsli.64	d26,d20,#23
526#if 0<16 && defined(__ARMEL__)
527	vrev64.8	d0,d0
528#endif
529	veor	d25,d24
530	vbsl	d29,d21,d22		@ Ch(e,f,g)
531	vshr.u64	d24,d16,#28
532	veor	d26,d25			@ Sigma1(e)
533	vadd.i64	d27,d29,d23
534	vshr.u64	d25,d16,#34
535	vsli.64	d24,d16,#36
536	vadd.i64	d27,d26
537	vshr.u64	d26,d16,#39
538	vadd.i64	d28,d0
539	vsli.64	d25,d16,#30
540	veor	d30,d16,d17
541	vsli.64	d26,d16,#25
542	veor	d23,d24,d25
543	vadd.i64	d27,d28
544	vbsl	d30,d18,d17		@ Maj(a,b,c)
545	veor	d23,d26			@ Sigma0(a)
546	vadd.i64	d19,d27
547	vadd.i64	d30,d27
548	@ vadd.i64	d23,d30
549	vshr.u64	d24,d19,#14	@ 1
550#if 1<16
551	vld1.64	{d1},[r1]!	@ handles unaligned
552#endif
553	vshr.u64	d25,d19,#18
554#if 1>0
555	vadd.i64	d23,d30			@ h+=Maj from the past
556#endif
557	vshr.u64	d26,d19,#41
558	vld1.64	{d28},[r3,:64]!	@ K[i++]
559	vsli.64	d24,d19,#50
560	vsli.64	d25,d19,#46
561	vmov	d29,d19
562	vsli.64	d26,d19,#23
563#if 1<16 && defined(__ARMEL__)
564	vrev64.8	d1,d1
565#endif
566	veor	d25,d24
567	vbsl	d29,d20,d21		@ Ch(e,f,g)
568	vshr.u64	d24,d23,#28
569	veor	d26,d25			@ Sigma1(e)
570	vadd.i64	d27,d29,d22
571	vshr.u64	d25,d23,#34
572	vsli.64	d24,d23,#36
573	vadd.i64	d27,d26
574	vshr.u64	d26,d23,#39
575	vadd.i64	d28,d1
576	vsli.64	d25,d23,#30
577	veor	d30,d23,d16
578	vsli.64	d26,d23,#25
579	veor	d22,d24,d25
580	vadd.i64	d27,d28
581	vbsl	d30,d17,d16		@ Maj(a,b,c)
582	veor	d22,d26			@ Sigma0(a)
583	vadd.i64	d18,d27
584	vadd.i64	d30,d27
585	@ vadd.i64	d22,d30
586	vshr.u64	d24,d18,#14	@ 2
587#if 2<16
588	vld1.64	{d2},[r1]!	@ handles unaligned
589#endif
590	vshr.u64	d25,d18,#18
591#if 2>0
592	vadd.i64	d22,d30			@ h+=Maj from the past
593#endif
594	vshr.u64	d26,d18,#41
595	vld1.64	{d28},[r3,:64]!	@ K[i++]
596	vsli.64	d24,d18,#50
597	vsli.64	d25,d18,#46
598	vmov	d29,d18
599	vsli.64	d26,d18,#23
600#if 2<16 && defined(__ARMEL__)
601	vrev64.8	d2,d2
602#endif
603	veor	d25,d24
604	vbsl	d29,d19,d20		@ Ch(e,f,g)
605	vshr.u64	d24,d22,#28
606	veor	d26,d25			@ Sigma1(e)
607	vadd.i64	d27,d29,d21
608	vshr.u64	d25,d22,#34
609	vsli.64	d24,d22,#36
610	vadd.i64	d27,d26
611	vshr.u64	d26,d22,#39
612	vadd.i64	d28,d2
613	vsli.64	d25,d22,#30
614	veor	d30,d22,d23
615	vsli.64	d26,d22,#25
616	veor	d21,d24,d25
617	vadd.i64	d27,d28
618	vbsl	d30,d16,d23		@ Maj(a,b,c)
619	veor	d21,d26			@ Sigma0(a)
620	vadd.i64	d17,d27
621	vadd.i64	d30,d27
622	@ vadd.i64	d21,d30
623	vshr.u64	d24,d17,#14	@ 3
624#if 3<16
625	vld1.64	{d3},[r1]!	@ handles unaligned
626#endif
627	vshr.u64	d25,d17,#18
628#if 3>0
629	vadd.i64	d21,d30			@ h+=Maj from the past
630#endif
631	vshr.u64	d26,d17,#41
632	vld1.64	{d28},[r3,:64]!	@ K[i++]
633	vsli.64	d24,d17,#50
634	vsli.64	d25,d17,#46
635	vmov	d29,d17
636	vsli.64	d26,d17,#23
637#if 3<16 && defined(__ARMEL__)
638	vrev64.8	d3,d3
639#endif
640	veor	d25,d24
641	vbsl	d29,d18,d19		@ Ch(e,f,g)
642	vshr.u64	d24,d21,#28
643	veor	d26,d25			@ Sigma1(e)
644	vadd.i64	d27,d29,d20
645	vshr.u64	d25,d21,#34
646	vsli.64	d24,d21,#36
647	vadd.i64	d27,d26
648	vshr.u64	d26,d21,#39
649	vadd.i64	d28,d3
650	vsli.64	d25,d21,#30
651	veor	d30,d21,d22
652	vsli.64	d26,d21,#25
653	veor	d20,d24,d25
654	vadd.i64	d27,d28
655	vbsl	d30,d23,d22		@ Maj(a,b,c)
656	veor	d20,d26			@ Sigma0(a)
657	vadd.i64	d16,d27
658	vadd.i64	d30,d27
659	@ vadd.i64	d20,d30
660	vshr.u64	d24,d16,#14	@ 4
661#if 4<16
662	vld1.64	{d4},[r1]!	@ handles unaligned
663#endif
664	vshr.u64	d25,d16,#18
665#if 4>0
666	vadd.i64	d20,d30			@ h+=Maj from the past
667#endif
668	vshr.u64	d26,d16,#41
669	vld1.64	{d28},[r3,:64]!	@ K[i++]
670	vsli.64	d24,d16,#50
671	vsli.64	d25,d16,#46
672	vmov	d29,d16
673	vsli.64	d26,d16,#23
674#if 4<16 && defined(__ARMEL__)
675	vrev64.8	d4,d4
676#endif
677	veor	d25,d24
678	vbsl	d29,d17,d18		@ Ch(e,f,g)
679	vshr.u64	d24,d20,#28
680	veor	d26,d25			@ Sigma1(e)
681	vadd.i64	d27,d29,d19
682	vshr.u64	d25,d20,#34
683	vsli.64	d24,d20,#36
684	vadd.i64	d27,d26
685	vshr.u64	d26,d20,#39
686	vadd.i64	d28,d4
687	vsli.64	d25,d20,#30
688	veor	d30,d20,d21
689	vsli.64	d26,d20,#25
690	veor	d19,d24,d25
691	vadd.i64	d27,d28
692	vbsl	d30,d22,d21		@ Maj(a,b,c)
693	veor	d19,d26			@ Sigma0(a)
694	vadd.i64	d23,d27
695	vadd.i64	d30,d27
696	@ vadd.i64	d19,d30
697	vshr.u64	d24,d23,#14	@ 5
698#if 5<16
699	vld1.64	{d5},[r1]!	@ handles unaligned
700#endif
701	vshr.u64	d25,d23,#18
702#if 5>0
703	vadd.i64	d19,d30			@ h+=Maj from the past
704#endif
705	vshr.u64	d26,d23,#41
706	vld1.64	{d28},[r3,:64]!	@ K[i++]
707	vsli.64	d24,d23,#50
708	vsli.64	d25,d23,#46
709	vmov	d29,d23
710	vsli.64	d26,d23,#23
711#if 5<16 && defined(__ARMEL__)
712	vrev64.8	d5,d5
713#endif
714	veor	d25,d24
715	vbsl	d29,d16,d17		@ Ch(e,f,g)
716	vshr.u64	d24,d19,#28
717	veor	d26,d25			@ Sigma1(e)
718	vadd.i64	d27,d29,d18
719	vshr.u64	d25,d19,#34
720	vsli.64	d24,d19,#36
721	vadd.i64	d27,d26
722	vshr.u64	d26,d19,#39
723	vadd.i64	d28,d5
724	vsli.64	d25,d19,#30
725	veor	d30,d19,d20
726	vsli.64	d26,d19,#25
727	veor	d18,d24,d25
728	vadd.i64	d27,d28
729	vbsl	d30,d21,d20		@ Maj(a,b,c)
730	veor	d18,d26			@ Sigma0(a)
731	vadd.i64	d22,d27
732	vadd.i64	d30,d27
733	@ vadd.i64	d18,d30
734	vshr.u64	d24,d22,#14	@ 6
735#if 6<16
736	vld1.64	{d6},[r1]!	@ handles unaligned
737#endif
738	vshr.u64	d25,d22,#18
739#if 6>0
740	vadd.i64	d18,d30			@ h+=Maj from the past
741#endif
742	vshr.u64	d26,d22,#41
743	vld1.64	{d28},[r3,:64]!	@ K[i++]
744	vsli.64	d24,d22,#50
745	vsli.64	d25,d22,#46
746	vmov	d29,d22
747	vsli.64	d26,d22,#23
748#if 6<16 && defined(__ARMEL__)
749	vrev64.8	d6,d6
750#endif
751	veor	d25,d24
752	vbsl	d29,d23,d16		@ Ch(e,f,g)
753	vshr.u64	d24,d18,#28
754	veor	d26,d25			@ Sigma1(e)
755	vadd.i64	d27,d29,d17
756	vshr.u64	d25,d18,#34
757	vsli.64	d24,d18,#36
758	vadd.i64	d27,d26
759	vshr.u64	d26,d18,#39
760	vadd.i64	d28,d6
761	vsli.64	d25,d18,#30
762	veor	d30,d18,d19
763	vsli.64	d26,d18,#25
764	veor	d17,d24,d25
765	vadd.i64	d27,d28
766	vbsl	d30,d20,d19		@ Maj(a,b,c)
767	veor	d17,d26			@ Sigma0(a)
768	vadd.i64	d21,d27
769	vadd.i64	d30,d27
770	@ vadd.i64	d17,d30
771	vshr.u64	d24,d21,#14	@ 7
772#if 7<16
773	vld1.64	{d7},[r1]!	@ handles unaligned
774#endif
775	vshr.u64	d25,d21,#18
776#if 7>0
777	vadd.i64	d17,d30			@ h+=Maj from the past
778#endif
779	vshr.u64	d26,d21,#41
780	vld1.64	{d28},[r3,:64]!	@ K[i++]
781	vsli.64	d24,d21,#50
782	vsli.64	d25,d21,#46
783	vmov	d29,d21
784	vsli.64	d26,d21,#23
785#if 7<16 && defined(__ARMEL__)
786	vrev64.8	d7,d7
787#endif
788	veor	d25,d24
789	vbsl	d29,d22,d23		@ Ch(e,f,g)
790	vshr.u64	d24,d17,#28
791	veor	d26,d25			@ Sigma1(e)
792	vadd.i64	d27,d29,d16
793	vshr.u64	d25,d17,#34
794	vsli.64	d24,d17,#36
795	vadd.i64	d27,d26
796	vshr.u64	d26,d17,#39
797	vadd.i64	d28,d7
798	vsli.64	d25,d17,#30
799	veor	d30,d17,d18
800	vsli.64	d26,d17,#25
801	veor	d16,d24,d25
802	vadd.i64	d27,d28
803	vbsl	d30,d19,d18		@ Maj(a,b,c)
804	veor	d16,d26			@ Sigma0(a)
805	vadd.i64	d20,d27
806	vadd.i64	d30,d27
807	@ vadd.i64	d16,d30
808	vshr.u64	d24,d20,#14	@ 8
809#if 8<16
810	vld1.64	{d8},[r1]!	@ handles unaligned
811#endif
812	vshr.u64	d25,d20,#18
813#if 8>0
814	vadd.i64	d16,d30			@ h+=Maj from the past
815#endif
816	vshr.u64	d26,d20,#41
817	vld1.64	{d28},[r3,:64]!	@ K[i++]
818	vsli.64	d24,d20,#50
819	vsli.64	d25,d20,#46
820	vmov	d29,d20
821	vsli.64	d26,d20,#23
822#if 8<16 && defined(__ARMEL__)
823	vrev64.8	d8,d8
824#endif
825	veor	d25,d24
826	vbsl	d29,d21,d22		@ Ch(e,f,g)
827	vshr.u64	d24,d16,#28
828	veor	d26,d25			@ Sigma1(e)
829	vadd.i64	d27,d29,d23
830	vshr.u64	d25,d16,#34
831	vsli.64	d24,d16,#36
832	vadd.i64	d27,d26
833	vshr.u64	d26,d16,#39
834	vadd.i64	d28,d8
835	vsli.64	d25,d16,#30
836	veor	d30,d16,d17
837	vsli.64	d26,d16,#25
838	veor	d23,d24,d25
839	vadd.i64	d27,d28
840	vbsl	d30,d18,d17		@ Maj(a,b,c)
841	veor	d23,d26			@ Sigma0(a)
842	vadd.i64	d19,d27
843	vadd.i64	d30,d27
844	@ vadd.i64	d23,d30
845	vshr.u64	d24,d19,#14	@ 9
846#if 9<16
847	vld1.64	{d9},[r1]!	@ handles unaligned
848#endif
849	vshr.u64	d25,d19,#18
850#if 9>0
851	vadd.i64	d23,d30			@ h+=Maj from the past
852#endif
853	vshr.u64	d26,d19,#41
854	vld1.64	{d28},[r3,:64]!	@ K[i++]
855	vsli.64	d24,d19,#50
856	vsli.64	d25,d19,#46
857	vmov	d29,d19
858	vsli.64	d26,d19,#23
859#if 9<16 && defined(__ARMEL__)
860	vrev64.8	d9,d9
861#endif
862	veor	d25,d24
863	vbsl	d29,d20,d21		@ Ch(e,f,g)
864	vshr.u64	d24,d23,#28
865	veor	d26,d25			@ Sigma1(e)
866	vadd.i64	d27,d29,d22
867	vshr.u64	d25,d23,#34
868	vsli.64	d24,d23,#36
869	vadd.i64	d27,d26
870	vshr.u64	d26,d23,#39
871	vadd.i64	d28,d9
872	vsli.64	d25,d23,#30
873	veor	d30,d23,d16
874	vsli.64	d26,d23,#25
875	veor	d22,d24,d25
876	vadd.i64	d27,d28
877	vbsl	d30,d17,d16		@ Maj(a,b,c)
878	veor	d22,d26			@ Sigma0(a)
879	vadd.i64	d18,d27
880	vadd.i64	d30,d27
881	@ vadd.i64	d22,d30
882	vshr.u64	d24,d18,#14	@ 10
883#if 10<16
884	vld1.64	{d10},[r1]!	@ handles unaligned
885#endif
886	vshr.u64	d25,d18,#18
887#if 10>0
888	vadd.i64	d22,d30			@ h+=Maj from the past
889#endif
890	vshr.u64	d26,d18,#41
891	vld1.64	{d28},[r3,:64]!	@ K[i++]
892	vsli.64	d24,d18,#50
893	vsli.64	d25,d18,#46
894	vmov	d29,d18
895	vsli.64	d26,d18,#23
896#if 10<16 && defined(__ARMEL__)
897	vrev64.8	d10,d10
898#endif
899	veor	d25,d24
900	vbsl	d29,d19,d20		@ Ch(e,f,g)
901	vshr.u64	d24,d22,#28
902	veor	d26,d25			@ Sigma1(e)
903	vadd.i64	d27,d29,d21
904	vshr.u64	d25,d22,#34
905	vsli.64	d24,d22,#36
906	vadd.i64	d27,d26
907	vshr.u64	d26,d22,#39
908	vadd.i64	d28,d10
909	vsli.64	d25,d22,#30
910	veor	d30,d22,d23
911	vsli.64	d26,d22,#25
912	veor	d21,d24,d25
913	vadd.i64	d27,d28
914	vbsl	d30,d16,d23		@ Maj(a,b,c)
915	veor	d21,d26			@ Sigma0(a)
916	vadd.i64	d17,d27
917	vadd.i64	d30,d27
918	@ vadd.i64	d21,d30
919	vshr.u64	d24,d17,#14	@ 11
920#if 11<16
921	vld1.64	{d11},[r1]!	@ handles unaligned
922#endif
923	vshr.u64	d25,d17,#18
924#if 11>0
925	vadd.i64	d21,d30			@ h+=Maj from the past
926#endif
927	vshr.u64	d26,d17,#41
928	vld1.64	{d28},[r3,:64]!	@ K[i++]
929	vsli.64	d24,d17,#50
930	vsli.64	d25,d17,#46
931	vmov	d29,d17
932	vsli.64	d26,d17,#23
933#if 11<16 && defined(__ARMEL__)
934	vrev64.8	d11,d11
935#endif
936	veor	d25,d24
937	vbsl	d29,d18,d19		@ Ch(e,f,g)
938	vshr.u64	d24,d21,#28
939	veor	d26,d25			@ Sigma1(e)
940	vadd.i64	d27,d29,d20
941	vshr.u64	d25,d21,#34
942	vsli.64	d24,d21,#36
943	vadd.i64	d27,d26
944	vshr.u64	d26,d21,#39
945	vadd.i64	d28,d11
946	vsli.64	d25,d21,#30
947	veor	d30,d21,d22
948	vsli.64	d26,d21,#25
949	veor	d20,d24,d25
950	vadd.i64	d27,d28
951	vbsl	d30,d23,d22		@ Maj(a,b,c)
952	veor	d20,d26			@ Sigma0(a)
953	vadd.i64	d16,d27
954	vadd.i64	d30,d27
955	@ vadd.i64	d20,d30
956	vshr.u64	d24,d16,#14	@ 12
957#if 12<16
958	vld1.64	{d12},[r1]!	@ handles unaligned
959#endif
960	vshr.u64	d25,d16,#18
961#if 12>0
962	vadd.i64	d20,d30			@ h+=Maj from the past
963#endif
964	vshr.u64	d26,d16,#41
965	vld1.64	{d28},[r3,:64]!	@ K[i++]
966	vsli.64	d24,d16,#50
967	vsli.64	d25,d16,#46
968	vmov	d29,d16
969	vsli.64	d26,d16,#23
970#if 12<16 && defined(__ARMEL__)
971	vrev64.8	d12,d12
972#endif
973	veor	d25,d24
974	vbsl	d29,d17,d18		@ Ch(e,f,g)
975	vshr.u64	d24,d20,#28
976	veor	d26,d25			@ Sigma1(e)
977	vadd.i64	d27,d29,d19
978	vshr.u64	d25,d20,#34
979	vsli.64	d24,d20,#36
980	vadd.i64	d27,d26
981	vshr.u64	d26,d20,#39
982	vadd.i64	d28,d12
983	vsli.64	d25,d20,#30
984	veor	d30,d20,d21
985	vsli.64	d26,d20,#25
986	veor	d19,d24,d25
987	vadd.i64	d27,d28
988	vbsl	d30,d22,d21		@ Maj(a,b,c)
989	veor	d19,d26			@ Sigma0(a)
990	vadd.i64	d23,d27
991	vadd.i64	d30,d27
992	@ vadd.i64	d19,d30
993	vshr.u64	d24,d23,#14	@ 13
994#if 13<16
995	vld1.64	{d13},[r1]!	@ handles unaligned
996#endif
997	vshr.u64	d25,d23,#18
998#if 13>0
999	vadd.i64	d19,d30			@ h+=Maj from the past
1000#endif
1001	vshr.u64	d26,d23,#41
1002	vld1.64	{d28},[r3,:64]!	@ K[i++]
1003	vsli.64	d24,d23,#50
1004	vsli.64	d25,d23,#46
1005	vmov	d29,d23
1006	vsli.64	d26,d23,#23
1007#if 13<16 && defined(__ARMEL__)
1008	vrev64.8	d13,d13
1009#endif
1010	veor	d25,d24
1011	vbsl	d29,d16,d17		@ Ch(e,f,g)
1012	vshr.u64	d24,d19,#28
1013	veor	d26,d25			@ Sigma1(e)
1014	vadd.i64	d27,d29,d18
1015	vshr.u64	d25,d19,#34
1016	vsli.64	d24,d19,#36
1017	vadd.i64	d27,d26
1018	vshr.u64	d26,d19,#39
1019	vadd.i64	d28,d13
1020	vsli.64	d25,d19,#30
1021	veor	d30,d19,d20
1022	vsli.64	d26,d19,#25
1023	veor	d18,d24,d25
1024	vadd.i64	d27,d28
1025	vbsl	d30,d21,d20		@ Maj(a,b,c)
1026	veor	d18,d26			@ Sigma0(a)
1027	vadd.i64	d22,d27
1028	vadd.i64	d30,d27
1029	@ vadd.i64	d18,d30
1030	vshr.u64	d24,d22,#14	@ 14
1031#if 14<16
1032	vld1.64	{d14},[r1]!	@ handles unaligned
1033#endif
1034	vshr.u64	d25,d22,#18
1035#if 14>0
1036	vadd.i64	d18,d30			@ h+=Maj from the past
1037#endif
1038	vshr.u64	d26,d22,#41
1039	vld1.64	{d28},[r3,:64]!	@ K[i++]
1040	vsli.64	d24,d22,#50
1041	vsli.64	d25,d22,#46
1042	vmov	d29,d22
1043	vsli.64	d26,d22,#23
1044#if 14<16 && defined(__ARMEL__)
1045	vrev64.8	d14,d14
1046#endif
1047	veor	d25,d24
1048	vbsl	d29,d23,d16		@ Ch(e,f,g)
1049	vshr.u64	d24,d18,#28
1050	veor	d26,d25			@ Sigma1(e)
1051	vadd.i64	d27,d29,d17
1052	vshr.u64	d25,d18,#34
1053	vsli.64	d24,d18,#36
1054	vadd.i64	d27,d26
1055	vshr.u64	d26,d18,#39
1056	vadd.i64	d28,d14
1057	vsli.64	d25,d18,#30
1058	veor	d30,d18,d19
1059	vsli.64	d26,d18,#25
1060	veor	d17,d24,d25
1061	vadd.i64	d27,d28
1062	vbsl	d30,d20,d19		@ Maj(a,b,c)
1063	veor	d17,d26			@ Sigma0(a)
1064	vadd.i64	d21,d27
1065	vadd.i64	d30,d27
1066	@ vadd.i64	d17,d30
1067	vshr.u64	d24,d21,#14	@ 15
1068#if 15<16
1069	vld1.64	{d15},[r1]!	@ handles unaligned
1070#endif
1071	vshr.u64	d25,d21,#18
1072#if 15>0
1073	vadd.i64	d17,d30			@ h+=Maj from the past
1074#endif
1075	vshr.u64	d26,d21,#41
1076	vld1.64	{d28},[r3,:64]!	@ K[i++]
1077	vsli.64	d24,d21,#50
1078	vsli.64	d25,d21,#46
1079	vmov	d29,d21
1080	vsli.64	d26,d21,#23
1081#if 15<16 && defined(__ARMEL__)
1082	vrev64.8	d15,d15
1083#endif
1084	veor	d25,d24
1085	vbsl	d29,d22,d23		@ Ch(e,f,g)
1086	vshr.u64	d24,d17,#28
1087	veor	d26,d25			@ Sigma1(e)
1088	vadd.i64	d27,d29,d16
1089	vshr.u64	d25,d17,#34
1090	vsli.64	d24,d17,#36
1091	vadd.i64	d27,d26
1092	vshr.u64	d26,d17,#39
1093	vadd.i64	d28,d15
1094	vsli.64	d25,d17,#30
1095	veor	d30,d17,d18
1096	vsli.64	d26,d17,#25
1097	veor	d16,d24,d25
1098	vadd.i64	d27,d28
1099	vbsl	d30,d19,d18		@ Maj(a,b,c)
1100	veor	d16,d26			@ Sigma0(a)
1101	vadd.i64	d20,d27
1102	vadd.i64	d30,d27
1103	@ vadd.i64	d16,d30
1104	mov	r12,#4
1105.L16_79_neon:
1106	subs	r12,#1
1107	vshr.u64	q12,q7,#19
1108	vshr.u64	q13,q7,#61
1109	vadd.i64	d16,d30			@ h+=Maj from the past
1110	vshr.u64	q15,q7,#6
1111	vsli.64	q12,q7,#45
1112	vext.8	q14,q0,q1,#8	@ X[i+1]
1113	vsli.64	q13,q7,#3
1114	veor	q15,q12
1115	vshr.u64	q12,q14,#1
1116	veor	q15,q13				@ sigma1(X[i+14])
1117	vshr.u64	q13,q14,#8
1118	vadd.i64	q0,q15
1119	vshr.u64	q15,q14,#7
1120	vsli.64	q12,q14,#63
1121	vsli.64	q13,q14,#56
1122	vext.8	q14,q4,q5,#8	@ X[i+9]
1123	veor	q15,q12
1124	vshr.u64	d24,d20,#14		@ from NEON_00_15
1125	vadd.i64	q0,q14
1126	vshr.u64	d25,d20,#18		@ from NEON_00_15
1127	veor	q15,q13				@ sigma0(X[i+1])
1128	vshr.u64	d26,d20,#41		@ from NEON_00_15
1129	vadd.i64	q0,q15
1130	vld1.64	{d28},[r3,:64]!	@ K[i++]
1131	vsli.64	d24,d20,#50
1132	vsli.64	d25,d20,#46
1133	vmov	d29,d20
1134	vsli.64	d26,d20,#23
1135#if 16<16 && defined(__ARMEL__)
1136	vrev64.8	,
1137#endif
1138	veor	d25,d24
1139	vbsl	d29,d21,d22		@ Ch(e,f,g)
1140	vshr.u64	d24,d16,#28
1141	veor	d26,d25			@ Sigma1(e)
1142	vadd.i64	d27,d29,d23
1143	vshr.u64	d25,d16,#34
1144	vsli.64	d24,d16,#36
1145	vadd.i64	d27,d26
1146	vshr.u64	d26,d16,#39
1147	vadd.i64	d28,d0
1148	vsli.64	d25,d16,#30
1149	veor	d30,d16,d17
1150	vsli.64	d26,d16,#25
1151	veor	d23,d24,d25
1152	vadd.i64	d27,d28
1153	vbsl	d30,d18,d17		@ Maj(a,b,c)
1154	veor	d23,d26			@ Sigma0(a)
1155	vadd.i64	d19,d27
1156	vadd.i64	d30,d27
1157	@ vadd.i64	d23,d30
1158	vshr.u64	d24,d19,#14	@ 17
1159#if 17<16
1160	vld1.64	{d1},[r1]!	@ handles unaligned
1161#endif
1162	vshr.u64	d25,d19,#18
1163#if 17>0
1164	vadd.i64	d23,d30			@ h+=Maj from the past
1165#endif
1166	vshr.u64	d26,d19,#41
1167	vld1.64	{d28},[r3,:64]!	@ K[i++]
1168	vsli.64	d24,d19,#50
1169	vsli.64	d25,d19,#46
1170	vmov	d29,d19
1171	vsli.64	d26,d19,#23
1172#if 17<16 && defined(__ARMEL__)
1173	vrev64.8	,
1174#endif
1175	veor	d25,d24
1176	vbsl	d29,d20,d21		@ Ch(e,f,g)
1177	vshr.u64	d24,d23,#28
1178	veor	d26,d25			@ Sigma1(e)
1179	vadd.i64	d27,d29,d22
1180	vshr.u64	d25,d23,#34
1181	vsli.64	d24,d23,#36
1182	vadd.i64	d27,d26
1183	vshr.u64	d26,d23,#39
1184	vadd.i64	d28,d1
1185	vsli.64	d25,d23,#30
1186	veor	d30,d23,d16
1187	vsli.64	d26,d23,#25
1188	veor	d22,d24,d25
1189	vadd.i64	d27,d28
1190	vbsl	d30,d17,d16		@ Maj(a,b,c)
1191	veor	d22,d26			@ Sigma0(a)
1192	vadd.i64	d18,d27
1193	vadd.i64	d30,d27
1194	@ vadd.i64	d22,d30
1195	vshr.u64	q12,q0,#19
1196	vshr.u64	q13,q0,#61
1197	vadd.i64	d22,d30			@ h+=Maj from the past
1198	vshr.u64	q15,q0,#6
1199	vsli.64	q12,q0,#45
1200	vext.8	q14,q1,q2,#8	@ X[i+1]
1201	vsli.64	q13,q0,#3
1202	veor	q15,q12
1203	vshr.u64	q12,q14,#1
1204	veor	q15,q13				@ sigma1(X[i+14])
1205	vshr.u64	q13,q14,#8
1206	vadd.i64	q1,q15
1207	vshr.u64	q15,q14,#7
1208	vsli.64	q12,q14,#63
1209	vsli.64	q13,q14,#56
1210	vext.8	q14,q5,q6,#8	@ X[i+9]
1211	veor	q15,q12
1212	vshr.u64	d24,d18,#14		@ from NEON_00_15
1213	vadd.i64	q1,q14
1214	vshr.u64	d25,d18,#18		@ from NEON_00_15
1215	veor	q15,q13				@ sigma0(X[i+1])
1216	vshr.u64	d26,d18,#41		@ from NEON_00_15
1217	vadd.i64	q1,q15
1218	vld1.64	{d28},[r3,:64]!	@ K[i++]
1219	vsli.64	d24,d18,#50
1220	vsli.64	d25,d18,#46
1221	vmov	d29,d18
1222	vsli.64	d26,d18,#23
1223#if 18<16 && defined(__ARMEL__)
1224	vrev64.8	,
1225#endif
1226	veor	d25,d24
1227	vbsl	d29,d19,d20		@ Ch(e,f,g)
1228	vshr.u64	d24,d22,#28
1229	veor	d26,d25			@ Sigma1(e)
1230	vadd.i64	d27,d29,d21
1231	vshr.u64	d25,d22,#34
1232	vsli.64	d24,d22,#36
1233	vadd.i64	d27,d26
1234	vshr.u64	d26,d22,#39
1235	vadd.i64	d28,d2
1236	vsli.64	d25,d22,#30
1237	veor	d30,d22,d23
1238	vsli.64	d26,d22,#25
1239	veor	d21,d24,d25
1240	vadd.i64	d27,d28
1241	vbsl	d30,d16,d23		@ Maj(a,b,c)
1242	veor	d21,d26			@ Sigma0(a)
1243	vadd.i64	d17,d27
1244	vadd.i64	d30,d27
1245	@ vadd.i64	d21,d30
1246	vshr.u64	d24,d17,#14	@ 19
1247#if 19<16
1248	vld1.64	{d3},[r1]!	@ handles unaligned
1249#endif
1250	vshr.u64	d25,d17,#18
1251#if 19>0
1252	vadd.i64	d21,d30			@ h+=Maj from the past
1253#endif
1254	vshr.u64	d26,d17,#41
1255	vld1.64	{d28},[r3,:64]!	@ K[i++]
1256	vsli.64	d24,d17,#50
1257	vsli.64	d25,d17,#46
1258	vmov	d29,d17
1259	vsli.64	d26,d17,#23
1260#if 19<16 && defined(__ARMEL__)
1261	vrev64.8	,
1262#endif
1263	veor	d25,d24
1264	vbsl	d29,d18,d19		@ Ch(e,f,g)
1265	vshr.u64	d24,d21,#28
1266	veor	d26,d25			@ Sigma1(e)
1267	vadd.i64	d27,d29,d20
1268	vshr.u64	d25,d21,#34
1269	vsli.64	d24,d21,#36
1270	vadd.i64	d27,d26
1271	vshr.u64	d26,d21,#39
1272	vadd.i64	d28,d3
1273	vsli.64	d25,d21,#30
1274	veor	d30,d21,d22
1275	vsli.64	d26,d21,#25
1276	veor	d20,d24,d25
1277	vadd.i64	d27,d28
1278	vbsl	d30,d23,d22		@ Maj(a,b,c)
1279	veor	d20,d26			@ Sigma0(a)
1280	vadd.i64	d16,d27
1281	vadd.i64	d30,d27
1282	@ vadd.i64	d20,d30
1283	vshr.u64	q12,q1,#19
1284	vshr.u64	q13,q1,#61
1285	vadd.i64	d20,d30			@ h+=Maj from the past
1286	vshr.u64	q15,q1,#6
1287	vsli.64	q12,q1,#45
1288	vext.8	q14,q2,q3,#8	@ X[i+1]
1289	vsli.64	q13,q1,#3
1290	veor	q15,q12
1291	vshr.u64	q12,q14,#1
1292	veor	q15,q13				@ sigma1(X[i+14])
1293	vshr.u64	q13,q14,#8
1294	vadd.i64	q2,q15
1295	vshr.u64	q15,q14,#7
1296	vsli.64	q12,q14,#63
1297	vsli.64	q13,q14,#56
1298	vext.8	q14,q6,q7,#8	@ X[i+9]
1299	veor	q15,q12
1300	vshr.u64	d24,d16,#14		@ from NEON_00_15
1301	vadd.i64	q2,q14
1302	vshr.u64	d25,d16,#18		@ from NEON_00_15
1303	veor	q15,q13				@ sigma0(X[i+1])
1304	vshr.u64	d26,d16,#41		@ from NEON_00_15
1305	vadd.i64	q2,q15
1306	vld1.64	{d28},[r3,:64]!	@ K[i++]
1307	vsli.64	d24,d16,#50
1308	vsli.64	d25,d16,#46
1309	vmov	d29,d16
1310	vsli.64	d26,d16,#23
1311#if 20<16 && defined(__ARMEL__)
1312	vrev64.8	,
1313#endif
1314	veor	d25,d24
1315	vbsl	d29,d17,d18		@ Ch(e,f,g)
1316	vshr.u64	d24,d20,#28
1317	veor	d26,d25			@ Sigma1(e)
1318	vadd.i64	d27,d29,d19
1319	vshr.u64	d25,d20,#34
1320	vsli.64	d24,d20,#36
1321	vadd.i64	d27,d26
1322	vshr.u64	d26,d20,#39
1323	vadd.i64	d28,d4
1324	vsli.64	d25,d20,#30
1325	veor	d30,d20,d21
1326	vsli.64	d26,d20,#25
1327	veor	d19,d24,d25
1328	vadd.i64	d27,d28
1329	vbsl	d30,d22,d21		@ Maj(a,b,c)
1330	veor	d19,d26			@ Sigma0(a)
1331	vadd.i64	d23,d27
1332	vadd.i64	d30,d27
1333	@ vadd.i64	d19,d30
1334	vshr.u64	d24,d23,#14	@ 21
1335#if 21<16
1336	vld1.64	{d5},[r1]!	@ handles unaligned
1337#endif
1338	vshr.u64	d25,d23,#18
1339#if 21>0
1340	vadd.i64	d19,d30			@ h+=Maj from the past
1341#endif
1342	vshr.u64	d26,d23,#41
1343	vld1.64	{d28},[r3,:64]!	@ K[i++]
1344	vsli.64	d24,d23,#50
1345	vsli.64	d25,d23,#46
1346	vmov	d29,d23
1347	vsli.64	d26,d23,#23
1348#if 21<16 && defined(__ARMEL__)
1349	vrev64.8	,
1350#endif
1351	veor	d25,d24
1352	vbsl	d29,d16,d17		@ Ch(e,f,g)
1353	vshr.u64	d24,d19,#28
1354	veor	d26,d25			@ Sigma1(e)
1355	vadd.i64	d27,d29,d18
1356	vshr.u64	d25,d19,#34
1357	vsli.64	d24,d19,#36
1358	vadd.i64	d27,d26
1359	vshr.u64	d26,d19,#39
1360	vadd.i64	d28,d5
1361	vsli.64	d25,d19,#30
1362	veor	d30,d19,d20
1363	vsli.64	d26,d19,#25
1364	veor	d18,d24,d25
1365	vadd.i64	d27,d28
1366	vbsl	d30,d21,d20		@ Maj(a,b,c)
1367	veor	d18,d26			@ Sigma0(a)
1368	vadd.i64	d22,d27
1369	vadd.i64	d30,d27
1370	@ vadd.i64	d18,d30
1371	vshr.u64	q12,q2,#19
1372	vshr.u64	q13,q2,#61
1373	vadd.i64	d18,d30			@ h+=Maj from the past
1374	vshr.u64	q15,q2,#6
1375	vsli.64	q12,q2,#45
1376	vext.8	q14,q3,q4,#8	@ X[i+1]
1377	vsli.64	q13,q2,#3
1378	veor	q15,q12
1379	vshr.u64	q12,q14,#1
1380	veor	q15,q13				@ sigma1(X[i+14])
1381	vshr.u64	q13,q14,#8
1382	vadd.i64	q3,q15
1383	vshr.u64	q15,q14,#7
1384	vsli.64	q12,q14,#63
1385	vsli.64	q13,q14,#56
1386	vext.8	q14,q7,q0,#8	@ X[i+9]
1387	veor	q15,q12
1388	vshr.u64	d24,d22,#14		@ from NEON_00_15
1389	vadd.i64	q3,q14
1390	vshr.u64	d25,d22,#18		@ from NEON_00_15
1391	veor	q15,q13				@ sigma0(X[i+1])
1392	vshr.u64	d26,d22,#41		@ from NEON_00_15
1393	vadd.i64	q3,q15
1394	vld1.64	{d28},[r3,:64]!	@ K[i++]
1395	vsli.64	d24,d22,#50
1396	vsli.64	d25,d22,#46
1397	vmov	d29,d22
1398	vsli.64	d26,d22,#23
1399#if 22<16 && defined(__ARMEL__)
1400	vrev64.8	,
1401#endif
1402	veor	d25,d24
1403	vbsl	d29,d23,d16		@ Ch(e,f,g)
1404	vshr.u64	d24,d18,#28
1405	veor	d26,d25			@ Sigma1(e)
1406	vadd.i64	d27,d29,d17
1407	vshr.u64	d25,d18,#34
1408	vsli.64	d24,d18,#36
1409	vadd.i64	d27,d26
1410	vshr.u64	d26,d18,#39
1411	vadd.i64	d28,d6
1412	vsli.64	d25,d18,#30
1413	veor	d30,d18,d19
1414	vsli.64	d26,d18,#25
1415	veor	d17,d24,d25
1416	vadd.i64	d27,d28
1417	vbsl	d30,d20,d19		@ Maj(a,b,c)
1418	veor	d17,d26			@ Sigma0(a)
1419	vadd.i64	d21,d27
1420	vadd.i64	d30,d27
1421	@ vadd.i64	d17,d30
1422	vshr.u64	d24,d21,#14	@ 23
1423#if 23<16
1424	vld1.64	{d7},[r1]!	@ handles unaligned
1425#endif
1426	vshr.u64	d25,d21,#18
1427#if 23>0
1428	vadd.i64	d17,d30			@ h+=Maj from the past
1429#endif
1430	vshr.u64	d26,d21,#41
1431	vld1.64	{d28},[r3,:64]!	@ K[i++]
1432	vsli.64	d24,d21,#50
1433	vsli.64	d25,d21,#46
1434	vmov	d29,d21
1435	vsli.64	d26,d21,#23
1436#if 23<16 && defined(__ARMEL__)
1437	vrev64.8	,
1438#endif
1439	veor	d25,d24
1440	vbsl	d29,d22,d23		@ Ch(e,f,g)
1441	vshr.u64	d24,d17,#28
1442	veor	d26,d25			@ Sigma1(e)
1443	vadd.i64	d27,d29,d16
1444	vshr.u64	d25,d17,#34
1445	vsli.64	d24,d17,#36
1446	vadd.i64	d27,d26
1447	vshr.u64	d26,d17,#39
1448	vadd.i64	d28,d7
1449	vsli.64	d25,d17,#30
1450	veor	d30,d17,d18
1451	vsli.64	d26,d17,#25
1452	veor	d16,d24,d25
1453	vadd.i64	d27,d28
1454	vbsl	d30,d19,d18		@ Maj(a,b,c)
1455	veor	d16,d26			@ Sigma0(a)
1456	vadd.i64	d20,d27
1457	vadd.i64	d30,d27
1458	@ vadd.i64	d16,d30
1459	vshr.u64	q12,q3,#19
1460	vshr.u64	q13,q3,#61
1461	vadd.i64	d16,d30			@ h+=Maj from the past
1462	vshr.u64	q15,q3,#6
1463	vsli.64	q12,q3,#45
1464	vext.8	q14,q4,q5,#8	@ X[i+1]
1465	vsli.64	q13,q3,#3
1466	veor	q15,q12
1467	vshr.u64	q12,q14,#1
1468	veor	q15,q13				@ sigma1(X[i+14])
1469	vshr.u64	q13,q14,#8
1470	vadd.i64	q4,q15
1471	vshr.u64	q15,q14,#7
1472	vsli.64	q12,q14,#63
1473	vsli.64	q13,q14,#56
1474	vext.8	q14,q0,q1,#8	@ X[i+9]
1475	veor	q15,q12
1476	vshr.u64	d24,d20,#14		@ from NEON_00_15
1477	vadd.i64	q4,q14
1478	vshr.u64	d25,d20,#18		@ from NEON_00_15
1479	veor	q15,q13				@ sigma0(X[i+1])
1480	vshr.u64	d26,d20,#41		@ from NEON_00_15
1481	vadd.i64	q4,q15
1482	vld1.64	{d28},[r3,:64]!	@ K[i++]
1483	vsli.64	d24,d20,#50
1484	vsli.64	d25,d20,#46
1485	vmov	d29,d20
1486	vsli.64	d26,d20,#23
1487#if 24<16 && defined(__ARMEL__)
1488	vrev64.8	,
1489#endif
1490	veor	d25,d24
1491	vbsl	d29,d21,d22		@ Ch(e,f,g)
1492	vshr.u64	d24,d16,#28
1493	veor	d26,d25			@ Sigma1(e)
1494	vadd.i64	d27,d29,d23
1495	vshr.u64	d25,d16,#34
1496	vsli.64	d24,d16,#36
1497	vadd.i64	d27,d26
1498	vshr.u64	d26,d16,#39
1499	vadd.i64	d28,d8
1500	vsli.64	d25,d16,#30
1501	veor	d30,d16,d17
1502	vsli.64	d26,d16,#25
1503	veor	d23,d24,d25
1504	vadd.i64	d27,d28
1505	vbsl	d30,d18,d17		@ Maj(a,b,c)
1506	veor	d23,d26			@ Sigma0(a)
1507	vadd.i64	d19,d27
1508	vadd.i64	d30,d27
1509	@ vadd.i64	d23,d30
1510	vshr.u64	d24,d19,#14	@ 25
1511#if 25<16
1512	vld1.64	{d9},[r1]!	@ handles unaligned
1513#endif
1514	vshr.u64	d25,d19,#18
1515#if 25>0
1516	vadd.i64	d23,d30			@ h+=Maj from the past
1517#endif
1518	vshr.u64	d26,d19,#41
1519	vld1.64	{d28},[r3,:64]!	@ K[i++]
1520	vsli.64	d24,d19,#50
1521	vsli.64	d25,d19,#46
1522	vmov	d29,d19
1523	vsli.64	d26,d19,#23
1524#if 25<16 && defined(__ARMEL__)
1525	vrev64.8	,
1526#endif
1527	veor	d25,d24
1528	vbsl	d29,d20,d21		@ Ch(e,f,g)
1529	vshr.u64	d24,d23,#28
1530	veor	d26,d25			@ Sigma1(e)
1531	vadd.i64	d27,d29,d22
1532	vshr.u64	d25,d23,#34
1533	vsli.64	d24,d23,#36
1534	vadd.i64	d27,d26
1535	vshr.u64	d26,d23,#39
1536	vadd.i64	d28,d9
1537	vsli.64	d25,d23,#30
1538	veor	d30,d23,d16
1539	vsli.64	d26,d23,#25
1540	veor	d22,d24,d25
1541	vadd.i64	d27,d28
1542	vbsl	d30,d17,d16		@ Maj(a,b,c)
1543	veor	d22,d26			@ Sigma0(a)
1544	vadd.i64	d18,d27
1545	vadd.i64	d30,d27
1546	@ vadd.i64	d22,d30
1547	vshr.u64	q12,q4,#19
1548	vshr.u64	q13,q4,#61
1549	vadd.i64	d22,d30			@ h+=Maj from the past
1550	vshr.u64	q15,q4,#6
1551	vsli.64	q12,q4,#45
1552	vext.8	q14,q5,q6,#8	@ X[i+1]
1553	vsli.64	q13,q4,#3
1554	veor	q15,q12
1555	vshr.u64	q12,q14,#1
1556	veor	q15,q13				@ sigma1(X[i+14])
1557	vshr.u64	q13,q14,#8
1558	vadd.i64	q5,q15
1559	vshr.u64	q15,q14,#7
1560	vsli.64	q12,q14,#63
1561	vsli.64	q13,q14,#56
1562	vext.8	q14,q1,q2,#8	@ X[i+9]
1563	veor	q15,q12
1564	vshr.u64	d24,d18,#14		@ from NEON_00_15
1565	vadd.i64	q5,q14
1566	vshr.u64	d25,d18,#18		@ from NEON_00_15
1567	veor	q15,q13				@ sigma0(X[i+1])
1568	vshr.u64	d26,d18,#41		@ from NEON_00_15
1569	vadd.i64	q5,q15
1570	vld1.64	{d28},[r3,:64]!	@ K[i++]
1571	vsli.64	d24,d18,#50
1572	vsli.64	d25,d18,#46
1573	vmov	d29,d18
1574	vsli.64	d26,d18,#23
1575#if 26<16 && defined(__ARMEL__)
1576	vrev64.8	,
1577#endif
1578	veor	d25,d24
1579	vbsl	d29,d19,d20		@ Ch(e,f,g)
1580	vshr.u64	d24,d22,#28
1581	veor	d26,d25			@ Sigma1(e)
1582	vadd.i64	d27,d29,d21
1583	vshr.u64	d25,d22,#34
1584	vsli.64	d24,d22,#36
1585	vadd.i64	d27,d26
1586	vshr.u64	d26,d22,#39
1587	vadd.i64	d28,d10
1588	vsli.64	d25,d22,#30
1589	veor	d30,d22,d23
1590	vsli.64	d26,d22,#25
1591	veor	d21,d24,d25
1592	vadd.i64	d27,d28
1593	vbsl	d30,d16,d23		@ Maj(a,b,c)
1594	veor	d21,d26			@ Sigma0(a)
1595	vadd.i64	d17,d27
1596	vadd.i64	d30,d27
1597	@ vadd.i64	d21,d30
1598	vshr.u64	d24,d17,#14	@ 27
1599#if 27<16
1600	vld1.64	{d11},[r1]!	@ handles unaligned
1601#endif
1602	vshr.u64	d25,d17,#18
1603#if 27>0
1604	vadd.i64	d21,d30			@ h+=Maj from the past
1605#endif
1606	vshr.u64	d26,d17,#41
1607	vld1.64	{d28},[r3,:64]!	@ K[i++]
1608	vsli.64	d24,d17,#50
1609	vsli.64	d25,d17,#46
1610	vmov	d29,d17
1611	vsli.64	d26,d17,#23
1612#if 27<16 && defined(__ARMEL__)
1613	vrev64.8	,
1614#endif
1615	veor	d25,d24
1616	vbsl	d29,d18,d19		@ Ch(e,f,g)
1617	vshr.u64	d24,d21,#28
1618	veor	d26,d25			@ Sigma1(e)
1619	vadd.i64	d27,d29,d20
1620	vshr.u64	d25,d21,#34
1621	vsli.64	d24,d21,#36
1622	vadd.i64	d27,d26
1623	vshr.u64	d26,d21,#39
1624	vadd.i64	d28,d11
1625	vsli.64	d25,d21,#30
1626	veor	d30,d21,d22
1627	vsli.64	d26,d21,#25
1628	veor	d20,d24,d25
1629	vadd.i64	d27,d28
1630	vbsl	d30,d23,d22		@ Maj(a,b,c)
1631	veor	d20,d26			@ Sigma0(a)
1632	vadd.i64	d16,d27
1633	vadd.i64	d30,d27
1634	@ vadd.i64	d20,d30
1635	vshr.u64	q12,q5,#19
1636	vshr.u64	q13,q5,#61
1637	vadd.i64	d20,d30			@ h+=Maj from the past
1638	vshr.u64	q15,q5,#6
1639	vsli.64	q12,q5,#45
1640	vext.8	q14,q6,q7,#8	@ X[i+1]
1641	vsli.64	q13,q5,#3
1642	veor	q15,q12
1643	vshr.u64	q12,q14,#1
1644	veor	q15,q13				@ sigma1(X[i+14])
1645	vshr.u64	q13,q14,#8
1646	vadd.i64	q6,q15
1647	vshr.u64	q15,q14,#7
1648	vsli.64	q12,q14,#63
1649	vsli.64	q13,q14,#56
1650	vext.8	q14,q2,q3,#8	@ X[i+9]
1651	veor	q15,q12
1652	vshr.u64	d24,d16,#14		@ from NEON_00_15
1653	vadd.i64	q6,q14
1654	vshr.u64	d25,d16,#18		@ from NEON_00_15
1655	veor	q15,q13				@ sigma0(X[i+1])
1656	vshr.u64	d26,d16,#41		@ from NEON_00_15
1657	vadd.i64	q6,q15
1658	vld1.64	{d28},[r3,:64]!	@ K[i++]
1659	vsli.64	d24,d16,#50
1660	vsli.64	d25,d16,#46
1661	vmov	d29,d16
1662	vsli.64	d26,d16,#23
1663#if 28<16 && defined(__ARMEL__)
1664	vrev64.8	,
1665#endif
1666	veor	d25,d24
1667	vbsl	d29,d17,d18		@ Ch(e,f,g)
1668	vshr.u64	d24,d20,#28
1669	veor	d26,d25			@ Sigma1(e)
1670	vadd.i64	d27,d29,d19
1671	vshr.u64	d25,d20,#34
1672	vsli.64	d24,d20,#36
1673	vadd.i64	d27,d26
1674	vshr.u64	d26,d20,#39
1675	vadd.i64	d28,d12
1676	vsli.64	d25,d20,#30
1677	veor	d30,d20,d21
1678	vsli.64	d26,d20,#25
1679	veor	d19,d24,d25
1680	vadd.i64	d27,d28
1681	vbsl	d30,d22,d21		@ Maj(a,b,c)
1682	veor	d19,d26			@ Sigma0(a)
1683	vadd.i64	d23,d27
1684	vadd.i64	d30,d27
1685	@ vadd.i64	d19,d30
1686	vshr.u64	d24,d23,#14	@ 29
1687#if 29<16
1688	vld1.64	{d13},[r1]!	@ handles unaligned
1689#endif
1690	vshr.u64	d25,d23,#18
1691#if 29>0
1692	vadd.i64	d19,d30			@ h+=Maj from the past
1693#endif
1694	vshr.u64	d26,d23,#41
1695	vld1.64	{d28},[r3,:64]!	@ K[i++]
1696	vsli.64	d24,d23,#50
1697	vsli.64	d25,d23,#46
1698	vmov	d29,d23
1699	vsli.64	d26,d23,#23
1700#if 29<16 && defined(__ARMEL__)
1701	vrev64.8	,
1702#endif
1703	veor	d25,d24
1704	vbsl	d29,d16,d17		@ Ch(e,f,g)
1705	vshr.u64	d24,d19,#28
1706	veor	d26,d25			@ Sigma1(e)
1707	vadd.i64	d27,d29,d18
1708	vshr.u64	d25,d19,#34
1709	vsli.64	d24,d19,#36
1710	vadd.i64	d27,d26
1711	vshr.u64	d26,d19,#39
1712	vadd.i64	d28,d13
1713	vsli.64	d25,d19,#30
1714	veor	d30,d19,d20
1715	vsli.64	d26,d19,#25
1716	veor	d18,d24,d25
1717	vadd.i64	d27,d28
1718	vbsl	d30,d21,d20		@ Maj(a,b,c)
1719	veor	d18,d26			@ Sigma0(a)
1720	vadd.i64	d22,d27
1721	vadd.i64	d30,d27
1722	@ vadd.i64	d18,d30
1723	vshr.u64	q12,q6,#19
1724	vshr.u64	q13,q6,#61
1725	vadd.i64	d18,d30			@ h+=Maj from the past
1726	vshr.u64	q15,q6,#6
1727	vsli.64	q12,q6,#45
1728	vext.8	q14,q7,q0,#8	@ X[i+1]
1729	vsli.64	q13,q6,#3
1730	veor	q15,q12
1731	vshr.u64	q12,q14,#1
1732	veor	q15,q13				@ sigma1(X[i+14])
1733	vshr.u64	q13,q14,#8
1734	vadd.i64	q7,q15
1735	vshr.u64	q15,q14,#7
1736	vsli.64	q12,q14,#63
1737	vsli.64	q13,q14,#56
1738	vext.8	q14,q3,q4,#8	@ X[i+9]
1739	veor	q15,q12
1740	vshr.u64	d24,d22,#14		@ from NEON_00_15
1741	vadd.i64	q7,q14
1742	vshr.u64	d25,d22,#18		@ from NEON_00_15
1743	veor	q15,q13				@ sigma0(X[i+1])
1744	vshr.u64	d26,d22,#41		@ from NEON_00_15
1745	vadd.i64	q7,q15
1746	vld1.64	{d28},[r3,:64]!	@ K[i++]
1747	vsli.64	d24,d22,#50
1748	vsli.64	d25,d22,#46
1749	vmov	d29,d22
1750	vsli.64	d26,d22,#23
1751#if 30<16 && defined(__ARMEL__)
1752	vrev64.8	,
1753#endif
1754	veor	d25,d24
1755	vbsl	d29,d23,d16		@ Ch(e,f,g)
1756	vshr.u64	d24,d18,#28
1757	veor	d26,d25			@ Sigma1(e)
1758	vadd.i64	d27,d29,d17
1759	vshr.u64	d25,d18,#34
1760	vsli.64	d24,d18,#36
1761	vadd.i64	d27,d26
1762	vshr.u64	d26,d18,#39
1763	vadd.i64	d28,d14
1764	vsli.64	d25,d18,#30
1765	veor	d30,d18,d19
1766	vsli.64	d26,d18,#25
1767	veor	d17,d24,d25
1768	vadd.i64	d27,d28
1769	vbsl	d30,d20,d19		@ Maj(a,b,c)
1770	veor	d17,d26			@ Sigma0(a)
1771	vadd.i64	d21,d27
1772	vadd.i64	d30,d27
1773	@ vadd.i64	d17,d30
1774	vshr.u64	d24,d21,#14	@ 31
1775#if 31<16
1776	vld1.64	{d15},[r1]!	@ handles unaligned
1777#endif
1778	vshr.u64	d25,d21,#18
1779#if 31>0
1780	vadd.i64	d17,d30			@ h+=Maj from the past
1781#endif
1782	vshr.u64	d26,d21,#41
1783	vld1.64	{d28},[r3,:64]!	@ K[i++]
1784	vsli.64	d24,d21,#50
1785	vsli.64	d25,d21,#46
1786	vmov	d29,d21
1787	vsli.64	d26,d21,#23
1788#if 31<16 && defined(__ARMEL__)
1789	vrev64.8	,
1790#endif
1791	veor	d25,d24
1792	vbsl	d29,d22,d23		@ Ch(e,f,g)
1793	vshr.u64	d24,d17,#28
1794	veor	d26,d25			@ Sigma1(e)
1795	vadd.i64	d27,d29,d16
1796	vshr.u64	d25,d17,#34
1797	vsli.64	d24,d17,#36
1798	vadd.i64	d27,d26
1799	vshr.u64	d26,d17,#39
1800	vadd.i64	d28,d15
1801	vsli.64	d25,d17,#30
1802	veor	d30,d17,d18
1803	vsli.64	d26,d17,#25
1804	veor	d16,d24,d25
1805	vadd.i64	d27,d28
1806	vbsl	d30,d19,d18		@ Maj(a,b,c)
1807	veor	d16,d26			@ Sigma0(a)
1808	vadd.i64	d20,d27
1809	vadd.i64	d30,d27
1810	@ vadd.i64	d16,d30
1811	bne	.L16_79_neon
1812
1813	vadd.i64	d16,d30		@ h+=Maj from the past
1814	vldmia	r0,{d24,d25,d26,d27,d28,d29,d30,d31}	@ load context to temp
1815	vadd.i64	q8,q12		@ vectorized accumulate
1816	vadd.i64	q9,q13
1817	vadd.i64	q10,q14
1818	vadd.i64	q11,q15
1819	vstmia	r0,{d16,d17,d18,d19,d20,d21,d22,d23}	@ save context
1820	teq	r1,r2
1821	sub	r3,#640	@ rewind K512
1822	bne	.Loop_neon
1823
1824	VFP_ABI_POP
1825	bx	lr				@ .word	0xe12fff1e
1826.size	zfs_sha512_block_neon,.-zfs_sha512_block_neon
1827#endif // #if __ARM_ARCH__ >= 7
1828#endif // #if defined(__arm__)
1829