xref: /freebsd/sys/crypto/openssl/amd64/sha256-mb-x86_64.S (revision 994297b01b98816bea1abf45ae4bac1bc69ee7a0)
1/* $FreeBSD$ */
2/* Do not modify. This file is auto-generated from sha256-mb-x86_64.pl. */
3.text
4
5
6
7.globl	sha256_multi_block
8.type	sha256_multi_block,@function
9.align	32
10sha256_multi_block:
11.cfi_startproc
12	movq	OPENSSL_ia32cap_P+4(%rip),%rcx
13	btq	$61,%rcx
14	jc	_shaext_shortcut
15	testl	$268435456,%ecx
16	jnz	_avx_shortcut
17	movq	%rsp,%rax
18.cfi_def_cfa_register	%rax
19	pushq	%rbx
20.cfi_offset	%rbx,-16
21	pushq	%rbp
22.cfi_offset	%rbp,-24
23	subq	$288,%rsp
24	andq	$-256,%rsp
25	movq	%rax,272(%rsp)
26.cfi_escape	0x0f,0x06,0x77,0x90,0x02,0x06,0x23,0x08
27.Lbody:
28	leaq	K256+128(%rip),%rbp
29	leaq	256(%rsp),%rbx
30	leaq	128(%rdi),%rdi
31
32.Loop_grande:
33	movl	%edx,280(%rsp)
34	xorl	%edx,%edx
35	movq	0(%rsi),%r8
36	movl	8(%rsi),%ecx
37	cmpl	%edx,%ecx
38	cmovgl	%ecx,%edx
39	testl	%ecx,%ecx
40	movl	%ecx,0(%rbx)
41	cmovleq	%rbp,%r8
42	movq	16(%rsi),%r9
43	movl	24(%rsi),%ecx
44	cmpl	%edx,%ecx
45	cmovgl	%ecx,%edx
46	testl	%ecx,%ecx
47	movl	%ecx,4(%rbx)
48	cmovleq	%rbp,%r9
49	movq	32(%rsi),%r10
50	movl	40(%rsi),%ecx
51	cmpl	%edx,%ecx
52	cmovgl	%ecx,%edx
53	testl	%ecx,%ecx
54	movl	%ecx,8(%rbx)
55	cmovleq	%rbp,%r10
56	movq	48(%rsi),%r11
57	movl	56(%rsi),%ecx
58	cmpl	%edx,%ecx
59	cmovgl	%ecx,%edx
60	testl	%ecx,%ecx
61	movl	%ecx,12(%rbx)
62	cmovleq	%rbp,%r11
63	testl	%edx,%edx
64	jz	.Ldone
65
66	movdqu	0-128(%rdi),%xmm8
67	leaq	128(%rsp),%rax
68	movdqu	32-128(%rdi),%xmm9
69	movdqu	64-128(%rdi),%xmm10
70	movdqu	96-128(%rdi),%xmm11
71	movdqu	128-128(%rdi),%xmm12
72	movdqu	160-128(%rdi),%xmm13
73	movdqu	192-128(%rdi),%xmm14
74	movdqu	224-128(%rdi),%xmm15
75	movdqu	.Lpbswap(%rip),%xmm6
76	jmp	.Loop
77
78.align	32
79.Loop:
80	movdqa	%xmm10,%xmm4
81	pxor	%xmm9,%xmm4
82	movd	0(%r8),%xmm5
83	movd	0(%r9),%xmm0
84	movd	0(%r10),%xmm1
85	movd	0(%r11),%xmm2
86	punpckldq	%xmm1,%xmm5
87	punpckldq	%xmm2,%xmm0
88	punpckldq	%xmm0,%xmm5
89	movdqa	%xmm12,%xmm7
90.byte	102,15,56,0,238
91	movdqa	%xmm12,%xmm2
92
93	psrld	$6,%xmm7
94	movdqa	%xmm12,%xmm1
95	pslld	$7,%xmm2
96	movdqa	%xmm5,0-128(%rax)
97	paddd	%xmm15,%xmm5
98
99	psrld	$11,%xmm1
100	pxor	%xmm2,%xmm7
101	pslld	$21-7,%xmm2
102	paddd	-128(%rbp),%xmm5
103	pxor	%xmm1,%xmm7
104
105	psrld	$25-11,%xmm1
106	movdqa	%xmm12,%xmm0
107
108	pxor	%xmm2,%xmm7
109	movdqa	%xmm12,%xmm3
110	pslld	$26-21,%xmm2
111	pandn	%xmm14,%xmm0
112	pand	%xmm13,%xmm3
113	pxor	%xmm1,%xmm7
114
115
116	movdqa	%xmm8,%xmm1
117	pxor	%xmm2,%xmm7
118	movdqa	%xmm8,%xmm2
119	psrld	$2,%xmm1
120	paddd	%xmm7,%xmm5
121	pxor	%xmm3,%xmm0
122	movdqa	%xmm9,%xmm3
123	movdqa	%xmm8,%xmm7
124	pslld	$10,%xmm2
125	pxor	%xmm8,%xmm3
126
127
128	psrld	$13,%xmm7
129	pxor	%xmm2,%xmm1
130	paddd	%xmm0,%xmm5
131	pslld	$19-10,%xmm2
132	pand	%xmm3,%xmm4
133	pxor	%xmm7,%xmm1
134
135
136	psrld	$22-13,%xmm7
137	pxor	%xmm2,%xmm1
138	movdqa	%xmm9,%xmm15
139	pslld	$30-19,%xmm2
140	pxor	%xmm1,%xmm7
141	pxor	%xmm4,%xmm15
142	paddd	%xmm5,%xmm11
143	pxor	%xmm2,%xmm7
144
145	paddd	%xmm5,%xmm15
146	paddd	%xmm7,%xmm15
147	movd	4(%r8),%xmm5
148	movd	4(%r9),%xmm0
149	movd	4(%r10),%xmm1
150	movd	4(%r11),%xmm2
151	punpckldq	%xmm1,%xmm5
152	punpckldq	%xmm2,%xmm0
153	punpckldq	%xmm0,%xmm5
154	movdqa	%xmm11,%xmm7
155
156	movdqa	%xmm11,%xmm2
157.byte	102,15,56,0,238
158	psrld	$6,%xmm7
159	movdqa	%xmm11,%xmm1
160	pslld	$7,%xmm2
161	movdqa	%xmm5,16-128(%rax)
162	paddd	%xmm14,%xmm5
163
164	psrld	$11,%xmm1
165	pxor	%xmm2,%xmm7
166	pslld	$21-7,%xmm2
167	paddd	-96(%rbp),%xmm5
168	pxor	%xmm1,%xmm7
169
170	psrld	$25-11,%xmm1
171	movdqa	%xmm11,%xmm0
172
173	pxor	%xmm2,%xmm7
174	movdqa	%xmm11,%xmm4
175	pslld	$26-21,%xmm2
176	pandn	%xmm13,%xmm0
177	pand	%xmm12,%xmm4
178	pxor	%xmm1,%xmm7
179
180
181	movdqa	%xmm15,%xmm1
182	pxor	%xmm2,%xmm7
183	movdqa	%xmm15,%xmm2
184	psrld	$2,%xmm1
185	paddd	%xmm7,%xmm5
186	pxor	%xmm4,%xmm0
187	movdqa	%xmm8,%xmm4
188	movdqa	%xmm15,%xmm7
189	pslld	$10,%xmm2
190	pxor	%xmm15,%xmm4
191
192
193	psrld	$13,%xmm7
194	pxor	%xmm2,%xmm1
195	paddd	%xmm0,%xmm5
196	pslld	$19-10,%xmm2
197	pand	%xmm4,%xmm3
198	pxor	%xmm7,%xmm1
199
200
201	psrld	$22-13,%xmm7
202	pxor	%xmm2,%xmm1
203	movdqa	%xmm8,%xmm14
204	pslld	$30-19,%xmm2
205	pxor	%xmm1,%xmm7
206	pxor	%xmm3,%xmm14
207	paddd	%xmm5,%xmm10
208	pxor	%xmm2,%xmm7
209
210	paddd	%xmm5,%xmm14
211	paddd	%xmm7,%xmm14
212	movd	8(%r8),%xmm5
213	movd	8(%r9),%xmm0
214	movd	8(%r10),%xmm1
215	movd	8(%r11),%xmm2
216	punpckldq	%xmm1,%xmm5
217	punpckldq	%xmm2,%xmm0
218	punpckldq	%xmm0,%xmm5
219	movdqa	%xmm10,%xmm7
220.byte	102,15,56,0,238
221	movdqa	%xmm10,%xmm2
222
223	psrld	$6,%xmm7
224	movdqa	%xmm10,%xmm1
225	pslld	$7,%xmm2
226	movdqa	%xmm5,32-128(%rax)
227	paddd	%xmm13,%xmm5
228
229	psrld	$11,%xmm1
230	pxor	%xmm2,%xmm7
231	pslld	$21-7,%xmm2
232	paddd	-64(%rbp),%xmm5
233	pxor	%xmm1,%xmm7
234
235	psrld	$25-11,%xmm1
236	movdqa	%xmm10,%xmm0
237
238	pxor	%xmm2,%xmm7
239	movdqa	%xmm10,%xmm3
240	pslld	$26-21,%xmm2
241	pandn	%xmm12,%xmm0
242	pand	%xmm11,%xmm3
243	pxor	%xmm1,%xmm7
244
245
246	movdqa	%xmm14,%xmm1
247	pxor	%xmm2,%xmm7
248	movdqa	%xmm14,%xmm2
249	psrld	$2,%xmm1
250	paddd	%xmm7,%xmm5
251	pxor	%xmm3,%xmm0
252	movdqa	%xmm15,%xmm3
253	movdqa	%xmm14,%xmm7
254	pslld	$10,%xmm2
255	pxor	%xmm14,%xmm3
256
257
258	psrld	$13,%xmm7
259	pxor	%xmm2,%xmm1
260	paddd	%xmm0,%xmm5
261	pslld	$19-10,%xmm2
262	pand	%xmm3,%xmm4
263	pxor	%xmm7,%xmm1
264
265
266	psrld	$22-13,%xmm7
267	pxor	%xmm2,%xmm1
268	movdqa	%xmm15,%xmm13
269	pslld	$30-19,%xmm2
270	pxor	%xmm1,%xmm7
271	pxor	%xmm4,%xmm13
272	paddd	%xmm5,%xmm9
273	pxor	%xmm2,%xmm7
274
275	paddd	%xmm5,%xmm13
276	paddd	%xmm7,%xmm13
277	movd	12(%r8),%xmm5
278	movd	12(%r9),%xmm0
279	movd	12(%r10),%xmm1
280	movd	12(%r11),%xmm2
281	punpckldq	%xmm1,%xmm5
282	punpckldq	%xmm2,%xmm0
283	punpckldq	%xmm0,%xmm5
284	movdqa	%xmm9,%xmm7
285
286	movdqa	%xmm9,%xmm2
287.byte	102,15,56,0,238
288	psrld	$6,%xmm7
289	movdqa	%xmm9,%xmm1
290	pslld	$7,%xmm2
291	movdqa	%xmm5,48-128(%rax)
292	paddd	%xmm12,%xmm5
293
294	psrld	$11,%xmm1
295	pxor	%xmm2,%xmm7
296	pslld	$21-7,%xmm2
297	paddd	-32(%rbp),%xmm5
298	pxor	%xmm1,%xmm7
299
300	psrld	$25-11,%xmm1
301	movdqa	%xmm9,%xmm0
302
303	pxor	%xmm2,%xmm7
304	movdqa	%xmm9,%xmm4
305	pslld	$26-21,%xmm2
306	pandn	%xmm11,%xmm0
307	pand	%xmm10,%xmm4
308	pxor	%xmm1,%xmm7
309
310
311	movdqa	%xmm13,%xmm1
312	pxor	%xmm2,%xmm7
313	movdqa	%xmm13,%xmm2
314	psrld	$2,%xmm1
315	paddd	%xmm7,%xmm5
316	pxor	%xmm4,%xmm0
317	movdqa	%xmm14,%xmm4
318	movdqa	%xmm13,%xmm7
319	pslld	$10,%xmm2
320	pxor	%xmm13,%xmm4
321
322
323	psrld	$13,%xmm7
324	pxor	%xmm2,%xmm1
325	paddd	%xmm0,%xmm5
326	pslld	$19-10,%xmm2
327	pand	%xmm4,%xmm3
328	pxor	%xmm7,%xmm1
329
330
331	psrld	$22-13,%xmm7
332	pxor	%xmm2,%xmm1
333	movdqa	%xmm14,%xmm12
334	pslld	$30-19,%xmm2
335	pxor	%xmm1,%xmm7
336	pxor	%xmm3,%xmm12
337	paddd	%xmm5,%xmm8
338	pxor	%xmm2,%xmm7
339
340	paddd	%xmm5,%xmm12
341	paddd	%xmm7,%xmm12
342	movd	16(%r8),%xmm5
343	movd	16(%r9),%xmm0
344	movd	16(%r10),%xmm1
345	movd	16(%r11),%xmm2
346	punpckldq	%xmm1,%xmm5
347	punpckldq	%xmm2,%xmm0
348	punpckldq	%xmm0,%xmm5
349	movdqa	%xmm8,%xmm7
350.byte	102,15,56,0,238
351	movdqa	%xmm8,%xmm2
352
353	psrld	$6,%xmm7
354	movdqa	%xmm8,%xmm1
355	pslld	$7,%xmm2
356	movdqa	%xmm5,64-128(%rax)
357	paddd	%xmm11,%xmm5
358
359	psrld	$11,%xmm1
360	pxor	%xmm2,%xmm7
361	pslld	$21-7,%xmm2
362	paddd	0(%rbp),%xmm5
363	pxor	%xmm1,%xmm7
364
365	psrld	$25-11,%xmm1
366	movdqa	%xmm8,%xmm0
367
368	pxor	%xmm2,%xmm7
369	movdqa	%xmm8,%xmm3
370	pslld	$26-21,%xmm2
371	pandn	%xmm10,%xmm0
372	pand	%xmm9,%xmm3
373	pxor	%xmm1,%xmm7
374
375
376	movdqa	%xmm12,%xmm1
377	pxor	%xmm2,%xmm7
378	movdqa	%xmm12,%xmm2
379	psrld	$2,%xmm1
380	paddd	%xmm7,%xmm5
381	pxor	%xmm3,%xmm0
382	movdqa	%xmm13,%xmm3
383	movdqa	%xmm12,%xmm7
384	pslld	$10,%xmm2
385	pxor	%xmm12,%xmm3
386
387
388	psrld	$13,%xmm7
389	pxor	%xmm2,%xmm1
390	paddd	%xmm0,%xmm5
391	pslld	$19-10,%xmm2
392	pand	%xmm3,%xmm4
393	pxor	%xmm7,%xmm1
394
395
396	psrld	$22-13,%xmm7
397	pxor	%xmm2,%xmm1
398	movdqa	%xmm13,%xmm11
399	pslld	$30-19,%xmm2
400	pxor	%xmm1,%xmm7
401	pxor	%xmm4,%xmm11
402	paddd	%xmm5,%xmm15
403	pxor	%xmm2,%xmm7
404
405	paddd	%xmm5,%xmm11
406	paddd	%xmm7,%xmm11
407	movd	20(%r8),%xmm5
408	movd	20(%r9),%xmm0
409	movd	20(%r10),%xmm1
410	movd	20(%r11),%xmm2
411	punpckldq	%xmm1,%xmm5
412	punpckldq	%xmm2,%xmm0
413	punpckldq	%xmm0,%xmm5
414	movdqa	%xmm15,%xmm7
415
416	movdqa	%xmm15,%xmm2
417.byte	102,15,56,0,238
418	psrld	$6,%xmm7
419	movdqa	%xmm15,%xmm1
420	pslld	$7,%xmm2
421	movdqa	%xmm5,80-128(%rax)
422	paddd	%xmm10,%xmm5
423
424	psrld	$11,%xmm1
425	pxor	%xmm2,%xmm7
426	pslld	$21-7,%xmm2
427	paddd	32(%rbp),%xmm5
428	pxor	%xmm1,%xmm7
429
430	psrld	$25-11,%xmm1
431	movdqa	%xmm15,%xmm0
432
433	pxor	%xmm2,%xmm7
434	movdqa	%xmm15,%xmm4
435	pslld	$26-21,%xmm2
436	pandn	%xmm9,%xmm0
437	pand	%xmm8,%xmm4
438	pxor	%xmm1,%xmm7
439
440
441	movdqa	%xmm11,%xmm1
442	pxor	%xmm2,%xmm7
443	movdqa	%xmm11,%xmm2
444	psrld	$2,%xmm1
445	paddd	%xmm7,%xmm5
446	pxor	%xmm4,%xmm0
447	movdqa	%xmm12,%xmm4
448	movdqa	%xmm11,%xmm7
449	pslld	$10,%xmm2
450	pxor	%xmm11,%xmm4
451
452
453	psrld	$13,%xmm7
454	pxor	%xmm2,%xmm1
455	paddd	%xmm0,%xmm5
456	pslld	$19-10,%xmm2
457	pand	%xmm4,%xmm3
458	pxor	%xmm7,%xmm1
459
460
461	psrld	$22-13,%xmm7
462	pxor	%xmm2,%xmm1
463	movdqa	%xmm12,%xmm10
464	pslld	$30-19,%xmm2
465	pxor	%xmm1,%xmm7
466	pxor	%xmm3,%xmm10
467	paddd	%xmm5,%xmm14
468	pxor	%xmm2,%xmm7
469
470	paddd	%xmm5,%xmm10
471	paddd	%xmm7,%xmm10
472	movd	24(%r8),%xmm5
473	movd	24(%r9),%xmm0
474	movd	24(%r10),%xmm1
475	movd	24(%r11),%xmm2
476	punpckldq	%xmm1,%xmm5
477	punpckldq	%xmm2,%xmm0
478	punpckldq	%xmm0,%xmm5
479	movdqa	%xmm14,%xmm7
480.byte	102,15,56,0,238
481	movdqa	%xmm14,%xmm2
482
483	psrld	$6,%xmm7
484	movdqa	%xmm14,%xmm1
485	pslld	$7,%xmm2
486	movdqa	%xmm5,96-128(%rax)
487	paddd	%xmm9,%xmm5
488
489	psrld	$11,%xmm1
490	pxor	%xmm2,%xmm7
491	pslld	$21-7,%xmm2
492	paddd	64(%rbp),%xmm5
493	pxor	%xmm1,%xmm7
494
495	psrld	$25-11,%xmm1
496	movdqa	%xmm14,%xmm0
497
498	pxor	%xmm2,%xmm7
499	movdqa	%xmm14,%xmm3
500	pslld	$26-21,%xmm2
501	pandn	%xmm8,%xmm0
502	pand	%xmm15,%xmm3
503	pxor	%xmm1,%xmm7
504
505
506	movdqa	%xmm10,%xmm1
507	pxor	%xmm2,%xmm7
508	movdqa	%xmm10,%xmm2
509	psrld	$2,%xmm1
510	paddd	%xmm7,%xmm5
511	pxor	%xmm3,%xmm0
512	movdqa	%xmm11,%xmm3
513	movdqa	%xmm10,%xmm7
514	pslld	$10,%xmm2
515	pxor	%xmm10,%xmm3
516
517
518	psrld	$13,%xmm7
519	pxor	%xmm2,%xmm1
520	paddd	%xmm0,%xmm5
521	pslld	$19-10,%xmm2
522	pand	%xmm3,%xmm4
523	pxor	%xmm7,%xmm1
524
525
526	psrld	$22-13,%xmm7
527	pxor	%xmm2,%xmm1
528	movdqa	%xmm11,%xmm9
529	pslld	$30-19,%xmm2
530	pxor	%xmm1,%xmm7
531	pxor	%xmm4,%xmm9
532	paddd	%xmm5,%xmm13
533	pxor	%xmm2,%xmm7
534
535	paddd	%xmm5,%xmm9
536	paddd	%xmm7,%xmm9
537	movd	28(%r8),%xmm5
538	movd	28(%r9),%xmm0
539	movd	28(%r10),%xmm1
540	movd	28(%r11),%xmm2
541	punpckldq	%xmm1,%xmm5
542	punpckldq	%xmm2,%xmm0
543	punpckldq	%xmm0,%xmm5
544	movdqa	%xmm13,%xmm7
545
546	movdqa	%xmm13,%xmm2
547.byte	102,15,56,0,238
548	psrld	$6,%xmm7
549	movdqa	%xmm13,%xmm1
550	pslld	$7,%xmm2
551	movdqa	%xmm5,112-128(%rax)
552	paddd	%xmm8,%xmm5
553
554	psrld	$11,%xmm1
555	pxor	%xmm2,%xmm7
556	pslld	$21-7,%xmm2
557	paddd	96(%rbp),%xmm5
558	pxor	%xmm1,%xmm7
559
560	psrld	$25-11,%xmm1
561	movdqa	%xmm13,%xmm0
562
563	pxor	%xmm2,%xmm7
564	movdqa	%xmm13,%xmm4
565	pslld	$26-21,%xmm2
566	pandn	%xmm15,%xmm0
567	pand	%xmm14,%xmm4
568	pxor	%xmm1,%xmm7
569
570
571	movdqa	%xmm9,%xmm1
572	pxor	%xmm2,%xmm7
573	movdqa	%xmm9,%xmm2
574	psrld	$2,%xmm1
575	paddd	%xmm7,%xmm5
576	pxor	%xmm4,%xmm0
577	movdqa	%xmm10,%xmm4
578	movdqa	%xmm9,%xmm7
579	pslld	$10,%xmm2
580	pxor	%xmm9,%xmm4
581
582
583	psrld	$13,%xmm7
584	pxor	%xmm2,%xmm1
585	paddd	%xmm0,%xmm5
586	pslld	$19-10,%xmm2
587	pand	%xmm4,%xmm3
588	pxor	%xmm7,%xmm1
589
590
591	psrld	$22-13,%xmm7
592	pxor	%xmm2,%xmm1
593	movdqa	%xmm10,%xmm8
594	pslld	$30-19,%xmm2
595	pxor	%xmm1,%xmm7
596	pxor	%xmm3,%xmm8
597	paddd	%xmm5,%xmm12
598	pxor	%xmm2,%xmm7
599
600	paddd	%xmm5,%xmm8
601	paddd	%xmm7,%xmm8
602	leaq	256(%rbp),%rbp
603	movd	32(%r8),%xmm5
604	movd	32(%r9),%xmm0
605	movd	32(%r10),%xmm1
606	movd	32(%r11),%xmm2
607	punpckldq	%xmm1,%xmm5
608	punpckldq	%xmm2,%xmm0
609	punpckldq	%xmm0,%xmm5
610	movdqa	%xmm12,%xmm7
611.byte	102,15,56,0,238
612	movdqa	%xmm12,%xmm2
613
614	psrld	$6,%xmm7
615	movdqa	%xmm12,%xmm1
616	pslld	$7,%xmm2
617	movdqa	%xmm5,128-128(%rax)
618	paddd	%xmm15,%xmm5
619
620	psrld	$11,%xmm1
621	pxor	%xmm2,%xmm7
622	pslld	$21-7,%xmm2
623	paddd	-128(%rbp),%xmm5
624	pxor	%xmm1,%xmm7
625
626	psrld	$25-11,%xmm1
627	movdqa	%xmm12,%xmm0
628
629	pxor	%xmm2,%xmm7
630	movdqa	%xmm12,%xmm3
631	pslld	$26-21,%xmm2
632	pandn	%xmm14,%xmm0
633	pand	%xmm13,%xmm3
634	pxor	%xmm1,%xmm7
635
636
637	movdqa	%xmm8,%xmm1
638	pxor	%xmm2,%xmm7
639	movdqa	%xmm8,%xmm2
640	psrld	$2,%xmm1
641	paddd	%xmm7,%xmm5
642	pxor	%xmm3,%xmm0
643	movdqa	%xmm9,%xmm3
644	movdqa	%xmm8,%xmm7
645	pslld	$10,%xmm2
646	pxor	%xmm8,%xmm3
647
648
649	psrld	$13,%xmm7
650	pxor	%xmm2,%xmm1
651	paddd	%xmm0,%xmm5
652	pslld	$19-10,%xmm2
653	pand	%xmm3,%xmm4
654	pxor	%xmm7,%xmm1
655
656
657	psrld	$22-13,%xmm7
658	pxor	%xmm2,%xmm1
659	movdqa	%xmm9,%xmm15
660	pslld	$30-19,%xmm2
661	pxor	%xmm1,%xmm7
662	pxor	%xmm4,%xmm15
663	paddd	%xmm5,%xmm11
664	pxor	%xmm2,%xmm7
665
666	paddd	%xmm5,%xmm15
667	paddd	%xmm7,%xmm15
668	movd	36(%r8),%xmm5
669	movd	36(%r9),%xmm0
670	movd	36(%r10),%xmm1
671	movd	36(%r11),%xmm2
672	punpckldq	%xmm1,%xmm5
673	punpckldq	%xmm2,%xmm0
674	punpckldq	%xmm0,%xmm5
675	movdqa	%xmm11,%xmm7
676
677	movdqa	%xmm11,%xmm2
678.byte	102,15,56,0,238
679	psrld	$6,%xmm7
680	movdqa	%xmm11,%xmm1
681	pslld	$7,%xmm2
682	movdqa	%xmm5,144-128(%rax)
683	paddd	%xmm14,%xmm5
684
685	psrld	$11,%xmm1
686	pxor	%xmm2,%xmm7
687	pslld	$21-7,%xmm2
688	paddd	-96(%rbp),%xmm5
689	pxor	%xmm1,%xmm7
690
691	psrld	$25-11,%xmm1
692	movdqa	%xmm11,%xmm0
693
694	pxor	%xmm2,%xmm7
695	movdqa	%xmm11,%xmm4
696	pslld	$26-21,%xmm2
697	pandn	%xmm13,%xmm0
698	pand	%xmm12,%xmm4
699	pxor	%xmm1,%xmm7
700
701
702	movdqa	%xmm15,%xmm1
703	pxor	%xmm2,%xmm7
704	movdqa	%xmm15,%xmm2
705	psrld	$2,%xmm1
706	paddd	%xmm7,%xmm5
707	pxor	%xmm4,%xmm0
708	movdqa	%xmm8,%xmm4
709	movdqa	%xmm15,%xmm7
710	pslld	$10,%xmm2
711	pxor	%xmm15,%xmm4
712
713
714	psrld	$13,%xmm7
715	pxor	%xmm2,%xmm1
716	paddd	%xmm0,%xmm5
717	pslld	$19-10,%xmm2
718	pand	%xmm4,%xmm3
719	pxor	%xmm7,%xmm1
720
721
722	psrld	$22-13,%xmm7
723	pxor	%xmm2,%xmm1
724	movdqa	%xmm8,%xmm14
725	pslld	$30-19,%xmm2
726	pxor	%xmm1,%xmm7
727	pxor	%xmm3,%xmm14
728	paddd	%xmm5,%xmm10
729	pxor	%xmm2,%xmm7
730
731	paddd	%xmm5,%xmm14
732	paddd	%xmm7,%xmm14
733	movd	40(%r8),%xmm5
734	movd	40(%r9),%xmm0
735	movd	40(%r10),%xmm1
736	movd	40(%r11),%xmm2
737	punpckldq	%xmm1,%xmm5
738	punpckldq	%xmm2,%xmm0
739	punpckldq	%xmm0,%xmm5
740	movdqa	%xmm10,%xmm7
741.byte	102,15,56,0,238
742	movdqa	%xmm10,%xmm2
743
744	psrld	$6,%xmm7
745	movdqa	%xmm10,%xmm1
746	pslld	$7,%xmm2
747	movdqa	%xmm5,160-128(%rax)
748	paddd	%xmm13,%xmm5
749
750	psrld	$11,%xmm1
751	pxor	%xmm2,%xmm7
752	pslld	$21-7,%xmm2
753	paddd	-64(%rbp),%xmm5
754	pxor	%xmm1,%xmm7
755
756	psrld	$25-11,%xmm1
757	movdqa	%xmm10,%xmm0
758
759	pxor	%xmm2,%xmm7
760	movdqa	%xmm10,%xmm3
761	pslld	$26-21,%xmm2
762	pandn	%xmm12,%xmm0
763	pand	%xmm11,%xmm3
764	pxor	%xmm1,%xmm7
765
766
767	movdqa	%xmm14,%xmm1
768	pxor	%xmm2,%xmm7
769	movdqa	%xmm14,%xmm2
770	psrld	$2,%xmm1
771	paddd	%xmm7,%xmm5
772	pxor	%xmm3,%xmm0
773	movdqa	%xmm15,%xmm3
774	movdqa	%xmm14,%xmm7
775	pslld	$10,%xmm2
776	pxor	%xmm14,%xmm3
777
778
779	psrld	$13,%xmm7
780	pxor	%xmm2,%xmm1
781	paddd	%xmm0,%xmm5
782	pslld	$19-10,%xmm2
783	pand	%xmm3,%xmm4
784	pxor	%xmm7,%xmm1
785
786
787	psrld	$22-13,%xmm7
788	pxor	%xmm2,%xmm1
789	movdqa	%xmm15,%xmm13
790	pslld	$30-19,%xmm2
791	pxor	%xmm1,%xmm7
792	pxor	%xmm4,%xmm13
793	paddd	%xmm5,%xmm9
794	pxor	%xmm2,%xmm7
795
796	paddd	%xmm5,%xmm13
797	paddd	%xmm7,%xmm13
798	movd	44(%r8),%xmm5
799	movd	44(%r9),%xmm0
800	movd	44(%r10),%xmm1
801	movd	44(%r11),%xmm2
802	punpckldq	%xmm1,%xmm5
803	punpckldq	%xmm2,%xmm0
804	punpckldq	%xmm0,%xmm5
805	movdqa	%xmm9,%xmm7
806
807	movdqa	%xmm9,%xmm2
808.byte	102,15,56,0,238
809	psrld	$6,%xmm7
810	movdqa	%xmm9,%xmm1
811	pslld	$7,%xmm2
812	movdqa	%xmm5,176-128(%rax)
813	paddd	%xmm12,%xmm5
814
815	psrld	$11,%xmm1
816	pxor	%xmm2,%xmm7
817	pslld	$21-7,%xmm2
818	paddd	-32(%rbp),%xmm5
819	pxor	%xmm1,%xmm7
820
821	psrld	$25-11,%xmm1
822	movdqa	%xmm9,%xmm0
823
824	pxor	%xmm2,%xmm7
825	movdqa	%xmm9,%xmm4
826	pslld	$26-21,%xmm2
827	pandn	%xmm11,%xmm0
828	pand	%xmm10,%xmm4
829	pxor	%xmm1,%xmm7
830
831
832	movdqa	%xmm13,%xmm1
833	pxor	%xmm2,%xmm7
834	movdqa	%xmm13,%xmm2
835	psrld	$2,%xmm1
836	paddd	%xmm7,%xmm5
837	pxor	%xmm4,%xmm0
838	movdqa	%xmm14,%xmm4
839	movdqa	%xmm13,%xmm7
840	pslld	$10,%xmm2
841	pxor	%xmm13,%xmm4
842
843
844	psrld	$13,%xmm7
845	pxor	%xmm2,%xmm1
846	paddd	%xmm0,%xmm5
847	pslld	$19-10,%xmm2
848	pand	%xmm4,%xmm3
849	pxor	%xmm7,%xmm1
850
851
852	psrld	$22-13,%xmm7
853	pxor	%xmm2,%xmm1
854	movdqa	%xmm14,%xmm12
855	pslld	$30-19,%xmm2
856	pxor	%xmm1,%xmm7
857	pxor	%xmm3,%xmm12
858	paddd	%xmm5,%xmm8
859	pxor	%xmm2,%xmm7
860
861	paddd	%xmm5,%xmm12
862	paddd	%xmm7,%xmm12
863	movd	48(%r8),%xmm5
864	movd	48(%r9),%xmm0
865	movd	48(%r10),%xmm1
866	movd	48(%r11),%xmm2
867	punpckldq	%xmm1,%xmm5
868	punpckldq	%xmm2,%xmm0
869	punpckldq	%xmm0,%xmm5
870	movdqa	%xmm8,%xmm7
871.byte	102,15,56,0,238
872	movdqa	%xmm8,%xmm2
873
874	psrld	$6,%xmm7
875	movdqa	%xmm8,%xmm1
876	pslld	$7,%xmm2
877	movdqa	%xmm5,192-128(%rax)
878	paddd	%xmm11,%xmm5
879
880	psrld	$11,%xmm1
881	pxor	%xmm2,%xmm7
882	pslld	$21-7,%xmm2
883	paddd	0(%rbp),%xmm5
884	pxor	%xmm1,%xmm7
885
886	psrld	$25-11,%xmm1
887	movdqa	%xmm8,%xmm0
888
889	pxor	%xmm2,%xmm7
890	movdqa	%xmm8,%xmm3
891	pslld	$26-21,%xmm2
892	pandn	%xmm10,%xmm0
893	pand	%xmm9,%xmm3
894	pxor	%xmm1,%xmm7
895
896
897	movdqa	%xmm12,%xmm1
898	pxor	%xmm2,%xmm7
899	movdqa	%xmm12,%xmm2
900	psrld	$2,%xmm1
901	paddd	%xmm7,%xmm5
902	pxor	%xmm3,%xmm0
903	movdqa	%xmm13,%xmm3
904	movdqa	%xmm12,%xmm7
905	pslld	$10,%xmm2
906	pxor	%xmm12,%xmm3
907
908
909	psrld	$13,%xmm7
910	pxor	%xmm2,%xmm1
911	paddd	%xmm0,%xmm5
912	pslld	$19-10,%xmm2
913	pand	%xmm3,%xmm4
914	pxor	%xmm7,%xmm1
915
916
917	psrld	$22-13,%xmm7
918	pxor	%xmm2,%xmm1
919	movdqa	%xmm13,%xmm11
920	pslld	$30-19,%xmm2
921	pxor	%xmm1,%xmm7
922	pxor	%xmm4,%xmm11
923	paddd	%xmm5,%xmm15
924	pxor	%xmm2,%xmm7
925
926	paddd	%xmm5,%xmm11
927	paddd	%xmm7,%xmm11
928	movd	52(%r8),%xmm5
929	movd	52(%r9),%xmm0
930	movd	52(%r10),%xmm1
931	movd	52(%r11),%xmm2
932	punpckldq	%xmm1,%xmm5
933	punpckldq	%xmm2,%xmm0
934	punpckldq	%xmm0,%xmm5
935	movdqa	%xmm15,%xmm7
936
937	movdqa	%xmm15,%xmm2
938.byte	102,15,56,0,238
939	psrld	$6,%xmm7
940	movdqa	%xmm15,%xmm1
941	pslld	$7,%xmm2
942	movdqa	%xmm5,208-128(%rax)
943	paddd	%xmm10,%xmm5
944
945	psrld	$11,%xmm1
946	pxor	%xmm2,%xmm7
947	pslld	$21-7,%xmm2
948	paddd	32(%rbp),%xmm5
949	pxor	%xmm1,%xmm7
950
951	psrld	$25-11,%xmm1
952	movdqa	%xmm15,%xmm0
953
954	pxor	%xmm2,%xmm7
955	movdqa	%xmm15,%xmm4
956	pslld	$26-21,%xmm2
957	pandn	%xmm9,%xmm0
958	pand	%xmm8,%xmm4
959	pxor	%xmm1,%xmm7
960
961
962	movdqa	%xmm11,%xmm1
963	pxor	%xmm2,%xmm7
964	movdqa	%xmm11,%xmm2
965	psrld	$2,%xmm1
966	paddd	%xmm7,%xmm5
967	pxor	%xmm4,%xmm0
968	movdqa	%xmm12,%xmm4
969	movdqa	%xmm11,%xmm7
970	pslld	$10,%xmm2
971	pxor	%xmm11,%xmm4
972
973
974	psrld	$13,%xmm7
975	pxor	%xmm2,%xmm1
976	paddd	%xmm0,%xmm5
977	pslld	$19-10,%xmm2
978	pand	%xmm4,%xmm3
979	pxor	%xmm7,%xmm1
980
981
982	psrld	$22-13,%xmm7
983	pxor	%xmm2,%xmm1
984	movdqa	%xmm12,%xmm10
985	pslld	$30-19,%xmm2
986	pxor	%xmm1,%xmm7
987	pxor	%xmm3,%xmm10
988	paddd	%xmm5,%xmm14
989	pxor	%xmm2,%xmm7
990
991	paddd	%xmm5,%xmm10
992	paddd	%xmm7,%xmm10
993	movd	56(%r8),%xmm5
994	movd	56(%r9),%xmm0
995	movd	56(%r10),%xmm1
996	movd	56(%r11),%xmm2
997	punpckldq	%xmm1,%xmm5
998	punpckldq	%xmm2,%xmm0
999	punpckldq	%xmm0,%xmm5
1000	movdqa	%xmm14,%xmm7
1001.byte	102,15,56,0,238
1002	movdqa	%xmm14,%xmm2
1003
1004	psrld	$6,%xmm7
1005	movdqa	%xmm14,%xmm1
1006	pslld	$7,%xmm2
1007	movdqa	%xmm5,224-128(%rax)
1008	paddd	%xmm9,%xmm5
1009
1010	psrld	$11,%xmm1
1011	pxor	%xmm2,%xmm7
1012	pslld	$21-7,%xmm2
1013	paddd	64(%rbp),%xmm5
1014	pxor	%xmm1,%xmm7
1015
1016	psrld	$25-11,%xmm1
1017	movdqa	%xmm14,%xmm0
1018
1019	pxor	%xmm2,%xmm7
1020	movdqa	%xmm14,%xmm3
1021	pslld	$26-21,%xmm2
1022	pandn	%xmm8,%xmm0
1023	pand	%xmm15,%xmm3
1024	pxor	%xmm1,%xmm7
1025
1026
1027	movdqa	%xmm10,%xmm1
1028	pxor	%xmm2,%xmm7
1029	movdqa	%xmm10,%xmm2
1030	psrld	$2,%xmm1
1031	paddd	%xmm7,%xmm5
1032	pxor	%xmm3,%xmm0
1033	movdqa	%xmm11,%xmm3
1034	movdqa	%xmm10,%xmm7
1035	pslld	$10,%xmm2
1036	pxor	%xmm10,%xmm3
1037
1038
1039	psrld	$13,%xmm7
1040	pxor	%xmm2,%xmm1
1041	paddd	%xmm0,%xmm5
1042	pslld	$19-10,%xmm2
1043	pand	%xmm3,%xmm4
1044	pxor	%xmm7,%xmm1
1045
1046
1047	psrld	$22-13,%xmm7
1048	pxor	%xmm2,%xmm1
1049	movdqa	%xmm11,%xmm9
1050	pslld	$30-19,%xmm2
1051	pxor	%xmm1,%xmm7
1052	pxor	%xmm4,%xmm9
1053	paddd	%xmm5,%xmm13
1054	pxor	%xmm2,%xmm7
1055
1056	paddd	%xmm5,%xmm9
1057	paddd	%xmm7,%xmm9
1058	movd	60(%r8),%xmm5
1059	leaq	64(%r8),%r8
1060	movd	60(%r9),%xmm0
1061	leaq	64(%r9),%r9
1062	movd	60(%r10),%xmm1
1063	leaq	64(%r10),%r10
1064	movd	60(%r11),%xmm2
1065	leaq	64(%r11),%r11
1066	punpckldq	%xmm1,%xmm5
1067	punpckldq	%xmm2,%xmm0
1068	punpckldq	%xmm0,%xmm5
1069	movdqa	%xmm13,%xmm7
1070
1071	movdqa	%xmm13,%xmm2
1072.byte	102,15,56,0,238
1073	psrld	$6,%xmm7
1074	movdqa	%xmm13,%xmm1
1075	pslld	$7,%xmm2
1076	movdqa	%xmm5,240-128(%rax)
1077	paddd	%xmm8,%xmm5
1078
1079	psrld	$11,%xmm1
1080	pxor	%xmm2,%xmm7
1081	pslld	$21-7,%xmm2
1082	paddd	96(%rbp),%xmm5
1083	pxor	%xmm1,%xmm7
1084
1085	psrld	$25-11,%xmm1
1086	movdqa	%xmm13,%xmm0
1087	prefetcht0	63(%r8)
1088	pxor	%xmm2,%xmm7
1089	movdqa	%xmm13,%xmm4
1090	pslld	$26-21,%xmm2
1091	pandn	%xmm15,%xmm0
1092	pand	%xmm14,%xmm4
1093	pxor	%xmm1,%xmm7
1094
1095	prefetcht0	63(%r9)
1096	movdqa	%xmm9,%xmm1
1097	pxor	%xmm2,%xmm7
1098	movdqa	%xmm9,%xmm2
1099	psrld	$2,%xmm1
1100	paddd	%xmm7,%xmm5
1101	pxor	%xmm4,%xmm0
1102	movdqa	%xmm10,%xmm4
1103	movdqa	%xmm9,%xmm7
1104	pslld	$10,%xmm2
1105	pxor	%xmm9,%xmm4
1106
1107	prefetcht0	63(%r10)
1108	psrld	$13,%xmm7
1109	pxor	%xmm2,%xmm1
1110	paddd	%xmm0,%xmm5
1111	pslld	$19-10,%xmm2
1112	pand	%xmm4,%xmm3
1113	pxor	%xmm7,%xmm1
1114
1115	prefetcht0	63(%r11)
1116	psrld	$22-13,%xmm7
1117	pxor	%xmm2,%xmm1
1118	movdqa	%xmm10,%xmm8
1119	pslld	$30-19,%xmm2
1120	pxor	%xmm1,%xmm7
1121	pxor	%xmm3,%xmm8
1122	paddd	%xmm5,%xmm12
1123	pxor	%xmm2,%xmm7
1124
1125	paddd	%xmm5,%xmm8
1126	paddd	%xmm7,%xmm8
1127	leaq	256(%rbp),%rbp
1128	movdqu	0-128(%rax),%xmm5
1129	movl	$3,%ecx
1130	jmp	.Loop_16_xx
1131.align	32
1132.Loop_16_xx:
1133	movdqa	16-128(%rax),%xmm6
1134	paddd	144-128(%rax),%xmm5
1135
1136	movdqa	%xmm6,%xmm7
1137	movdqa	%xmm6,%xmm1
1138	psrld	$3,%xmm7
1139	movdqa	%xmm6,%xmm2
1140
1141	psrld	$7,%xmm1
1142	movdqa	224-128(%rax),%xmm0
1143	pslld	$14,%xmm2
1144	pxor	%xmm1,%xmm7
1145	psrld	$18-7,%xmm1
1146	movdqa	%xmm0,%xmm3
1147	pxor	%xmm2,%xmm7
1148	pslld	$25-14,%xmm2
1149	pxor	%xmm1,%xmm7
1150	psrld	$10,%xmm0
1151	movdqa	%xmm3,%xmm1
1152
1153	psrld	$17,%xmm3
1154	pxor	%xmm2,%xmm7
1155	pslld	$13,%xmm1
1156	paddd	%xmm7,%xmm5
1157	pxor	%xmm3,%xmm0
1158	psrld	$19-17,%xmm3
1159	pxor	%xmm1,%xmm0
1160	pslld	$15-13,%xmm1
1161	pxor	%xmm3,%xmm0
1162	pxor	%xmm1,%xmm0
1163	paddd	%xmm0,%xmm5
1164	movdqa	%xmm12,%xmm7
1165
1166	movdqa	%xmm12,%xmm2
1167
1168	psrld	$6,%xmm7
1169	movdqa	%xmm12,%xmm1
1170	pslld	$7,%xmm2
1171	movdqa	%xmm5,0-128(%rax)
1172	paddd	%xmm15,%xmm5
1173
1174	psrld	$11,%xmm1
1175	pxor	%xmm2,%xmm7
1176	pslld	$21-7,%xmm2
1177	paddd	-128(%rbp),%xmm5
1178	pxor	%xmm1,%xmm7
1179
1180	psrld	$25-11,%xmm1
1181	movdqa	%xmm12,%xmm0
1182
1183	pxor	%xmm2,%xmm7
1184	movdqa	%xmm12,%xmm3
1185	pslld	$26-21,%xmm2
1186	pandn	%xmm14,%xmm0
1187	pand	%xmm13,%xmm3
1188	pxor	%xmm1,%xmm7
1189
1190
1191	movdqa	%xmm8,%xmm1
1192	pxor	%xmm2,%xmm7
1193	movdqa	%xmm8,%xmm2
1194	psrld	$2,%xmm1
1195	paddd	%xmm7,%xmm5
1196	pxor	%xmm3,%xmm0
1197	movdqa	%xmm9,%xmm3
1198	movdqa	%xmm8,%xmm7
1199	pslld	$10,%xmm2
1200	pxor	%xmm8,%xmm3
1201
1202
1203	psrld	$13,%xmm7
1204	pxor	%xmm2,%xmm1
1205	paddd	%xmm0,%xmm5
1206	pslld	$19-10,%xmm2
1207	pand	%xmm3,%xmm4
1208	pxor	%xmm7,%xmm1
1209
1210
1211	psrld	$22-13,%xmm7
1212	pxor	%xmm2,%xmm1
1213	movdqa	%xmm9,%xmm15
1214	pslld	$30-19,%xmm2
1215	pxor	%xmm1,%xmm7
1216	pxor	%xmm4,%xmm15
1217	paddd	%xmm5,%xmm11
1218	pxor	%xmm2,%xmm7
1219
1220	paddd	%xmm5,%xmm15
1221	paddd	%xmm7,%xmm15
1222	movdqa	32-128(%rax),%xmm5
1223	paddd	160-128(%rax),%xmm6
1224
1225	movdqa	%xmm5,%xmm7
1226	movdqa	%xmm5,%xmm1
1227	psrld	$3,%xmm7
1228	movdqa	%xmm5,%xmm2
1229
1230	psrld	$7,%xmm1
1231	movdqa	240-128(%rax),%xmm0
1232	pslld	$14,%xmm2
1233	pxor	%xmm1,%xmm7
1234	psrld	$18-7,%xmm1
1235	movdqa	%xmm0,%xmm4
1236	pxor	%xmm2,%xmm7
1237	pslld	$25-14,%xmm2
1238	pxor	%xmm1,%xmm7
1239	psrld	$10,%xmm0
1240	movdqa	%xmm4,%xmm1
1241
1242	psrld	$17,%xmm4
1243	pxor	%xmm2,%xmm7
1244	pslld	$13,%xmm1
1245	paddd	%xmm7,%xmm6
1246	pxor	%xmm4,%xmm0
1247	psrld	$19-17,%xmm4
1248	pxor	%xmm1,%xmm0
1249	pslld	$15-13,%xmm1
1250	pxor	%xmm4,%xmm0
1251	pxor	%xmm1,%xmm0
1252	paddd	%xmm0,%xmm6
1253	movdqa	%xmm11,%xmm7
1254
1255	movdqa	%xmm11,%xmm2
1256
1257	psrld	$6,%xmm7
1258	movdqa	%xmm11,%xmm1
1259	pslld	$7,%xmm2
1260	movdqa	%xmm6,16-128(%rax)
1261	paddd	%xmm14,%xmm6
1262
1263	psrld	$11,%xmm1
1264	pxor	%xmm2,%xmm7
1265	pslld	$21-7,%xmm2
1266	paddd	-96(%rbp),%xmm6
1267	pxor	%xmm1,%xmm7
1268
1269	psrld	$25-11,%xmm1
1270	movdqa	%xmm11,%xmm0
1271
1272	pxor	%xmm2,%xmm7
1273	movdqa	%xmm11,%xmm4
1274	pslld	$26-21,%xmm2
1275	pandn	%xmm13,%xmm0
1276	pand	%xmm12,%xmm4
1277	pxor	%xmm1,%xmm7
1278
1279
1280	movdqa	%xmm15,%xmm1
1281	pxor	%xmm2,%xmm7
1282	movdqa	%xmm15,%xmm2
1283	psrld	$2,%xmm1
1284	paddd	%xmm7,%xmm6
1285	pxor	%xmm4,%xmm0
1286	movdqa	%xmm8,%xmm4
1287	movdqa	%xmm15,%xmm7
1288	pslld	$10,%xmm2
1289	pxor	%xmm15,%xmm4
1290
1291
1292	psrld	$13,%xmm7
1293	pxor	%xmm2,%xmm1
1294	paddd	%xmm0,%xmm6
1295	pslld	$19-10,%xmm2
1296	pand	%xmm4,%xmm3
1297	pxor	%xmm7,%xmm1
1298
1299
1300	psrld	$22-13,%xmm7
1301	pxor	%xmm2,%xmm1
1302	movdqa	%xmm8,%xmm14
1303	pslld	$30-19,%xmm2
1304	pxor	%xmm1,%xmm7
1305	pxor	%xmm3,%xmm14
1306	paddd	%xmm6,%xmm10
1307	pxor	%xmm2,%xmm7
1308
1309	paddd	%xmm6,%xmm14
1310	paddd	%xmm7,%xmm14
1311	movdqa	48-128(%rax),%xmm6
1312	paddd	176-128(%rax),%xmm5
1313
1314	movdqa	%xmm6,%xmm7
1315	movdqa	%xmm6,%xmm1
1316	psrld	$3,%xmm7
1317	movdqa	%xmm6,%xmm2
1318
1319	psrld	$7,%xmm1
1320	movdqa	0-128(%rax),%xmm0
1321	pslld	$14,%xmm2
1322	pxor	%xmm1,%xmm7
1323	psrld	$18-7,%xmm1
1324	movdqa	%xmm0,%xmm3
1325	pxor	%xmm2,%xmm7
1326	pslld	$25-14,%xmm2
1327	pxor	%xmm1,%xmm7
1328	psrld	$10,%xmm0
1329	movdqa	%xmm3,%xmm1
1330
1331	psrld	$17,%xmm3
1332	pxor	%xmm2,%xmm7
1333	pslld	$13,%xmm1
1334	paddd	%xmm7,%xmm5
1335	pxor	%xmm3,%xmm0
1336	psrld	$19-17,%xmm3
1337	pxor	%xmm1,%xmm0
1338	pslld	$15-13,%xmm1
1339	pxor	%xmm3,%xmm0
1340	pxor	%xmm1,%xmm0
1341	paddd	%xmm0,%xmm5
1342	movdqa	%xmm10,%xmm7
1343
1344	movdqa	%xmm10,%xmm2
1345
1346	psrld	$6,%xmm7
1347	movdqa	%xmm10,%xmm1
1348	pslld	$7,%xmm2
1349	movdqa	%xmm5,32-128(%rax)
1350	paddd	%xmm13,%xmm5
1351
1352	psrld	$11,%xmm1
1353	pxor	%xmm2,%xmm7
1354	pslld	$21-7,%xmm2
1355	paddd	-64(%rbp),%xmm5
1356	pxor	%xmm1,%xmm7
1357
1358	psrld	$25-11,%xmm1
1359	movdqa	%xmm10,%xmm0
1360
1361	pxor	%xmm2,%xmm7
1362	movdqa	%xmm10,%xmm3
1363	pslld	$26-21,%xmm2
1364	pandn	%xmm12,%xmm0
1365	pand	%xmm11,%xmm3
1366	pxor	%xmm1,%xmm7
1367
1368
1369	movdqa	%xmm14,%xmm1
1370	pxor	%xmm2,%xmm7
1371	movdqa	%xmm14,%xmm2
1372	psrld	$2,%xmm1
1373	paddd	%xmm7,%xmm5
1374	pxor	%xmm3,%xmm0
1375	movdqa	%xmm15,%xmm3
1376	movdqa	%xmm14,%xmm7
1377	pslld	$10,%xmm2
1378	pxor	%xmm14,%xmm3
1379
1380
1381	psrld	$13,%xmm7
1382	pxor	%xmm2,%xmm1
1383	paddd	%xmm0,%xmm5
1384	pslld	$19-10,%xmm2
1385	pand	%xmm3,%xmm4
1386	pxor	%xmm7,%xmm1
1387
1388
1389	psrld	$22-13,%xmm7
1390	pxor	%xmm2,%xmm1
1391	movdqa	%xmm15,%xmm13
1392	pslld	$30-19,%xmm2
1393	pxor	%xmm1,%xmm7
1394	pxor	%xmm4,%xmm13
1395	paddd	%xmm5,%xmm9
1396	pxor	%xmm2,%xmm7
1397
1398	paddd	%xmm5,%xmm13
1399	paddd	%xmm7,%xmm13
1400	movdqa	64-128(%rax),%xmm5
1401	paddd	192-128(%rax),%xmm6
1402
1403	movdqa	%xmm5,%xmm7
1404	movdqa	%xmm5,%xmm1
1405	psrld	$3,%xmm7
1406	movdqa	%xmm5,%xmm2
1407
1408	psrld	$7,%xmm1
1409	movdqa	16-128(%rax),%xmm0
1410	pslld	$14,%xmm2
1411	pxor	%xmm1,%xmm7
1412	psrld	$18-7,%xmm1
1413	movdqa	%xmm0,%xmm4
1414	pxor	%xmm2,%xmm7
1415	pslld	$25-14,%xmm2
1416	pxor	%xmm1,%xmm7
1417	psrld	$10,%xmm0
1418	movdqa	%xmm4,%xmm1
1419
1420	psrld	$17,%xmm4
1421	pxor	%xmm2,%xmm7
1422	pslld	$13,%xmm1
1423	paddd	%xmm7,%xmm6
1424	pxor	%xmm4,%xmm0
1425	psrld	$19-17,%xmm4
1426	pxor	%xmm1,%xmm0
1427	pslld	$15-13,%xmm1
1428	pxor	%xmm4,%xmm0
1429	pxor	%xmm1,%xmm0
1430	paddd	%xmm0,%xmm6
1431	movdqa	%xmm9,%xmm7
1432
1433	movdqa	%xmm9,%xmm2
1434
1435	psrld	$6,%xmm7
1436	movdqa	%xmm9,%xmm1
1437	pslld	$7,%xmm2
1438	movdqa	%xmm6,48-128(%rax)
1439	paddd	%xmm12,%xmm6
1440
1441	psrld	$11,%xmm1
1442	pxor	%xmm2,%xmm7
1443	pslld	$21-7,%xmm2
1444	paddd	-32(%rbp),%xmm6
1445	pxor	%xmm1,%xmm7
1446
1447	psrld	$25-11,%xmm1
1448	movdqa	%xmm9,%xmm0
1449
1450	pxor	%xmm2,%xmm7
1451	movdqa	%xmm9,%xmm4
1452	pslld	$26-21,%xmm2
1453	pandn	%xmm11,%xmm0
1454	pand	%xmm10,%xmm4
1455	pxor	%xmm1,%xmm7
1456
1457
1458	movdqa	%xmm13,%xmm1
1459	pxor	%xmm2,%xmm7
1460	movdqa	%xmm13,%xmm2
1461	psrld	$2,%xmm1
1462	paddd	%xmm7,%xmm6
1463	pxor	%xmm4,%xmm0
1464	movdqa	%xmm14,%xmm4
1465	movdqa	%xmm13,%xmm7
1466	pslld	$10,%xmm2
1467	pxor	%xmm13,%xmm4
1468
1469
1470	psrld	$13,%xmm7
1471	pxor	%xmm2,%xmm1
1472	paddd	%xmm0,%xmm6
1473	pslld	$19-10,%xmm2
1474	pand	%xmm4,%xmm3
1475	pxor	%xmm7,%xmm1
1476
1477
1478	psrld	$22-13,%xmm7
1479	pxor	%xmm2,%xmm1
1480	movdqa	%xmm14,%xmm12
1481	pslld	$30-19,%xmm2
1482	pxor	%xmm1,%xmm7
1483	pxor	%xmm3,%xmm12
1484	paddd	%xmm6,%xmm8
1485	pxor	%xmm2,%xmm7
1486
1487	paddd	%xmm6,%xmm12
1488	paddd	%xmm7,%xmm12
1489	movdqa	80-128(%rax),%xmm6
1490	paddd	208-128(%rax),%xmm5
1491
1492	movdqa	%xmm6,%xmm7
1493	movdqa	%xmm6,%xmm1
1494	psrld	$3,%xmm7
1495	movdqa	%xmm6,%xmm2
1496
1497	psrld	$7,%xmm1
1498	movdqa	32-128(%rax),%xmm0
1499	pslld	$14,%xmm2
1500	pxor	%xmm1,%xmm7
1501	psrld	$18-7,%xmm1
1502	movdqa	%xmm0,%xmm3
1503	pxor	%xmm2,%xmm7
1504	pslld	$25-14,%xmm2
1505	pxor	%xmm1,%xmm7
1506	psrld	$10,%xmm0
1507	movdqa	%xmm3,%xmm1
1508
1509	psrld	$17,%xmm3
1510	pxor	%xmm2,%xmm7
1511	pslld	$13,%xmm1
1512	paddd	%xmm7,%xmm5
1513	pxor	%xmm3,%xmm0
1514	psrld	$19-17,%xmm3
1515	pxor	%xmm1,%xmm0
1516	pslld	$15-13,%xmm1
1517	pxor	%xmm3,%xmm0
1518	pxor	%xmm1,%xmm0
1519	paddd	%xmm0,%xmm5
1520	movdqa	%xmm8,%xmm7
1521
1522	movdqa	%xmm8,%xmm2
1523
1524	psrld	$6,%xmm7
1525	movdqa	%xmm8,%xmm1
1526	pslld	$7,%xmm2
1527	movdqa	%xmm5,64-128(%rax)
1528	paddd	%xmm11,%xmm5
1529
1530	psrld	$11,%xmm1
1531	pxor	%xmm2,%xmm7
1532	pslld	$21-7,%xmm2
1533	paddd	0(%rbp),%xmm5
1534	pxor	%xmm1,%xmm7
1535
1536	psrld	$25-11,%xmm1
1537	movdqa	%xmm8,%xmm0
1538
1539	pxor	%xmm2,%xmm7
1540	movdqa	%xmm8,%xmm3
1541	pslld	$26-21,%xmm2
1542	pandn	%xmm10,%xmm0
1543	pand	%xmm9,%xmm3
1544	pxor	%xmm1,%xmm7
1545
1546
1547	movdqa	%xmm12,%xmm1
1548	pxor	%xmm2,%xmm7
1549	movdqa	%xmm12,%xmm2
1550	psrld	$2,%xmm1
1551	paddd	%xmm7,%xmm5
1552	pxor	%xmm3,%xmm0
1553	movdqa	%xmm13,%xmm3
1554	movdqa	%xmm12,%xmm7
1555	pslld	$10,%xmm2
1556	pxor	%xmm12,%xmm3
1557
1558
1559	psrld	$13,%xmm7
1560	pxor	%xmm2,%xmm1
1561	paddd	%xmm0,%xmm5
1562	pslld	$19-10,%xmm2
1563	pand	%xmm3,%xmm4
1564	pxor	%xmm7,%xmm1
1565
1566
1567	psrld	$22-13,%xmm7
1568	pxor	%xmm2,%xmm1
1569	movdqa	%xmm13,%xmm11
1570	pslld	$30-19,%xmm2
1571	pxor	%xmm1,%xmm7
1572	pxor	%xmm4,%xmm11
1573	paddd	%xmm5,%xmm15
1574	pxor	%xmm2,%xmm7
1575
1576	paddd	%xmm5,%xmm11
1577	paddd	%xmm7,%xmm11
1578	movdqa	96-128(%rax),%xmm5
1579	paddd	224-128(%rax),%xmm6
1580
1581	movdqa	%xmm5,%xmm7
1582	movdqa	%xmm5,%xmm1
1583	psrld	$3,%xmm7
1584	movdqa	%xmm5,%xmm2
1585
1586	psrld	$7,%xmm1
1587	movdqa	48-128(%rax),%xmm0
1588	pslld	$14,%xmm2
1589	pxor	%xmm1,%xmm7
1590	psrld	$18-7,%xmm1
1591	movdqa	%xmm0,%xmm4
1592	pxor	%xmm2,%xmm7
1593	pslld	$25-14,%xmm2
1594	pxor	%xmm1,%xmm7
1595	psrld	$10,%xmm0
1596	movdqa	%xmm4,%xmm1
1597
1598	psrld	$17,%xmm4
1599	pxor	%xmm2,%xmm7
1600	pslld	$13,%xmm1
1601	paddd	%xmm7,%xmm6
1602	pxor	%xmm4,%xmm0
1603	psrld	$19-17,%xmm4
1604	pxor	%xmm1,%xmm0
1605	pslld	$15-13,%xmm1
1606	pxor	%xmm4,%xmm0
1607	pxor	%xmm1,%xmm0
1608	paddd	%xmm0,%xmm6
1609	movdqa	%xmm15,%xmm7
1610
1611	movdqa	%xmm15,%xmm2
1612
1613	psrld	$6,%xmm7
1614	movdqa	%xmm15,%xmm1
1615	pslld	$7,%xmm2
1616	movdqa	%xmm6,80-128(%rax)
1617	paddd	%xmm10,%xmm6
1618
1619	psrld	$11,%xmm1
1620	pxor	%xmm2,%xmm7
1621	pslld	$21-7,%xmm2
1622	paddd	32(%rbp),%xmm6
1623	pxor	%xmm1,%xmm7
1624
1625	psrld	$25-11,%xmm1
1626	movdqa	%xmm15,%xmm0
1627
1628	pxor	%xmm2,%xmm7
1629	movdqa	%xmm15,%xmm4
1630	pslld	$26-21,%xmm2
1631	pandn	%xmm9,%xmm0
1632	pand	%xmm8,%xmm4
1633	pxor	%xmm1,%xmm7
1634
1635
1636	movdqa	%xmm11,%xmm1
1637	pxor	%xmm2,%xmm7
1638	movdqa	%xmm11,%xmm2
1639	psrld	$2,%xmm1
1640	paddd	%xmm7,%xmm6
1641	pxor	%xmm4,%xmm0
1642	movdqa	%xmm12,%xmm4
1643	movdqa	%xmm11,%xmm7
1644	pslld	$10,%xmm2
1645	pxor	%xmm11,%xmm4
1646
1647
1648	psrld	$13,%xmm7
1649	pxor	%xmm2,%xmm1
1650	paddd	%xmm0,%xmm6
1651	pslld	$19-10,%xmm2
1652	pand	%xmm4,%xmm3
1653	pxor	%xmm7,%xmm1
1654
1655
1656	psrld	$22-13,%xmm7
1657	pxor	%xmm2,%xmm1
1658	movdqa	%xmm12,%xmm10
1659	pslld	$30-19,%xmm2
1660	pxor	%xmm1,%xmm7
1661	pxor	%xmm3,%xmm10
1662	paddd	%xmm6,%xmm14
1663	pxor	%xmm2,%xmm7
1664
1665	paddd	%xmm6,%xmm10
1666	paddd	%xmm7,%xmm10
1667	movdqa	112-128(%rax),%xmm6
1668	paddd	240-128(%rax),%xmm5
1669
1670	movdqa	%xmm6,%xmm7
1671	movdqa	%xmm6,%xmm1
1672	psrld	$3,%xmm7
1673	movdqa	%xmm6,%xmm2
1674
1675	psrld	$7,%xmm1
1676	movdqa	64-128(%rax),%xmm0
1677	pslld	$14,%xmm2
1678	pxor	%xmm1,%xmm7
1679	psrld	$18-7,%xmm1
1680	movdqa	%xmm0,%xmm3
1681	pxor	%xmm2,%xmm7
1682	pslld	$25-14,%xmm2
1683	pxor	%xmm1,%xmm7
1684	psrld	$10,%xmm0
1685	movdqa	%xmm3,%xmm1
1686
1687	psrld	$17,%xmm3
1688	pxor	%xmm2,%xmm7
1689	pslld	$13,%xmm1
1690	paddd	%xmm7,%xmm5
1691	pxor	%xmm3,%xmm0
1692	psrld	$19-17,%xmm3
1693	pxor	%xmm1,%xmm0
1694	pslld	$15-13,%xmm1
1695	pxor	%xmm3,%xmm0
1696	pxor	%xmm1,%xmm0
1697	paddd	%xmm0,%xmm5
1698	movdqa	%xmm14,%xmm7
1699
1700	movdqa	%xmm14,%xmm2
1701
1702	psrld	$6,%xmm7
1703	movdqa	%xmm14,%xmm1
1704	pslld	$7,%xmm2
1705	movdqa	%xmm5,96-128(%rax)
1706	paddd	%xmm9,%xmm5
1707
1708	psrld	$11,%xmm1
1709	pxor	%xmm2,%xmm7
1710	pslld	$21-7,%xmm2
1711	paddd	64(%rbp),%xmm5
1712	pxor	%xmm1,%xmm7
1713
1714	psrld	$25-11,%xmm1
1715	movdqa	%xmm14,%xmm0
1716
1717	pxor	%xmm2,%xmm7
1718	movdqa	%xmm14,%xmm3
1719	pslld	$26-21,%xmm2
1720	pandn	%xmm8,%xmm0
1721	pand	%xmm15,%xmm3
1722	pxor	%xmm1,%xmm7
1723
1724
1725	movdqa	%xmm10,%xmm1
1726	pxor	%xmm2,%xmm7
1727	movdqa	%xmm10,%xmm2
1728	psrld	$2,%xmm1
1729	paddd	%xmm7,%xmm5
1730	pxor	%xmm3,%xmm0
1731	movdqa	%xmm11,%xmm3
1732	movdqa	%xmm10,%xmm7
1733	pslld	$10,%xmm2
1734	pxor	%xmm10,%xmm3
1735
1736
1737	psrld	$13,%xmm7
1738	pxor	%xmm2,%xmm1
1739	paddd	%xmm0,%xmm5
1740	pslld	$19-10,%xmm2
1741	pand	%xmm3,%xmm4
1742	pxor	%xmm7,%xmm1
1743
1744
1745	psrld	$22-13,%xmm7
1746	pxor	%xmm2,%xmm1
1747	movdqa	%xmm11,%xmm9
1748	pslld	$30-19,%xmm2
1749	pxor	%xmm1,%xmm7
1750	pxor	%xmm4,%xmm9
1751	paddd	%xmm5,%xmm13
1752	pxor	%xmm2,%xmm7
1753
1754	paddd	%xmm5,%xmm9
1755	paddd	%xmm7,%xmm9
1756	movdqa	128-128(%rax),%xmm5
1757	paddd	0-128(%rax),%xmm6
1758
1759	movdqa	%xmm5,%xmm7
1760	movdqa	%xmm5,%xmm1
1761	psrld	$3,%xmm7
1762	movdqa	%xmm5,%xmm2
1763
1764	psrld	$7,%xmm1
1765	movdqa	80-128(%rax),%xmm0
1766	pslld	$14,%xmm2
1767	pxor	%xmm1,%xmm7
1768	psrld	$18-7,%xmm1
1769	movdqa	%xmm0,%xmm4
1770	pxor	%xmm2,%xmm7
1771	pslld	$25-14,%xmm2
1772	pxor	%xmm1,%xmm7
1773	psrld	$10,%xmm0
1774	movdqa	%xmm4,%xmm1
1775
1776	psrld	$17,%xmm4
1777	pxor	%xmm2,%xmm7
1778	pslld	$13,%xmm1
1779	paddd	%xmm7,%xmm6
1780	pxor	%xmm4,%xmm0
1781	psrld	$19-17,%xmm4
1782	pxor	%xmm1,%xmm0
1783	pslld	$15-13,%xmm1
1784	pxor	%xmm4,%xmm0
1785	pxor	%xmm1,%xmm0
1786	paddd	%xmm0,%xmm6
1787	movdqa	%xmm13,%xmm7
1788
1789	movdqa	%xmm13,%xmm2
1790
1791	psrld	$6,%xmm7
1792	movdqa	%xmm13,%xmm1
1793	pslld	$7,%xmm2
1794	movdqa	%xmm6,112-128(%rax)
1795	paddd	%xmm8,%xmm6
1796
1797	psrld	$11,%xmm1
1798	pxor	%xmm2,%xmm7
1799	pslld	$21-7,%xmm2
1800	paddd	96(%rbp),%xmm6
1801	pxor	%xmm1,%xmm7
1802
1803	psrld	$25-11,%xmm1
1804	movdqa	%xmm13,%xmm0
1805
1806	pxor	%xmm2,%xmm7
1807	movdqa	%xmm13,%xmm4
1808	pslld	$26-21,%xmm2
1809	pandn	%xmm15,%xmm0
1810	pand	%xmm14,%xmm4
1811	pxor	%xmm1,%xmm7
1812
1813
1814	movdqa	%xmm9,%xmm1
1815	pxor	%xmm2,%xmm7
1816	movdqa	%xmm9,%xmm2
1817	psrld	$2,%xmm1
1818	paddd	%xmm7,%xmm6
1819	pxor	%xmm4,%xmm0
1820	movdqa	%xmm10,%xmm4
1821	movdqa	%xmm9,%xmm7
1822	pslld	$10,%xmm2
1823	pxor	%xmm9,%xmm4
1824
1825
1826	psrld	$13,%xmm7
1827	pxor	%xmm2,%xmm1
1828	paddd	%xmm0,%xmm6
1829	pslld	$19-10,%xmm2
1830	pand	%xmm4,%xmm3
1831	pxor	%xmm7,%xmm1
1832
1833
1834	psrld	$22-13,%xmm7
1835	pxor	%xmm2,%xmm1
1836	movdqa	%xmm10,%xmm8
1837	pslld	$30-19,%xmm2
1838	pxor	%xmm1,%xmm7
1839	pxor	%xmm3,%xmm8
1840	paddd	%xmm6,%xmm12
1841	pxor	%xmm2,%xmm7
1842
1843	paddd	%xmm6,%xmm8
1844	paddd	%xmm7,%xmm8
1845	leaq	256(%rbp),%rbp
1846	movdqa	144-128(%rax),%xmm6
1847	paddd	16-128(%rax),%xmm5
1848
1849	movdqa	%xmm6,%xmm7
1850	movdqa	%xmm6,%xmm1
1851	psrld	$3,%xmm7
1852	movdqa	%xmm6,%xmm2
1853
1854	psrld	$7,%xmm1
1855	movdqa	96-128(%rax),%xmm0
1856	pslld	$14,%xmm2
1857	pxor	%xmm1,%xmm7
1858	psrld	$18-7,%xmm1
1859	movdqa	%xmm0,%xmm3
1860	pxor	%xmm2,%xmm7
1861	pslld	$25-14,%xmm2
1862	pxor	%xmm1,%xmm7
1863	psrld	$10,%xmm0
1864	movdqa	%xmm3,%xmm1
1865
1866	psrld	$17,%xmm3
1867	pxor	%xmm2,%xmm7
1868	pslld	$13,%xmm1
1869	paddd	%xmm7,%xmm5
1870	pxor	%xmm3,%xmm0
1871	psrld	$19-17,%xmm3
1872	pxor	%xmm1,%xmm0
1873	pslld	$15-13,%xmm1
1874	pxor	%xmm3,%xmm0
1875	pxor	%xmm1,%xmm0
1876	paddd	%xmm0,%xmm5
1877	movdqa	%xmm12,%xmm7
1878
1879	movdqa	%xmm12,%xmm2
1880
1881	psrld	$6,%xmm7
1882	movdqa	%xmm12,%xmm1
1883	pslld	$7,%xmm2
1884	movdqa	%xmm5,128-128(%rax)
1885	paddd	%xmm15,%xmm5
1886
1887	psrld	$11,%xmm1
1888	pxor	%xmm2,%xmm7
1889	pslld	$21-7,%xmm2
1890	paddd	-128(%rbp),%xmm5
1891	pxor	%xmm1,%xmm7
1892
1893	psrld	$25-11,%xmm1
1894	movdqa	%xmm12,%xmm0
1895
1896	pxor	%xmm2,%xmm7
1897	movdqa	%xmm12,%xmm3
1898	pslld	$26-21,%xmm2
1899	pandn	%xmm14,%xmm0
1900	pand	%xmm13,%xmm3
1901	pxor	%xmm1,%xmm7
1902
1903
1904	movdqa	%xmm8,%xmm1
1905	pxor	%xmm2,%xmm7
1906	movdqa	%xmm8,%xmm2
1907	psrld	$2,%xmm1
1908	paddd	%xmm7,%xmm5
1909	pxor	%xmm3,%xmm0
1910	movdqa	%xmm9,%xmm3
1911	movdqa	%xmm8,%xmm7
1912	pslld	$10,%xmm2
1913	pxor	%xmm8,%xmm3
1914
1915
1916	psrld	$13,%xmm7
1917	pxor	%xmm2,%xmm1
1918	paddd	%xmm0,%xmm5
1919	pslld	$19-10,%xmm2
1920	pand	%xmm3,%xmm4
1921	pxor	%xmm7,%xmm1
1922
1923
1924	psrld	$22-13,%xmm7
1925	pxor	%xmm2,%xmm1
1926	movdqa	%xmm9,%xmm15
1927	pslld	$30-19,%xmm2
1928	pxor	%xmm1,%xmm7
1929	pxor	%xmm4,%xmm15
1930	paddd	%xmm5,%xmm11
1931	pxor	%xmm2,%xmm7
1932
1933	paddd	%xmm5,%xmm15
1934	paddd	%xmm7,%xmm15
1935	movdqa	160-128(%rax),%xmm5
1936	paddd	32-128(%rax),%xmm6
1937
1938	movdqa	%xmm5,%xmm7
1939	movdqa	%xmm5,%xmm1
1940	psrld	$3,%xmm7
1941	movdqa	%xmm5,%xmm2
1942
1943	psrld	$7,%xmm1
1944	movdqa	112-128(%rax),%xmm0
1945	pslld	$14,%xmm2
1946	pxor	%xmm1,%xmm7
1947	psrld	$18-7,%xmm1
1948	movdqa	%xmm0,%xmm4
1949	pxor	%xmm2,%xmm7
1950	pslld	$25-14,%xmm2
1951	pxor	%xmm1,%xmm7
1952	psrld	$10,%xmm0
1953	movdqa	%xmm4,%xmm1
1954
1955	psrld	$17,%xmm4
1956	pxor	%xmm2,%xmm7
1957	pslld	$13,%xmm1
1958	paddd	%xmm7,%xmm6
1959	pxor	%xmm4,%xmm0
1960	psrld	$19-17,%xmm4
1961	pxor	%xmm1,%xmm0
1962	pslld	$15-13,%xmm1
1963	pxor	%xmm4,%xmm0
1964	pxor	%xmm1,%xmm0
1965	paddd	%xmm0,%xmm6
1966	movdqa	%xmm11,%xmm7
1967
1968	movdqa	%xmm11,%xmm2
1969
1970	psrld	$6,%xmm7
1971	movdqa	%xmm11,%xmm1
1972	pslld	$7,%xmm2
1973	movdqa	%xmm6,144-128(%rax)
1974	paddd	%xmm14,%xmm6
1975
1976	psrld	$11,%xmm1
1977	pxor	%xmm2,%xmm7
1978	pslld	$21-7,%xmm2
1979	paddd	-96(%rbp),%xmm6
1980	pxor	%xmm1,%xmm7
1981
1982	psrld	$25-11,%xmm1
1983	movdqa	%xmm11,%xmm0
1984
1985	pxor	%xmm2,%xmm7
1986	movdqa	%xmm11,%xmm4
1987	pslld	$26-21,%xmm2
1988	pandn	%xmm13,%xmm0
1989	pand	%xmm12,%xmm4
1990	pxor	%xmm1,%xmm7
1991
1992
1993	movdqa	%xmm15,%xmm1
1994	pxor	%xmm2,%xmm7
1995	movdqa	%xmm15,%xmm2
1996	psrld	$2,%xmm1
1997	paddd	%xmm7,%xmm6
1998	pxor	%xmm4,%xmm0
1999	movdqa	%xmm8,%xmm4
2000	movdqa	%xmm15,%xmm7
2001	pslld	$10,%xmm2
2002	pxor	%xmm15,%xmm4
2003
2004
2005	psrld	$13,%xmm7
2006	pxor	%xmm2,%xmm1
2007	paddd	%xmm0,%xmm6
2008	pslld	$19-10,%xmm2
2009	pand	%xmm4,%xmm3
2010	pxor	%xmm7,%xmm1
2011
2012
2013	psrld	$22-13,%xmm7
2014	pxor	%xmm2,%xmm1
2015	movdqa	%xmm8,%xmm14
2016	pslld	$30-19,%xmm2
2017	pxor	%xmm1,%xmm7
2018	pxor	%xmm3,%xmm14
2019	paddd	%xmm6,%xmm10
2020	pxor	%xmm2,%xmm7
2021
2022	paddd	%xmm6,%xmm14
2023	paddd	%xmm7,%xmm14
2024	movdqa	176-128(%rax),%xmm6
2025	paddd	48-128(%rax),%xmm5
2026
2027	movdqa	%xmm6,%xmm7
2028	movdqa	%xmm6,%xmm1
2029	psrld	$3,%xmm7
2030	movdqa	%xmm6,%xmm2
2031
2032	psrld	$7,%xmm1
2033	movdqa	128-128(%rax),%xmm0
2034	pslld	$14,%xmm2
2035	pxor	%xmm1,%xmm7
2036	psrld	$18-7,%xmm1
2037	movdqa	%xmm0,%xmm3
2038	pxor	%xmm2,%xmm7
2039	pslld	$25-14,%xmm2
2040	pxor	%xmm1,%xmm7
2041	psrld	$10,%xmm0
2042	movdqa	%xmm3,%xmm1
2043
2044	psrld	$17,%xmm3
2045	pxor	%xmm2,%xmm7
2046	pslld	$13,%xmm1
2047	paddd	%xmm7,%xmm5
2048	pxor	%xmm3,%xmm0
2049	psrld	$19-17,%xmm3
2050	pxor	%xmm1,%xmm0
2051	pslld	$15-13,%xmm1
2052	pxor	%xmm3,%xmm0
2053	pxor	%xmm1,%xmm0
2054	paddd	%xmm0,%xmm5
2055	movdqa	%xmm10,%xmm7
2056
2057	movdqa	%xmm10,%xmm2
2058
2059	psrld	$6,%xmm7
2060	movdqa	%xmm10,%xmm1
2061	pslld	$7,%xmm2
2062	movdqa	%xmm5,160-128(%rax)
2063	paddd	%xmm13,%xmm5
2064
2065	psrld	$11,%xmm1
2066	pxor	%xmm2,%xmm7
2067	pslld	$21-7,%xmm2
2068	paddd	-64(%rbp),%xmm5
2069	pxor	%xmm1,%xmm7
2070
2071	psrld	$25-11,%xmm1
2072	movdqa	%xmm10,%xmm0
2073
2074	pxor	%xmm2,%xmm7
2075	movdqa	%xmm10,%xmm3
2076	pslld	$26-21,%xmm2
2077	pandn	%xmm12,%xmm0
2078	pand	%xmm11,%xmm3
2079	pxor	%xmm1,%xmm7
2080
2081
2082	movdqa	%xmm14,%xmm1
2083	pxor	%xmm2,%xmm7
2084	movdqa	%xmm14,%xmm2
2085	psrld	$2,%xmm1
2086	paddd	%xmm7,%xmm5
2087	pxor	%xmm3,%xmm0
2088	movdqa	%xmm15,%xmm3
2089	movdqa	%xmm14,%xmm7
2090	pslld	$10,%xmm2
2091	pxor	%xmm14,%xmm3
2092
2093
2094	psrld	$13,%xmm7
2095	pxor	%xmm2,%xmm1
2096	paddd	%xmm0,%xmm5
2097	pslld	$19-10,%xmm2
2098	pand	%xmm3,%xmm4
2099	pxor	%xmm7,%xmm1
2100
2101
2102	psrld	$22-13,%xmm7
2103	pxor	%xmm2,%xmm1
2104	movdqa	%xmm15,%xmm13
2105	pslld	$30-19,%xmm2
2106	pxor	%xmm1,%xmm7
2107	pxor	%xmm4,%xmm13
2108	paddd	%xmm5,%xmm9
2109	pxor	%xmm2,%xmm7
2110
2111	paddd	%xmm5,%xmm13
2112	paddd	%xmm7,%xmm13
2113	movdqa	192-128(%rax),%xmm5
2114	paddd	64-128(%rax),%xmm6
2115
2116	movdqa	%xmm5,%xmm7
2117	movdqa	%xmm5,%xmm1
2118	psrld	$3,%xmm7
2119	movdqa	%xmm5,%xmm2
2120
2121	psrld	$7,%xmm1
2122	movdqa	144-128(%rax),%xmm0
2123	pslld	$14,%xmm2
2124	pxor	%xmm1,%xmm7
2125	psrld	$18-7,%xmm1
2126	movdqa	%xmm0,%xmm4
2127	pxor	%xmm2,%xmm7
2128	pslld	$25-14,%xmm2
2129	pxor	%xmm1,%xmm7
2130	psrld	$10,%xmm0
2131	movdqa	%xmm4,%xmm1
2132
2133	psrld	$17,%xmm4
2134	pxor	%xmm2,%xmm7
2135	pslld	$13,%xmm1
2136	paddd	%xmm7,%xmm6
2137	pxor	%xmm4,%xmm0
2138	psrld	$19-17,%xmm4
2139	pxor	%xmm1,%xmm0
2140	pslld	$15-13,%xmm1
2141	pxor	%xmm4,%xmm0
2142	pxor	%xmm1,%xmm0
2143	paddd	%xmm0,%xmm6
2144	movdqa	%xmm9,%xmm7
2145
2146	movdqa	%xmm9,%xmm2
2147
2148	psrld	$6,%xmm7
2149	movdqa	%xmm9,%xmm1
2150	pslld	$7,%xmm2
2151	movdqa	%xmm6,176-128(%rax)
2152	paddd	%xmm12,%xmm6
2153
2154	psrld	$11,%xmm1
2155	pxor	%xmm2,%xmm7
2156	pslld	$21-7,%xmm2
2157	paddd	-32(%rbp),%xmm6
2158	pxor	%xmm1,%xmm7
2159
2160	psrld	$25-11,%xmm1
2161	movdqa	%xmm9,%xmm0
2162
2163	pxor	%xmm2,%xmm7
2164	movdqa	%xmm9,%xmm4
2165	pslld	$26-21,%xmm2
2166	pandn	%xmm11,%xmm0
2167	pand	%xmm10,%xmm4
2168	pxor	%xmm1,%xmm7
2169
2170
2171	movdqa	%xmm13,%xmm1
2172	pxor	%xmm2,%xmm7
2173	movdqa	%xmm13,%xmm2
2174	psrld	$2,%xmm1
2175	paddd	%xmm7,%xmm6
2176	pxor	%xmm4,%xmm0
2177	movdqa	%xmm14,%xmm4
2178	movdqa	%xmm13,%xmm7
2179	pslld	$10,%xmm2
2180	pxor	%xmm13,%xmm4
2181
2182
2183	psrld	$13,%xmm7
2184	pxor	%xmm2,%xmm1
2185	paddd	%xmm0,%xmm6
2186	pslld	$19-10,%xmm2
2187	pand	%xmm4,%xmm3
2188	pxor	%xmm7,%xmm1
2189
2190
2191	psrld	$22-13,%xmm7
2192	pxor	%xmm2,%xmm1
2193	movdqa	%xmm14,%xmm12
2194	pslld	$30-19,%xmm2
2195	pxor	%xmm1,%xmm7
2196	pxor	%xmm3,%xmm12
2197	paddd	%xmm6,%xmm8
2198	pxor	%xmm2,%xmm7
2199
2200	paddd	%xmm6,%xmm12
2201	paddd	%xmm7,%xmm12
2202	movdqa	208-128(%rax),%xmm6
2203	paddd	80-128(%rax),%xmm5
2204
2205	movdqa	%xmm6,%xmm7
2206	movdqa	%xmm6,%xmm1
2207	psrld	$3,%xmm7
2208	movdqa	%xmm6,%xmm2
2209
2210	psrld	$7,%xmm1
2211	movdqa	160-128(%rax),%xmm0
2212	pslld	$14,%xmm2
2213	pxor	%xmm1,%xmm7
2214	psrld	$18-7,%xmm1
2215	movdqa	%xmm0,%xmm3
2216	pxor	%xmm2,%xmm7
2217	pslld	$25-14,%xmm2
2218	pxor	%xmm1,%xmm7
2219	psrld	$10,%xmm0
2220	movdqa	%xmm3,%xmm1
2221
2222	psrld	$17,%xmm3
2223	pxor	%xmm2,%xmm7
2224	pslld	$13,%xmm1
2225	paddd	%xmm7,%xmm5
2226	pxor	%xmm3,%xmm0
2227	psrld	$19-17,%xmm3
2228	pxor	%xmm1,%xmm0
2229	pslld	$15-13,%xmm1
2230	pxor	%xmm3,%xmm0
2231	pxor	%xmm1,%xmm0
2232	paddd	%xmm0,%xmm5
2233	movdqa	%xmm8,%xmm7
2234
2235	movdqa	%xmm8,%xmm2
2236
2237	psrld	$6,%xmm7
2238	movdqa	%xmm8,%xmm1
2239	pslld	$7,%xmm2
2240	movdqa	%xmm5,192-128(%rax)
2241	paddd	%xmm11,%xmm5
2242
2243	psrld	$11,%xmm1
2244	pxor	%xmm2,%xmm7
2245	pslld	$21-7,%xmm2
2246	paddd	0(%rbp),%xmm5
2247	pxor	%xmm1,%xmm7
2248
2249	psrld	$25-11,%xmm1
2250	movdqa	%xmm8,%xmm0
2251
2252	pxor	%xmm2,%xmm7
2253	movdqa	%xmm8,%xmm3
2254	pslld	$26-21,%xmm2
2255	pandn	%xmm10,%xmm0
2256	pand	%xmm9,%xmm3
2257	pxor	%xmm1,%xmm7
2258
2259
2260	movdqa	%xmm12,%xmm1
2261	pxor	%xmm2,%xmm7
2262	movdqa	%xmm12,%xmm2
2263	psrld	$2,%xmm1
2264	paddd	%xmm7,%xmm5
2265	pxor	%xmm3,%xmm0
2266	movdqa	%xmm13,%xmm3
2267	movdqa	%xmm12,%xmm7
2268	pslld	$10,%xmm2
2269	pxor	%xmm12,%xmm3
2270
2271
2272	psrld	$13,%xmm7
2273	pxor	%xmm2,%xmm1
2274	paddd	%xmm0,%xmm5
2275	pslld	$19-10,%xmm2
2276	pand	%xmm3,%xmm4
2277	pxor	%xmm7,%xmm1
2278
2279
2280	psrld	$22-13,%xmm7
2281	pxor	%xmm2,%xmm1
2282	movdqa	%xmm13,%xmm11
2283	pslld	$30-19,%xmm2
2284	pxor	%xmm1,%xmm7
2285	pxor	%xmm4,%xmm11
2286	paddd	%xmm5,%xmm15
2287	pxor	%xmm2,%xmm7
2288
2289	paddd	%xmm5,%xmm11
2290	paddd	%xmm7,%xmm11
2291	movdqa	224-128(%rax),%xmm5
2292	paddd	96-128(%rax),%xmm6
2293
2294	movdqa	%xmm5,%xmm7
2295	movdqa	%xmm5,%xmm1
2296	psrld	$3,%xmm7
2297	movdqa	%xmm5,%xmm2
2298
2299	psrld	$7,%xmm1
2300	movdqa	176-128(%rax),%xmm0
2301	pslld	$14,%xmm2
2302	pxor	%xmm1,%xmm7
2303	psrld	$18-7,%xmm1
2304	movdqa	%xmm0,%xmm4
2305	pxor	%xmm2,%xmm7
2306	pslld	$25-14,%xmm2
2307	pxor	%xmm1,%xmm7
2308	psrld	$10,%xmm0
2309	movdqa	%xmm4,%xmm1
2310
2311	psrld	$17,%xmm4
2312	pxor	%xmm2,%xmm7
2313	pslld	$13,%xmm1
2314	paddd	%xmm7,%xmm6
2315	pxor	%xmm4,%xmm0
2316	psrld	$19-17,%xmm4
2317	pxor	%xmm1,%xmm0
2318	pslld	$15-13,%xmm1
2319	pxor	%xmm4,%xmm0
2320	pxor	%xmm1,%xmm0
2321	paddd	%xmm0,%xmm6
2322	movdqa	%xmm15,%xmm7
2323
2324	movdqa	%xmm15,%xmm2
2325
2326	psrld	$6,%xmm7
2327	movdqa	%xmm15,%xmm1
2328	pslld	$7,%xmm2
2329	movdqa	%xmm6,208-128(%rax)
2330	paddd	%xmm10,%xmm6
2331
2332	psrld	$11,%xmm1
2333	pxor	%xmm2,%xmm7
2334	pslld	$21-7,%xmm2
2335	paddd	32(%rbp),%xmm6
2336	pxor	%xmm1,%xmm7
2337
2338	psrld	$25-11,%xmm1
2339	movdqa	%xmm15,%xmm0
2340
2341	pxor	%xmm2,%xmm7
2342	movdqa	%xmm15,%xmm4
2343	pslld	$26-21,%xmm2
2344	pandn	%xmm9,%xmm0
2345	pand	%xmm8,%xmm4
2346	pxor	%xmm1,%xmm7
2347
2348
2349	movdqa	%xmm11,%xmm1
2350	pxor	%xmm2,%xmm7
2351	movdqa	%xmm11,%xmm2
2352	psrld	$2,%xmm1
2353	paddd	%xmm7,%xmm6
2354	pxor	%xmm4,%xmm0
2355	movdqa	%xmm12,%xmm4
2356	movdqa	%xmm11,%xmm7
2357	pslld	$10,%xmm2
2358	pxor	%xmm11,%xmm4
2359
2360
2361	psrld	$13,%xmm7
2362	pxor	%xmm2,%xmm1
2363	paddd	%xmm0,%xmm6
2364	pslld	$19-10,%xmm2
2365	pand	%xmm4,%xmm3
2366	pxor	%xmm7,%xmm1
2367
2368
2369	psrld	$22-13,%xmm7
2370	pxor	%xmm2,%xmm1
2371	movdqa	%xmm12,%xmm10
2372	pslld	$30-19,%xmm2
2373	pxor	%xmm1,%xmm7
2374	pxor	%xmm3,%xmm10
2375	paddd	%xmm6,%xmm14
2376	pxor	%xmm2,%xmm7
2377
2378	paddd	%xmm6,%xmm10
2379	paddd	%xmm7,%xmm10
2380	movdqa	240-128(%rax),%xmm6
2381	paddd	112-128(%rax),%xmm5
2382
2383	movdqa	%xmm6,%xmm7
2384	movdqa	%xmm6,%xmm1
2385	psrld	$3,%xmm7
2386	movdqa	%xmm6,%xmm2
2387
2388	psrld	$7,%xmm1
2389	movdqa	192-128(%rax),%xmm0
2390	pslld	$14,%xmm2
2391	pxor	%xmm1,%xmm7
2392	psrld	$18-7,%xmm1
2393	movdqa	%xmm0,%xmm3
2394	pxor	%xmm2,%xmm7
2395	pslld	$25-14,%xmm2
2396	pxor	%xmm1,%xmm7
2397	psrld	$10,%xmm0
2398	movdqa	%xmm3,%xmm1
2399
2400	psrld	$17,%xmm3
2401	pxor	%xmm2,%xmm7
2402	pslld	$13,%xmm1
2403	paddd	%xmm7,%xmm5
2404	pxor	%xmm3,%xmm0
2405	psrld	$19-17,%xmm3
2406	pxor	%xmm1,%xmm0
2407	pslld	$15-13,%xmm1
2408	pxor	%xmm3,%xmm0
2409	pxor	%xmm1,%xmm0
2410	paddd	%xmm0,%xmm5
2411	movdqa	%xmm14,%xmm7
2412
2413	movdqa	%xmm14,%xmm2
2414
2415	psrld	$6,%xmm7
2416	movdqa	%xmm14,%xmm1
2417	pslld	$7,%xmm2
2418	movdqa	%xmm5,224-128(%rax)
2419	paddd	%xmm9,%xmm5
2420
2421	psrld	$11,%xmm1
2422	pxor	%xmm2,%xmm7
2423	pslld	$21-7,%xmm2
2424	paddd	64(%rbp),%xmm5
2425	pxor	%xmm1,%xmm7
2426
2427	psrld	$25-11,%xmm1
2428	movdqa	%xmm14,%xmm0
2429
2430	pxor	%xmm2,%xmm7
2431	movdqa	%xmm14,%xmm3
2432	pslld	$26-21,%xmm2
2433	pandn	%xmm8,%xmm0
2434	pand	%xmm15,%xmm3
2435	pxor	%xmm1,%xmm7
2436
2437
2438	movdqa	%xmm10,%xmm1
2439	pxor	%xmm2,%xmm7
2440	movdqa	%xmm10,%xmm2
2441	psrld	$2,%xmm1
2442	paddd	%xmm7,%xmm5
2443	pxor	%xmm3,%xmm0
2444	movdqa	%xmm11,%xmm3
2445	movdqa	%xmm10,%xmm7
2446	pslld	$10,%xmm2
2447	pxor	%xmm10,%xmm3
2448
2449
2450	psrld	$13,%xmm7
2451	pxor	%xmm2,%xmm1
2452	paddd	%xmm0,%xmm5
2453	pslld	$19-10,%xmm2
2454	pand	%xmm3,%xmm4
2455	pxor	%xmm7,%xmm1
2456
2457
2458	psrld	$22-13,%xmm7
2459	pxor	%xmm2,%xmm1
2460	movdqa	%xmm11,%xmm9
2461	pslld	$30-19,%xmm2
2462	pxor	%xmm1,%xmm7
2463	pxor	%xmm4,%xmm9
2464	paddd	%xmm5,%xmm13
2465	pxor	%xmm2,%xmm7
2466
2467	paddd	%xmm5,%xmm9
2468	paddd	%xmm7,%xmm9
2469	movdqa	0-128(%rax),%xmm5
2470	paddd	128-128(%rax),%xmm6
2471
2472	movdqa	%xmm5,%xmm7
2473	movdqa	%xmm5,%xmm1
2474	psrld	$3,%xmm7
2475	movdqa	%xmm5,%xmm2
2476
2477	psrld	$7,%xmm1
2478	movdqa	208-128(%rax),%xmm0
2479	pslld	$14,%xmm2
2480	pxor	%xmm1,%xmm7
2481	psrld	$18-7,%xmm1
2482	movdqa	%xmm0,%xmm4
2483	pxor	%xmm2,%xmm7
2484	pslld	$25-14,%xmm2
2485	pxor	%xmm1,%xmm7
2486	psrld	$10,%xmm0
2487	movdqa	%xmm4,%xmm1
2488
2489	psrld	$17,%xmm4
2490	pxor	%xmm2,%xmm7
2491	pslld	$13,%xmm1
2492	paddd	%xmm7,%xmm6
2493	pxor	%xmm4,%xmm0
2494	psrld	$19-17,%xmm4
2495	pxor	%xmm1,%xmm0
2496	pslld	$15-13,%xmm1
2497	pxor	%xmm4,%xmm0
2498	pxor	%xmm1,%xmm0
2499	paddd	%xmm0,%xmm6
2500	movdqa	%xmm13,%xmm7
2501
2502	movdqa	%xmm13,%xmm2
2503
2504	psrld	$6,%xmm7
2505	movdqa	%xmm13,%xmm1
2506	pslld	$7,%xmm2
2507	movdqa	%xmm6,240-128(%rax)
2508	paddd	%xmm8,%xmm6
2509
2510	psrld	$11,%xmm1
2511	pxor	%xmm2,%xmm7
2512	pslld	$21-7,%xmm2
2513	paddd	96(%rbp),%xmm6
2514	pxor	%xmm1,%xmm7
2515
2516	psrld	$25-11,%xmm1
2517	movdqa	%xmm13,%xmm0
2518
2519	pxor	%xmm2,%xmm7
2520	movdqa	%xmm13,%xmm4
2521	pslld	$26-21,%xmm2
2522	pandn	%xmm15,%xmm0
2523	pand	%xmm14,%xmm4
2524	pxor	%xmm1,%xmm7
2525
2526
2527	movdqa	%xmm9,%xmm1
2528	pxor	%xmm2,%xmm7
2529	movdqa	%xmm9,%xmm2
2530	psrld	$2,%xmm1
2531	paddd	%xmm7,%xmm6
2532	pxor	%xmm4,%xmm0
2533	movdqa	%xmm10,%xmm4
2534	movdqa	%xmm9,%xmm7
2535	pslld	$10,%xmm2
2536	pxor	%xmm9,%xmm4
2537
2538
2539	psrld	$13,%xmm7
2540	pxor	%xmm2,%xmm1
2541	paddd	%xmm0,%xmm6
2542	pslld	$19-10,%xmm2
2543	pand	%xmm4,%xmm3
2544	pxor	%xmm7,%xmm1
2545
2546
2547	psrld	$22-13,%xmm7
2548	pxor	%xmm2,%xmm1
2549	movdqa	%xmm10,%xmm8
2550	pslld	$30-19,%xmm2
2551	pxor	%xmm1,%xmm7
2552	pxor	%xmm3,%xmm8
2553	paddd	%xmm6,%xmm12
2554	pxor	%xmm2,%xmm7
2555
2556	paddd	%xmm6,%xmm8
2557	paddd	%xmm7,%xmm8
2558	leaq	256(%rbp),%rbp
2559	decl	%ecx
2560	jnz	.Loop_16_xx
2561
2562	movl	$1,%ecx
2563	leaq	K256+128(%rip),%rbp
2564
2565	movdqa	(%rbx),%xmm7
2566	cmpl	0(%rbx),%ecx
2567	pxor	%xmm0,%xmm0
2568	cmovgeq	%rbp,%r8
2569	cmpl	4(%rbx),%ecx
2570	movdqa	%xmm7,%xmm6
2571	cmovgeq	%rbp,%r9
2572	cmpl	8(%rbx),%ecx
2573	pcmpgtd	%xmm0,%xmm6
2574	cmovgeq	%rbp,%r10
2575	cmpl	12(%rbx),%ecx
2576	paddd	%xmm6,%xmm7
2577	cmovgeq	%rbp,%r11
2578
2579	movdqu	0-128(%rdi),%xmm0
2580	pand	%xmm6,%xmm8
2581	movdqu	32-128(%rdi),%xmm1
2582	pand	%xmm6,%xmm9
2583	movdqu	64-128(%rdi),%xmm2
2584	pand	%xmm6,%xmm10
2585	movdqu	96-128(%rdi),%xmm5
2586	pand	%xmm6,%xmm11
2587	paddd	%xmm0,%xmm8
2588	movdqu	128-128(%rdi),%xmm0
2589	pand	%xmm6,%xmm12
2590	paddd	%xmm1,%xmm9
2591	movdqu	160-128(%rdi),%xmm1
2592	pand	%xmm6,%xmm13
2593	paddd	%xmm2,%xmm10
2594	movdqu	192-128(%rdi),%xmm2
2595	pand	%xmm6,%xmm14
2596	paddd	%xmm5,%xmm11
2597	movdqu	224-128(%rdi),%xmm5
2598	pand	%xmm6,%xmm15
2599	paddd	%xmm0,%xmm12
2600	paddd	%xmm1,%xmm13
2601	movdqu	%xmm8,0-128(%rdi)
2602	paddd	%xmm2,%xmm14
2603	movdqu	%xmm9,32-128(%rdi)
2604	paddd	%xmm5,%xmm15
2605	movdqu	%xmm10,64-128(%rdi)
2606	movdqu	%xmm11,96-128(%rdi)
2607	movdqu	%xmm12,128-128(%rdi)
2608	movdqu	%xmm13,160-128(%rdi)
2609	movdqu	%xmm14,192-128(%rdi)
2610	movdqu	%xmm15,224-128(%rdi)
2611
2612	movdqa	%xmm7,(%rbx)
2613	movdqa	.Lpbswap(%rip),%xmm6
2614	decl	%edx
2615	jnz	.Loop
2616
2617	movl	280(%rsp),%edx
2618	leaq	16(%rdi),%rdi
2619	leaq	64(%rsi),%rsi
2620	decl	%edx
2621	jnz	.Loop_grande
2622
2623.Ldone:
2624	movq	272(%rsp),%rax
2625.cfi_def_cfa	%rax,8
2626	movq	-16(%rax),%rbp
2627.cfi_restore	%rbp
2628	movq	-8(%rax),%rbx
2629.cfi_restore	%rbx
2630	leaq	(%rax),%rsp
2631.cfi_def_cfa_register	%rsp
2632.Lepilogue:
2633	.byte	0xf3,0xc3
2634.cfi_endproc
2635.size	sha256_multi_block,.-sha256_multi_block
2636.type	sha256_multi_block_shaext,@function
2637.align	32
2638sha256_multi_block_shaext:
2639.cfi_startproc
2640_shaext_shortcut:
2641	movq	%rsp,%rax
2642.cfi_def_cfa_register	%rax
2643	pushq	%rbx
2644.cfi_offset	%rbx,-16
2645	pushq	%rbp
2646.cfi_offset	%rbp,-24
2647	subq	$288,%rsp
2648	shll	$1,%edx
2649	andq	$-256,%rsp
2650	leaq	128(%rdi),%rdi
2651	movq	%rax,272(%rsp)
2652.Lbody_shaext:
2653	leaq	256(%rsp),%rbx
2654	leaq	K256_shaext+128(%rip),%rbp
2655
2656.Loop_grande_shaext:
2657	movl	%edx,280(%rsp)
2658	xorl	%edx,%edx
2659	movq	0(%rsi),%r8
2660	movl	8(%rsi),%ecx
2661	cmpl	%edx,%ecx
2662	cmovgl	%ecx,%edx
2663	testl	%ecx,%ecx
2664	movl	%ecx,0(%rbx)
2665	cmovleq	%rsp,%r8
2666	movq	16(%rsi),%r9
2667	movl	24(%rsi),%ecx
2668	cmpl	%edx,%ecx
2669	cmovgl	%ecx,%edx
2670	testl	%ecx,%ecx
2671	movl	%ecx,4(%rbx)
2672	cmovleq	%rsp,%r9
2673	testl	%edx,%edx
2674	jz	.Ldone_shaext
2675
2676	movq	0-128(%rdi),%xmm12
2677	movq	32-128(%rdi),%xmm4
2678	movq	64-128(%rdi),%xmm13
2679	movq	96-128(%rdi),%xmm5
2680	movq	128-128(%rdi),%xmm8
2681	movq	160-128(%rdi),%xmm9
2682	movq	192-128(%rdi),%xmm10
2683	movq	224-128(%rdi),%xmm11
2684
2685	punpckldq	%xmm4,%xmm12
2686	punpckldq	%xmm5,%xmm13
2687	punpckldq	%xmm9,%xmm8
2688	punpckldq	%xmm11,%xmm10
2689	movdqa	K256_shaext-16(%rip),%xmm3
2690
2691	movdqa	%xmm12,%xmm14
2692	movdqa	%xmm13,%xmm15
2693	punpcklqdq	%xmm8,%xmm12
2694	punpcklqdq	%xmm10,%xmm13
2695	punpckhqdq	%xmm8,%xmm14
2696	punpckhqdq	%xmm10,%xmm15
2697
2698	pshufd	$27,%xmm12,%xmm12
2699	pshufd	$27,%xmm13,%xmm13
2700	pshufd	$27,%xmm14,%xmm14
2701	pshufd	$27,%xmm15,%xmm15
2702	jmp	.Loop_shaext
2703
2704.align	32
2705.Loop_shaext:
2706	movdqu	0(%r8),%xmm4
2707	movdqu	0(%r9),%xmm8
2708	movdqu	16(%r8),%xmm5
2709	movdqu	16(%r9),%xmm9
2710	movdqu	32(%r8),%xmm6
2711.byte	102,15,56,0,227
2712	movdqu	32(%r9),%xmm10
2713.byte	102,68,15,56,0,195
2714	movdqu	48(%r8),%xmm7
2715	leaq	64(%r8),%r8
2716	movdqu	48(%r9),%xmm11
2717	leaq	64(%r9),%r9
2718
2719	movdqa	0-128(%rbp),%xmm0
2720.byte	102,15,56,0,235
2721	paddd	%xmm4,%xmm0
2722	pxor	%xmm12,%xmm4
2723	movdqa	%xmm0,%xmm1
2724	movdqa	0-128(%rbp),%xmm2
2725.byte	102,68,15,56,0,203
2726	paddd	%xmm8,%xmm2
2727	movdqa	%xmm13,80(%rsp)
2728.byte	69,15,56,203,236
2729	pxor	%xmm14,%xmm8
2730	movdqa	%xmm2,%xmm0
2731	movdqa	%xmm15,112(%rsp)
2732.byte	69,15,56,203,254
2733	pshufd	$0x0e,%xmm1,%xmm0
2734	pxor	%xmm12,%xmm4
2735	movdqa	%xmm12,64(%rsp)
2736.byte	69,15,56,203,229
2737	pshufd	$0x0e,%xmm2,%xmm0
2738	pxor	%xmm14,%xmm8
2739	movdqa	%xmm14,96(%rsp)
2740	movdqa	16-128(%rbp),%xmm1
2741	paddd	%xmm5,%xmm1
2742.byte	102,15,56,0,243
2743.byte	69,15,56,203,247
2744
2745	movdqa	%xmm1,%xmm0
2746	movdqa	16-128(%rbp),%xmm2
2747	paddd	%xmm9,%xmm2
2748.byte	69,15,56,203,236
2749	movdqa	%xmm2,%xmm0
2750	prefetcht0	127(%r8)
2751.byte	102,15,56,0,251
2752.byte	102,68,15,56,0,211
2753	prefetcht0	127(%r9)
2754.byte	69,15,56,203,254
2755	pshufd	$0x0e,%xmm1,%xmm0
2756.byte	102,68,15,56,0,219
2757.byte	15,56,204,229
2758.byte	69,15,56,203,229
2759	pshufd	$0x0e,%xmm2,%xmm0
2760	movdqa	32-128(%rbp),%xmm1
2761	paddd	%xmm6,%xmm1
2762.byte	69,15,56,203,247
2763
2764	movdqa	%xmm1,%xmm0
2765	movdqa	32-128(%rbp),%xmm2
2766	paddd	%xmm10,%xmm2
2767.byte	69,15,56,203,236
2768.byte	69,15,56,204,193
2769	movdqa	%xmm2,%xmm0
2770	movdqa	%xmm7,%xmm3
2771.byte	69,15,56,203,254
2772	pshufd	$0x0e,%xmm1,%xmm0
2773.byte	102,15,58,15,222,4
2774	paddd	%xmm3,%xmm4
2775	movdqa	%xmm11,%xmm3
2776.byte	102,65,15,58,15,218,4
2777.byte	15,56,204,238
2778.byte	69,15,56,203,229
2779	pshufd	$0x0e,%xmm2,%xmm0
2780	movdqa	48-128(%rbp),%xmm1
2781	paddd	%xmm7,%xmm1
2782.byte	69,15,56,203,247
2783.byte	69,15,56,204,202
2784
2785	movdqa	%xmm1,%xmm0
2786	movdqa	48-128(%rbp),%xmm2
2787	paddd	%xmm3,%xmm8
2788	paddd	%xmm11,%xmm2
2789.byte	15,56,205,231
2790.byte	69,15,56,203,236
2791	movdqa	%xmm2,%xmm0
2792	movdqa	%xmm4,%xmm3
2793.byte	102,15,58,15,223,4
2794.byte	69,15,56,203,254
2795.byte	69,15,56,205,195
2796	pshufd	$0x0e,%xmm1,%xmm0
2797	paddd	%xmm3,%xmm5
2798	movdqa	%xmm8,%xmm3
2799.byte	102,65,15,58,15,219,4
2800.byte	15,56,204,247
2801.byte	69,15,56,203,229
2802	pshufd	$0x0e,%xmm2,%xmm0
2803	movdqa	64-128(%rbp),%xmm1
2804	paddd	%xmm4,%xmm1
2805.byte	69,15,56,203,247
2806.byte	69,15,56,204,211
2807	movdqa	%xmm1,%xmm0
2808	movdqa	64-128(%rbp),%xmm2
2809	paddd	%xmm3,%xmm9
2810	paddd	%xmm8,%xmm2
2811.byte	15,56,205,236
2812.byte	69,15,56,203,236
2813	movdqa	%xmm2,%xmm0
2814	movdqa	%xmm5,%xmm3
2815.byte	102,15,58,15,220,4
2816.byte	69,15,56,203,254
2817.byte	69,15,56,205,200
2818	pshufd	$0x0e,%xmm1,%xmm0
2819	paddd	%xmm3,%xmm6
2820	movdqa	%xmm9,%xmm3
2821.byte	102,65,15,58,15,216,4
2822.byte	15,56,204,252
2823.byte	69,15,56,203,229
2824	pshufd	$0x0e,%xmm2,%xmm0
2825	movdqa	80-128(%rbp),%xmm1
2826	paddd	%xmm5,%xmm1
2827.byte	69,15,56,203,247
2828.byte	69,15,56,204,216
2829	movdqa	%xmm1,%xmm0
2830	movdqa	80-128(%rbp),%xmm2
2831	paddd	%xmm3,%xmm10
2832	paddd	%xmm9,%xmm2
2833.byte	15,56,205,245
2834.byte	69,15,56,203,236
2835	movdqa	%xmm2,%xmm0
2836	movdqa	%xmm6,%xmm3
2837.byte	102,15,58,15,221,4
2838.byte	69,15,56,203,254
2839.byte	69,15,56,205,209
2840	pshufd	$0x0e,%xmm1,%xmm0
2841	paddd	%xmm3,%xmm7
2842	movdqa	%xmm10,%xmm3
2843.byte	102,65,15,58,15,217,4
2844.byte	15,56,204,229
2845.byte	69,15,56,203,229
2846	pshufd	$0x0e,%xmm2,%xmm0
2847	movdqa	96-128(%rbp),%xmm1
2848	paddd	%xmm6,%xmm1
2849.byte	69,15,56,203,247
2850.byte	69,15,56,204,193
2851	movdqa	%xmm1,%xmm0
2852	movdqa	96-128(%rbp),%xmm2
2853	paddd	%xmm3,%xmm11
2854	paddd	%xmm10,%xmm2
2855.byte	15,56,205,254
2856.byte	69,15,56,203,236
2857	movdqa	%xmm2,%xmm0
2858	movdqa	%xmm7,%xmm3
2859.byte	102,15,58,15,222,4
2860.byte	69,15,56,203,254
2861.byte	69,15,56,205,218
2862	pshufd	$0x0e,%xmm1,%xmm0
2863	paddd	%xmm3,%xmm4
2864	movdqa	%xmm11,%xmm3
2865.byte	102,65,15,58,15,218,4
2866.byte	15,56,204,238
2867.byte	69,15,56,203,229
2868	pshufd	$0x0e,%xmm2,%xmm0
2869	movdqa	112-128(%rbp),%xmm1
2870	paddd	%xmm7,%xmm1
2871.byte	69,15,56,203,247
2872.byte	69,15,56,204,202
2873	movdqa	%xmm1,%xmm0
2874	movdqa	112-128(%rbp),%xmm2
2875	paddd	%xmm3,%xmm8
2876	paddd	%xmm11,%xmm2
2877.byte	15,56,205,231
2878.byte	69,15,56,203,236
2879	movdqa	%xmm2,%xmm0
2880	movdqa	%xmm4,%xmm3
2881.byte	102,15,58,15,223,4
2882.byte	69,15,56,203,254
2883.byte	69,15,56,205,195
2884	pshufd	$0x0e,%xmm1,%xmm0
2885	paddd	%xmm3,%xmm5
2886	movdqa	%xmm8,%xmm3
2887.byte	102,65,15,58,15,219,4
2888.byte	15,56,204,247
2889.byte	69,15,56,203,229
2890	pshufd	$0x0e,%xmm2,%xmm0
2891	movdqa	128-128(%rbp),%xmm1
2892	paddd	%xmm4,%xmm1
2893.byte	69,15,56,203,247
2894.byte	69,15,56,204,211
2895	movdqa	%xmm1,%xmm0
2896	movdqa	128-128(%rbp),%xmm2
2897	paddd	%xmm3,%xmm9
2898	paddd	%xmm8,%xmm2
2899.byte	15,56,205,236
2900.byte	69,15,56,203,236
2901	movdqa	%xmm2,%xmm0
2902	movdqa	%xmm5,%xmm3
2903.byte	102,15,58,15,220,4
2904.byte	69,15,56,203,254
2905.byte	69,15,56,205,200
2906	pshufd	$0x0e,%xmm1,%xmm0
2907	paddd	%xmm3,%xmm6
2908	movdqa	%xmm9,%xmm3
2909.byte	102,65,15,58,15,216,4
2910.byte	15,56,204,252
2911.byte	69,15,56,203,229
2912	pshufd	$0x0e,%xmm2,%xmm0
2913	movdqa	144-128(%rbp),%xmm1
2914	paddd	%xmm5,%xmm1
2915.byte	69,15,56,203,247
2916.byte	69,15,56,204,216
2917	movdqa	%xmm1,%xmm0
2918	movdqa	144-128(%rbp),%xmm2
2919	paddd	%xmm3,%xmm10
2920	paddd	%xmm9,%xmm2
2921.byte	15,56,205,245
2922.byte	69,15,56,203,236
2923	movdqa	%xmm2,%xmm0
2924	movdqa	%xmm6,%xmm3
2925.byte	102,15,58,15,221,4
2926.byte	69,15,56,203,254
2927.byte	69,15,56,205,209
2928	pshufd	$0x0e,%xmm1,%xmm0
2929	paddd	%xmm3,%xmm7
2930	movdqa	%xmm10,%xmm3
2931.byte	102,65,15,58,15,217,4
2932.byte	15,56,204,229
2933.byte	69,15,56,203,229
2934	pshufd	$0x0e,%xmm2,%xmm0
2935	movdqa	160-128(%rbp),%xmm1
2936	paddd	%xmm6,%xmm1
2937.byte	69,15,56,203,247
2938.byte	69,15,56,204,193
2939	movdqa	%xmm1,%xmm0
2940	movdqa	160-128(%rbp),%xmm2
2941	paddd	%xmm3,%xmm11
2942	paddd	%xmm10,%xmm2
2943.byte	15,56,205,254
2944.byte	69,15,56,203,236
2945	movdqa	%xmm2,%xmm0
2946	movdqa	%xmm7,%xmm3
2947.byte	102,15,58,15,222,4
2948.byte	69,15,56,203,254
2949.byte	69,15,56,205,218
2950	pshufd	$0x0e,%xmm1,%xmm0
2951	paddd	%xmm3,%xmm4
2952	movdqa	%xmm11,%xmm3
2953.byte	102,65,15,58,15,218,4
2954.byte	15,56,204,238
2955.byte	69,15,56,203,229
2956	pshufd	$0x0e,%xmm2,%xmm0
2957	movdqa	176-128(%rbp),%xmm1
2958	paddd	%xmm7,%xmm1
2959.byte	69,15,56,203,247
2960.byte	69,15,56,204,202
2961	movdqa	%xmm1,%xmm0
2962	movdqa	176-128(%rbp),%xmm2
2963	paddd	%xmm3,%xmm8
2964	paddd	%xmm11,%xmm2
2965.byte	15,56,205,231
2966.byte	69,15,56,203,236
2967	movdqa	%xmm2,%xmm0
2968	movdqa	%xmm4,%xmm3
2969.byte	102,15,58,15,223,4
2970.byte	69,15,56,203,254
2971.byte	69,15,56,205,195
2972	pshufd	$0x0e,%xmm1,%xmm0
2973	paddd	%xmm3,%xmm5
2974	movdqa	%xmm8,%xmm3
2975.byte	102,65,15,58,15,219,4
2976.byte	15,56,204,247
2977.byte	69,15,56,203,229
2978	pshufd	$0x0e,%xmm2,%xmm0
2979	movdqa	192-128(%rbp),%xmm1
2980	paddd	%xmm4,%xmm1
2981.byte	69,15,56,203,247
2982.byte	69,15,56,204,211
2983	movdqa	%xmm1,%xmm0
2984	movdqa	192-128(%rbp),%xmm2
2985	paddd	%xmm3,%xmm9
2986	paddd	%xmm8,%xmm2
2987.byte	15,56,205,236
2988.byte	69,15,56,203,236
2989	movdqa	%xmm2,%xmm0
2990	movdqa	%xmm5,%xmm3
2991.byte	102,15,58,15,220,4
2992.byte	69,15,56,203,254
2993.byte	69,15,56,205,200
2994	pshufd	$0x0e,%xmm1,%xmm0
2995	paddd	%xmm3,%xmm6
2996	movdqa	%xmm9,%xmm3
2997.byte	102,65,15,58,15,216,4
2998.byte	15,56,204,252
2999.byte	69,15,56,203,229
3000	pshufd	$0x0e,%xmm2,%xmm0
3001	movdqa	208-128(%rbp),%xmm1
3002	paddd	%xmm5,%xmm1
3003.byte	69,15,56,203,247
3004.byte	69,15,56,204,216
3005	movdqa	%xmm1,%xmm0
3006	movdqa	208-128(%rbp),%xmm2
3007	paddd	%xmm3,%xmm10
3008	paddd	%xmm9,%xmm2
3009.byte	15,56,205,245
3010.byte	69,15,56,203,236
3011	movdqa	%xmm2,%xmm0
3012	movdqa	%xmm6,%xmm3
3013.byte	102,15,58,15,221,4
3014.byte	69,15,56,203,254
3015.byte	69,15,56,205,209
3016	pshufd	$0x0e,%xmm1,%xmm0
3017	paddd	%xmm3,%xmm7
3018	movdqa	%xmm10,%xmm3
3019.byte	102,65,15,58,15,217,4
3020	nop
3021.byte	69,15,56,203,229
3022	pshufd	$0x0e,%xmm2,%xmm0
3023	movdqa	224-128(%rbp),%xmm1
3024	paddd	%xmm6,%xmm1
3025.byte	69,15,56,203,247
3026
3027	movdqa	%xmm1,%xmm0
3028	movdqa	224-128(%rbp),%xmm2
3029	paddd	%xmm3,%xmm11
3030	paddd	%xmm10,%xmm2
3031.byte	15,56,205,254
3032	nop
3033.byte	69,15,56,203,236
3034	movdqa	%xmm2,%xmm0
3035	movl	$1,%ecx
3036	pxor	%xmm6,%xmm6
3037.byte	69,15,56,203,254
3038.byte	69,15,56,205,218
3039	pshufd	$0x0e,%xmm1,%xmm0
3040	movdqa	240-128(%rbp),%xmm1
3041	paddd	%xmm7,%xmm1
3042	movq	(%rbx),%xmm7
3043	nop
3044.byte	69,15,56,203,229
3045	pshufd	$0x0e,%xmm2,%xmm0
3046	movdqa	240-128(%rbp),%xmm2
3047	paddd	%xmm11,%xmm2
3048.byte	69,15,56,203,247
3049
3050	movdqa	%xmm1,%xmm0
3051	cmpl	0(%rbx),%ecx
3052	cmovgeq	%rsp,%r8
3053	cmpl	4(%rbx),%ecx
3054	cmovgeq	%rsp,%r9
3055	pshufd	$0x00,%xmm7,%xmm9
3056.byte	69,15,56,203,236
3057	movdqa	%xmm2,%xmm0
3058	pshufd	$0x55,%xmm7,%xmm10
3059	movdqa	%xmm7,%xmm11
3060.byte	69,15,56,203,254
3061	pshufd	$0x0e,%xmm1,%xmm0
3062	pcmpgtd	%xmm6,%xmm9
3063	pcmpgtd	%xmm6,%xmm10
3064.byte	69,15,56,203,229
3065	pshufd	$0x0e,%xmm2,%xmm0
3066	pcmpgtd	%xmm6,%xmm11
3067	movdqa	K256_shaext-16(%rip),%xmm3
3068.byte	69,15,56,203,247
3069
3070	pand	%xmm9,%xmm13
3071	pand	%xmm10,%xmm15
3072	pand	%xmm9,%xmm12
3073	pand	%xmm10,%xmm14
3074	paddd	%xmm7,%xmm11
3075
3076	paddd	80(%rsp),%xmm13
3077	paddd	112(%rsp),%xmm15
3078	paddd	64(%rsp),%xmm12
3079	paddd	96(%rsp),%xmm14
3080
3081	movq	%xmm11,(%rbx)
3082	decl	%edx
3083	jnz	.Loop_shaext
3084
3085	movl	280(%rsp),%edx
3086
3087	pshufd	$27,%xmm12,%xmm12
3088	pshufd	$27,%xmm13,%xmm13
3089	pshufd	$27,%xmm14,%xmm14
3090	pshufd	$27,%xmm15,%xmm15
3091
3092	movdqa	%xmm12,%xmm5
3093	movdqa	%xmm13,%xmm6
3094	punpckldq	%xmm14,%xmm12
3095	punpckhdq	%xmm14,%xmm5
3096	punpckldq	%xmm15,%xmm13
3097	punpckhdq	%xmm15,%xmm6
3098
3099	movq	%xmm12,0-128(%rdi)
3100	psrldq	$8,%xmm12
3101	movq	%xmm5,128-128(%rdi)
3102	psrldq	$8,%xmm5
3103	movq	%xmm12,32-128(%rdi)
3104	movq	%xmm5,160-128(%rdi)
3105
3106	movq	%xmm13,64-128(%rdi)
3107	psrldq	$8,%xmm13
3108	movq	%xmm6,192-128(%rdi)
3109	psrldq	$8,%xmm6
3110	movq	%xmm13,96-128(%rdi)
3111	movq	%xmm6,224-128(%rdi)
3112
3113	leaq	8(%rdi),%rdi
3114	leaq	32(%rsi),%rsi
3115	decl	%edx
3116	jnz	.Loop_grande_shaext
3117
3118.Ldone_shaext:
3119
3120	movq	-16(%rax),%rbp
3121.cfi_restore	%rbp
3122	movq	-8(%rax),%rbx
3123.cfi_restore	%rbx
3124	leaq	(%rax),%rsp
3125.cfi_def_cfa_register	%rsp
3126.Lepilogue_shaext:
3127	.byte	0xf3,0xc3
3128.cfi_endproc
3129.size	sha256_multi_block_shaext,.-sha256_multi_block_shaext
3130.type	sha256_multi_block_avx,@function
3131.align	32
3132sha256_multi_block_avx:
3133.cfi_startproc
3134_avx_shortcut:
3135	shrq	$32,%rcx
3136	cmpl	$2,%edx
3137	jb	.Lavx
3138	testl	$32,%ecx
3139	jnz	_avx2_shortcut
3140	jmp	.Lavx
3141.align	32
3142.Lavx:
3143	movq	%rsp,%rax
3144.cfi_def_cfa_register	%rax
3145	pushq	%rbx
3146.cfi_offset	%rbx,-16
3147	pushq	%rbp
3148.cfi_offset	%rbp,-24
3149	subq	$288,%rsp
3150	andq	$-256,%rsp
3151	movq	%rax,272(%rsp)
3152.cfi_escape	0x0f,0x06,0x77,0x90,0x02,0x06,0x23,0x08
3153.Lbody_avx:
3154	leaq	K256+128(%rip),%rbp
3155	leaq	256(%rsp),%rbx
3156	leaq	128(%rdi),%rdi
3157
3158.Loop_grande_avx:
3159	movl	%edx,280(%rsp)
3160	xorl	%edx,%edx
3161	movq	0(%rsi),%r8
3162	movl	8(%rsi),%ecx
3163	cmpl	%edx,%ecx
3164	cmovgl	%ecx,%edx
3165	testl	%ecx,%ecx
3166	movl	%ecx,0(%rbx)
3167	cmovleq	%rbp,%r8
3168	movq	16(%rsi),%r9
3169	movl	24(%rsi),%ecx
3170	cmpl	%edx,%ecx
3171	cmovgl	%ecx,%edx
3172	testl	%ecx,%ecx
3173	movl	%ecx,4(%rbx)
3174	cmovleq	%rbp,%r9
3175	movq	32(%rsi),%r10
3176	movl	40(%rsi),%ecx
3177	cmpl	%edx,%ecx
3178	cmovgl	%ecx,%edx
3179	testl	%ecx,%ecx
3180	movl	%ecx,8(%rbx)
3181	cmovleq	%rbp,%r10
3182	movq	48(%rsi),%r11
3183	movl	56(%rsi),%ecx
3184	cmpl	%edx,%ecx
3185	cmovgl	%ecx,%edx
3186	testl	%ecx,%ecx
3187	movl	%ecx,12(%rbx)
3188	cmovleq	%rbp,%r11
3189	testl	%edx,%edx
3190	jz	.Ldone_avx
3191
3192	vmovdqu	0-128(%rdi),%xmm8
3193	leaq	128(%rsp),%rax
3194	vmovdqu	32-128(%rdi),%xmm9
3195	vmovdqu	64-128(%rdi),%xmm10
3196	vmovdqu	96-128(%rdi),%xmm11
3197	vmovdqu	128-128(%rdi),%xmm12
3198	vmovdqu	160-128(%rdi),%xmm13
3199	vmovdqu	192-128(%rdi),%xmm14
3200	vmovdqu	224-128(%rdi),%xmm15
3201	vmovdqu	.Lpbswap(%rip),%xmm6
3202	jmp	.Loop_avx
3203
3204.align	32
3205.Loop_avx:
3206	vpxor	%xmm9,%xmm10,%xmm4
3207	vmovd	0(%r8),%xmm5
3208	vmovd	0(%r9),%xmm0
3209	vpinsrd	$1,0(%r10),%xmm5,%xmm5
3210	vpinsrd	$1,0(%r11),%xmm0,%xmm0
3211	vpunpckldq	%xmm0,%xmm5,%xmm5
3212	vpshufb	%xmm6,%xmm5,%xmm5
3213	vpsrld	$6,%xmm12,%xmm7
3214	vpslld	$26,%xmm12,%xmm2
3215	vmovdqu	%xmm5,0-128(%rax)
3216	vpaddd	%xmm15,%xmm5,%xmm5
3217
3218	vpsrld	$11,%xmm12,%xmm1
3219	vpxor	%xmm2,%xmm7,%xmm7
3220	vpslld	$21,%xmm12,%xmm2
3221	vpaddd	-128(%rbp),%xmm5,%xmm5
3222	vpxor	%xmm1,%xmm7,%xmm7
3223
3224	vpsrld	$25,%xmm12,%xmm1
3225	vpxor	%xmm2,%xmm7,%xmm7
3226
3227	vpslld	$7,%xmm12,%xmm2
3228	vpandn	%xmm14,%xmm12,%xmm0
3229	vpand	%xmm13,%xmm12,%xmm3
3230
3231	vpxor	%xmm1,%xmm7,%xmm7
3232
3233	vpsrld	$2,%xmm8,%xmm15
3234	vpxor	%xmm2,%xmm7,%xmm7
3235
3236	vpslld	$30,%xmm8,%xmm1
3237	vpxor	%xmm3,%xmm0,%xmm0
3238	vpxor	%xmm8,%xmm9,%xmm3
3239
3240	vpxor	%xmm1,%xmm15,%xmm15
3241	vpaddd	%xmm7,%xmm5,%xmm5
3242
3243	vpsrld	$13,%xmm8,%xmm1
3244
3245	vpslld	$19,%xmm8,%xmm2
3246	vpaddd	%xmm0,%xmm5,%xmm5
3247	vpand	%xmm3,%xmm4,%xmm4
3248
3249	vpxor	%xmm1,%xmm15,%xmm7
3250
3251	vpsrld	$22,%xmm8,%xmm1
3252	vpxor	%xmm2,%xmm7,%xmm7
3253
3254	vpslld	$10,%xmm8,%xmm2
3255	vpxor	%xmm4,%xmm9,%xmm15
3256	vpaddd	%xmm5,%xmm11,%xmm11
3257
3258	vpxor	%xmm1,%xmm7,%xmm7
3259	vpxor	%xmm2,%xmm7,%xmm7
3260
3261	vpaddd	%xmm5,%xmm15,%xmm15
3262	vpaddd	%xmm7,%xmm15,%xmm15
3263	vmovd	4(%r8),%xmm5
3264	vmovd	4(%r9),%xmm0
3265	vpinsrd	$1,4(%r10),%xmm5,%xmm5
3266	vpinsrd	$1,4(%r11),%xmm0,%xmm0
3267	vpunpckldq	%xmm0,%xmm5,%xmm5
3268	vpshufb	%xmm6,%xmm5,%xmm5
3269	vpsrld	$6,%xmm11,%xmm7
3270	vpslld	$26,%xmm11,%xmm2
3271	vmovdqu	%xmm5,16-128(%rax)
3272	vpaddd	%xmm14,%xmm5,%xmm5
3273
3274	vpsrld	$11,%xmm11,%xmm1
3275	vpxor	%xmm2,%xmm7,%xmm7
3276	vpslld	$21,%xmm11,%xmm2
3277	vpaddd	-96(%rbp),%xmm5,%xmm5
3278	vpxor	%xmm1,%xmm7,%xmm7
3279
3280	vpsrld	$25,%xmm11,%xmm1
3281	vpxor	%xmm2,%xmm7,%xmm7
3282
3283	vpslld	$7,%xmm11,%xmm2
3284	vpandn	%xmm13,%xmm11,%xmm0
3285	vpand	%xmm12,%xmm11,%xmm4
3286
3287	vpxor	%xmm1,%xmm7,%xmm7
3288
3289	vpsrld	$2,%xmm15,%xmm14
3290	vpxor	%xmm2,%xmm7,%xmm7
3291
3292	vpslld	$30,%xmm15,%xmm1
3293	vpxor	%xmm4,%xmm0,%xmm0
3294	vpxor	%xmm15,%xmm8,%xmm4
3295
3296	vpxor	%xmm1,%xmm14,%xmm14
3297	vpaddd	%xmm7,%xmm5,%xmm5
3298
3299	vpsrld	$13,%xmm15,%xmm1
3300
3301	vpslld	$19,%xmm15,%xmm2
3302	vpaddd	%xmm0,%xmm5,%xmm5
3303	vpand	%xmm4,%xmm3,%xmm3
3304
3305	vpxor	%xmm1,%xmm14,%xmm7
3306
3307	vpsrld	$22,%xmm15,%xmm1
3308	vpxor	%xmm2,%xmm7,%xmm7
3309
3310	vpslld	$10,%xmm15,%xmm2
3311	vpxor	%xmm3,%xmm8,%xmm14
3312	vpaddd	%xmm5,%xmm10,%xmm10
3313
3314	vpxor	%xmm1,%xmm7,%xmm7
3315	vpxor	%xmm2,%xmm7,%xmm7
3316
3317	vpaddd	%xmm5,%xmm14,%xmm14
3318	vpaddd	%xmm7,%xmm14,%xmm14
3319	vmovd	8(%r8),%xmm5
3320	vmovd	8(%r9),%xmm0
3321	vpinsrd	$1,8(%r10),%xmm5,%xmm5
3322	vpinsrd	$1,8(%r11),%xmm0,%xmm0
3323	vpunpckldq	%xmm0,%xmm5,%xmm5
3324	vpshufb	%xmm6,%xmm5,%xmm5
3325	vpsrld	$6,%xmm10,%xmm7
3326	vpslld	$26,%xmm10,%xmm2
3327	vmovdqu	%xmm5,32-128(%rax)
3328	vpaddd	%xmm13,%xmm5,%xmm5
3329
3330	vpsrld	$11,%xmm10,%xmm1
3331	vpxor	%xmm2,%xmm7,%xmm7
3332	vpslld	$21,%xmm10,%xmm2
3333	vpaddd	-64(%rbp),%xmm5,%xmm5
3334	vpxor	%xmm1,%xmm7,%xmm7
3335
3336	vpsrld	$25,%xmm10,%xmm1
3337	vpxor	%xmm2,%xmm7,%xmm7
3338
3339	vpslld	$7,%xmm10,%xmm2
3340	vpandn	%xmm12,%xmm10,%xmm0
3341	vpand	%xmm11,%xmm10,%xmm3
3342
3343	vpxor	%xmm1,%xmm7,%xmm7
3344
3345	vpsrld	$2,%xmm14,%xmm13
3346	vpxor	%xmm2,%xmm7,%xmm7
3347
3348	vpslld	$30,%xmm14,%xmm1
3349	vpxor	%xmm3,%xmm0,%xmm0
3350	vpxor	%xmm14,%xmm15,%xmm3
3351
3352	vpxor	%xmm1,%xmm13,%xmm13
3353	vpaddd	%xmm7,%xmm5,%xmm5
3354
3355	vpsrld	$13,%xmm14,%xmm1
3356
3357	vpslld	$19,%xmm14,%xmm2
3358	vpaddd	%xmm0,%xmm5,%xmm5
3359	vpand	%xmm3,%xmm4,%xmm4
3360
3361	vpxor	%xmm1,%xmm13,%xmm7
3362
3363	vpsrld	$22,%xmm14,%xmm1
3364	vpxor	%xmm2,%xmm7,%xmm7
3365
3366	vpslld	$10,%xmm14,%xmm2
3367	vpxor	%xmm4,%xmm15,%xmm13
3368	vpaddd	%xmm5,%xmm9,%xmm9
3369
3370	vpxor	%xmm1,%xmm7,%xmm7
3371	vpxor	%xmm2,%xmm7,%xmm7
3372
3373	vpaddd	%xmm5,%xmm13,%xmm13
3374	vpaddd	%xmm7,%xmm13,%xmm13
3375	vmovd	12(%r8),%xmm5
3376	vmovd	12(%r9),%xmm0
3377	vpinsrd	$1,12(%r10),%xmm5,%xmm5
3378	vpinsrd	$1,12(%r11),%xmm0,%xmm0
3379	vpunpckldq	%xmm0,%xmm5,%xmm5
3380	vpshufb	%xmm6,%xmm5,%xmm5
3381	vpsrld	$6,%xmm9,%xmm7
3382	vpslld	$26,%xmm9,%xmm2
3383	vmovdqu	%xmm5,48-128(%rax)
3384	vpaddd	%xmm12,%xmm5,%xmm5
3385
3386	vpsrld	$11,%xmm9,%xmm1
3387	vpxor	%xmm2,%xmm7,%xmm7
3388	vpslld	$21,%xmm9,%xmm2
3389	vpaddd	-32(%rbp),%xmm5,%xmm5
3390	vpxor	%xmm1,%xmm7,%xmm7
3391
3392	vpsrld	$25,%xmm9,%xmm1
3393	vpxor	%xmm2,%xmm7,%xmm7
3394
3395	vpslld	$7,%xmm9,%xmm2
3396	vpandn	%xmm11,%xmm9,%xmm0
3397	vpand	%xmm10,%xmm9,%xmm4
3398
3399	vpxor	%xmm1,%xmm7,%xmm7
3400
3401	vpsrld	$2,%xmm13,%xmm12
3402	vpxor	%xmm2,%xmm7,%xmm7
3403
3404	vpslld	$30,%xmm13,%xmm1
3405	vpxor	%xmm4,%xmm0,%xmm0
3406	vpxor	%xmm13,%xmm14,%xmm4
3407
3408	vpxor	%xmm1,%xmm12,%xmm12
3409	vpaddd	%xmm7,%xmm5,%xmm5
3410
3411	vpsrld	$13,%xmm13,%xmm1
3412
3413	vpslld	$19,%xmm13,%xmm2
3414	vpaddd	%xmm0,%xmm5,%xmm5
3415	vpand	%xmm4,%xmm3,%xmm3
3416
3417	vpxor	%xmm1,%xmm12,%xmm7
3418
3419	vpsrld	$22,%xmm13,%xmm1
3420	vpxor	%xmm2,%xmm7,%xmm7
3421
3422	vpslld	$10,%xmm13,%xmm2
3423	vpxor	%xmm3,%xmm14,%xmm12
3424	vpaddd	%xmm5,%xmm8,%xmm8
3425
3426	vpxor	%xmm1,%xmm7,%xmm7
3427	vpxor	%xmm2,%xmm7,%xmm7
3428
3429	vpaddd	%xmm5,%xmm12,%xmm12
3430	vpaddd	%xmm7,%xmm12,%xmm12
3431	vmovd	16(%r8),%xmm5
3432	vmovd	16(%r9),%xmm0
3433	vpinsrd	$1,16(%r10),%xmm5,%xmm5
3434	vpinsrd	$1,16(%r11),%xmm0,%xmm0
3435	vpunpckldq	%xmm0,%xmm5,%xmm5
3436	vpshufb	%xmm6,%xmm5,%xmm5
3437	vpsrld	$6,%xmm8,%xmm7
3438	vpslld	$26,%xmm8,%xmm2
3439	vmovdqu	%xmm5,64-128(%rax)
3440	vpaddd	%xmm11,%xmm5,%xmm5
3441
3442	vpsrld	$11,%xmm8,%xmm1
3443	vpxor	%xmm2,%xmm7,%xmm7
3444	vpslld	$21,%xmm8,%xmm2
3445	vpaddd	0(%rbp),%xmm5,%xmm5
3446	vpxor	%xmm1,%xmm7,%xmm7
3447
3448	vpsrld	$25,%xmm8,%xmm1
3449	vpxor	%xmm2,%xmm7,%xmm7
3450
3451	vpslld	$7,%xmm8,%xmm2
3452	vpandn	%xmm10,%xmm8,%xmm0
3453	vpand	%xmm9,%xmm8,%xmm3
3454
3455	vpxor	%xmm1,%xmm7,%xmm7
3456
3457	vpsrld	$2,%xmm12,%xmm11
3458	vpxor	%xmm2,%xmm7,%xmm7
3459
3460	vpslld	$30,%xmm12,%xmm1
3461	vpxor	%xmm3,%xmm0,%xmm0
3462	vpxor	%xmm12,%xmm13,%xmm3
3463
3464	vpxor	%xmm1,%xmm11,%xmm11
3465	vpaddd	%xmm7,%xmm5,%xmm5
3466
3467	vpsrld	$13,%xmm12,%xmm1
3468
3469	vpslld	$19,%xmm12,%xmm2
3470	vpaddd	%xmm0,%xmm5,%xmm5
3471	vpand	%xmm3,%xmm4,%xmm4
3472
3473	vpxor	%xmm1,%xmm11,%xmm7
3474
3475	vpsrld	$22,%xmm12,%xmm1
3476	vpxor	%xmm2,%xmm7,%xmm7
3477
3478	vpslld	$10,%xmm12,%xmm2
3479	vpxor	%xmm4,%xmm13,%xmm11
3480	vpaddd	%xmm5,%xmm15,%xmm15
3481
3482	vpxor	%xmm1,%xmm7,%xmm7
3483	vpxor	%xmm2,%xmm7,%xmm7
3484
3485	vpaddd	%xmm5,%xmm11,%xmm11
3486	vpaddd	%xmm7,%xmm11,%xmm11
3487	vmovd	20(%r8),%xmm5
3488	vmovd	20(%r9),%xmm0
3489	vpinsrd	$1,20(%r10),%xmm5,%xmm5
3490	vpinsrd	$1,20(%r11),%xmm0,%xmm0
3491	vpunpckldq	%xmm0,%xmm5,%xmm5
3492	vpshufb	%xmm6,%xmm5,%xmm5
3493	vpsrld	$6,%xmm15,%xmm7
3494	vpslld	$26,%xmm15,%xmm2
3495	vmovdqu	%xmm5,80-128(%rax)
3496	vpaddd	%xmm10,%xmm5,%xmm5
3497
3498	vpsrld	$11,%xmm15,%xmm1
3499	vpxor	%xmm2,%xmm7,%xmm7
3500	vpslld	$21,%xmm15,%xmm2
3501	vpaddd	32(%rbp),%xmm5,%xmm5
3502	vpxor	%xmm1,%xmm7,%xmm7
3503
3504	vpsrld	$25,%xmm15,%xmm1
3505	vpxor	%xmm2,%xmm7,%xmm7
3506
3507	vpslld	$7,%xmm15,%xmm2
3508	vpandn	%xmm9,%xmm15,%xmm0
3509	vpand	%xmm8,%xmm15,%xmm4
3510
3511	vpxor	%xmm1,%xmm7,%xmm7
3512
3513	vpsrld	$2,%xmm11,%xmm10
3514	vpxor	%xmm2,%xmm7,%xmm7
3515
3516	vpslld	$30,%xmm11,%xmm1
3517	vpxor	%xmm4,%xmm0,%xmm0
3518	vpxor	%xmm11,%xmm12,%xmm4
3519
3520	vpxor	%xmm1,%xmm10,%xmm10
3521	vpaddd	%xmm7,%xmm5,%xmm5
3522
3523	vpsrld	$13,%xmm11,%xmm1
3524
3525	vpslld	$19,%xmm11,%xmm2
3526	vpaddd	%xmm0,%xmm5,%xmm5
3527	vpand	%xmm4,%xmm3,%xmm3
3528
3529	vpxor	%xmm1,%xmm10,%xmm7
3530
3531	vpsrld	$22,%xmm11,%xmm1
3532	vpxor	%xmm2,%xmm7,%xmm7
3533
3534	vpslld	$10,%xmm11,%xmm2
3535	vpxor	%xmm3,%xmm12,%xmm10
3536	vpaddd	%xmm5,%xmm14,%xmm14
3537
3538	vpxor	%xmm1,%xmm7,%xmm7
3539	vpxor	%xmm2,%xmm7,%xmm7
3540
3541	vpaddd	%xmm5,%xmm10,%xmm10
3542	vpaddd	%xmm7,%xmm10,%xmm10
3543	vmovd	24(%r8),%xmm5
3544	vmovd	24(%r9),%xmm0
3545	vpinsrd	$1,24(%r10),%xmm5,%xmm5
3546	vpinsrd	$1,24(%r11),%xmm0,%xmm0
3547	vpunpckldq	%xmm0,%xmm5,%xmm5
3548	vpshufb	%xmm6,%xmm5,%xmm5
3549	vpsrld	$6,%xmm14,%xmm7
3550	vpslld	$26,%xmm14,%xmm2
3551	vmovdqu	%xmm5,96-128(%rax)
3552	vpaddd	%xmm9,%xmm5,%xmm5
3553
3554	vpsrld	$11,%xmm14,%xmm1
3555	vpxor	%xmm2,%xmm7,%xmm7
3556	vpslld	$21,%xmm14,%xmm2
3557	vpaddd	64(%rbp),%xmm5,%xmm5
3558	vpxor	%xmm1,%xmm7,%xmm7
3559
3560	vpsrld	$25,%xmm14,%xmm1
3561	vpxor	%xmm2,%xmm7,%xmm7
3562
3563	vpslld	$7,%xmm14,%xmm2
3564	vpandn	%xmm8,%xmm14,%xmm0
3565	vpand	%xmm15,%xmm14,%xmm3
3566
3567	vpxor	%xmm1,%xmm7,%xmm7
3568
3569	vpsrld	$2,%xmm10,%xmm9
3570	vpxor	%xmm2,%xmm7,%xmm7
3571
3572	vpslld	$30,%xmm10,%xmm1
3573	vpxor	%xmm3,%xmm0,%xmm0
3574	vpxor	%xmm10,%xmm11,%xmm3
3575
3576	vpxor	%xmm1,%xmm9,%xmm9
3577	vpaddd	%xmm7,%xmm5,%xmm5
3578
3579	vpsrld	$13,%xmm10,%xmm1
3580
3581	vpslld	$19,%xmm10,%xmm2
3582	vpaddd	%xmm0,%xmm5,%xmm5
3583	vpand	%xmm3,%xmm4,%xmm4
3584
3585	vpxor	%xmm1,%xmm9,%xmm7
3586
3587	vpsrld	$22,%xmm10,%xmm1
3588	vpxor	%xmm2,%xmm7,%xmm7
3589
3590	vpslld	$10,%xmm10,%xmm2
3591	vpxor	%xmm4,%xmm11,%xmm9
3592	vpaddd	%xmm5,%xmm13,%xmm13
3593
3594	vpxor	%xmm1,%xmm7,%xmm7
3595	vpxor	%xmm2,%xmm7,%xmm7
3596
3597	vpaddd	%xmm5,%xmm9,%xmm9
3598	vpaddd	%xmm7,%xmm9,%xmm9
3599	vmovd	28(%r8),%xmm5
3600	vmovd	28(%r9),%xmm0
3601	vpinsrd	$1,28(%r10),%xmm5,%xmm5
3602	vpinsrd	$1,28(%r11),%xmm0,%xmm0
3603	vpunpckldq	%xmm0,%xmm5,%xmm5
3604	vpshufb	%xmm6,%xmm5,%xmm5
3605	vpsrld	$6,%xmm13,%xmm7
3606	vpslld	$26,%xmm13,%xmm2
3607	vmovdqu	%xmm5,112-128(%rax)
3608	vpaddd	%xmm8,%xmm5,%xmm5
3609
3610	vpsrld	$11,%xmm13,%xmm1
3611	vpxor	%xmm2,%xmm7,%xmm7
3612	vpslld	$21,%xmm13,%xmm2
3613	vpaddd	96(%rbp),%xmm5,%xmm5
3614	vpxor	%xmm1,%xmm7,%xmm7
3615
3616	vpsrld	$25,%xmm13,%xmm1
3617	vpxor	%xmm2,%xmm7,%xmm7
3618
3619	vpslld	$7,%xmm13,%xmm2
3620	vpandn	%xmm15,%xmm13,%xmm0
3621	vpand	%xmm14,%xmm13,%xmm4
3622
3623	vpxor	%xmm1,%xmm7,%xmm7
3624
3625	vpsrld	$2,%xmm9,%xmm8
3626	vpxor	%xmm2,%xmm7,%xmm7
3627
3628	vpslld	$30,%xmm9,%xmm1
3629	vpxor	%xmm4,%xmm0,%xmm0
3630	vpxor	%xmm9,%xmm10,%xmm4
3631
3632	vpxor	%xmm1,%xmm8,%xmm8
3633	vpaddd	%xmm7,%xmm5,%xmm5
3634
3635	vpsrld	$13,%xmm9,%xmm1
3636
3637	vpslld	$19,%xmm9,%xmm2
3638	vpaddd	%xmm0,%xmm5,%xmm5
3639	vpand	%xmm4,%xmm3,%xmm3
3640
3641	vpxor	%xmm1,%xmm8,%xmm7
3642
3643	vpsrld	$22,%xmm9,%xmm1
3644	vpxor	%xmm2,%xmm7,%xmm7
3645
3646	vpslld	$10,%xmm9,%xmm2
3647	vpxor	%xmm3,%xmm10,%xmm8
3648	vpaddd	%xmm5,%xmm12,%xmm12
3649
3650	vpxor	%xmm1,%xmm7,%xmm7
3651	vpxor	%xmm2,%xmm7,%xmm7
3652
3653	vpaddd	%xmm5,%xmm8,%xmm8
3654	vpaddd	%xmm7,%xmm8,%xmm8
3655	addq	$256,%rbp
3656	vmovd	32(%r8),%xmm5
3657	vmovd	32(%r9),%xmm0
3658	vpinsrd	$1,32(%r10),%xmm5,%xmm5
3659	vpinsrd	$1,32(%r11),%xmm0,%xmm0
3660	vpunpckldq	%xmm0,%xmm5,%xmm5
3661	vpshufb	%xmm6,%xmm5,%xmm5
3662	vpsrld	$6,%xmm12,%xmm7
3663	vpslld	$26,%xmm12,%xmm2
3664	vmovdqu	%xmm5,128-128(%rax)
3665	vpaddd	%xmm15,%xmm5,%xmm5
3666
3667	vpsrld	$11,%xmm12,%xmm1
3668	vpxor	%xmm2,%xmm7,%xmm7
3669	vpslld	$21,%xmm12,%xmm2
3670	vpaddd	-128(%rbp),%xmm5,%xmm5
3671	vpxor	%xmm1,%xmm7,%xmm7
3672
3673	vpsrld	$25,%xmm12,%xmm1
3674	vpxor	%xmm2,%xmm7,%xmm7
3675
3676	vpslld	$7,%xmm12,%xmm2
3677	vpandn	%xmm14,%xmm12,%xmm0
3678	vpand	%xmm13,%xmm12,%xmm3
3679
3680	vpxor	%xmm1,%xmm7,%xmm7
3681
3682	vpsrld	$2,%xmm8,%xmm15
3683	vpxor	%xmm2,%xmm7,%xmm7
3684
3685	vpslld	$30,%xmm8,%xmm1
3686	vpxor	%xmm3,%xmm0,%xmm0
3687	vpxor	%xmm8,%xmm9,%xmm3
3688
3689	vpxor	%xmm1,%xmm15,%xmm15
3690	vpaddd	%xmm7,%xmm5,%xmm5
3691
3692	vpsrld	$13,%xmm8,%xmm1
3693
3694	vpslld	$19,%xmm8,%xmm2
3695	vpaddd	%xmm0,%xmm5,%xmm5
3696	vpand	%xmm3,%xmm4,%xmm4
3697
3698	vpxor	%xmm1,%xmm15,%xmm7
3699
3700	vpsrld	$22,%xmm8,%xmm1
3701	vpxor	%xmm2,%xmm7,%xmm7
3702
3703	vpslld	$10,%xmm8,%xmm2
3704	vpxor	%xmm4,%xmm9,%xmm15
3705	vpaddd	%xmm5,%xmm11,%xmm11
3706
3707	vpxor	%xmm1,%xmm7,%xmm7
3708	vpxor	%xmm2,%xmm7,%xmm7
3709
3710	vpaddd	%xmm5,%xmm15,%xmm15
3711	vpaddd	%xmm7,%xmm15,%xmm15
3712	vmovd	36(%r8),%xmm5
3713	vmovd	36(%r9),%xmm0
3714	vpinsrd	$1,36(%r10),%xmm5,%xmm5
3715	vpinsrd	$1,36(%r11),%xmm0,%xmm0
3716	vpunpckldq	%xmm0,%xmm5,%xmm5
3717	vpshufb	%xmm6,%xmm5,%xmm5
3718	vpsrld	$6,%xmm11,%xmm7
3719	vpslld	$26,%xmm11,%xmm2
3720	vmovdqu	%xmm5,144-128(%rax)
3721	vpaddd	%xmm14,%xmm5,%xmm5
3722
3723	vpsrld	$11,%xmm11,%xmm1
3724	vpxor	%xmm2,%xmm7,%xmm7
3725	vpslld	$21,%xmm11,%xmm2
3726	vpaddd	-96(%rbp),%xmm5,%xmm5
3727	vpxor	%xmm1,%xmm7,%xmm7
3728
3729	vpsrld	$25,%xmm11,%xmm1
3730	vpxor	%xmm2,%xmm7,%xmm7
3731
3732	vpslld	$7,%xmm11,%xmm2
3733	vpandn	%xmm13,%xmm11,%xmm0
3734	vpand	%xmm12,%xmm11,%xmm4
3735
3736	vpxor	%xmm1,%xmm7,%xmm7
3737
3738	vpsrld	$2,%xmm15,%xmm14
3739	vpxor	%xmm2,%xmm7,%xmm7
3740
3741	vpslld	$30,%xmm15,%xmm1
3742	vpxor	%xmm4,%xmm0,%xmm0
3743	vpxor	%xmm15,%xmm8,%xmm4
3744
3745	vpxor	%xmm1,%xmm14,%xmm14
3746	vpaddd	%xmm7,%xmm5,%xmm5
3747
3748	vpsrld	$13,%xmm15,%xmm1
3749
3750	vpslld	$19,%xmm15,%xmm2
3751	vpaddd	%xmm0,%xmm5,%xmm5
3752	vpand	%xmm4,%xmm3,%xmm3
3753
3754	vpxor	%xmm1,%xmm14,%xmm7
3755
3756	vpsrld	$22,%xmm15,%xmm1
3757	vpxor	%xmm2,%xmm7,%xmm7
3758
3759	vpslld	$10,%xmm15,%xmm2
3760	vpxor	%xmm3,%xmm8,%xmm14
3761	vpaddd	%xmm5,%xmm10,%xmm10
3762
3763	vpxor	%xmm1,%xmm7,%xmm7
3764	vpxor	%xmm2,%xmm7,%xmm7
3765
3766	vpaddd	%xmm5,%xmm14,%xmm14
3767	vpaddd	%xmm7,%xmm14,%xmm14
3768	vmovd	40(%r8),%xmm5
3769	vmovd	40(%r9),%xmm0
3770	vpinsrd	$1,40(%r10),%xmm5,%xmm5
3771	vpinsrd	$1,40(%r11),%xmm0,%xmm0
3772	vpunpckldq	%xmm0,%xmm5,%xmm5
3773	vpshufb	%xmm6,%xmm5,%xmm5
3774	vpsrld	$6,%xmm10,%xmm7
3775	vpslld	$26,%xmm10,%xmm2
3776	vmovdqu	%xmm5,160-128(%rax)
3777	vpaddd	%xmm13,%xmm5,%xmm5
3778
3779	vpsrld	$11,%xmm10,%xmm1
3780	vpxor	%xmm2,%xmm7,%xmm7
3781	vpslld	$21,%xmm10,%xmm2
3782	vpaddd	-64(%rbp),%xmm5,%xmm5
3783	vpxor	%xmm1,%xmm7,%xmm7
3784
3785	vpsrld	$25,%xmm10,%xmm1
3786	vpxor	%xmm2,%xmm7,%xmm7
3787
3788	vpslld	$7,%xmm10,%xmm2
3789	vpandn	%xmm12,%xmm10,%xmm0
3790	vpand	%xmm11,%xmm10,%xmm3
3791
3792	vpxor	%xmm1,%xmm7,%xmm7
3793
3794	vpsrld	$2,%xmm14,%xmm13
3795	vpxor	%xmm2,%xmm7,%xmm7
3796
3797	vpslld	$30,%xmm14,%xmm1
3798	vpxor	%xmm3,%xmm0,%xmm0
3799	vpxor	%xmm14,%xmm15,%xmm3
3800
3801	vpxor	%xmm1,%xmm13,%xmm13
3802	vpaddd	%xmm7,%xmm5,%xmm5
3803
3804	vpsrld	$13,%xmm14,%xmm1
3805
3806	vpslld	$19,%xmm14,%xmm2
3807	vpaddd	%xmm0,%xmm5,%xmm5
3808	vpand	%xmm3,%xmm4,%xmm4
3809
3810	vpxor	%xmm1,%xmm13,%xmm7
3811
3812	vpsrld	$22,%xmm14,%xmm1
3813	vpxor	%xmm2,%xmm7,%xmm7
3814
3815	vpslld	$10,%xmm14,%xmm2
3816	vpxor	%xmm4,%xmm15,%xmm13
3817	vpaddd	%xmm5,%xmm9,%xmm9
3818
3819	vpxor	%xmm1,%xmm7,%xmm7
3820	vpxor	%xmm2,%xmm7,%xmm7
3821
3822	vpaddd	%xmm5,%xmm13,%xmm13
3823	vpaddd	%xmm7,%xmm13,%xmm13
3824	vmovd	44(%r8),%xmm5
3825	vmovd	44(%r9),%xmm0
3826	vpinsrd	$1,44(%r10),%xmm5,%xmm5
3827	vpinsrd	$1,44(%r11),%xmm0,%xmm0
3828	vpunpckldq	%xmm0,%xmm5,%xmm5
3829	vpshufb	%xmm6,%xmm5,%xmm5
3830	vpsrld	$6,%xmm9,%xmm7
3831	vpslld	$26,%xmm9,%xmm2
3832	vmovdqu	%xmm5,176-128(%rax)
3833	vpaddd	%xmm12,%xmm5,%xmm5
3834
3835	vpsrld	$11,%xmm9,%xmm1
3836	vpxor	%xmm2,%xmm7,%xmm7
3837	vpslld	$21,%xmm9,%xmm2
3838	vpaddd	-32(%rbp),%xmm5,%xmm5
3839	vpxor	%xmm1,%xmm7,%xmm7
3840
3841	vpsrld	$25,%xmm9,%xmm1
3842	vpxor	%xmm2,%xmm7,%xmm7
3843
3844	vpslld	$7,%xmm9,%xmm2
3845	vpandn	%xmm11,%xmm9,%xmm0
3846	vpand	%xmm10,%xmm9,%xmm4
3847
3848	vpxor	%xmm1,%xmm7,%xmm7
3849
3850	vpsrld	$2,%xmm13,%xmm12
3851	vpxor	%xmm2,%xmm7,%xmm7
3852
3853	vpslld	$30,%xmm13,%xmm1
3854	vpxor	%xmm4,%xmm0,%xmm0
3855	vpxor	%xmm13,%xmm14,%xmm4
3856
3857	vpxor	%xmm1,%xmm12,%xmm12
3858	vpaddd	%xmm7,%xmm5,%xmm5
3859
3860	vpsrld	$13,%xmm13,%xmm1
3861
3862	vpslld	$19,%xmm13,%xmm2
3863	vpaddd	%xmm0,%xmm5,%xmm5
3864	vpand	%xmm4,%xmm3,%xmm3
3865
3866	vpxor	%xmm1,%xmm12,%xmm7
3867
3868	vpsrld	$22,%xmm13,%xmm1
3869	vpxor	%xmm2,%xmm7,%xmm7
3870
3871	vpslld	$10,%xmm13,%xmm2
3872	vpxor	%xmm3,%xmm14,%xmm12
3873	vpaddd	%xmm5,%xmm8,%xmm8
3874
3875	vpxor	%xmm1,%xmm7,%xmm7
3876	vpxor	%xmm2,%xmm7,%xmm7
3877
3878	vpaddd	%xmm5,%xmm12,%xmm12
3879	vpaddd	%xmm7,%xmm12,%xmm12
3880	vmovd	48(%r8),%xmm5
3881	vmovd	48(%r9),%xmm0
3882	vpinsrd	$1,48(%r10),%xmm5,%xmm5
3883	vpinsrd	$1,48(%r11),%xmm0,%xmm0
3884	vpunpckldq	%xmm0,%xmm5,%xmm5
3885	vpshufb	%xmm6,%xmm5,%xmm5
3886	vpsrld	$6,%xmm8,%xmm7
3887	vpslld	$26,%xmm8,%xmm2
3888	vmovdqu	%xmm5,192-128(%rax)
3889	vpaddd	%xmm11,%xmm5,%xmm5
3890
3891	vpsrld	$11,%xmm8,%xmm1
3892	vpxor	%xmm2,%xmm7,%xmm7
3893	vpslld	$21,%xmm8,%xmm2
3894	vpaddd	0(%rbp),%xmm5,%xmm5
3895	vpxor	%xmm1,%xmm7,%xmm7
3896
3897	vpsrld	$25,%xmm8,%xmm1
3898	vpxor	%xmm2,%xmm7,%xmm7
3899
3900	vpslld	$7,%xmm8,%xmm2
3901	vpandn	%xmm10,%xmm8,%xmm0
3902	vpand	%xmm9,%xmm8,%xmm3
3903
3904	vpxor	%xmm1,%xmm7,%xmm7
3905
3906	vpsrld	$2,%xmm12,%xmm11
3907	vpxor	%xmm2,%xmm7,%xmm7
3908
3909	vpslld	$30,%xmm12,%xmm1
3910	vpxor	%xmm3,%xmm0,%xmm0
3911	vpxor	%xmm12,%xmm13,%xmm3
3912
3913	vpxor	%xmm1,%xmm11,%xmm11
3914	vpaddd	%xmm7,%xmm5,%xmm5
3915
3916	vpsrld	$13,%xmm12,%xmm1
3917
3918	vpslld	$19,%xmm12,%xmm2
3919	vpaddd	%xmm0,%xmm5,%xmm5
3920	vpand	%xmm3,%xmm4,%xmm4
3921
3922	vpxor	%xmm1,%xmm11,%xmm7
3923
3924	vpsrld	$22,%xmm12,%xmm1
3925	vpxor	%xmm2,%xmm7,%xmm7
3926
3927	vpslld	$10,%xmm12,%xmm2
3928	vpxor	%xmm4,%xmm13,%xmm11
3929	vpaddd	%xmm5,%xmm15,%xmm15
3930
3931	vpxor	%xmm1,%xmm7,%xmm7
3932	vpxor	%xmm2,%xmm7,%xmm7
3933
3934	vpaddd	%xmm5,%xmm11,%xmm11
3935	vpaddd	%xmm7,%xmm11,%xmm11
3936	vmovd	52(%r8),%xmm5
3937	vmovd	52(%r9),%xmm0
3938	vpinsrd	$1,52(%r10),%xmm5,%xmm5
3939	vpinsrd	$1,52(%r11),%xmm0,%xmm0
3940	vpunpckldq	%xmm0,%xmm5,%xmm5
3941	vpshufb	%xmm6,%xmm5,%xmm5
3942	vpsrld	$6,%xmm15,%xmm7
3943	vpslld	$26,%xmm15,%xmm2
3944	vmovdqu	%xmm5,208-128(%rax)
3945	vpaddd	%xmm10,%xmm5,%xmm5
3946
3947	vpsrld	$11,%xmm15,%xmm1
3948	vpxor	%xmm2,%xmm7,%xmm7
3949	vpslld	$21,%xmm15,%xmm2
3950	vpaddd	32(%rbp),%xmm5,%xmm5
3951	vpxor	%xmm1,%xmm7,%xmm7
3952
3953	vpsrld	$25,%xmm15,%xmm1
3954	vpxor	%xmm2,%xmm7,%xmm7
3955
3956	vpslld	$7,%xmm15,%xmm2
3957	vpandn	%xmm9,%xmm15,%xmm0
3958	vpand	%xmm8,%xmm15,%xmm4
3959
3960	vpxor	%xmm1,%xmm7,%xmm7
3961
3962	vpsrld	$2,%xmm11,%xmm10
3963	vpxor	%xmm2,%xmm7,%xmm7
3964
3965	vpslld	$30,%xmm11,%xmm1
3966	vpxor	%xmm4,%xmm0,%xmm0
3967	vpxor	%xmm11,%xmm12,%xmm4
3968
3969	vpxor	%xmm1,%xmm10,%xmm10
3970	vpaddd	%xmm7,%xmm5,%xmm5
3971
3972	vpsrld	$13,%xmm11,%xmm1
3973
3974	vpslld	$19,%xmm11,%xmm2
3975	vpaddd	%xmm0,%xmm5,%xmm5
3976	vpand	%xmm4,%xmm3,%xmm3
3977
3978	vpxor	%xmm1,%xmm10,%xmm7
3979
3980	vpsrld	$22,%xmm11,%xmm1
3981	vpxor	%xmm2,%xmm7,%xmm7
3982
3983	vpslld	$10,%xmm11,%xmm2
3984	vpxor	%xmm3,%xmm12,%xmm10
3985	vpaddd	%xmm5,%xmm14,%xmm14
3986
3987	vpxor	%xmm1,%xmm7,%xmm7
3988	vpxor	%xmm2,%xmm7,%xmm7
3989
3990	vpaddd	%xmm5,%xmm10,%xmm10
3991	vpaddd	%xmm7,%xmm10,%xmm10
3992	vmovd	56(%r8),%xmm5
3993	vmovd	56(%r9),%xmm0
3994	vpinsrd	$1,56(%r10),%xmm5,%xmm5
3995	vpinsrd	$1,56(%r11),%xmm0,%xmm0
3996	vpunpckldq	%xmm0,%xmm5,%xmm5
3997	vpshufb	%xmm6,%xmm5,%xmm5
3998	vpsrld	$6,%xmm14,%xmm7
3999	vpslld	$26,%xmm14,%xmm2
4000	vmovdqu	%xmm5,224-128(%rax)
4001	vpaddd	%xmm9,%xmm5,%xmm5
4002
4003	vpsrld	$11,%xmm14,%xmm1
4004	vpxor	%xmm2,%xmm7,%xmm7
4005	vpslld	$21,%xmm14,%xmm2
4006	vpaddd	64(%rbp),%xmm5,%xmm5
4007	vpxor	%xmm1,%xmm7,%xmm7
4008
4009	vpsrld	$25,%xmm14,%xmm1
4010	vpxor	%xmm2,%xmm7,%xmm7
4011
4012	vpslld	$7,%xmm14,%xmm2
4013	vpandn	%xmm8,%xmm14,%xmm0
4014	vpand	%xmm15,%xmm14,%xmm3
4015
4016	vpxor	%xmm1,%xmm7,%xmm7
4017
4018	vpsrld	$2,%xmm10,%xmm9
4019	vpxor	%xmm2,%xmm7,%xmm7
4020
4021	vpslld	$30,%xmm10,%xmm1
4022	vpxor	%xmm3,%xmm0,%xmm0
4023	vpxor	%xmm10,%xmm11,%xmm3
4024
4025	vpxor	%xmm1,%xmm9,%xmm9
4026	vpaddd	%xmm7,%xmm5,%xmm5
4027
4028	vpsrld	$13,%xmm10,%xmm1
4029
4030	vpslld	$19,%xmm10,%xmm2
4031	vpaddd	%xmm0,%xmm5,%xmm5
4032	vpand	%xmm3,%xmm4,%xmm4
4033
4034	vpxor	%xmm1,%xmm9,%xmm7
4035
4036	vpsrld	$22,%xmm10,%xmm1
4037	vpxor	%xmm2,%xmm7,%xmm7
4038
4039	vpslld	$10,%xmm10,%xmm2
4040	vpxor	%xmm4,%xmm11,%xmm9
4041	vpaddd	%xmm5,%xmm13,%xmm13
4042
4043	vpxor	%xmm1,%xmm7,%xmm7
4044	vpxor	%xmm2,%xmm7,%xmm7
4045
4046	vpaddd	%xmm5,%xmm9,%xmm9
4047	vpaddd	%xmm7,%xmm9,%xmm9
4048	vmovd	60(%r8),%xmm5
4049	leaq	64(%r8),%r8
4050	vmovd	60(%r9),%xmm0
4051	leaq	64(%r9),%r9
4052	vpinsrd	$1,60(%r10),%xmm5,%xmm5
4053	leaq	64(%r10),%r10
4054	vpinsrd	$1,60(%r11),%xmm0,%xmm0
4055	leaq	64(%r11),%r11
4056	vpunpckldq	%xmm0,%xmm5,%xmm5
4057	vpshufb	%xmm6,%xmm5,%xmm5
4058	vpsrld	$6,%xmm13,%xmm7
4059	vpslld	$26,%xmm13,%xmm2
4060	vmovdqu	%xmm5,240-128(%rax)
4061	vpaddd	%xmm8,%xmm5,%xmm5
4062
4063	vpsrld	$11,%xmm13,%xmm1
4064	vpxor	%xmm2,%xmm7,%xmm7
4065	vpslld	$21,%xmm13,%xmm2
4066	vpaddd	96(%rbp),%xmm5,%xmm5
4067	vpxor	%xmm1,%xmm7,%xmm7
4068
4069	vpsrld	$25,%xmm13,%xmm1
4070	vpxor	%xmm2,%xmm7,%xmm7
4071	prefetcht0	63(%r8)
4072	vpslld	$7,%xmm13,%xmm2
4073	vpandn	%xmm15,%xmm13,%xmm0
4074	vpand	%xmm14,%xmm13,%xmm4
4075	prefetcht0	63(%r9)
4076	vpxor	%xmm1,%xmm7,%xmm7
4077
4078	vpsrld	$2,%xmm9,%xmm8
4079	vpxor	%xmm2,%xmm7,%xmm7
4080	prefetcht0	63(%r10)
4081	vpslld	$30,%xmm9,%xmm1
4082	vpxor	%xmm4,%xmm0,%xmm0
4083	vpxor	%xmm9,%xmm10,%xmm4
4084	prefetcht0	63(%r11)
4085	vpxor	%xmm1,%xmm8,%xmm8
4086	vpaddd	%xmm7,%xmm5,%xmm5
4087
4088	vpsrld	$13,%xmm9,%xmm1
4089
4090	vpslld	$19,%xmm9,%xmm2
4091	vpaddd	%xmm0,%xmm5,%xmm5
4092	vpand	%xmm4,%xmm3,%xmm3
4093
4094	vpxor	%xmm1,%xmm8,%xmm7
4095
4096	vpsrld	$22,%xmm9,%xmm1
4097	vpxor	%xmm2,%xmm7,%xmm7
4098
4099	vpslld	$10,%xmm9,%xmm2
4100	vpxor	%xmm3,%xmm10,%xmm8
4101	vpaddd	%xmm5,%xmm12,%xmm12
4102
4103	vpxor	%xmm1,%xmm7,%xmm7
4104	vpxor	%xmm2,%xmm7,%xmm7
4105
4106	vpaddd	%xmm5,%xmm8,%xmm8
4107	vpaddd	%xmm7,%xmm8,%xmm8
4108	addq	$256,%rbp
4109	vmovdqu	0-128(%rax),%xmm5
4110	movl	$3,%ecx
4111	jmp	.Loop_16_xx_avx
4112.align	32
4113.Loop_16_xx_avx:
4114	vmovdqu	16-128(%rax),%xmm6
4115	vpaddd	144-128(%rax),%xmm5,%xmm5
4116
4117	vpsrld	$3,%xmm6,%xmm7
4118	vpsrld	$7,%xmm6,%xmm1
4119	vpslld	$25,%xmm6,%xmm2
4120	vpxor	%xmm1,%xmm7,%xmm7
4121	vpsrld	$18,%xmm6,%xmm1
4122	vpxor	%xmm2,%xmm7,%xmm7
4123	vpslld	$14,%xmm6,%xmm2
4124	vmovdqu	224-128(%rax),%xmm0
4125	vpsrld	$10,%xmm0,%xmm3
4126
4127	vpxor	%xmm1,%xmm7,%xmm7
4128	vpsrld	$17,%xmm0,%xmm1
4129	vpxor	%xmm2,%xmm7,%xmm7
4130	vpslld	$15,%xmm0,%xmm2
4131	vpaddd	%xmm7,%xmm5,%xmm5
4132	vpxor	%xmm1,%xmm3,%xmm7
4133	vpsrld	$19,%xmm0,%xmm1
4134	vpxor	%xmm2,%xmm7,%xmm7
4135	vpslld	$13,%xmm0,%xmm2
4136	vpxor	%xmm1,%xmm7,%xmm7
4137	vpxor	%xmm2,%xmm7,%xmm7
4138	vpaddd	%xmm7,%xmm5,%xmm5
4139	vpsrld	$6,%xmm12,%xmm7
4140	vpslld	$26,%xmm12,%xmm2
4141	vmovdqu	%xmm5,0-128(%rax)
4142	vpaddd	%xmm15,%xmm5,%xmm5
4143
4144	vpsrld	$11,%xmm12,%xmm1
4145	vpxor	%xmm2,%xmm7,%xmm7
4146	vpslld	$21,%xmm12,%xmm2
4147	vpaddd	-128(%rbp),%xmm5,%xmm5
4148	vpxor	%xmm1,%xmm7,%xmm7
4149
4150	vpsrld	$25,%xmm12,%xmm1
4151	vpxor	%xmm2,%xmm7,%xmm7
4152
4153	vpslld	$7,%xmm12,%xmm2
4154	vpandn	%xmm14,%xmm12,%xmm0
4155	vpand	%xmm13,%xmm12,%xmm3
4156
4157	vpxor	%xmm1,%xmm7,%xmm7
4158
4159	vpsrld	$2,%xmm8,%xmm15
4160	vpxor	%xmm2,%xmm7,%xmm7
4161
4162	vpslld	$30,%xmm8,%xmm1
4163	vpxor	%xmm3,%xmm0,%xmm0
4164	vpxor	%xmm8,%xmm9,%xmm3
4165
4166	vpxor	%xmm1,%xmm15,%xmm15
4167	vpaddd	%xmm7,%xmm5,%xmm5
4168
4169	vpsrld	$13,%xmm8,%xmm1
4170
4171	vpslld	$19,%xmm8,%xmm2
4172	vpaddd	%xmm0,%xmm5,%xmm5
4173	vpand	%xmm3,%xmm4,%xmm4
4174
4175	vpxor	%xmm1,%xmm15,%xmm7
4176
4177	vpsrld	$22,%xmm8,%xmm1
4178	vpxor	%xmm2,%xmm7,%xmm7
4179
4180	vpslld	$10,%xmm8,%xmm2
4181	vpxor	%xmm4,%xmm9,%xmm15
4182	vpaddd	%xmm5,%xmm11,%xmm11
4183
4184	vpxor	%xmm1,%xmm7,%xmm7
4185	vpxor	%xmm2,%xmm7,%xmm7
4186
4187	vpaddd	%xmm5,%xmm15,%xmm15
4188	vpaddd	%xmm7,%xmm15,%xmm15
4189	vmovdqu	32-128(%rax),%xmm5
4190	vpaddd	160-128(%rax),%xmm6,%xmm6
4191
4192	vpsrld	$3,%xmm5,%xmm7
4193	vpsrld	$7,%xmm5,%xmm1
4194	vpslld	$25,%xmm5,%xmm2
4195	vpxor	%xmm1,%xmm7,%xmm7
4196	vpsrld	$18,%xmm5,%xmm1
4197	vpxor	%xmm2,%xmm7,%xmm7
4198	vpslld	$14,%xmm5,%xmm2
4199	vmovdqu	240-128(%rax),%xmm0
4200	vpsrld	$10,%xmm0,%xmm4
4201
4202	vpxor	%xmm1,%xmm7,%xmm7
4203	vpsrld	$17,%xmm0,%xmm1
4204	vpxor	%xmm2,%xmm7,%xmm7
4205	vpslld	$15,%xmm0,%xmm2
4206	vpaddd	%xmm7,%xmm6,%xmm6
4207	vpxor	%xmm1,%xmm4,%xmm7
4208	vpsrld	$19,%xmm0,%xmm1
4209	vpxor	%xmm2,%xmm7,%xmm7
4210	vpslld	$13,%xmm0,%xmm2
4211	vpxor	%xmm1,%xmm7,%xmm7
4212	vpxor	%xmm2,%xmm7,%xmm7
4213	vpaddd	%xmm7,%xmm6,%xmm6
4214	vpsrld	$6,%xmm11,%xmm7
4215	vpslld	$26,%xmm11,%xmm2
4216	vmovdqu	%xmm6,16-128(%rax)
4217	vpaddd	%xmm14,%xmm6,%xmm6
4218
4219	vpsrld	$11,%xmm11,%xmm1
4220	vpxor	%xmm2,%xmm7,%xmm7
4221	vpslld	$21,%xmm11,%xmm2
4222	vpaddd	-96(%rbp),%xmm6,%xmm6
4223	vpxor	%xmm1,%xmm7,%xmm7
4224
4225	vpsrld	$25,%xmm11,%xmm1
4226	vpxor	%xmm2,%xmm7,%xmm7
4227
4228	vpslld	$7,%xmm11,%xmm2
4229	vpandn	%xmm13,%xmm11,%xmm0
4230	vpand	%xmm12,%xmm11,%xmm4
4231
4232	vpxor	%xmm1,%xmm7,%xmm7
4233
4234	vpsrld	$2,%xmm15,%xmm14
4235	vpxor	%xmm2,%xmm7,%xmm7
4236
4237	vpslld	$30,%xmm15,%xmm1
4238	vpxor	%xmm4,%xmm0,%xmm0
4239	vpxor	%xmm15,%xmm8,%xmm4
4240
4241	vpxor	%xmm1,%xmm14,%xmm14
4242	vpaddd	%xmm7,%xmm6,%xmm6
4243
4244	vpsrld	$13,%xmm15,%xmm1
4245
4246	vpslld	$19,%xmm15,%xmm2
4247	vpaddd	%xmm0,%xmm6,%xmm6
4248	vpand	%xmm4,%xmm3,%xmm3
4249
4250	vpxor	%xmm1,%xmm14,%xmm7
4251
4252	vpsrld	$22,%xmm15,%xmm1
4253	vpxor	%xmm2,%xmm7,%xmm7
4254
4255	vpslld	$10,%xmm15,%xmm2
4256	vpxor	%xmm3,%xmm8,%xmm14
4257	vpaddd	%xmm6,%xmm10,%xmm10
4258
4259	vpxor	%xmm1,%xmm7,%xmm7
4260	vpxor	%xmm2,%xmm7,%xmm7
4261
4262	vpaddd	%xmm6,%xmm14,%xmm14
4263	vpaddd	%xmm7,%xmm14,%xmm14
4264	vmovdqu	48-128(%rax),%xmm6
4265	vpaddd	176-128(%rax),%xmm5,%xmm5
4266
4267	vpsrld	$3,%xmm6,%xmm7
4268	vpsrld	$7,%xmm6,%xmm1
4269	vpslld	$25,%xmm6,%xmm2
4270	vpxor	%xmm1,%xmm7,%xmm7
4271	vpsrld	$18,%xmm6,%xmm1
4272	vpxor	%xmm2,%xmm7,%xmm7
4273	vpslld	$14,%xmm6,%xmm2
4274	vmovdqu	0-128(%rax),%xmm0
4275	vpsrld	$10,%xmm0,%xmm3
4276
4277	vpxor	%xmm1,%xmm7,%xmm7
4278	vpsrld	$17,%xmm0,%xmm1
4279	vpxor	%xmm2,%xmm7,%xmm7
4280	vpslld	$15,%xmm0,%xmm2
4281	vpaddd	%xmm7,%xmm5,%xmm5
4282	vpxor	%xmm1,%xmm3,%xmm7
4283	vpsrld	$19,%xmm0,%xmm1
4284	vpxor	%xmm2,%xmm7,%xmm7
4285	vpslld	$13,%xmm0,%xmm2
4286	vpxor	%xmm1,%xmm7,%xmm7
4287	vpxor	%xmm2,%xmm7,%xmm7
4288	vpaddd	%xmm7,%xmm5,%xmm5
4289	vpsrld	$6,%xmm10,%xmm7
4290	vpslld	$26,%xmm10,%xmm2
4291	vmovdqu	%xmm5,32-128(%rax)
4292	vpaddd	%xmm13,%xmm5,%xmm5
4293
4294	vpsrld	$11,%xmm10,%xmm1
4295	vpxor	%xmm2,%xmm7,%xmm7
4296	vpslld	$21,%xmm10,%xmm2
4297	vpaddd	-64(%rbp),%xmm5,%xmm5
4298	vpxor	%xmm1,%xmm7,%xmm7
4299
4300	vpsrld	$25,%xmm10,%xmm1
4301	vpxor	%xmm2,%xmm7,%xmm7
4302
4303	vpslld	$7,%xmm10,%xmm2
4304	vpandn	%xmm12,%xmm10,%xmm0
4305	vpand	%xmm11,%xmm10,%xmm3
4306
4307	vpxor	%xmm1,%xmm7,%xmm7
4308
4309	vpsrld	$2,%xmm14,%xmm13
4310	vpxor	%xmm2,%xmm7,%xmm7
4311
4312	vpslld	$30,%xmm14,%xmm1
4313	vpxor	%xmm3,%xmm0,%xmm0
4314	vpxor	%xmm14,%xmm15,%xmm3
4315
4316	vpxor	%xmm1,%xmm13,%xmm13
4317	vpaddd	%xmm7,%xmm5,%xmm5
4318
4319	vpsrld	$13,%xmm14,%xmm1
4320
4321	vpslld	$19,%xmm14,%xmm2
4322	vpaddd	%xmm0,%xmm5,%xmm5
4323	vpand	%xmm3,%xmm4,%xmm4
4324
4325	vpxor	%xmm1,%xmm13,%xmm7
4326
4327	vpsrld	$22,%xmm14,%xmm1
4328	vpxor	%xmm2,%xmm7,%xmm7
4329
4330	vpslld	$10,%xmm14,%xmm2
4331	vpxor	%xmm4,%xmm15,%xmm13
4332	vpaddd	%xmm5,%xmm9,%xmm9
4333
4334	vpxor	%xmm1,%xmm7,%xmm7
4335	vpxor	%xmm2,%xmm7,%xmm7
4336
4337	vpaddd	%xmm5,%xmm13,%xmm13
4338	vpaddd	%xmm7,%xmm13,%xmm13
4339	vmovdqu	64-128(%rax),%xmm5
4340	vpaddd	192-128(%rax),%xmm6,%xmm6
4341
4342	vpsrld	$3,%xmm5,%xmm7
4343	vpsrld	$7,%xmm5,%xmm1
4344	vpslld	$25,%xmm5,%xmm2
4345	vpxor	%xmm1,%xmm7,%xmm7
4346	vpsrld	$18,%xmm5,%xmm1
4347	vpxor	%xmm2,%xmm7,%xmm7
4348	vpslld	$14,%xmm5,%xmm2
4349	vmovdqu	16-128(%rax),%xmm0
4350	vpsrld	$10,%xmm0,%xmm4
4351
4352	vpxor	%xmm1,%xmm7,%xmm7
4353	vpsrld	$17,%xmm0,%xmm1
4354	vpxor	%xmm2,%xmm7,%xmm7
4355	vpslld	$15,%xmm0,%xmm2
4356	vpaddd	%xmm7,%xmm6,%xmm6
4357	vpxor	%xmm1,%xmm4,%xmm7
4358	vpsrld	$19,%xmm0,%xmm1
4359	vpxor	%xmm2,%xmm7,%xmm7
4360	vpslld	$13,%xmm0,%xmm2
4361	vpxor	%xmm1,%xmm7,%xmm7
4362	vpxor	%xmm2,%xmm7,%xmm7
4363	vpaddd	%xmm7,%xmm6,%xmm6
4364	vpsrld	$6,%xmm9,%xmm7
4365	vpslld	$26,%xmm9,%xmm2
4366	vmovdqu	%xmm6,48-128(%rax)
4367	vpaddd	%xmm12,%xmm6,%xmm6
4368
4369	vpsrld	$11,%xmm9,%xmm1
4370	vpxor	%xmm2,%xmm7,%xmm7
4371	vpslld	$21,%xmm9,%xmm2
4372	vpaddd	-32(%rbp),%xmm6,%xmm6
4373	vpxor	%xmm1,%xmm7,%xmm7
4374
4375	vpsrld	$25,%xmm9,%xmm1
4376	vpxor	%xmm2,%xmm7,%xmm7
4377
4378	vpslld	$7,%xmm9,%xmm2
4379	vpandn	%xmm11,%xmm9,%xmm0
4380	vpand	%xmm10,%xmm9,%xmm4
4381
4382	vpxor	%xmm1,%xmm7,%xmm7
4383
4384	vpsrld	$2,%xmm13,%xmm12
4385	vpxor	%xmm2,%xmm7,%xmm7
4386
4387	vpslld	$30,%xmm13,%xmm1
4388	vpxor	%xmm4,%xmm0,%xmm0
4389	vpxor	%xmm13,%xmm14,%xmm4
4390
4391	vpxor	%xmm1,%xmm12,%xmm12
4392	vpaddd	%xmm7,%xmm6,%xmm6
4393
4394	vpsrld	$13,%xmm13,%xmm1
4395
4396	vpslld	$19,%xmm13,%xmm2
4397	vpaddd	%xmm0,%xmm6,%xmm6
4398	vpand	%xmm4,%xmm3,%xmm3
4399
4400	vpxor	%xmm1,%xmm12,%xmm7
4401
4402	vpsrld	$22,%xmm13,%xmm1
4403	vpxor	%xmm2,%xmm7,%xmm7
4404
4405	vpslld	$10,%xmm13,%xmm2
4406	vpxor	%xmm3,%xmm14,%xmm12
4407	vpaddd	%xmm6,%xmm8,%xmm8
4408
4409	vpxor	%xmm1,%xmm7,%xmm7
4410	vpxor	%xmm2,%xmm7,%xmm7
4411
4412	vpaddd	%xmm6,%xmm12,%xmm12
4413	vpaddd	%xmm7,%xmm12,%xmm12
4414	vmovdqu	80-128(%rax),%xmm6
4415	vpaddd	208-128(%rax),%xmm5,%xmm5
4416
4417	vpsrld	$3,%xmm6,%xmm7
4418	vpsrld	$7,%xmm6,%xmm1
4419	vpslld	$25,%xmm6,%xmm2
4420	vpxor	%xmm1,%xmm7,%xmm7
4421	vpsrld	$18,%xmm6,%xmm1
4422	vpxor	%xmm2,%xmm7,%xmm7
4423	vpslld	$14,%xmm6,%xmm2
4424	vmovdqu	32-128(%rax),%xmm0
4425	vpsrld	$10,%xmm0,%xmm3
4426
4427	vpxor	%xmm1,%xmm7,%xmm7
4428	vpsrld	$17,%xmm0,%xmm1
4429	vpxor	%xmm2,%xmm7,%xmm7
4430	vpslld	$15,%xmm0,%xmm2
4431	vpaddd	%xmm7,%xmm5,%xmm5
4432	vpxor	%xmm1,%xmm3,%xmm7
4433	vpsrld	$19,%xmm0,%xmm1
4434	vpxor	%xmm2,%xmm7,%xmm7
4435	vpslld	$13,%xmm0,%xmm2
4436	vpxor	%xmm1,%xmm7,%xmm7
4437	vpxor	%xmm2,%xmm7,%xmm7
4438	vpaddd	%xmm7,%xmm5,%xmm5
4439	vpsrld	$6,%xmm8,%xmm7
4440	vpslld	$26,%xmm8,%xmm2
4441	vmovdqu	%xmm5,64-128(%rax)
4442	vpaddd	%xmm11,%xmm5,%xmm5
4443
4444	vpsrld	$11,%xmm8,%xmm1
4445	vpxor	%xmm2,%xmm7,%xmm7
4446	vpslld	$21,%xmm8,%xmm2
4447	vpaddd	0(%rbp),%xmm5,%xmm5
4448	vpxor	%xmm1,%xmm7,%xmm7
4449
4450	vpsrld	$25,%xmm8,%xmm1
4451	vpxor	%xmm2,%xmm7,%xmm7
4452
4453	vpslld	$7,%xmm8,%xmm2
4454	vpandn	%xmm10,%xmm8,%xmm0
4455	vpand	%xmm9,%xmm8,%xmm3
4456
4457	vpxor	%xmm1,%xmm7,%xmm7
4458
4459	vpsrld	$2,%xmm12,%xmm11
4460	vpxor	%xmm2,%xmm7,%xmm7
4461
4462	vpslld	$30,%xmm12,%xmm1
4463	vpxor	%xmm3,%xmm0,%xmm0
4464	vpxor	%xmm12,%xmm13,%xmm3
4465
4466	vpxor	%xmm1,%xmm11,%xmm11
4467	vpaddd	%xmm7,%xmm5,%xmm5
4468
4469	vpsrld	$13,%xmm12,%xmm1
4470
4471	vpslld	$19,%xmm12,%xmm2
4472	vpaddd	%xmm0,%xmm5,%xmm5
4473	vpand	%xmm3,%xmm4,%xmm4
4474
4475	vpxor	%xmm1,%xmm11,%xmm7
4476
4477	vpsrld	$22,%xmm12,%xmm1
4478	vpxor	%xmm2,%xmm7,%xmm7
4479
4480	vpslld	$10,%xmm12,%xmm2
4481	vpxor	%xmm4,%xmm13,%xmm11
4482	vpaddd	%xmm5,%xmm15,%xmm15
4483
4484	vpxor	%xmm1,%xmm7,%xmm7
4485	vpxor	%xmm2,%xmm7,%xmm7
4486
4487	vpaddd	%xmm5,%xmm11,%xmm11
4488	vpaddd	%xmm7,%xmm11,%xmm11
4489	vmovdqu	96-128(%rax),%xmm5
4490	vpaddd	224-128(%rax),%xmm6,%xmm6
4491
4492	vpsrld	$3,%xmm5,%xmm7
4493	vpsrld	$7,%xmm5,%xmm1
4494	vpslld	$25,%xmm5,%xmm2
4495	vpxor	%xmm1,%xmm7,%xmm7
4496	vpsrld	$18,%xmm5,%xmm1
4497	vpxor	%xmm2,%xmm7,%xmm7
4498	vpslld	$14,%xmm5,%xmm2
4499	vmovdqu	48-128(%rax),%xmm0
4500	vpsrld	$10,%xmm0,%xmm4
4501
4502	vpxor	%xmm1,%xmm7,%xmm7
4503	vpsrld	$17,%xmm0,%xmm1
4504	vpxor	%xmm2,%xmm7,%xmm7
4505	vpslld	$15,%xmm0,%xmm2
4506	vpaddd	%xmm7,%xmm6,%xmm6
4507	vpxor	%xmm1,%xmm4,%xmm7
4508	vpsrld	$19,%xmm0,%xmm1
4509	vpxor	%xmm2,%xmm7,%xmm7
4510	vpslld	$13,%xmm0,%xmm2
4511	vpxor	%xmm1,%xmm7,%xmm7
4512	vpxor	%xmm2,%xmm7,%xmm7
4513	vpaddd	%xmm7,%xmm6,%xmm6
4514	vpsrld	$6,%xmm15,%xmm7
4515	vpslld	$26,%xmm15,%xmm2
4516	vmovdqu	%xmm6,80-128(%rax)
4517	vpaddd	%xmm10,%xmm6,%xmm6
4518
4519	vpsrld	$11,%xmm15,%xmm1
4520	vpxor	%xmm2,%xmm7,%xmm7
4521	vpslld	$21,%xmm15,%xmm2
4522	vpaddd	32(%rbp),%xmm6,%xmm6
4523	vpxor	%xmm1,%xmm7,%xmm7
4524
4525	vpsrld	$25,%xmm15,%xmm1
4526	vpxor	%xmm2,%xmm7,%xmm7
4527
4528	vpslld	$7,%xmm15,%xmm2
4529	vpandn	%xmm9,%xmm15,%xmm0
4530	vpand	%xmm8,%xmm15,%xmm4
4531
4532	vpxor	%xmm1,%xmm7,%xmm7
4533
4534	vpsrld	$2,%xmm11,%xmm10
4535	vpxor	%xmm2,%xmm7,%xmm7
4536
4537	vpslld	$30,%xmm11,%xmm1
4538	vpxor	%xmm4,%xmm0,%xmm0
4539	vpxor	%xmm11,%xmm12,%xmm4
4540
4541	vpxor	%xmm1,%xmm10,%xmm10
4542	vpaddd	%xmm7,%xmm6,%xmm6
4543
4544	vpsrld	$13,%xmm11,%xmm1
4545
4546	vpslld	$19,%xmm11,%xmm2
4547	vpaddd	%xmm0,%xmm6,%xmm6
4548	vpand	%xmm4,%xmm3,%xmm3
4549
4550	vpxor	%xmm1,%xmm10,%xmm7
4551
4552	vpsrld	$22,%xmm11,%xmm1
4553	vpxor	%xmm2,%xmm7,%xmm7
4554
4555	vpslld	$10,%xmm11,%xmm2
4556	vpxor	%xmm3,%xmm12,%xmm10
4557	vpaddd	%xmm6,%xmm14,%xmm14
4558
4559	vpxor	%xmm1,%xmm7,%xmm7
4560	vpxor	%xmm2,%xmm7,%xmm7
4561
4562	vpaddd	%xmm6,%xmm10,%xmm10
4563	vpaddd	%xmm7,%xmm10,%xmm10
4564	vmovdqu	112-128(%rax),%xmm6
4565	vpaddd	240-128(%rax),%xmm5,%xmm5
4566
4567	vpsrld	$3,%xmm6,%xmm7
4568	vpsrld	$7,%xmm6,%xmm1
4569	vpslld	$25,%xmm6,%xmm2
4570	vpxor	%xmm1,%xmm7,%xmm7
4571	vpsrld	$18,%xmm6,%xmm1
4572	vpxor	%xmm2,%xmm7,%xmm7
4573	vpslld	$14,%xmm6,%xmm2
4574	vmovdqu	64-128(%rax),%xmm0
4575	vpsrld	$10,%xmm0,%xmm3
4576
4577	vpxor	%xmm1,%xmm7,%xmm7
4578	vpsrld	$17,%xmm0,%xmm1
4579	vpxor	%xmm2,%xmm7,%xmm7
4580	vpslld	$15,%xmm0,%xmm2
4581	vpaddd	%xmm7,%xmm5,%xmm5
4582	vpxor	%xmm1,%xmm3,%xmm7
4583	vpsrld	$19,%xmm0,%xmm1
4584	vpxor	%xmm2,%xmm7,%xmm7
4585	vpslld	$13,%xmm0,%xmm2
4586	vpxor	%xmm1,%xmm7,%xmm7
4587	vpxor	%xmm2,%xmm7,%xmm7
4588	vpaddd	%xmm7,%xmm5,%xmm5
4589	vpsrld	$6,%xmm14,%xmm7
4590	vpslld	$26,%xmm14,%xmm2
4591	vmovdqu	%xmm5,96-128(%rax)
4592	vpaddd	%xmm9,%xmm5,%xmm5
4593
4594	vpsrld	$11,%xmm14,%xmm1
4595	vpxor	%xmm2,%xmm7,%xmm7
4596	vpslld	$21,%xmm14,%xmm2
4597	vpaddd	64(%rbp),%xmm5,%xmm5
4598	vpxor	%xmm1,%xmm7,%xmm7
4599
4600	vpsrld	$25,%xmm14,%xmm1
4601	vpxor	%xmm2,%xmm7,%xmm7
4602
4603	vpslld	$7,%xmm14,%xmm2
4604	vpandn	%xmm8,%xmm14,%xmm0
4605	vpand	%xmm15,%xmm14,%xmm3
4606
4607	vpxor	%xmm1,%xmm7,%xmm7
4608
4609	vpsrld	$2,%xmm10,%xmm9
4610	vpxor	%xmm2,%xmm7,%xmm7
4611
4612	vpslld	$30,%xmm10,%xmm1
4613	vpxor	%xmm3,%xmm0,%xmm0
4614	vpxor	%xmm10,%xmm11,%xmm3
4615
4616	vpxor	%xmm1,%xmm9,%xmm9
4617	vpaddd	%xmm7,%xmm5,%xmm5
4618
4619	vpsrld	$13,%xmm10,%xmm1
4620
4621	vpslld	$19,%xmm10,%xmm2
4622	vpaddd	%xmm0,%xmm5,%xmm5
4623	vpand	%xmm3,%xmm4,%xmm4
4624
4625	vpxor	%xmm1,%xmm9,%xmm7
4626
4627	vpsrld	$22,%xmm10,%xmm1
4628	vpxor	%xmm2,%xmm7,%xmm7
4629
4630	vpslld	$10,%xmm10,%xmm2
4631	vpxor	%xmm4,%xmm11,%xmm9
4632	vpaddd	%xmm5,%xmm13,%xmm13
4633
4634	vpxor	%xmm1,%xmm7,%xmm7
4635	vpxor	%xmm2,%xmm7,%xmm7
4636
4637	vpaddd	%xmm5,%xmm9,%xmm9
4638	vpaddd	%xmm7,%xmm9,%xmm9
4639	vmovdqu	128-128(%rax),%xmm5
4640	vpaddd	0-128(%rax),%xmm6,%xmm6
4641
4642	vpsrld	$3,%xmm5,%xmm7
4643	vpsrld	$7,%xmm5,%xmm1
4644	vpslld	$25,%xmm5,%xmm2
4645	vpxor	%xmm1,%xmm7,%xmm7
4646	vpsrld	$18,%xmm5,%xmm1
4647	vpxor	%xmm2,%xmm7,%xmm7
4648	vpslld	$14,%xmm5,%xmm2
4649	vmovdqu	80-128(%rax),%xmm0
4650	vpsrld	$10,%xmm0,%xmm4
4651
4652	vpxor	%xmm1,%xmm7,%xmm7
4653	vpsrld	$17,%xmm0,%xmm1
4654	vpxor	%xmm2,%xmm7,%xmm7
4655	vpslld	$15,%xmm0,%xmm2
4656	vpaddd	%xmm7,%xmm6,%xmm6
4657	vpxor	%xmm1,%xmm4,%xmm7
4658	vpsrld	$19,%xmm0,%xmm1
4659	vpxor	%xmm2,%xmm7,%xmm7
4660	vpslld	$13,%xmm0,%xmm2
4661	vpxor	%xmm1,%xmm7,%xmm7
4662	vpxor	%xmm2,%xmm7,%xmm7
4663	vpaddd	%xmm7,%xmm6,%xmm6
4664	vpsrld	$6,%xmm13,%xmm7
4665	vpslld	$26,%xmm13,%xmm2
4666	vmovdqu	%xmm6,112-128(%rax)
4667	vpaddd	%xmm8,%xmm6,%xmm6
4668
4669	vpsrld	$11,%xmm13,%xmm1
4670	vpxor	%xmm2,%xmm7,%xmm7
4671	vpslld	$21,%xmm13,%xmm2
4672	vpaddd	96(%rbp),%xmm6,%xmm6
4673	vpxor	%xmm1,%xmm7,%xmm7
4674
4675	vpsrld	$25,%xmm13,%xmm1
4676	vpxor	%xmm2,%xmm7,%xmm7
4677
4678	vpslld	$7,%xmm13,%xmm2
4679	vpandn	%xmm15,%xmm13,%xmm0
4680	vpand	%xmm14,%xmm13,%xmm4
4681
4682	vpxor	%xmm1,%xmm7,%xmm7
4683
4684	vpsrld	$2,%xmm9,%xmm8
4685	vpxor	%xmm2,%xmm7,%xmm7
4686
4687	vpslld	$30,%xmm9,%xmm1
4688	vpxor	%xmm4,%xmm0,%xmm0
4689	vpxor	%xmm9,%xmm10,%xmm4
4690
4691	vpxor	%xmm1,%xmm8,%xmm8
4692	vpaddd	%xmm7,%xmm6,%xmm6
4693
4694	vpsrld	$13,%xmm9,%xmm1
4695
4696	vpslld	$19,%xmm9,%xmm2
4697	vpaddd	%xmm0,%xmm6,%xmm6
4698	vpand	%xmm4,%xmm3,%xmm3
4699
4700	vpxor	%xmm1,%xmm8,%xmm7
4701
4702	vpsrld	$22,%xmm9,%xmm1
4703	vpxor	%xmm2,%xmm7,%xmm7
4704
4705	vpslld	$10,%xmm9,%xmm2
4706	vpxor	%xmm3,%xmm10,%xmm8
4707	vpaddd	%xmm6,%xmm12,%xmm12
4708
4709	vpxor	%xmm1,%xmm7,%xmm7
4710	vpxor	%xmm2,%xmm7,%xmm7
4711
4712	vpaddd	%xmm6,%xmm8,%xmm8
4713	vpaddd	%xmm7,%xmm8,%xmm8
4714	addq	$256,%rbp
4715	vmovdqu	144-128(%rax),%xmm6
4716	vpaddd	16-128(%rax),%xmm5,%xmm5
4717
4718	vpsrld	$3,%xmm6,%xmm7
4719	vpsrld	$7,%xmm6,%xmm1
4720	vpslld	$25,%xmm6,%xmm2
4721	vpxor	%xmm1,%xmm7,%xmm7
4722	vpsrld	$18,%xmm6,%xmm1
4723	vpxor	%xmm2,%xmm7,%xmm7
4724	vpslld	$14,%xmm6,%xmm2
4725	vmovdqu	96-128(%rax),%xmm0
4726	vpsrld	$10,%xmm0,%xmm3
4727
4728	vpxor	%xmm1,%xmm7,%xmm7
4729	vpsrld	$17,%xmm0,%xmm1
4730	vpxor	%xmm2,%xmm7,%xmm7
4731	vpslld	$15,%xmm0,%xmm2
4732	vpaddd	%xmm7,%xmm5,%xmm5
4733	vpxor	%xmm1,%xmm3,%xmm7
4734	vpsrld	$19,%xmm0,%xmm1
4735	vpxor	%xmm2,%xmm7,%xmm7
4736	vpslld	$13,%xmm0,%xmm2
4737	vpxor	%xmm1,%xmm7,%xmm7
4738	vpxor	%xmm2,%xmm7,%xmm7
4739	vpaddd	%xmm7,%xmm5,%xmm5
4740	vpsrld	$6,%xmm12,%xmm7
4741	vpslld	$26,%xmm12,%xmm2
4742	vmovdqu	%xmm5,128-128(%rax)
4743	vpaddd	%xmm15,%xmm5,%xmm5
4744
4745	vpsrld	$11,%xmm12,%xmm1
4746	vpxor	%xmm2,%xmm7,%xmm7
4747	vpslld	$21,%xmm12,%xmm2
4748	vpaddd	-128(%rbp),%xmm5,%xmm5
4749	vpxor	%xmm1,%xmm7,%xmm7
4750
4751	vpsrld	$25,%xmm12,%xmm1
4752	vpxor	%xmm2,%xmm7,%xmm7
4753
4754	vpslld	$7,%xmm12,%xmm2
4755	vpandn	%xmm14,%xmm12,%xmm0
4756	vpand	%xmm13,%xmm12,%xmm3
4757
4758	vpxor	%xmm1,%xmm7,%xmm7
4759
4760	vpsrld	$2,%xmm8,%xmm15
4761	vpxor	%xmm2,%xmm7,%xmm7
4762
4763	vpslld	$30,%xmm8,%xmm1
4764	vpxor	%xmm3,%xmm0,%xmm0
4765	vpxor	%xmm8,%xmm9,%xmm3
4766
4767	vpxor	%xmm1,%xmm15,%xmm15
4768	vpaddd	%xmm7,%xmm5,%xmm5
4769
4770	vpsrld	$13,%xmm8,%xmm1
4771
4772	vpslld	$19,%xmm8,%xmm2
4773	vpaddd	%xmm0,%xmm5,%xmm5
4774	vpand	%xmm3,%xmm4,%xmm4
4775
4776	vpxor	%xmm1,%xmm15,%xmm7
4777
4778	vpsrld	$22,%xmm8,%xmm1
4779	vpxor	%xmm2,%xmm7,%xmm7
4780
4781	vpslld	$10,%xmm8,%xmm2
4782	vpxor	%xmm4,%xmm9,%xmm15
4783	vpaddd	%xmm5,%xmm11,%xmm11
4784
4785	vpxor	%xmm1,%xmm7,%xmm7
4786	vpxor	%xmm2,%xmm7,%xmm7
4787
4788	vpaddd	%xmm5,%xmm15,%xmm15
4789	vpaddd	%xmm7,%xmm15,%xmm15
4790	vmovdqu	160-128(%rax),%xmm5
4791	vpaddd	32-128(%rax),%xmm6,%xmm6
4792
4793	vpsrld	$3,%xmm5,%xmm7
4794	vpsrld	$7,%xmm5,%xmm1
4795	vpslld	$25,%xmm5,%xmm2
4796	vpxor	%xmm1,%xmm7,%xmm7
4797	vpsrld	$18,%xmm5,%xmm1
4798	vpxor	%xmm2,%xmm7,%xmm7
4799	vpslld	$14,%xmm5,%xmm2
4800	vmovdqu	112-128(%rax),%xmm0
4801	vpsrld	$10,%xmm0,%xmm4
4802
4803	vpxor	%xmm1,%xmm7,%xmm7
4804	vpsrld	$17,%xmm0,%xmm1
4805	vpxor	%xmm2,%xmm7,%xmm7
4806	vpslld	$15,%xmm0,%xmm2
4807	vpaddd	%xmm7,%xmm6,%xmm6
4808	vpxor	%xmm1,%xmm4,%xmm7
4809	vpsrld	$19,%xmm0,%xmm1
4810	vpxor	%xmm2,%xmm7,%xmm7
4811	vpslld	$13,%xmm0,%xmm2
4812	vpxor	%xmm1,%xmm7,%xmm7
4813	vpxor	%xmm2,%xmm7,%xmm7
4814	vpaddd	%xmm7,%xmm6,%xmm6
4815	vpsrld	$6,%xmm11,%xmm7
4816	vpslld	$26,%xmm11,%xmm2
4817	vmovdqu	%xmm6,144-128(%rax)
4818	vpaddd	%xmm14,%xmm6,%xmm6
4819
4820	vpsrld	$11,%xmm11,%xmm1
4821	vpxor	%xmm2,%xmm7,%xmm7
4822	vpslld	$21,%xmm11,%xmm2
4823	vpaddd	-96(%rbp),%xmm6,%xmm6
4824	vpxor	%xmm1,%xmm7,%xmm7
4825
4826	vpsrld	$25,%xmm11,%xmm1
4827	vpxor	%xmm2,%xmm7,%xmm7
4828
4829	vpslld	$7,%xmm11,%xmm2
4830	vpandn	%xmm13,%xmm11,%xmm0
4831	vpand	%xmm12,%xmm11,%xmm4
4832
4833	vpxor	%xmm1,%xmm7,%xmm7
4834
4835	vpsrld	$2,%xmm15,%xmm14
4836	vpxor	%xmm2,%xmm7,%xmm7
4837
4838	vpslld	$30,%xmm15,%xmm1
4839	vpxor	%xmm4,%xmm0,%xmm0
4840	vpxor	%xmm15,%xmm8,%xmm4
4841
4842	vpxor	%xmm1,%xmm14,%xmm14
4843	vpaddd	%xmm7,%xmm6,%xmm6
4844
4845	vpsrld	$13,%xmm15,%xmm1
4846
4847	vpslld	$19,%xmm15,%xmm2
4848	vpaddd	%xmm0,%xmm6,%xmm6
4849	vpand	%xmm4,%xmm3,%xmm3
4850
4851	vpxor	%xmm1,%xmm14,%xmm7
4852
4853	vpsrld	$22,%xmm15,%xmm1
4854	vpxor	%xmm2,%xmm7,%xmm7
4855
4856	vpslld	$10,%xmm15,%xmm2
4857	vpxor	%xmm3,%xmm8,%xmm14
4858	vpaddd	%xmm6,%xmm10,%xmm10
4859
4860	vpxor	%xmm1,%xmm7,%xmm7
4861	vpxor	%xmm2,%xmm7,%xmm7
4862
4863	vpaddd	%xmm6,%xmm14,%xmm14
4864	vpaddd	%xmm7,%xmm14,%xmm14
4865	vmovdqu	176-128(%rax),%xmm6
4866	vpaddd	48-128(%rax),%xmm5,%xmm5
4867
4868	vpsrld	$3,%xmm6,%xmm7
4869	vpsrld	$7,%xmm6,%xmm1
4870	vpslld	$25,%xmm6,%xmm2
4871	vpxor	%xmm1,%xmm7,%xmm7
4872	vpsrld	$18,%xmm6,%xmm1
4873	vpxor	%xmm2,%xmm7,%xmm7
4874	vpslld	$14,%xmm6,%xmm2
4875	vmovdqu	128-128(%rax),%xmm0
4876	vpsrld	$10,%xmm0,%xmm3
4877
4878	vpxor	%xmm1,%xmm7,%xmm7
4879	vpsrld	$17,%xmm0,%xmm1
4880	vpxor	%xmm2,%xmm7,%xmm7
4881	vpslld	$15,%xmm0,%xmm2
4882	vpaddd	%xmm7,%xmm5,%xmm5
4883	vpxor	%xmm1,%xmm3,%xmm7
4884	vpsrld	$19,%xmm0,%xmm1
4885	vpxor	%xmm2,%xmm7,%xmm7
4886	vpslld	$13,%xmm0,%xmm2
4887	vpxor	%xmm1,%xmm7,%xmm7
4888	vpxor	%xmm2,%xmm7,%xmm7
4889	vpaddd	%xmm7,%xmm5,%xmm5
4890	vpsrld	$6,%xmm10,%xmm7
4891	vpslld	$26,%xmm10,%xmm2
4892	vmovdqu	%xmm5,160-128(%rax)
4893	vpaddd	%xmm13,%xmm5,%xmm5
4894
4895	vpsrld	$11,%xmm10,%xmm1
4896	vpxor	%xmm2,%xmm7,%xmm7
4897	vpslld	$21,%xmm10,%xmm2
4898	vpaddd	-64(%rbp),%xmm5,%xmm5
4899	vpxor	%xmm1,%xmm7,%xmm7
4900
4901	vpsrld	$25,%xmm10,%xmm1
4902	vpxor	%xmm2,%xmm7,%xmm7
4903
4904	vpslld	$7,%xmm10,%xmm2
4905	vpandn	%xmm12,%xmm10,%xmm0
4906	vpand	%xmm11,%xmm10,%xmm3
4907
4908	vpxor	%xmm1,%xmm7,%xmm7
4909
4910	vpsrld	$2,%xmm14,%xmm13
4911	vpxor	%xmm2,%xmm7,%xmm7
4912
4913	vpslld	$30,%xmm14,%xmm1
4914	vpxor	%xmm3,%xmm0,%xmm0
4915	vpxor	%xmm14,%xmm15,%xmm3
4916
4917	vpxor	%xmm1,%xmm13,%xmm13
4918	vpaddd	%xmm7,%xmm5,%xmm5
4919
4920	vpsrld	$13,%xmm14,%xmm1
4921
4922	vpslld	$19,%xmm14,%xmm2
4923	vpaddd	%xmm0,%xmm5,%xmm5
4924	vpand	%xmm3,%xmm4,%xmm4
4925
4926	vpxor	%xmm1,%xmm13,%xmm7
4927
4928	vpsrld	$22,%xmm14,%xmm1
4929	vpxor	%xmm2,%xmm7,%xmm7
4930
4931	vpslld	$10,%xmm14,%xmm2
4932	vpxor	%xmm4,%xmm15,%xmm13
4933	vpaddd	%xmm5,%xmm9,%xmm9
4934
4935	vpxor	%xmm1,%xmm7,%xmm7
4936	vpxor	%xmm2,%xmm7,%xmm7
4937
4938	vpaddd	%xmm5,%xmm13,%xmm13
4939	vpaddd	%xmm7,%xmm13,%xmm13
4940	vmovdqu	192-128(%rax),%xmm5
4941	vpaddd	64-128(%rax),%xmm6,%xmm6
4942
4943	vpsrld	$3,%xmm5,%xmm7
4944	vpsrld	$7,%xmm5,%xmm1
4945	vpslld	$25,%xmm5,%xmm2
4946	vpxor	%xmm1,%xmm7,%xmm7
4947	vpsrld	$18,%xmm5,%xmm1
4948	vpxor	%xmm2,%xmm7,%xmm7
4949	vpslld	$14,%xmm5,%xmm2
4950	vmovdqu	144-128(%rax),%xmm0
4951	vpsrld	$10,%xmm0,%xmm4
4952
4953	vpxor	%xmm1,%xmm7,%xmm7
4954	vpsrld	$17,%xmm0,%xmm1
4955	vpxor	%xmm2,%xmm7,%xmm7
4956	vpslld	$15,%xmm0,%xmm2
4957	vpaddd	%xmm7,%xmm6,%xmm6
4958	vpxor	%xmm1,%xmm4,%xmm7
4959	vpsrld	$19,%xmm0,%xmm1
4960	vpxor	%xmm2,%xmm7,%xmm7
4961	vpslld	$13,%xmm0,%xmm2
4962	vpxor	%xmm1,%xmm7,%xmm7
4963	vpxor	%xmm2,%xmm7,%xmm7
4964	vpaddd	%xmm7,%xmm6,%xmm6
4965	vpsrld	$6,%xmm9,%xmm7
4966	vpslld	$26,%xmm9,%xmm2
4967	vmovdqu	%xmm6,176-128(%rax)
4968	vpaddd	%xmm12,%xmm6,%xmm6
4969
4970	vpsrld	$11,%xmm9,%xmm1
4971	vpxor	%xmm2,%xmm7,%xmm7
4972	vpslld	$21,%xmm9,%xmm2
4973	vpaddd	-32(%rbp),%xmm6,%xmm6
4974	vpxor	%xmm1,%xmm7,%xmm7
4975
4976	vpsrld	$25,%xmm9,%xmm1
4977	vpxor	%xmm2,%xmm7,%xmm7
4978
4979	vpslld	$7,%xmm9,%xmm2
4980	vpandn	%xmm11,%xmm9,%xmm0
4981	vpand	%xmm10,%xmm9,%xmm4
4982
4983	vpxor	%xmm1,%xmm7,%xmm7
4984
4985	vpsrld	$2,%xmm13,%xmm12
4986	vpxor	%xmm2,%xmm7,%xmm7
4987
4988	vpslld	$30,%xmm13,%xmm1
4989	vpxor	%xmm4,%xmm0,%xmm0
4990	vpxor	%xmm13,%xmm14,%xmm4
4991
4992	vpxor	%xmm1,%xmm12,%xmm12
4993	vpaddd	%xmm7,%xmm6,%xmm6
4994
4995	vpsrld	$13,%xmm13,%xmm1
4996
4997	vpslld	$19,%xmm13,%xmm2
4998	vpaddd	%xmm0,%xmm6,%xmm6
4999	vpand	%xmm4,%xmm3,%xmm3
5000
5001	vpxor	%xmm1,%xmm12,%xmm7
5002
5003	vpsrld	$22,%xmm13,%xmm1
5004	vpxor	%xmm2,%xmm7,%xmm7
5005
5006	vpslld	$10,%xmm13,%xmm2
5007	vpxor	%xmm3,%xmm14,%xmm12
5008	vpaddd	%xmm6,%xmm8,%xmm8
5009
5010	vpxor	%xmm1,%xmm7,%xmm7
5011	vpxor	%xmm2,%xmm7,%xmm7
5012
5013	vpaddd	%xmm6,%xmm12,%xmm12
5014	vpaddd	%xmm7,%xmm12,%xmm12
5015	vmovdqu	208-128(%rax),%xmm6
5016	vpaddd	80-128(%rax),%xmm5,%xmm5
5017
5018	vpsrld	$3,%xmm6,%xmm7
5019	vpsrld	$7,%xmm6,%xmm1
5020	vpslld	$25,%xmm6,%xmm2
5021	vpxor	%xmm1,%xmm7,%xmm7
5022	vpsrld	$18,%xmm6,%xmm1
5023	vpxor	%xmm2,%xmm7,%xmm7
5024	vpslld	$14,%xmm6,%xmm2
5025	vmovdqu	160-128(%rax),%xmm0
5026	vpsrld	$10,%xmm0,%xmm3
5027
5028	vpxor	%xmm1,%xmm7,%xmm7
5029	vpsrld	$17,%xmm0,%xmm1
5030	vpxor	%xmm2,%xmm7,%xmm7
5031	vpslld	$15,%xmm0,%xmm2
5032	vpaddd	%xmm7,%xmm5,%xmm5
5033	vpxor	%xmm1,%xmm3,%xmm7
5034	vpsrld	$19,%xmm0,%xmm1
5035	vpxor	%xmm2,%xmm7,%xmm7
5036	vpslld	$13,%xmm0,%xmm2
5037	vpxor	%xmm1,%xmm7,%xmm7
5038	vpxor	%xmm2,%xmm7,%xmm7
5039	vpaddd	%xmm7,%xmm5,%xmm5
5040	vpsrld	$6,%xmm8,%xmm7
5041	vpslld	$26,%xmm8,%xmm2
5042	vmovdqu	%xmm5,192-128(%rax)
5043	vpaddd	%xmm11,%xmm5,%xmm5
5044
5045	vpsrld	$11,%xmm8,%xmm1
5046	vpxor	%xmm2,%xmm7,%xmm7
5047	vpslld	$21,%xmm8,%xmm2
5048	vpaddd	0(%rbp),%xmm5,%xmm5
5049	vpxor	%xmm1,%xmm7,%xmm7
5050
5051	vpsrld	$25,%xmm8,%xmm1
5052	vpxor	%xmm2,%xmm7,%xmm7
5053
5054	vpslld	$7,%xmm8,%xmm2
5055	vpandn	%xmm10,%xmm8,%xmm0
5056	vpand	%xmm9,%xmm8,%xmm3
5057
5058	vpxor	%xmm1,%xmm7,%xmm7
5059
5060	vpsrld	$2,%xmm12,%xmm11
5061	vpxor	%xmm2,%xmm7,%xmm7
5062
5063	vpslld	$30,%xmm12,%xmm1
5064	vpxor	%xmm3,%xmm0,%xmm0
5065	vpxor	%xmm12,%xmm13,%xmm3
5066
5067	vpxor	%xmm1,%xmm11,%xmm11
5068	vpaddd	%xmm7,%xmm5,%xmm5
5069
5070	vpsrld	$13,%xmm12,%xmm1
5071
5072	vpslld	$19,%xmm12,%xmm2
5073	vpaddd	%xmm0,%xmm5,%xmm5
5074	vpand	%xmm3,%xmm4,%xmm4
5075
5076	vpxor	%xmm1,%xmm11,%xmm7
5077
5078	vpsrld	$22,%xmm12,%xmm1
5079	vpxor	%xmm2,%xmm7,%xmm7
5080
5081	vpslld	$10,%xmm12,%xmm2
5082	vpxor	%xmm4,%xmm13,%xmm11
5083	vpaddd	%xmm5,%xmm15,%xmm15
5084
5085	vpxor	%xmm1,%xmm7,%xmm7
5086	vpxor	%xmm2,%xmm7,%xmm7
5087
5088	vpaddd	%xmm5,%xmm11,%xmm11
5089	vpaddd	%xmm7,%xmm11,%xmm11
5090	vmovdqu	224-128(%rax),%xmm5
5091	vpaddd	96-128(%rax),%xmm6,%xmm6
5092
5093	vpsrld	$3,%xmm5,%xmm7
5094	vpsrld	$7,%xmm5,%xmm1
5095	vpslld	$25,%xmm5,%xmm2
5096	vpxor	%xmm1,%xmm7,%xmm7
5097	vpsrld	$18,%xmm5,%xmm1
5098	vpxor	%xmm2,%xmm7,%xmm7
5099	vpslld	$14,%xmm5,%xmm2
5100	vmovdqu	176-128(%rax),%xmm0
5101	vpsrld	$10,%xmm0,%xmm4
5102
5103	vpxor	%xmm1,%xmm7,%xmm7
5104	vpsrld	$17,%xmm0,%xmm1
5105	vpxor	%xmm2,%xmm7,%xmm7
5106	vpslld	$15,%xmm0,%xmm2
5107	vpaddd	%xmm7,%xmm6,%xmm6
5108	vpxor	%xmm1,%xmm4,%xmm7
5109	vpsrld	$19,%xmm0,%xmm1
5110	vpxor	%xmm2,%xmm7,%xmm7
5111	vpslld	$13,%xmm0,%xmm2
5112	vpxor	%xmm1,%xmm7,%xmm7
5113	vpxor	%xmm2,%xmm7,%xmm7
5114	vpaddd	%xmm7,%xmm6,%xmm6
5115	vpsrld	$6,%xmm15,%xmm7
5116	vpslld	$26,%xmm15,%xmm2
5117	vmovdqu	%xmm6,208-128(%rax)
5118	vpaddd	%xmm10,%xmm6,%xmm6
5119
5120	vpsrld	$11,%xmm15,%xmm1
5121	vpxor	%xmm2,%xmm7,%xmm7
5122	vpslld	$21,%xmm15,%xmm2
5123	vpaddd	32(%rbp),%xmm6,%xmm6
5124	vpxor	%xmm1,%xmm7,%xmm7
5125
5126	vpsrld	$25,%xmm15,%xmm1
5127	vpxor	%xmm2,%xmm7,%xmm7
5128
5129	vpslld	$7,%xmm15,%xmm2
5130	vpandn	%xmm9,%xmm15,%xmm0
5131	vpand	%xmm8,%xmm15,%xmm4
5132
5133	vpxor	%xmm1,%xmm7,%xmm7
5134
5135	vpsrld	$2,%xmm11,%xmm10
5136	vpxor	%xmm2,%xmm7,%xmm7
5137
5138	vpslld	$30,%xmm11,%xmm1
5139	vpxor	%xmm4,%xmm0,%xmm0
5140	vpxor	%xmm11,%xmm12,%xmm4
5141
5142	vpxor	%xmm1,%xmm10,%xmm10
5143	vpaddd	%xmm7,%xmm6,%xmm6
5144
5145	vpsrld	$13,%xmm11,%xmm1
5146
5147	vpslld	$19,%xmm11,%xmm2
5148	vpaddd	%xmm0,%xmm6,%xmm6
5149	vpand	%xmm4,%xmm3,%xmm3
5150
5151	vpxor	%xmm1,%xmm10,%xmm7
5152
5153	vpsrld	$22,%xmm11,%xmm1
5154	vpxor	%xmm2,%xmm7,%xmm7
5155
5156	vpslld	$10,%xmm11,%xmm2
5157	vpxor	%xmm3,%xmm12,%xmm10
5158	vpaddd	%xmm6,%xmm14,%xmm14
5159
5160	vpxor	%xmm1,%xmm7,%xmm7
5161	vpxor	%xmm2,%xmm7,%xmm7
5162
5163	vpaddd	%xmm6,%xmm10,%xmm10
5164	vpaddd	%xmm7,%xmm10,%xmm10
5165	vmovdqu	240-128(%rax),%xmm6
5166	vpaddd	112-128(%rax),%xmm5,%xmm5
5167
5168	vpsrld	$3,%xmm6,%xmm7
5169	vpsrld	$7,%xmm6,%xmm1
5170	vpslld	$25,%xmm6,%xmm2
5171	vpxor	%xmm1,%xmm7,%xmm7
5172	vpsrld	$18,%xmm6,%xmm1
5173	vpxor	%xmm2,%xmm7,%xmm7
5174	vpslld	$14,%xmm6,%xmm2
5175	vmovdqu	192-128(%rax),%xmm0
5176	vpsrld	$10,%xmm0,%xmm3
5177
5178	vpxor	%xmm1,%xmm7,%xmm7
5179	vpsrld	$17,%xmm0,%xmm1
5180	vpxor	%xmm2,%xmm7,%xmm7
5181	vpslld	$15,%xmm0,%xmm2
5182	vpaddd	%xmm7,%xmm5,%xmm5
5183	vpxor	%xmm1,%xmm3,%xmm7
5184	vpsrld	$19,%xmm0,%xmm1
5185	vpxor	%xmm2,%xmm7,%xmm7
5186	vpslld	$13,%xmm0,%xmm2
5187	vpxor	%xmm1,%xmm7,%xmm7
5188	vpxor	%xmm2,%xmm7,%xmm7
5189	vpaddd	%xmm7,%xmm5,%xmm5
5190	vpsrld	$6,%xmm14,%xmm7
5191	vpslld	$26,%xmm14,%xmm2
5192	vmovdqu	%xmm5,224-128(%rax)
5193	vpaddd	%xmm9,%xmm5,%xmm5
5194
5195	vpsrld	$11,%xmm14,%xmm1
5196	vpxor	%xmm2,%xmm7,%xmm7
5197	vpslld	$21,%xmm14,%xmm2
5198	vpaddd	64(%rbp),%xmm5,%xmm5
5199	vpxor	%xmm1,%xmm7,%xmm7
5200
5201	vpsrld	$25,%xmm14,%xmm1
5202	vpxor	%xmm2,%xmm7,%xmm7
5203
5204	vpslld	$7,%xmm14,%xmm2
5205	vpandn	%xmm8,%xmm14,%xmm0
5206	vpand	%xmm15,%xmm14,%xmm3
5207
5208	vpxor	%xmm1,%xmm7,%xmm7
5209
5210	vpsrld	$2,%xmm10,%xmm9
5211	vpxor	%xmm2,%xmm7,%xmm7
5212
5213	vpslld	$30,%xmm10,%xmm1
5214	vpxor	%xmm3,%xmm0,%xmm0
5215	vpxor	%xmm10,%xmm11,%xmm3
5216
5217	vpxor	%xmm1,%xmm9,%xmm9
5218	vpaddd	%xmm7,%xmm5,%xmm5
5219
5220	vpsrld	$13,%xmm10,%xmm1
5221
5222	vpslld	$19,%xmm10,%xmm2
5223	vpaddd	%xmm0,%xmm5,%xmm5
5224	vpand	%xmm3,%xmm4,%xmm4
5225
5226	vpxor	%xmm1,%xmm9,%xmm7
5227
5228	vpsrld	$22,%xmm10,%xmm1
5229	vpxor	%xmm2,%xmm7,%xmm7
5230
5231	vpslld	$10,%xmm10,%xmm2
5232	vpxor	%xmm4,%xmm11,%xmm9
5233	vpaddd	%xmm5,%xmm13,%xmm13
5234
5235	vpxor	%xmm1,%xmm7,%xmm7
5236	vpxor	%xmm2,%xmm7,%xmm7
5237
5238	vpaddd	%xmm5,%xmm9,%xmm9
5239	vpaddd	%xmm7,%xmm9,%xmm9
5240	vmovdqu	0-128(%rax),%xmm5
5241	vpaddd	128-128(%rax),%xmm6,%xmm6
5242
5243	vpsrld	$3,%xmm5,%xmm7
5244	vpsrld	$7,%xmm5,%xmm1
5245	vpslld	$25,%xmm5,%xmm2
5246	vpxor	%xmm1,%xmm7,%xmm7
5247	vpsrld	$18,%xmm5,%xmm1
5248	vpxor	%xmm2,%xmm7,%xmm7
5249	vpslld	$14,%xmm5,%xmm2
5250	vmovdqu	208-128(%rax),%xmm0
5251	vpsrld	$10,%xmm0,%xmm4
5252
5253	vpxor	%xmm1,%xmm7,%xmm7
5254	vpsrld	$17,%xmm0,%xmm1
5255	vpxor	%xmm2,%xmm7,%xmm7
5256	vpslld	$15,%xmm0,%xmm2
5257	vpaddd	%xmm7,%xmm6,%xmm6
5258	vpxor	%xmm1,%xmm4,%xmm7
5259	vpsrld	$19,%xmm0,%xmm1
5260	vpxor	%xmm2,%xmm7,%xmm7
5261	vpslld	$13,%xmm0,%xmm2
5262	vpxor	%xmm1,%xmm7,%xmm7
5263	vpxor	%xmm2,%xmm7,%xmm7
5264	vpaddd	%xmm7,%xmm6,%xmm6
5265	vpsrld	$6,%xmm13,%xmm7
5266	vpslld	$26,%xmm13,%xmm2
5267	vmovdqu	%xmm6,240-128(%rax)
5268	vpaddd	%xmm8,%xmm6,%xmm6
5269
5270	vpsrld	$11,%xmm13,%xmm1
5271	vpxor	%xmm2,%xmm7,%xmm7
5272	vpslld	$21,%xmm13,%xmm2
5273	vpaddd	96(%rbp),%xmm6,%xmm6
5274	vpxor	%xmm1,%xmm7,%xmm7
5275
5276	vpsrld	$25,%xmm13,%xmm1
5277	vpxor	%xmm2,%xmm7,%xmm7
5278
5279	vpslld	$7,%xmm13,%xmm2
5280	vpandn	%xmm15,%xmm13,%xmm0
5281	vpand	%xmm14,%xmm13,%xmm4
5282
5283	vpxor	%xmm1,%xmm7,%xmm7
5284
5285	vpsrld	$2,%xmm9,%xmm8
5286	vpxor	%xmm2,%xmm7,%xmm7
5287
5288	vpslld	$30,%xmm9,%xmm1
5289	vpxor	%xmm4,%xmm0,%xmm0
5290	vpxor	%xmm9,%xmm10,%xmm4
5291
5292	vpxor	%xmm1,%xmm8,%xmm8
5293	vpaddd	%xmm7,%xmm6,%xmm6
5294
5295	vpsrld	$13,%xmm9,%xmm1
5296
5297	vpslld	$19,%xmm9,%xmm2
5298	vpaddd	%xmm0,%xmm6,%xmm6
5299	vpand	%xmm4,%xmm3,%xmm3
5300
5301	vpxor	%xmm1,%xmm8,%xmm7
5302
5303	vpsrld	$22,%xmm9,%xmm1
5304	vpxor	%xmm2,%xmm7,%xmm7
5305
5306	vpslld	$10,%xmm9,%xmm2
5307	vpxor	%xmm3,%xmm10,%xmm8
5308	vpaddd	%xmm6,%xmm12,%xmm12
5309
5310	vpxor	%xmm1,%xmm7,%xmm7
5311	vpxor	%xmm2,%xmm7,%xmm7
5312
5313	vpaddd	%xmm6,%xmm8,%xmm8
5314	vpaddd	%xmm7,%xmm8,%xmm8
5315	addq	$256,%rbp
5316	decl	%ecx
5317	jnz	.Loop_16_xx_avx
5318
5319	movl	$1,%ecx
5320	leaq	K256+128(%rip),%rbp
5321	cmpl	0(%rbx),%ecx
5322	cmovgeq	%rbp,%r8
5323	cmpl	4(%rbx),%ecx
5324	cmovgeq	%rbp,%r9
5325	cmpl	8(%rbx),%ecx
5326	cmovgeq	%rbp,%r10
5327	cmpl	12(%rbx),%ecx
5328	cmovgeq	%rbp,%r11
5329	vmovdqa	(%rbx),%xmm7
5330	vpxor	%xmm0,%xmm0,%xmm0
5331	vmovdqa	%xmm7,%xmm6
5332	vpcmpgtd	%xmm0,%xmm6,%xmm6
5333	vpaddd	%xmm6,%xmm7,%xmm7
5334
5335	vmovdqu	0-128(%rdi),%xmm0
5336	vpand	%xmm6,%xmm8,%xmm8
5337	vmovdqu	32-128(%rdi),%xmm1
5338	vpand	%xmm6,%xmm9,%xmm9
5339	vmovdqu	64-128(%rdi),%xmm2
5340	vpand	%xmm6,%xmm10,%xmm10
5341	vmovdqu	96-128(%rdi),%xmm5
5342	vpand	%xmm6,%xmm11,%xmm11
5343	vpaddd	%xmm0,%xmm8,%xmm8
5344	vmovdqu	128-128(%rdi),%xmm0
5345	vpand	%xmm6,%xmm12,%xmm12
5346	vpaddd	%xmm1,%xmm9,%xmm9
5347	vmovdqu	160-128(%rdi),%xmm1
5348	vpand	%xmm6,%xmm13,%xmm13
5349	vpaddd	%xmm2,%xmm10,%xmm10
5350	vmovdqu	192-128(%rdi),%xmm2
5351	vpand	%xmm6,%xmm14,%xmm14
5352	vpaddd	%xmm5,%xmm11,%xmm11
5353	vmovdqu	224-128(%rdi),%xmm5
5354	vpand	%xmm6,%xmm15,%xmm15
5355	vpaddd	%xmm0,%xmm12,%xmm12
5356	vpaddd	%xmm1,%xmm13,%xmm13
5357	vmovdqu	%xmm8,0-128(%rdi)
5358	vpaddd	%xmm2,%xmm14,%xmm14
5359	vmovdqu	%xmm9,32-128(%rdi)
5360	vpaddd	%xmm5,%xmm15,%xmm15
5361	vmovdqu	%xmm10,64-128(%rdi)
5362	vmovdqu	%xmm11,96-128(%rdi)
5363	vmovdqu	%xmm12,128-128(%rdi)
5364	vmovdqu	%xmm13,160-128(%rdi)
5365	vmovdqu	%xmm14,192-128(%rdi)
5366	vmovdqu	%xmm15,224-128(%rdi)
5367
5368	vmovdqu	%xmm7,(%rbx)
5369	vmovdqu	.Lpbswap(%rip),%xmm6
5370	decl	%edx
5371	jnz	.Loop_avx
5372
5373	movl	280(%rsp),%edx
5374	leaq	16(%rdi),%rdi
5375	leaq	64(%rsi),%rsi
5376	decl	%edx
5377	jnz	.Loop_grande_avx
5378
5379.Ldone_avx:
5380	movq	272(%rsp),%rax
5381.cfi_def_cfa	%rax,8
5382	vzeroupper
5383	movq	-16(%rax),%rbp
5384.cfi_restore	%rbp
5385	movq	-8(%rax),%rbx
5386.cfi_restore	%rbx
5387	leaq	(%rax),%rsp
5388.cfi_def_cfa_register	%rsp
5389.Lepilogue_avx:
5390	.byte	0xf3,0xc3
5391.cfi_endproc
5392.size	sha256_multi_block_avx,.-sha256_multi_block_avx
5393.type	sha256_multi_block_avx2,@function
5394.align	32
5395sha256_multi_block_avx2:
5396.cfi_startproc
5397_avx2_shortcut:
5398	movq	%rsp,%rax
5399.cfi_def_cfa_register	%rax
5400	pushq	%rbx
5401.cfi_offset	%rbx,-16
5402	pushq	%rbp
5403.cfi_offset	%rbp,-24
5404	pushq	%r12
5405.cfi_offset	%r12,-32
5406	pushq	%r13
5407.cfi_offset	%r13,-40
5408	pushq	%r14
5409.cfi_offset	%r14,-48
5410	pushq	%r15
5411.cfi_offset	%r15,-56
5412	subq	$576,%rsp
5413	andq	$-256,%rsp
5414	movq	%rax,544(%rsp)
5415.cfi_escape	0x0f,0x06,0x77,0xa0,0x04,0x06,0x23,0x08
5416.Lbody_avx2:
5417	leaq	K256+128(%rip),%rbp
5418	leaq	128(%rdi),%rdi
5419
5420.Loop_grande_avx2:
5421	movl	%edx,552(%rsp)
5422	xorl	%edx,%edx
5423	leaq	512(%rsp),%rbx
5424	movq	0(%rsi),%r12
5425	movl	8(%rsi),%ecx
5426	cmpl	%edx,%ecx
5427	cmovgl	%ecx,%edx
5428	testl	%ecx,%ecx
5429	movl	%ecx,0(%rbx)
5430	cmovleq	%rbp,%r12
5431	movq	16(%rsi),%r13
5432	movl	24(%rsi),%ecx
5433	cmpl	%edx,%ecx
5434	cmovgl	%ecx,%edx
5435	testl	%ecx,%ecx
5436	movl	%ecx,4(%rbx)
5437	cmovleq	%rbp,%r13
5438	movq	32(%rsi),%r14
5439	movl	40(%rsi),%ecx
5440	cmpl	%edx,%ecx
5441	cmovgl	%ecx,%edx
5442	testl	%ecx,%ecx
5443	movl	%ecx,8(%rbx)
5444	cmovleq	%rbp,%r14
5445	movq	48(%rsi),%r15
5446	movl	56(%rsi),%ecx
5447	cmpl	%edx,%ecx
5448	cmovgl	%ecx,%edx
5449	testl	%ecx,%ecx
5450	movl	%ecx,12(%rbx)
5451	cmovleq	%rbp,%r15
5452	movq	64(%rsi),%r8
5453	movl	72(%rsi),%ecx
5454	cmpl	%edx,%ecx
5455	cmovgl	%ecx,%edx
5456	testl	%ecx,%ecx
5457	movl	%ecx,16(%rbx)
5458	cmovleq	%rbp,%r8
5459	movq	80(%rsi),%r9
5460	movl	88(%rsi),%ecx
5461	cmpl	%edx,%ecx
5462	cmovgl	%ecx,%edx
5463	testl	%ecx,%ecx
5464	movl	%ecx,20(%rbx)
5465	cmovleq	%rbp,%r9
5466	movq	96(%rsi),%r10
5467	movl	104(%rsi),%ecx
5468	cmpl	%edx,%ecx
5469	cmovgl	%ecx,%edx
5470	testl	%ecx,%ecx
5471	movl	%ecx,24(%rbx)
5472	cmovleq	%rbp,%r10
5473	movq	112(%rsi),%r11
5474	movl	120(%rsi),%ecx
5475	cmpl	%edx,%ecx
5476	cmovgl	%ecx,%edx
5477	testl	%ecx,%ecx
5478	movl	%ecx,28(%rbx)
5479	cmovleq	%rbp,%r11
5480	vmovdqu	0-128(%rdi),%ymm8
5481	leaq	128(%rsp),%rax
5482	vmovdqu	32-128(%rdi),%ymm9
5483	leaq	256+128(%rsp),%rbx
5484	vmovdqu	64-128(%rdi),%ymm10
5485	vmovdqu	96-128(%rdi),%ymm11
5486	vmovdqu	128-128(%rdi),%ymm12
5487	vmovdqu	160-128(%rdi),%ymm13
5488	vmovdqu	192-128(%rdi),%ymm14
5489	vmovdqu	224-128(%rdi),%ymm15
5490	vmovdqu	.Lpbswap(%rip),%ymm6
5491	jmp	.Loop_avx2
5492
5493.align	32
5494.Loop_avx2:
5495	vpxor	%ymm9,%ymm10,%ymm4
5496	vmovd	0(%r12),%xmm5
5497	vmovd	0(%r8),%xmm0
5498	vmovd	0(%r13),%xmm1
5499	vmovd	0(%r9),%xmm2
5500	vpinsrd	$1,0(%r14),%xmm5,%xmm5
5501	vpinsrd	$1,0(%r10),%xmm0,%xmm0
5502	vpinsrd	$1,0(%r15),%xmm1,%xmm1
5503	vpunpckldq	%ymm1,%ymm5,%ymm5
5504	vpinsrd	$1,0(%r11),%xmm2,%xmm2
5505	vpunpckldq	%ymm2,%ymm0,%ymm0
5506	vinserti128	$1,%xmm0,%ymm5,%ymm5
5507	vpshufb	%ymm6,%ymm5,%ymm5
5508	vpsrld	$6,%ymm12,%ymm7
5509	vpslld	$26,%ymm12,%ymm2
5510	vmovdqu	%ymm5,0-128(%rax)
5511	vpaddd	%ymm15,%ymm5,%ymm5
5512
5513	vpsrld	$11,%ymm12,%ymm1
5514	vpxor	%ymm2,%ymm7,%ymm7
5515	vpslld	$21,%ymm12,%ymm2
5516	vpaddd	-128(%rbp),%ymm5,%ymm5
5517	vpxor	%ymm1,%ymm7,%ymm7
5518
5519	vpsrld	$25,%ymm12,%ymm1
5520	vpxor	%ymm2,%ymm7,%ymm7
5521
5522	vpslld	$7,%ymm12,%ymm2
5523	vpandn	%ymm14,%ymm12,%ymm0
5524	vpand	%ymm13,%ymm12,%ymm3
5525
5526	vpxor	%ymm1,%ymm7,%ymm7
5527
5528	vpsrld	$2,%ymm8,%ymm15
5529	vpxor	%ymm2,%ymm7,%ymm7
5530
5531	vpslld	$30,%ymm8,%ymm1
5532	vpxor	%ymm3,%ymm0,%ymm0
5533	vpxor	%ymm8,%ymm9,%ymm3
5534
5535	vpxor	%ymm1,%ymm15,%ymm15
5536	vpaddd	%ymm7,%ymm5,%ymm5
5537
5538	vpsrld	$13,%ymm8,%ymm1
5539
5540	vpslld	$19,%ymm8,%ymm2
5541	vpaddd	%ymm0,%ymm5,%ymm5
5542	vpand	%ymm3,%ymm4,%ymm4
5543
5544	vpxor	%ymm1,%ymm15,%ymm7
5545
5546	vpsrld	$22,%ymm8,%ymm1
5547	vpxor	%ymm2,%ymm7,%ymm7
5548
5549	vpslld	$10,%ymm8,%ymm2
5550	vpxor	%ymm4,%ymm9,%ymm15
5551	vpaddd	%ymm5,%ymm11,%ymm11
5552
5553	vpxor	%ymm1,%ymm7,%ymm7
5554	vpxor	%ymm2,%ymm7,%ymm7
5555
5556	vpaddd	%ymm5,%ymm15,%ymm15
5557	vpaddd	%ymm7,%ymm15,%ymm15
5558	vmovd	4(%r12),%xmm5
5559	vmovd	4(%r8),%xmm0
5560	vmovd	4(%r13),%xmm1
5561	vmovd	4(%r9),%xmm2
5562	vpinsrd	$1,4(%r14),%xmm5,%xmm5
5563	vpinsrd	$1,4(%r10),%xmm0,%xmm0
5564	vpinsrd	$1,4(%r15),%xmm1,%xmm1
5565	vpunpckldq	%ymm1,%ymm5,%ymm5
5566	vpinsrd	$1,4(%r11),%xmm2,%xmm2
5567	vpunpckldq	%ymm2,%ymm0,%ymm0
5568	vinserti128	$1,%xmm0,%ymm5,%ymm5
5569	vpshufb	%ymm6,%ymm5,%ymm5
5570	vpsrld	$6,%ymm11,%ymm7
5571	vpslld	$26,%ymm11,%ymm2
5572	vmovdqu	%ymm5,32-128(%rax)
5573	vpaddd	%ymm14,%ymm5,%ymm5
5574
5575	vpsrld	$11,%ymm11,%ymm1
5576	vpxor	%ymm2,%ymm7,%ymm7
5577	vpslld	$21,%ymm11,%ymm2
5578	vpaddd	-96(%rbp),%ymm5,%ymm5
5579	vpxor	%ymm1,%ymm7,%ymm7
5580
5581	vpsrld	$25,%ymm11,%ymm1
5582	vpxor	%ymm2,%ymm7,%ymm7
5583
5584	vpslld	$7,%ymm11,%ymm2
5585	vpandn	%ymm13,%ymm11,%ymm0
5586	vpand	%ymm12,%ymm11,%ymm4
5587
5588	vpxor	%ymm1,%ymm7,%ymm7
5589
5590	vpsrld	$2,%ymm15,%ymm14
5591	vpxor	%ymm2,%ymm7,%ymm7
5592
5593	vpslld	$30,%ymm15,%ymm1
5594	vpxor	%ymm4,%ymm0,%ymm0
5595	vpxor	%ymm15,%ymm8,%ymm4
5596
5597	vpxor	%ymm1,%ymm14,%ymm14
5598	vpaddd	%ymm7,%ymm5,%ymm5
5599
5600	vpsrld	$13,%ymm15,%ymm1
5601
5602	vpslld	$19,%ymm15,%ymm2
5603	vpaddd	%ymm0,%ymm5,%ymm5
5604	vpand	%ymm4,%ymm3,%ymm3
5605
5606	vpxor	%ymm1,%ymm14,%ymm7
5607
5608	vpsrld	$22,%ymm15,%ymm1
5609	vpxor	%ymm2,%ymm7,%ymm7
5610
5611	vpslld	$10,%ymm15,%ymm2
5612	vpxor	%ymm3,%ymm8,%ymm14
5613	vpaddd	%ymm5,%ymm10,%ymm10
5614
5615	vpxor	%ymm1,%ymm7,%ymm7
5616	vpxor	%ymm2,%ymm7,%ymm7
5617
5618	vpaddd	%ymm5,%ymm14,%ymm14
5619	vpaddd	%ymm7,%ymm14,%ymm14
5620	vmovd	8(%r12),%xmm5
5621	vmovd	8(%r8),%xmm0
5622	vmovd	8(%r13),%xmm1
5623	vmovd	8(%r9),%xmm2
5624	vpinsrd	$1,8(%r14),%xmm5,%xmm5
5625	vpinsrd	$1,8(%r10),%xmm0,%xmm0
5626	vpinsrd	$1,8(%r15),%xmm1,%xmm1
5627	vpunpckldq	%ymm1,%ymm5,%ymm5
5628	vpinsrd	$1,8(%r11),%xmm2,%xmm2
5629	vpunpckldq	%ymm2,%ymm0,%ymm0
5630	vinserti128	$1,%xmm0,%ymm5,%ymm5
5631	vpshufb	%ymm6,%ymm5,%ymm5
5632	vpsrld	$6,%ymm10,%ymm7
5633	vpslld	$26,%ymm10,%ymm2
5634	vmovdqu	%ymm5,64-128(%rax)
5635	vpaddd	%ymm13,%ymm5,%ymm5
5636
5637	vpsrld	$11,%ymm10,%ymm1
5638	vpxor	%ymm2,%ymm7,%ymm7
5639	vpslld	$21,%ymm10,%ymm2
5640	vpaddd	-64(%rbp),%ymm5,%ymm5
5641	vpxor	%ymm1,%ymm7,%ymm7
5642
5643	vpsrld	$25,%ymm10,%ymm1
5644	vpxor	%ymm2,%ymm7,%ymm7
5645
5646	vpslld	$7,%ymm10,%ymm2
5647	vpandn	%ymm12,%ymm10,%ymm0
5648	vpand	%ymm11,%ymm10,%ymm3
5649
5650	vpxor	%ymm1,%ymm7,%ymm7
5651
5652	vpsrld	$2,%ymm14,%ymm13
5653	vpxor	%ymm2,%ymm7,%ymm7
5654
5655	vpslld	$30,%ymm14,%ymm1
5656	vpxor	%ymm3,%ymm0,%ymm0
5657	vpxor	%ymm14,%ymm15,%ymm3
5658
5659	vpxor	%ymm1,%ymm13,%ymm13
5660	vpaddd	%ymm7,%ymm5,%ymm5
5661
5662	vpsrld	$13,%ymm14,%ymm1
5663
5664	vpslld	$19,%ymm14,%ymm2
5665	vpaddd	%ymm0,%ymm5,%ymm5
5666	vpand	%ymm3,%ymm4,%ymm4
5667
5668	vpxor	%ymm1,%ymm13,%ymm7
5669
5670	vpsrld	$22,%ymm14,%ymm1
5671	vpxor	%ymm2,%ymm7,%ymm7
5672
5673	vpslld	$10,%ymm14,%ymm2
5674	vpxor	%ymm4,%ymm15,%ymm13
5675	vpaddd	%ymm5,%ymm9,%ymm9
5676
5677	vpxor	%ymm1,%ymm7,%ymm7
5678	vpxor	%ymm2,%ymm7,%ymm7
5679
5680	vpaddd	%ymm5,%ymm13,%ymm13
5681	vpaddd	%ymm7,%ymm13,%ymm13
5682	vmovd	12(%r12),%xmm5
5683	vmovd	12(%r8),%xmm0
5684	vmovd	12(%r13),%xmm1
5685	vmovd	12(%r9),%xmm2
5686	vpinsrd	$1,12(%r14),%xmm5,%xmm5
5687	vpinsrd	$1,12(%r10),%xmm0,%xmm0
5688	vpinsrd	$1,12(%r15),%xmm1,%xmm1
5689	vpunpckldq	%ymm1,%ymm5,%ymm5
5690	vpinsrd	$1,12(%r11),%xmm2,%xmm2
5691	vpunpckldq	%ymm2,%ymm0,%ymm0
5692	vinserti128	$1,%xmm0,%ymm5,%ymm5
5693	vpshufb	%ymm6,%ymm5,%ymm5
5694	vpsrld	$6,%ymm9,%ymm7
5695	vpslld	$26,%ymm9,%ymm2
5696	vmovdqu	%ymm5,96-128(%rax)
5697	vpaddd	%ymm12,%ymm5,%ymm5
5698
5699	vpsrld	$11,%ymm9,%ymm1
5700	vpxor	%ymm2,%ymm7,%ymm7
5701	vpslld	$21,%ymm9,%ymm2
5702	vpaddd	-32(%rbp),%ymm5,%ymm5
5703	vpxor	%ymm1,%ymm7,%ymm7
5704
5705	vpsrld	$25,%ymm9,%ymm1
5706	vpxor	%ymm2,%ymm7,%ymm7
5707
5708	vpslld	$7,%ymm9,%ymm2
5709	vpandn	%ymm11,%ymm9,%ymm0
5710	vpand	%ymm10,%ymm9,%ymm4
5711
5712	vpxor	%ymm1,%ymm7,%ymm7
5713
5714	vpsrld	$2,%ymm13,%ymm12
5715	vpxor	%ymm2,%ymm7,%ymm7
5716
5717	vpslld	$30,%ymm13,%ymm1
5718	vpxor	%ymm4,%ymm0,%ymm0
5719	vpxor	%ymm13,%ymm14,%ymm4
5720
5721	vpxor	%ymm1,%ymm12,%ymm12
5722	vpaddd	%ymm7,%ymm5,%ymm5
5723
5724	vpsrld	$13,%ymm13,%ymm1
5725
5726	vpslld	$19,%ymm13,%ymm2
5727	vpaddd	%ymm0,%ymm5,%ymm5
5728	vpand	%ymm4,%ymm3,%ymm3
5729
5730	vpxor	%ymm1,%ymm12,%ymm7
5731
5732	vpsrld	$22,%ymm13,%ymm1
5733	vpxor	%ymm2,%ymm7,%ymm7
5734
5735	vpslld	$10,%ymm13,%ymm2
5736	vpxor	%ymm3,%ymm14,%ymm12
5737	vpaddd	%ymm5,%ymm8,%ymm8
5738
5739	vpxor	%ymm1,%ymm7,%ymm7
5740	vpxor	%ymm2,%ymm7,%ymm7
5741
5742	vpaddd	%ymm5,%ymm12,%ymm12
5743	vpaddd	%ymm7,%ymm12,%ymm12
5744	vmovd	16(%r12),%xmm5
5745	vmovd	16(%r8),%xmm0
5746	vmovd	16(%r13),%xmm1
5747	vmovd	16(%r9),%xmm2
5748	vpinsrd	$1,16(%r14),%xmm5,%xmm5
5749	vpinsrd	$1,16(%r10),%xmm0,%xmm0
5750	vpinsrd	$1,16(%r15),%xmm1,%xmm1
5751	vpunpckldq	%ymm1,%ymm5,%ymm5
5752	vpinsrd	$1,16(%r11),%xmm2,%xmm2
5753	vpunpckldq	%ymm2,%ymm0,%ymm0
5754	vinserti128	$1,%xmm0,%ymm5,%ymm5
5755	vpshufb	%ymm6,%ymm5,%ymm5
5756	vpsrld	$6,%ymm8,%ymm7
5757	vpslld	$26,%ymm8,%ymm2
5758	vmovdqu	%ymm5,128-128(%rax)
5759	vpaddd	%ymm11,%ymm5,%ymm5
5760
5761	vpsrld	$11,%ymm8,%ymm1
5762	vpxor	%ymm2,%ymm7,%ymm7
5763	vpslld	$21,%ymm8,%ymm2
5764	vpaddd	0(%rbp),%ymm5,%ymm5
5765	vpxor	%ymm1,%ymm7,%ymm7
5766
5767	vpsrld	$25,%ymm8,%ymm1
5768	vpxor	%ymm2,%ymm7,%ymm7
5769
5770	vpslld	$7,%ymm8,%ymm2
5771	vpandn	%ymm10,%ymm8,%ymm0
5772	vpand	%ymm9,%ymm8,%ymm3
5773
5774	vpxor	%ymm1,%ymm7,%ymm7
5775
5776	vpsrld	$2,%ymm12,%ymm11
5777	vpxor	%ymm2,%ymm7,%ymm7
5778
5779	vpslld	$30,%ymm12,%ymm1
5780	vpxor	%ymm3,%ymm0,%ymm0
5781	vpxor	%ymm12,%ymm13,%ymm3
5782
5783	vpxor	%ymm1,%ymm11,%ymm11
5784	vpaddd	%ymm7,%ymm5,%ymm5
5785
5786	vpsrld	$13,%ymm12,%ymm1
5787
5788	vpslld	$19,%ymm12,%ymm2
5789	vpaddd	%ymm0,%ymm5,%ymm5
5790	vpand	%ymm3,%ymm4,%ymm4
5791
5792	vpxor	%ymm1,%ymm11,%ymm7
5793
5794	vpsrld	$22,%ymm12,%ymm1
5795	vpxor	%ymm2,%ymm7,%ymm7
5796
5797	vpslld	$10,%ymm12,%ymm2
5798	vpxor	%ymm4,%ymm13,%ymm11
5799	vpaddd	%ymm5,%ymm15,%ymm15
5800
5801	vpxor	%ymm1,%ymm7,%ymm7
5802	vpxor	%ymm2,%ymm7,%ymm7
5803
5804	vpaddd	%ymm5,%ymm11,%ymm11
5805	vpaddd	%ymm7,%ymm11,%ymm11
5806	vmovd	20(%r12),%xmm5
5807	vmovd	20(%r8),%xmm0
5808	vmovd	20(%r13),%xmm1
5809	vmovd	20(%r9),%xmm2
5810	vpinsrd	$1,20(%r14),%xmm5,%xmm5
5811	vpinsrd	$1,20(%r10),%xmm0,%xmm0
5812	vpinsrd	$1,20(%r15),%xmm1,%xmm1
5813	vpunpckldq	%ymm1,%ymm5,%ymm5
5814	vpinsrd	$1,20(%r11),%xmm2,%xmm2
5815	vpunpckldq	%ymm2,%ymm0,%ymm0
5816	vinserti128	$1,%xmm0,%ymm5,%ymm5
5817	vpshufb	%ymm6,%ymm5,%ymm5
5818	vpsrld	$6,%ymm15,%ymm7
5819	vpslld	$26,%ymm15,%ymm2
5820	vmovdqu	%ymm5,160-128(%rax)
5821	vpaddd	%ymm10,%ymm5,%ymm5
5822
5823	vpsrld	$11,%ymm15,%ymm1
5824	vpxor	%ymm2,%ymm7,%ymm7
5825	vpslld	$21,%ymm15,%ymm2
5826	vpaddd	32(%rbp),%ymm5,%ymm5
5827	vpxor	%ymm1,%ymm7,%ymm7
5828
5829	vpsrld	$25,%ymm15,%ymm1
5830	vpxor	%ymm2,%ymm7,%ymm7
5831
5832	vpslld	$7,%ymm15,%ymm2
5833	vpandn	%ymm9,%ymm15,%ymm0
5834	vpand	%ymm8,%ymm15,%ymm4
5835
5836	vpxor	%ymm1,%ymm7,%ymm7
5837
5838	vpsrld	$2,%ymm11,%ymm10
5839	vpxor	%ymm2,%ymm7,%ymm7
5840
5841	vpslld	$30,%ymm11,%ymm1
5842	vpxor	%ymm4,%ymm0,%ymm0
5843	vpxor	%ymm11,%ymm12,%ymm4
5844
5845	vpxor	%ymm1,%ymm10,%ymm10
5846	vpaddd	%ymm7,%ymm5,%ymm5
5847
5848	vpsrld	$13,%ymm11,%ymm1
5849
5850	vpslld	$19,%ymm11,%ymm2
5851	vpaddd	%ymm0,%ymm5,%ymm5
5852	vpand	%ymm4,%ymm3,%ymm3
5853
5854	vpxor	%ymm1,%ymm10,%ymm7
5855
5856	vpsrld	$22,%ymm11,%ymm1
5857	vpxor	%ymm2,%ymm7,%ymm7
5858
5859	vpslld	$10,%ymm11,%ymm2
5860	vpxor	%ymm3,%ymm12,%ymm10
5861	vpaddd	%ymm5,%ymm14,%ymm14
5862
5863	vpxor	%ymm1,%ymm7,%ymm7
5864	vpxor	%ymm2,%ymm7,%ymm7
5865
5866	vpaddd	%ymm5,%ymm10,%ymm10
5867	vpaddd	%ymm7,%ymm10,%ymm10
5868	vmovd	24(%r12),%xmm5
5869	vmovd	24(%r8),%xmm0
5870	vmovd	24(%r13),%xmm1
5871	vmovd	24(%r9),%xmm2
5872	vpinsrd	$1,24(%r14),%xmm5,%xmm5
5873	vpinsrd	$1,24(%r10),%xmm0,%xmm0
5874	vpinsrd	$1,24(%r15),%xmm1,%xmm1
5875	vpunpckldq	%ymm1,%ymm5,%ymm5
5876	vpinsrd	$1,24(%r11),%xmm2,%xmm2
5877	vpunpckldq	%ymm2,%ymm0,%ymm0
5878	vinserti128	$1,%xmm0,%ymm5,%ymm5
5879	vpshufb	%ymm6,%ymm5,%ymm5
5880	vpsrld	$6,%ymm14,%ymm7
5881	vpslld	$26,%ymm14,%ymm2
5882	vmovdqu	%ymm5,192-128(%rax)
5883	vpaddd	%ymm9,%ymm5,%ymm5
5884
5885	vpsrld	$11,%ymm14,%ymm1
5886	vpxor	%ymm2,%ymm7,%ymm7
5887	vpslld	$21,%ymm14,%ymm2
5888	vpaddd	64(%rbp),%ymm5,%ymm5
5889	vpxor	%ymm1,%ymm7,%ymm7
5890
5891	vpsrld	$25,%ymm14,%ymm1
5892	vpxor	%ymm2,%ymm7,%ymm7
5893
5894	vpslld	$7,%ymm14,%ymm2
5895	vpandn	%ymm8,%ymm14,%ymm0
5896	vpand	%ymm15,%ymm14,%ymm3
5897
5898	vpxor	%ymm1,%ymm7,%ymm7
5899
5900	vpsrld	$2,%ymm10,%ymm9
5901	vpxor	%ymm2,%ymm7,%ymm7
5902
5903	vpslld	$30,%ymm10,%ymm1
5904	vpxor	%ymm3,%ymm0,%ymm0
5905	vpxor	%ymm10,%ymm11,%ymm3
5906
5907	vpxor	%ymm1,%ymm9,%ymm9
5908	vpaddd	%ymm7,%ymm5,%ymm5
5909
5910	vpsrld	$13,%ymm10,%ymm1
5911
5912	vpslld	$19,%ymm10,%ymm2
5913	vpaddd	%ymm0,%ymm5,%ymm5
5914	vpand	%ymm3,%ymm4,%ymm4
5915
5916	vpxor	%ymm1,%ymm9,%ymm7
5917
5918	vpsrld	$22,%ymm10,%ymm1
5919	vpxor	%ymm2,%ymm7,%ymm7
5920
5921	vpslld	$10,%ymm10,%ymm2
5922	vpxor	%ymm4,%ymm11,%ymm9
5923	vpaddd	%ymm5,%ymm13,%ymm13
5924
5925	vpxor	%ymm1,%ymm7,%ymm7
5926	vpxor	%ymm2,%ymm7,%ymm7
5927
5928	vpaddd	%ymm5,%ymm9,%ymm9
5929	vpaddd	%ymm7,%ymm9,%ymm9
5930	vmovd	28(%r12),%xmm5
5931	vmovd	28(%r8),%xmm0
5932	vmovd	28(%r13),%xmm1
5933	vmovd	28(%r9),%xmm2
5934	vpinsrd	$1,28(%r14),%xmm5,%xmm5
5935	vpinsrd	$1,28(%r10),%xmm0,%xmm0
5936	vpinsrd	$1,28(%r15),%xmm1,%xmm1
5937	vpunpckldq	%ymm1,%ymm5,%ymm5
5938	vpinsrd	$1,28(%r11),%xmm2,%xmm2
5939	vpunpckldq	%ymm2,%ymm0,%ymm0
5940	vinserti128	$1,%xmm0,%ymm5,%ymm5
5941	vpshufb	%ymm6,%ymm5,%ymm5
5942	vpsrld	$6,%ymm13,%ymm7
5943	vpslld	$26,%ymm13,%ymm2
5944	vmovdqu	%ymm5,224-128(%rax)
5945	vpaddd	%ymm8,%ymm5,%ymm5
5946
5947	vpsrld	$11,%ymm13,%ymm1
5948	vpxor	%ymm2,%ymm7,%ymm7
5949	vpslld	$21,%ymm13,%ymm2
5950	vpaddd	96(%rbp),%ymm5,%ymm5
5951	vpxor	%ymm1,%ymm7,%ymm7
5952
5953	vpsrld	$25,%ymm13,%ymm1
5954	vpxor	%ymm2,%ymm7,%ymm7
5955
5956	vpslld	$7,%ymm13,%ymm2
5957	vpandn	%ymm15,%ymm13,%ymm0
5958	vpand	%ymm14,%ymm13,%ymm4
5959
5960	vpxor	%ymm1,%ymm7,%ymm7
5961
5962	vpsrld	$2,%ymm9,%ymm8
5963	vpxor	%ymm2,%ymm7,%ymm7
5964
5965	vpslld	$30,%ymm9,%ymm1
5966	vpxor	%ymm4,%ymm0,%ymm0
5967	vpxor	%ymm9,%ymm10,%ymm4
5968
5969	vpxor	%ymm1,%ymm8,%ymm8
5970	vpaddd	%ymm7,%ymm5,%ymm5
5971
5972	vpsrld	$13,%ymm9,%ymm1
5973
5974	vpslld	$19,%ymm9,%ymm2
5975	vpaddd	%ymm0,%ymm5,%ymm5
5976	vpand	%ymm4,%ymm3,%ymm3
5977
5978	vpxor	%ymm1,%ymm8,%ymm7
5979
5980	vpsrld	$22,%ymm9,%ymm1
5981	vpxor	%ymm2,%ymm7,%ymm7
5982
5983	vpslld	$10,%ymm9,%ymm2
5984	vpxor	%ymm3,%ymm10,%ymm8
5985	vpaddd	%ymm5,%ymm12,%ymm12
5986
5987	vpxor	%ymm1,%ymm7,%ymm7
5988	vpxor	%ymm2,%ymm7,%ymm7
5989
5990	vpaddd	%ymm5,%ymm8,%ymm8
5991	vpaddd	%ymm7,%ymm8,%ymm8
5992	addq	$256,%rbp
5993	vmovd	32(%r12),%xmm5
5994	vmovd	32(%r8),%xmm0
5995	vmovd	32(%r13),%xmm1
5996	vmovd	32(%r9),%xmm2
5997	vpinsrd	$1,32(%r14),%xmm5,%xmm5
5998	vpinsrd	$1,32(%r10),%xmm0,%xmm0
5999	vpinsrd	$1,32(%r15),%xmm1,%xmm1
6000	vpunpckldq	%ymm1,%ymm5,%ymm5
6001	vpinsrd	$1,32(%r11),%xmm2,%xmm2
6002	vpunpckldq	%ymm2,%ymm0,%ymm0
6003	vinserti128	$1,%xmm0,%ymm5,%ymm5
6004	vpshufb	%ymm6,%ymm5,%ymm5
6005	vpsrld	$6,%ymm12,%ymm7
6006	vpslld	$26,%ymm12,%ymm2
6007	vmovdqu	%ymm5,256-256-128(%rbx)
6008	vpaddd	%ymm15,%ymm5,%ymm5
6009
6010	vpsrld	$11,%ymm12,%ymm1
6011	vpxor	%ymm2,%ymm7,%ymm7
6012	vpslld	$21,%ymm12,%ymm2
6013	vpaddd	-128(%rbp),%ymm5,%ymm5
6014	vpxor	%ymm1,%ymm7,%ymm7
6015
6016	vpsrld	$25,%ymm12,%ymm1
6017	vpxor	%ymm2,%ymm7,%ymm7
6018
6019	vpslld	$7,%ymm12,%ymm2
6020	vpandn	%ymm14,%ymm12,%ymm0
6021	vpand	%ymm13,%ymm12,%ymm3
6022
6023	vpxor	%ymm1,%ymm7,%ymm7
6024
6025	vpsrld	$2,%ymm8,%ymm15
6026	vpxor	%ymm2,%ymm7,%ymm7
6027
6028	vpslld	$30,%ymm8,%ymm1
6029	vpxor	%ymm3,%ymm0,%ymm0
6030	vpxor	%ymm8,%ymm9,%ymm3
6031
6032	vpxor	%ymm1,%ymm15,%ymm15
6033	vpaddd	%ymm7,%ymm5,%ymm5
6034
6035	vpsrld	$13,%ymm8,%ymm1
6036
6037	vpslld	$19,%ymm8,%ymm2
6038	vpaddd	%ymm0,%ymm5,%ymm5
6039	vpand	%ymm3,%ymm4,%ymm4
6040
6041	vpxor	%ymm1,%ymm15,%ymm7
6042
6043	vpsrld	$22,%ymm8,%ymm1
6044	vpxor	%ymm2,%ymm7,%ymm7
6045
6046	vpslld	$10,%ymm8,%ymm2
6047	vpxor	%ymm4,%ymm9,%ymm15
6048	vpaddd	%ymm5,%ymm11,%ymm11
6049
6050	vpxor	%ymm1,%ymm7,%ymm7
6051	vpxor	%ymm2,%ymm7,%ymm7
6052
6053	vpaddd	%ymm5,%ymm15,%ymm15
6054	vpaddd	%ymm7,%ymm15,%ymm15
6055	vmovd	36(%r12),%xmm5
6056	vmovd	36(%r8),%xmm0
6057	vmovd	36(%r13),%xmm1
6058	vmovd	36(%r9),%xmm2
6059	vpinsrd	$1,36(%r14),%xmm5,%xmm5
6060	vpinsrd	$1,36(%r10),%xmm0,%xmm0
6061	vpinsrd	$1,36(%r15),%xmm1,%xmm1
6062	vpunpckldq	%ymm1,%ymm5,%ymm5
6063	vpinsrd	$1,36(%r11),%xmm2,%xmm2
6064	vpunpckldq	%ymm2,%ymm0,%ymm0
6065	vinserti128	$1,%xmm0,%ymm5,%ymm5
6066	vpshufb	%ymm6,%ymm5,%ymm5
6067	vpsrld	$6,%ymm11,%ymm7
6068	vpslld	$26,%ymm11,%ymm2
6069	vmovdqu	%ymm5,288-256-128(%rbx)
6070	vpaddd	%ymm14,%ymm5,%ymm5
6071
6072	vpsrld	$11,%ymm11,%ymm1
6073	vpxor	%ymm2,%ymm7,%ymm7
6074	vpslld	$21,%ymm11,%ymm2
6075	vpaddd	-96(%rbp),%ymm5,%ymm5
6076	vpxor	%ymm1,%ymm7,%ymm7
6077
6078	vpsrld	$25,%ymm11,%ymm1
6079	vpxor	%ymm2,%ymm7,%ymm7
6080
6081	vpslld	$7,%ymm11,%ymm2
6082	vpandn	%ymm13,%ymm11,%ymm0
6083	vpand	%ymm12,%ymm11,%ymm4
6084
6085	vpxor	%ymm1,%ymm7,%ymm7
6086
6087	vpsrld	$2,%ymm15,%ymm14
6088	vpxor	%ymm2,%ymm7,%ymm7
6089
6090	vpslld	$30,%ymm15,%ymm1
6091	vpxor	%ymm4,%ymm0,%ymm0
6092	vpxor	%ymm15,%ymm8,%ymm4
6093
6094	vpxor	%ymm1,%ymm14,%ymm14
6095	vpaddd	%ymm7,%ymm5,%ymm5
6096
6097	vpsrld	$13,%ymm15,%ymm1
6098
6099	vpslld	$19,%ymm15,%ymm2
6100	vpaddd	%ymm0,%ymm5,%ymm5
6101	vpand	%ymm4,%ymm3,%ymm3
6102
6103	vpxor	%ymm1,%ymm14,%ymm7
6104
6105	vpsrld	$22,%ymm15,%ymm1
6106	vpxor	%ymm2,%ymm7,%ymm7
6107
6108	vpslld	$10,%ymm15,%ymm2
6109	vpxor	%ymm3,%ymm8,%ymm14
6110	vpaddd	%ymm5,%ymm10,%ymm10
6111
6112	vpxor	%ymm1,%ymm7,%ymm7
6113	vpxor	%ymm2,%ymm7,%ymm7
6114
6115	vpaddd	%ymm5,%ymm14,%ymm14
6116	vpaddd	%ymm7,%ymm14,%ymm14
6117	vmovd	40(%r12),%xmm5
6118	vmovd	40(%r8),%xmm0
6119	vmovd	40(%r13),%xmm1
6120	vmovd	40(%r9),%xmm2
6121	vpinsrd	$1,40(%r14),%xmm5,%xmm5
6122	vpinsrd	$1,40(%r10),%xmm0,%xmm0
6123	vpinsrd	$1,40(%r15),%xmm1,%xmm1
6124	vpunpckldq	%ymm1,%ymm5,%ymm5
6125	vpinsrd	$1,40(%r11),%xmm2,%xmm2
6126	vpunpckldq	%ymm2,%ymm0,%ymm0
6127	vinserti128	$1,%xmm0,%ymm5,%ymm5
6128	vpshufb	%ymm6,%ymm5,%ymm5
6129	vpsrld	$6,%ymm10,%ymm7
6130	vpslld	$26,%ymm10,%ymm2
6131	vmovdqu	%ymm5,320-256-128(%rbx)
6132	vpaddd	%ymm13,%ymm5,%ymm5
6133
6134	vpsrld	$11,%ymm10,%ymm1
6135	vpxor	%ymm2,%ymm7,%ymm7
6136	vpslld	$21,%ymm10,%ymm2
6137	vpaddd	-64(%rbp),%ymm5,%ymm5
6138	vpxor	%ymm1,%ymm7,%ymm7
6139
6140	vpsrld	$25,%ymm10,%ymm1
6141	vpxor	%ymm2,%ymm7,%ymm7
6142
6143	vpslld	$7,%ymm10,%ymm2
6144	vpandn	%ymm12,%ymm10,%ymm0
6145	vpand	%ymm11,%ymm10,%ymm3
6146
6147	vpxor	%ymm1,%ymm7,%ymm7
6148
6149	vpsrld	$2,%ymm14,%ymm13
6150	vpxor	%ymm2,%ymm7,%ymm7
6151
6152	vpslld	$30,%ymm14,%ymm1
6153	vpxor	%ymm3,%ymm0,%ymm0
6154	vpxor	%ymm14,%ymm15,%ymm3
6155
6156	vpxor	%ymm1,%ymm13,%ymm13
6157	vpaddd	%ymm7,%ymm5,%ymm5
6158
6159	vpsrld	$13,%ymm14,%ymm1
6160
6161	vpslld	$19,%ymm14,%ymm2
6162	vpaddd	%ymm0,%ymm5,%ymm5
6163	vpand	%ymm3,%ymm4,%ymm4
6164
6165	vpxor	%ymm1,%ymm13,%ymm7
6166
6167	vpsrld	$22,%ymm14,%ymm1
6168	vpxor	%ymm2,%ymm7,%ymm7
6169
6170	vpslld	$10,%ymm14,%ymm2
6171	vpxor	%ymm4,%ymm15,%ymm13
6172	vpaddd	%ymm5,%ymm9,%ymm9
6173
6174	vpxor	%ymm1,%ymm7,%ymm7
6175	vpxor	%ymm2,%ymm7,%ymm7
6176
6177	vpaddd	%ymm5,%ymm13,%ymm13
6178	vpaddd	%ymm7,%ymm13,%ymm13
6179	vmovd	44(%r12),%xmm5
6180	vmovd	44(%r8),%xmm0
6181	vmovd	44(%r13),%xmm1
6182	vmovd	44(%r9),%xmm2
6183	vpinsrd	$1,44(%r14),%xmm5,%xmm5
6184	vpinsrd	$1,44(%r10),%xmm0,%xmm0
6185	vpinsrd	$1,44(%r15),%xmm1,%xmm1
6186	vpunpckldq	%ymm1,%ymm5,%ymm5
6187	vpinsrd	$1,44(%r11),%xmm2,%xmm2
6188	vpunpckldq	%ymm2,%ymm0,%ymm0
6189	vinserti128	$1,%xmm0,%ymm5,%ymm5
6190	vpshufb	%ymm6,%ymm5,%ymm5
6191	vpsrld	$6,%ymm9,%ymm7
6192	vpslld	$26,%ymm9,%ymm2
6193	vmovdqu	%ymm5,352-256-128(%rbx)
6194	vpaddd	%ymm12,%ymm5,%ymm5
6195
6196	vpsrld	$11,%ymm9,%ymm1
6197	vpxor	%ymm2,%ymm7,%ymm7
6198	vpslld	$21,%ymm9,%ymm2
6199	vpaddd	-32(%rbp),%ymm5,%ymm5
6200	vpxor	%ymm1,%ymm7,%ymm7
6201
6202	vpsrld	$25,%ymm9,%ymm1
6203	vpxor	%ymm2,%ymm7,%ymm7
6204
6205	vpslld	$7,%ymm9,%ymm2
6206	vpandn	%ymm11,%ymm9,%ymm0
6207	vpand	%ymm10,%ymm9,%ymm4
6208
6209	vpxor	%ymm1,%ymm7,%ymm7
6210
6211	vpsrld	$2,%ymm13,%ymm12
6212	vpxor	%ymm2,%ymm7,%ymm7
6213
6214	vpslld	$30,%ymm13,%ymm1
6215	vpxor	%ymm4,%ymm0,%ymm0
6216	vpxor	%ymm13,%ymm14,%ymm4
6217
6218	vpxor	%ymm1,%ymm12,%ymm12
6219	vpaddd	%ymm7,%ymm5,%ymm5
6220
6221	vpsrld	$13,%ymm13,%ymm1
6222
6223	vpslld	$19,%ymm13,%ymm2
6224	vpaddd	%ymm0,%ymm5,%ymm5
6225	vpand	%ymm4,%ymm3,%ymm3
6226
6227	vpxor	%ymm1,%ymm12,%ymm7
6228
6229	vpsrld	$22,%ymm13,%ymm1
6230	vpxor	%ymm2,%ymm7,%ymm7
6231
6232	vpslld	$10,%ymm13,%ymm2
6233	vpxor	%ymm3,%ymm14,%ymm12
6234	vpaddd	%ymm5,%ymm8,%ymm8
6235
6236	vpxor	%ymm1,%ymm7,%ymm7
6237	vpxor	%ymm2,%ymm7,%ymm7
6238
6239	vpaddd	%ymm5,%ymm12,%ymm12
6240	vpaddd	%ymm7,%ymm12,%ymm12
6241	vmovd	48(%r12),%xmm5
6242	vmovd	48(%r8),%xmm0
6243	vmovd	48(%r13),%xmm1
6244	vmovd	48(%r9),%xmm2
6245	vpinsrd	$1,48(%r14),%xmm5,%xmm5
6246	vpinsrd	$1,48(%r10),%xmm0,%xmm0
6247	vpinsrd	$1,48(%r15),%xmm1,%xmm1
6248	vpunpckldq	%ymm1,%ymm5,%ymm5
6249	vpinsrd	$1,48(%r11),%xmm2,%xmm2
6250	vpunpckldq	%ymm2,%ymm0,%ymm0
6251	vinserti128	$1,%xmm0,%ymm5,%ymm5
6252	vpshufb	%ymm6,%ymm5,%ymm5
6253	vpsrld	$6,%ymm8,%ymm7
6254	vpslld	$26,%ymm8,%ymm2
6255	vmovdqu	%ymm5,384-256-128(%rbx)
6256	vpaddd	%ymm11,%ymm5,%ymm5
6257
6258	vpsrld	$11,%ymm8,%ymm1
6259	vpxor	%ymm2,%ymm7,%ymm7
6260	vpslld	$21,%ymm8,%ymm2
6261	vpaddd	0(%rbp),%ymm5,%ymm5
6262	vpxor	%ymm1,%ymm7,%ymm7
6263
6264	vpsrld	$25,%ymm8,%ymm1
6265	vpxor	%ymm2,%ymm7,%ymm7
6266
6267	vpslld	$7,%ymm8,%ymm2
6268	vpandn	%ymm10,%ymm8,%ymm0
6269	vpand	%ymm9,%ymm8,%ymm3
6270
6271	vpxor	%ymm1,%ymm7,%ymm7
6272
6273	vpsrld	$2,%ymm12,%ymm11
6274	vpxor	%ymm2,%ymm7,%ymm7
6275
6276	vpslld	$30,%ymm12,%ymm1
6277	vpxor	%ymm3,%ymm0,%ymm0
6278	vpxor	%ymm12,%ymm13,%ymm3
6279
6280	vpxor	%ymm1,%ymm11,%ymm11
6281	vpaddd	%ymm7,%ymm5,%ymm5
6282
6283	vpsrld	$13,%ymm12,%ymm1
6284
6285	vpslld	$19,%ymm12,%ymm2
6286	vpaddd	%ymm0,%ymm5,%ymm5
6287	vpand	%ymm3,%ymm4,%ymm4
6288
6289	vpxor	%ymm1,%ymm11,%ymm7
6290
6291	vpsrld	$22,%ymm12,%ymm1
6292	vpxor	%ymm2,%ymm7,%ymm7
6293
6294	vpslld	$10,%ymm12,%ymm2
6295	vpxor	%ymm4,%ymm13,%ymm11
6296	vpaddd	%ymm5,%ymm15,%ymm15
6297
6298	vpxor	%ymm1,%ymm7,%ymm7
6299	vpxor	%ymm2,%ymm7,%ymm7
6300
6301	vpaddd	%ymm5,%ymm11,%ymm11
6302	vpaddd	%ymm7,%ymm11,%ymm11
6303	vmovd	52(%r12),%xmm5
6304	vmovd	52(%r8),%xmm0
6305	vmovd	52(%r13),%xmm1
6306	vmovd	52(%r9),%xmm2
6307	vpinsrd	$1,52(%r14),%xmm5,%xmm5
6308	vpinsrd	$1,52(%r10),%xmm0,%xmm0
6309	vpinsrd	$1,52(%r15),%xmm1,%xmm1
6310	vpunpckldq	%ymm1,%ymm5,%ymm5
6311	vpinsrd	$1,52(%r11),%xmm2,%xmm2
6312	vpunpckldq	%ymm2,%ymm0,%ymm0
6313	vinserti128	$1,%xmm0,%ymm5,%ymm5
6314	vpshufb	%ymm6,%ymm5,%ymm5
6315	vpsrld	$6,%ymm15,%ymm7
6316	vpslld	$26,%ymm15,%ymm2
6317	vmovdqu	%ymm5,416-256-128(%rbx)
6318	vpaddd	%ymm10,%ymm5,%ymm5
6319
6320	vpsrld	$11,%ymm15,%ymm1
6321	vpxor	%ymm2,%ymm7,%ymm7
6322	vpslld	$21,%ymm15,%ymm2
6323	vpaddd	32(%rbp),%ymm5,%ymm5
6324	vpxor	%ymm1,%ymm7,%ymm7
6325
6326	vpsrld	$25,%ymm15,%ymm1
6327	vpxor	%ymm2,%ymm7,%ymm7
6328
6329	vpslld	$7,%ymm15,%ymm2
6330	vpandn	%ymm9,%ymm15,%ymm0
6331	vpand	%ymm8,%ymm15,%ymm4
6332
6333	vpxor	%ymm1,%ymm7,%ymm7
6334
6335	vpsrld	$2,%ymm11,%ymm10
6336	vpxor	%ymm2,%ymm7,%ymm7
6337
6338	vpslld	$30,%ymm11,%ymm1
6339	vpxor	%ymm4,%ymm0,%ymm0
6340	vpxor	%ymm11,%ymm12,%ymm4
6341
6342	vpxor	%ymm1,%ymm10,%ymm10
6343	vpaddd	%ymm7,%ymm5,%ymm5
6344
6345	vpsrld	$13,%ymm11,%ymm1
6346
6347	vpslld	$19,%ymm11,%ymm2
6348	vpaddd	%ymm0,%ymm5,%ymm5
6349	vpand	%ymm4,%ymm3,%ymm3
6350
6351	vpxor	%ymm1,%ymm10,%ymm7
6352
6353	vpsrld	$22,%ymm11,%ymm1
6354	vpxor	%ymm2,%ymm7,%ymm7
6355
6356	vpslld	$10,%ymm11,%ymm2
6357	vpxor	%ymm3,%ymm12,%ymm10
6358	vpaddd	%ymm5,%ymm14,%ymm14
6359
6360	vpxor	%ymm1,%ymm7,%ymm7
6361	vpxor	%ymm2,%ymm7,%ymm7
6362
6363	vpaddd	%ymm5,%ymm10,%ymm10
6364	vpaddd	%ymm7,%ymm10,%ymm10
6365	vmovd	56(%r12),%xmm5
6366	vmovd	56(%r8),%xmm0
6367	vmovd	56(%r13),%xmm1
6368	vmovd	56(%r9),%xmm2
6369	vpinsrd	$1,56(%r14),%xmm5,%xmm5
6370	vpinsrd	$1,56(%r10),%xmm0,%xmm0
6371	vpinsrd	$1,56(%r15),%xmm1,%xmm1
6372	vpunpckldq	%ymm1,%ymm5,%ymm5
6373	vpinsrd	$1,56(%r11),%xmm2,%xmm2
6374	vpunpckldq	%ymm2,%ymm0,%ymm0
6375	vinserti128	$1,%xmm0,%ymm5,%ymm5
6376	vpshufb	%ymm6,%ymm5,%ymm5
6377	vpsrld	$6,%ymm14,%ymm7
6378	vpslld	$26,%ymm14,%ymm2
6379	vmovdqu	%ymm5,448-256-128(%rbx)
6380	vpaddd	%ymm9,%ymm5,%ymm5
6381
6382	vpsrld	$11,%ymm14,%ymm1
6383	vpxor	%ymm2,%ymm7,%ymm7
6384	vpslld	$21,%ymm14,%ymm2
6385	vpaddd	64(%rbp),%ymm5,%ymm5
6386	vpxor	%ymm1,%ymm7,%ymm7
6387
6388	vpsrld	$25,%ymm14,%ymm1
6389	vpxor	%ymm2,%ymm7,%ymm7
6390
6391	vpslld	$7,%ymm14,%ymm2
6392	vpandn	%ymm8,%ymm14,%ymm0
6393	vpand	%ymm15,%ymm14,%ymm3
6394
6395	vpxor	%ymm1,%ymm7,%ymm7
6396
6397	vpsrld	$2,%ymm10,%ymm9
6398	vpxor	%ymm2,%ymm7,%ymm7
6399
6400	vpslld	$30,%ymm10,%ymm1
6401	vpxor	%ymm3,%ymm0,%ymm0
6402	vpxor	%ymm10,%ymm11,%ymm3
6403
6404	vpxor	%ymm1,%ymm9,%ymm9
6405	vpaddd	%ymm7,%ymm5,%ymm5
6406
6407	vpsrld	$13,%ymm10,%ymm1
6408
6409	vpslld	$19,%ymm10,%ymm2
6410	vpaddd	%ymm0,%ymm5,%ymm5
6411	vpand	%ymm3,%ymm4,%ymm4
6412
6413	vpxor	%ymm1,%ymm9,%ymm7
6414
6415	vpsrld	$22,%ymm10,%ymm1
6416	vpxor	%ymm2,%ymm7,%ymm7
6417
6418	vpslld	$10,%ymm10,%ymm2
6419	vpxor	%ymm4,%ymm11,%ymm9
6420	vpaddd	%ymm5,%ymm13,%ymm13
6421
6422	vpxor	%ymm1,%ymm7,%ymm7
6423	vpxor	%ymm2,%ymm7,%ymm7
6424
6425	vpaddd	%ymm5,%ymm9,%ymm9
6426	vpaddd	%ymm7,%ymm9,%ymm9
6427	vmovd	60(%r12),%xmm5
6428	leaq	64(%r12),%r12
6429	vmovd	60(%r8),%xmm0
6430	leaq	64(%r8),%r8
6431	vmovd	60(%r13),%xmm1
6432	leaq	64(%r13),%r13
6433	vmovd	60(%r9),%xmm2
6434	leaq	64(%r9),%r9
6435	vpinsrd	$1,60(%r14),%xmm5,%xmm5
6436	leaq	64(%r14),%r14
6437	vpinsrd	$1,60(%r10),%xmm0,%xmm0
6438	leaq	64(%r10),%r10
6439	vpinsrd	$1,60(%r15),%xmm1,%xmm1
6440	leaq	64(%r15),%r15
6441	vpunpckldq	%ymm1,%ymm5,%ymm5
6442	vpinsrd	$1,60(%r11),%xmm2,%xmm2
6443	leaq	64(%r11),%r11
6444	vpunpckldq	%ymm2,%ymm0,%ymm0
6445	vinserti128	$1,%xmm0,%ymm5,%ymm5
6446	vpshufb	%ymm6,%ymm5,%ymm5
6447	vpsrld	$6,%ymm13,%ymm7
6448	vpslld	$26,%ymm13,%ymm2
6449	vmovdqu	%ymm5,480-256-128(%rbx)
6450	vpaddd	%ymm8,%ymm5,%ymm5
6451
6452	vpsrld	$11,%ymm13,%ymm1
6453	vpxor	%ymm2,%ymm7,%ymm7
6454	vpslld	$21,%ymm13,%ymm2
6455	vpaddd	96(%rbp),%ymm5,%ymm5
6456	vpxor	%ymm1,%ymm7,%ymm7
6457
6458	vpsrld	$25,%ymm13,%ymm1
6459	vpxor	%ymm2,%ymm7,%ymm7
6460	prefetcht0	63(%r12)
6461	vpslld	$7,%ymm13,%ymm2
6462	vpandn	%ymm15,%ymm13,%ymm0
6463	vpand	%ymm14,%ymm13,%ymm4
6464	prefetcht0	63(%r13)
6465	vpxor	%ymm1,%ymm7,%ymm7
6466
6467	vpsrld	$2,%ymm9,%ymm8
6468	vpxor	%ymm2,%ymm7,%ymm7
6469	prefetcht0	63(%r14)
6470	vpslld	$30,%ymm9,%ymm1
6471	vpxor	%ymm4,%ymm0,%ymm0
6472	vpxor	%ymm9,%ymm10,%ymm4
6473	prefetcht0	63(%r15)
6474	vpxor	%ymm1,%ymm8,%ymm8
6475	vpaddd	%ymm7,%ymm5,%ymm5
6476
6477	vpsrld	$13,%ymm9,%ymm1
6478	prefetcht0	63(%r8)
6479	vpslld	$19,%ymm9,%ymm2
6480	vpaddd	%ymm0,%ymm5,%ymm5
6481	vpand	%ymm4,%ymm3,%ymm3
6482	prefetcht0	63(%r9)
6483	vpxor	%ymm1,%ymm8,%ymm7
6484
6485	vpsrld	$22,%ymm9,%ymm1
6486	vpxor	%ymm2,%ymm7,%ymm7
6487	prefetcht0	63(%r10)
6488	vpslld	$10,%ymm9,%ymm2
6489	vpxor	%ymm3,%ymm10,%ymm8
6490	vpaddd	%ymm5,%ymm12,%ymm12
6491	prefetcht0	63(%r11)
6492	vpxor	%ymm1,%ymm7,%ymm7
6493	vpxor	%ymm2,%ymm7,%ymm7
6494
6495	vpaddd	%ymm5,%ymm8,%ymm8
6496	vpaddd	%ymm7,%ymm8,%ymm8
6497	addq	$256,%rbp
6498	vmovdqu	0-128(%rax),%ymm5
6499	movl	$3,%ecx
6500	jmp	.Loop_16_xx_avx2
6501.align	32
6502.Loop_16_xx_avx2:
6503	vmovdqu	32-128(%rax),%ymm6
6504	vpaddd	288-256-128(%rbx),%ymm5,%ymm5
6505
6506	vpsrld	$3,%ymm6,%ymm7
6507	vpsrld	$7,%ymm6,%ymm1
6508	vpslld	$25,%ymm6,%ymm2
6509	vpxor	%ymm1,%ymm7,%ymm7
6510	vpsrld	$18,%ymm6,%ymm1
6511	vpxor	%ymm2,%ymm7,%ymm7
6512	vpslld	$14,%ymm6,%ymm2
6513	vmovdqu	448-256-128(%rbx),%ymm0
6514	vpsrld	$10,%ymm0,%ymm3
6515
6516	vpxor	%ymm1,%ymm7,%ymm7
6517	vpsrld	$17,%ymm0,%ymm1
6518	vpxor	%ymm2,%ymm7,%ymm7
6519	vpslld	$15,%ymm0,%ymm2
6520	vpaddd	%ymm7,%ymm5,%ymm5
6521	vpxor	%ymm1,%ymm3,%ymm7
6522	vpsrld	$19,%ymm0,%ymm1
6523	vpxor	%ymm2,%ymm7,%ymm7
6524	vpslld	$13,%ymm0,%ymm2
6525	vpxor	%ymm1,%ymm7,%ymm7
6526	vpxor	%ymm2,%ymm7,%ymm7
6527	vpaddd	%ymm7,%ymm5,%ymm5
6528	vpsrld	$6,%ymm12,%ymm7
6529	vpslld	$26,%ymm12,%ymm2
6530	vmovdqu	%ymm5,0-128(%rax)
6531	vpaddd	%ymm15,%ymm5,%ymm5
6532
6533	vpsrld	$11,%ymm12,%ymm1
6534	vpxor	%ymm2,%ymm7,%ymm7
6535	vpslld	$21,%ymm12,%ymm2
6536	vpaddd	-128(%rbp),%ymm5,%ymm5
6537	vpxor	%ymm1,%ymm7,%ymm7
6538
6539	vpsrld	$25,%ymm12,%ymm1
6540	vpxor	%ymm2,%ymm7,%ymm7
6541
6542	vpslld	$7,%ymm12,%ymm2
6543	vpandn	%ymm14,%ymm12,%ymm0
6544	vpand	%ymm13,%ymm12,%ymm3
6545
6546	vpxor	%ymm1,%ymm7,%ymm7
6547
6548	vpsrld	$2,%ymm8,%ymm15
6549	vpxor	%ymm2,%ymm7,%ymm7
6550
6551	vpslld	$30,%ymm8,%ymm1
6552	vpxor	%ymm3,%ymm0,%ymm0
6553	vpxor	%ymm8,%ymm9,%ymm3
6554
6555	vpxor	%ymm1,%ymm15,%ymm15
6556	vpaddd	%ymm7,%ymm5,%ymm5
6557
6558	vpsrld	$13,%ymm8,%ymm1
6559
6560	vpslld	$19,%ymm8,%ymm2
6561	vpaddd	%ymm0,%ymm5,%ymm5
6562	vpand	%ymm3,%ymm4,%ymm4
6563
6564	vpxor	%ymm1,%ymm15,%ymm7
6565
6566	vpsrld	$22,%ymm8,%ymm1
6567	vpxor	%ymm2,%ymm7,%ymm7
6568
6569	vpslld	$10,%ymm8,%ymm2
6570	vpxor	%ymm4,%ymm9,%ymm15
6571	vpaddd	%ymm5,%ymm11,%ymm11
6572
6573	vpxor	%ymm1,%ymm7,%ymm7
6574	vpxor	%ymm2,%ymm7,%ymm7
6575
6576	vpaddd	%ymm5,%ymm15,%ymm15
6577	vpaddd	%ymm7,%ymm15,%ymm15
6578	vmovdqu	64-128(%rax),%ymm5
6579	vpaddd	320-256-128(%rbx),%ymm6,%ymm6
6580
6581	vpsrld	$3,%ymm5,%ymm7
6582	vpsrld	$7,%ymm5,%ymm1
6583	vpslld	$25,%ymm5,%ymm2
6584	vpxor	%ymm1,%ymm7,%ymm7
6585	vpsrld	$18,%ymm5,%ymm1
6586	vpxor	%ymm2,%ymm7,%ymm7
6587	vpslld	$14,%ymm5,%ymm2
6588	vmovdqu	480-256-128(%rbx),%ymm0
6589	vpsrld	$10,%ymm0,%ymm4
6590
6591	vpxor	%ymm1,%ymm7,%ymm7
6592	vpsrld	$17,%ymm0,%ymm1
6593	vpxor	%ymm2,%ymm7,%ymm7
6594	vpslld	$15,%ymm0,%ymm2
6595	vpaddd	%ymm7,%ymm6,%ymm6
6596	vpxor	%ymm1,%ymm4,%ymm7
6597	vpsrld	$19,%ymm0,%ymm1
6598	vpxor	%ymm2,%ymm7,%ymm7
6599	vpslld	$13,%ymm0,%ymm2
6600	vpxor	%ymm1,%ymm7,%ymm7
6601	vpxor	%ymm2,%ymm7,%ymm7
6602	vpaddd	%ymm7,%ymm6,%ymm6
6603	vpsrld	$6,%ymm11,%ymm7
6604	vpslld	$26,%ymm11,%ymm2
6605	vmovdqu	%ymm6,32-128(%rax)
6606	vpaddd	%ymm14,%ymm6,%ymm6
6607
6608	vpsrld	$11,%ymm11,%ymm1
6609	vpxor	%ymm2,%ymm7,%ymm7
6610	vpslld	$21,%ymm11,%ymm2
6611	vpaddd	-96(%rbp),%ymm6,%ymm6
6612	vpxor	%ymm1,%ymm7,%ymm7
6613
6614	vpsrld	$25,%ymm11,%ymm1
6615	vpxor	%ymm2,%ymm7,%ymm7
6616
6617	vpslld	$7,%ymm11,%ymm2
6618	vpandn	%ymm13,%ymm11,%ymm0
6619	vpand	%ymm12,%ymm11,%ymm4
6620
6621	vpxor	%ymm1,%ymm7,%ymm7
6622
6623	vpsrld	$2,%ymm15,%ymm14
6624	vpxor	%ymm2,%ymm7,%ymm7
6625
6626	vpslld	$30,%ymm15,%ymm1
6627	vpxor	%ymm4,%ymm0,%ymm0
6628	vpxor	%ymm15,%ymm8,%ymm4
6629
6630	vpxor	%ymm1,%ymm14,%ymm14
6631	vpaddd	%ymm7,%ymm6,%ymm6
6632
6633	vpsrld	$13,%ymm15,%ymm1
6634
6635	vpslld	$19,%ymm15,%ymm2
6636	vpaddd	%ymm0,%ymm6,%ymm6
6637	vpand	%ymm4,%ymm3,%ymm3
6638
6639	vpxor	%ymm1,%ymm14,%ymm7
6640
6641	vpsrld	$22,%ymm15,%ymm1
6642	vpxor	%ymm2,%ymm7,%ymm7
6643
6644	vpslld	$10,%ymm15,%ymm2
6645	vpxor	%ymm3,%ymm8,%ymm14
6646	vpaddd	%ymm6,%ymm10,%ymm10
6647
6648	vpxor	%ymm1,%ymm7,%ymm7
6649	vpxor	%ymm2,%ymm7,%ymm7
6650
6651	vpaddd	%ymm6,%ymm14,%ymm14
6652	vpaddd	%ymm7,%ymm14,%ymm14
6653	vmovdqu	96-128(%rax),%ymm6
6654	vpaddd	352-256-128(%rbx),%ymm5,%ymm5
6655
6656	vpsrld	$3,%ymm6,%ymm7
6657	vpsrld	$7,%ymm6,%ymm1
6658	vpslld	$25,%ymm6,%ymm2
6659	vpxor	%ymm1,%ymm7,%ymm7
6660	vpsrld	$18,%ymm6,%ymm1
6661	vpxor	%ymm2,%ymm7,%ymm7
6662	vpslld	$14,%ymm6,%ymm2
6663	vmovdqu	0-128(%rax),%ymm0
6664	vpsrld	$10,%ymm0,%ymm3
6665
6666	vpxor	%ymm1,%ymm7,%ymm7
6667	vpsrld	$17,%ymm0,%ymm1
6668	vpxor	%ymm2,%ymm7,%ymm7
6669	vpslld	$15,%ymm0,%ymm2
6670	vpaddd	%ymm7,%ymm5,%ymm5
6671	vpxor	%ymm1,%ymm3,%ymm7
6672	vpsrld	$19,%ymm0,%ymm1
6673	vpxor	%ymm2,%ymm7,%ymm7
6674	vpslld	$13,%ymm0,%ymm2
6675	vpxor	%ymm1,%ymm7,%ymm7
6676	vpxor	%ymm2,%ymm7,%ymm7
6677	vpaddd	%ymm7,%ymm5,%ymm5
6678	vpsrld	$6,%ymm10,%ymm7
6679	vpslld	$26,%ymm10,%ymm2
6680	vmovdqu	%ymm5,64-128(%rax)
6681	vpaddd	%ymm13,%ymm5,%ymm5
6682
6683	vpsrld	$11,%ymm10,%ymm1
6684	vpxor	%ymm2,%ymm7,%ymm7
6685	vpslld	$21,%ymm10,%ymm2
6686	vpaddd	-64(%rbp),%ymm5,%ymm5
6687	vpxor	%ymm1,%ymm7,%ymm7
6688
6689	vpsrld	$25,%ymm10,%ymm1
6690	vpxor	%ymm2,%ymm7,%ymm7
6691
6692	vpslld	$7,%ymm10,%ymm2
6693	vpandn	%ymm12,%ymm10,%ymm0
6694	vpand	%ymm11,%ymm10,%ymm3
6695
6696	vpxor	%ymm1,%ymm7,%ymm7
6697
6698	vpsrld	$2,%ymm14,%ymm13
6699	vpxor	%ymm2,%ymm7,%ymm7
6700
6701	vpslld	$30,%ymm14,%ymm1
6702	vpxor	%ymm3,%ymm0,%ymm0
6703	vpxor	%ymm14,%ymm15,%ymm3
6704
6705	vpxor	%ymm1,%ymm13,%ymm13
6706	vpaddd	%ymm7,%ymm5,%ymm5
6707
6708	vpsrld	$13,%ymm14,%ymm1
6709
6710	vpslld	$19,%ymm14,%ymm2
6711	vpaddd	%ymm0,%ymm5,%ymm5
6712	vpand	%ymm3,%ymm4,%ymm4
6713
6714	vpxor	%ymm1,%ymm13,%ymm7
6715
6716	vpsrld	$22,%ymm14,%ymm1
6717	vpxor	%ymm2,%ymm7,%ymm7
6718
6719	vpslld	$10,%ymm14,%ymm2
6720	vpxor	%ymm4,%ymm15,%ymm13
6721	vpaddd	%ymm5,%ymm9,%ymm9
6722
6723	vpxor	%ymm1,%ymm7,%ymm7
6724	vpxor	%ymm2,%ymm7,%ymm7
6725
6726	vpaddd	%ymm5,%ymm13,%ymm13
6727	vpaddd	%ymm7,%ymm13,%ymm13
6728	vmovdqu	128-128(%rax),%ymm5
6729	vpaddd	384-256-128(%rbx),%ymm6,%ymm6
6730
6731	vpsrld	$3,%ymm5,%ymm7
6732	vpsrld	$7,%ymm5,%ymm1
6733	vpslld	$25,%ymm5,%ymm2
6734	vpxor	%ymm1,%ymm7,%ymm7
6735	vpsrld	$18,%ymm5,%ymm1
6736	vpxor	%ymm2,%ymm7,%ymm7
6737	vpslld	$14,%ymm5,%ymm2
6738	vmovdqu	32-128(%rax),%ymm0
6739	vpsrld	$10,%ymm0,%ymm4
6740
6741	vpxor	%ymm1,%ymm7,%ymm7
6742	vpsrld	$17,%ymm0,%ymm1
6743	vpxor	%ymm2,%ymm7,%ymm7
6744	vpslld	$15,%ymm0,%ymm2
6745	vpaddd	%ymm7,%ymm6,%ymm6
6746	vpxor	%ymm1,%ymm4,%ymm7
6747	vpsrld	$19,%ymm0,%ymm1
6748	vpxor	%ymm2,%ymm7,%ymm7
6749	vpslld	$13,%ymm0,%ymm2
6750	vpxor	%ymm1,%ymm7,%ymm7
6751	vpxor	%ymm2,%ymm7,%ymm7
6752	vpaddd	%ymm7,%ymm6,%ymm6
6753	vpsrld	$6,%ymm9,%ymm7
6754	vpslld	$26,%ymm9,%ymm2
6755	vmovdqu	%ymm6,96-128(%rax)
6756	vpaddd	%ymm12,%ymm6,%ymm6
6757
6758	vpsrld	$11,%ymm9,%ymm1
6759	vpxor	%ymm2,%ymm7,%ymm7
6760	vpslld	$21,%ymm9,%ymm2
6761	vpaddd	-32(%rbp),%ymm6,%ymm6
6762	vpxor	%ymm1,%ymm7,%ymm7
6763
6764	vpsrld	$25,%ymm9,%ymm1
6765	vpxor	%ymm2,%ymm7,%ymm7
6766
6767	vpslld	$7,%ymm9,%ymm2
6768	vpandn	%ymm11,%ymm9,%ymm0
6769	vpand	%ymm10,%ymm9,%ymm4
6770
6771	vpxor	%ymm1,%ymm7,%ymm7
6772
6773	vpsrld	$2,%ymm13,%ymm12
6774	vpxor	%ymm2,%ymm7,%ymm7
6775
6776	vpslld	$30,%ymm13,%ymm1
6777	vpxor	%ymm4,%ymm0,%ymm0
6778	vpxor	%ymm13,%ymm14,%ymm4
6779
6780	vpxor	%ymm1,%ymm12,%ymm12
6781	vpaddd	%ymm7,%ymm6,%ymm6
6782
6783	vpsrld	$13,%ymm13,%ymm1
6784
6785	vpslld	$19,%ymm13,%ymm2
6786	vpaddd	%ymm0,%ymm6,%ymm6
6787	vpand	%ymm4,%ymm3,%ymm3
6788
6789	vpxor	%ymm1,%ymm12,%ymm7
6790
6791	vpsrld	$22,%ymm13,%ymm1
6792	vpxor	%ymm2,%ymm7,%ymm7
6793
6794	vpslld	$10,%ymm13,%ymm2
6795	vpxor	%ymm3,%ymm14,%ymm12
6796	vpaddd	%ymm6,%ymm8,%ymm8
6797
6798	vpxor	%ymm1,%ymm7,%ymm7
6799	vpxor	%ymm2,%ymm7,%ymm7
6800
6801	vpaddd	%ymm6,%ymm12,%ymm12
6802	vpaddd	%ymm7,%ymm12,%ymm12
6803	vmovdqu	160-128(%rax),%ymm6
6804	vpaddd	416-256-128(%rbx),%ymm5,%ymm5
6805
6806	vpsrld	$3,%ymm6,%ymm7
6807	vpsrld	$7,%ymm6,%ymm1
6808	vpslld	$25,%ymm6,%ymm2
6809	vpxor	%ymm1,%ymm7,%ymm7
6810	vpsrld	$18,%ymm6,%ymm1
6811	vpxor	%ymm2,%ymm7,%ymm7
6812	vpslld	$14,%ymm6,%ymm2
6813	vmovdqu	64-128(%rax),%ymm0
6814	vpsrld	$10,%ymm0,%ymm3
6815
6816	vpxor	%ymm1,%ymm7,%ymm7
6817	vpsrld	$17,%ymm0,%ymm1
6818	vpxor	%ymm2,%ymm7,%ymm7
6819	vpslld	$15,%ymm0,%ymm2
6820	vpaddd	%ymm7,%ymm5,%ymm5
6821	vpxor	%ymm1,%ymm3,%ymm7
6822	vpsrld	$19,%ymm0,%ymm1
6823	vpxor	%ymm2,%ymm7,%ymm7
6824	vpslld	$13,%ymm0,%ymm2
6825	vpxor	%ymm1,%ymm7,%ymm7
6826	vpxor	%ymm2,%ymm7,%ymm7
6827	vpaddd	%ymm7,%ymm5,%ymm5
6828	vpsrld	$6,%ymm8,%ymm7
6829	vpslld	$26,%ymm8,%ymm2
6830	vmovdqu	%ymm5,128-128(%rax)
6831	vpaddd	%ymm11,%ymm5,%ymm5
6832
6833	vpsrld	$11,%ymm8,%ymm1
6834	vpxor	%ymm2,%ymm7,%ymm7
6835	vpslld	$21,%ymm8,%ymm2
6836	vpaddd	0(%rbp),%ymm5,%ymm5
6837	vpxor	%ymm1,%ymm7,%ymm7
6838
6839	vpsrld	$25,%ymm8,%ymm1
6840	vpxor	%ymm2,%ymm7,%ymm7
6841
6842	vpslld	$7,%ymm8,%ymm2
6843	vpandn	%ymm10,%ymm8,%ymm0
6844	vpand	%ymm9,%ymm8,%ymm3
6845
6846	vpxor	%ymm1,%ymm7,%ymm7
6847
6848	vpsrld	$2,%ymm12,%ymm11
6849	vpxor	%ymm2,%ymm7,%ymm7
6850
6851	vpslld	$30,%ymm12,%ymm1
6852	vpxor	%ymm3,%ymm0,%ymm0
6853	vpxor	%ymm12,%ymm13,%ymm3
6854
6855	vpxor	%ymm1,%ymm11,%ymm11
6856	vpaddd	%ymm7,%ymm5,%ymm5
6857
6858	vpsrld	$13,%ymm12,%ymm1
6859
6860	vpslld	$19,%ymm12,%ymm2
6861	vpaddd	%ymm0,%ymm5,%ymm5
6862	vpand	%ymm3,%ymm4,%ymm4
6863
6864	vpxor	%ymm1,%ymm11,%ymm7
6865
6866	vpsrld	$22,%ymm12,%ymm1
6867	vpxor	%ymm2,%ymm7,%ymm7
6868
6869	vpslld	$10,%ymm12,%ymm2
6870	vpxor	%ymm4,%ymm13,%ymm11
6871	vpaddd	%ymm5,%ymm15,%ymm15
6872
6873	vpxor	%ymm1,%ymm7,%ymm7
6874	vpxor	%ymm2,%ymm7,%ymm7
6875
6876	vpaddd	%ymm5,%ymm11,%ymm11
6877	vpaddd	%ymm7,%ymm11,%ymm11
6878	vmovdqu	192-128(%rax),%ymm5
6879	vpaddd	448-256-128(%rbx),%ymm6,%ymm6
6880
6881	vpsrld	$3,%ymm5,%ymm7
6882	vpsrld	$7,%ymm5,%ymm1
6883	vpslld	$25,%ymm5,%ymm2
6884	vpxor	%ymm1,%ymm7,%ymm7
6885	vpsrld	$18,%ymm5,%ymm1
6886	vpxor	%ymm2,%ymm7,%ymm7
6887	vpslld	$14,%ymm5,%ymm2
6888	vmovdqu	96-128(%rax),%ymm0
6889	vpsrld	$10,%ymm0,%ymm4
6890
6891	vpxor	%ymm1,%ymm7,%ymm7
6892	vpsrld	$17,%ymm0,%ymm1
6893	vpxor	%ymm2,%ymm7,%ymm7
6894	vpslld	$15,%ymm0,%ymm2
6895	vpaddd	%ymm7,%ymm6,%ymm6
6896	vpxor	%ymm1,%ymm4,%ymm7
6897	vpsrld	$19,%ymm0,%ymm1
6898	vpxor	%ymm2,%ymm7,%ymm7
6899	vpslld	$13,%ymm0,%ymm2
6900	vpxor	%ymm1,%ymm7,%ymm7
6901	vpxor	%ymm2,%ymm7,%ymm7
6902	vpaddd	%ymm7,%ymm6,%ymm6
6903	vpsrld	$6,%ymm15,%ymm7
6904	vpslld	$26,%ymm15,%ymm2
6905	vmovdqu	%ymm6,160-128(%rax)
6906	vpaddd	%ymm10,%ymm6,%ymm6
6907
6908	vpsrld	$11,%ymm15,%ymm1
6909	vpxor	%ymm2,%ymm7,%ymm7
6910	vpslld	$21,%ymm15,%ymm2
6911	vpaddd	32(%rbp),%ymm6,%ymm6
6912	vpxor	%ymm1,%ymm7,%ymm7
6913
6914	vpsrld	$25,%ymm15,%ymm1
6915	vpxor	%ymm2,%ymm7,%ymm7
6916
6917	vpslld	$7,%ymm15,%ymm2
6918	vpandn	%ymm9,%ymm15,%ymm0
6919	vpand	%ymm8,%ymm15,%ymm4
6920
6921	vpxor	%ymm1,%ymm7,%ymm7
6922
6923	vpsrld	$2,%ymm11,%ymm10
6924	vpxor	%ymm2,%ymm7,%ymm7
6925
6926	vpslld	$30,%ymm11,%ymm1
6927	vpxor	%ymm4,%ymm0,%ymm0
6928	vpxor	%ymm11,%ymm12,%ymm4
6929
6930	vpxor	%ymm1,%ymm10,%ymm10
6931	vpaddd	%ymm7,%ymm6,%ymm6
6932
6933	vpsrld	$13,%ymm11,%ymm1
6934
6935	vpslld	$19,%ymm11,%ymm2
6936	vpaddd	%ymm0,%ymm6,%ymm6
6937	vpand	%ymm4,%ymm3,%ymm3
6938
6939	vpxor	%ymm1,%ymm10,%ymm7
6940
6941	vpsrld	$22,%ymm11,%ymm1
6942	vpxor	%ymm2,%ymm7,%ymm7
6943
6944	vpslld	$10,%ymm11,%ymm2
6945	vpxor	%ymm3,%ymm12,%ymm10
6946	vpaddd	%ymm6,%ymm14,%ymm14
6947
6948	vpxor	%ymm1,%ymm7,%ymm7
6949	vpxor	%ymm2,%ymm7,%ymm7
6950
6951	vpaddd	%ymm6,%ymm10,%ymm10
6952	vpaddd	%ymm7,%ymm10,%ymm10
6953	vmovdqu	224-128(%rax),%ymm6
6954	vpaddd	480-256-128(%rbx),%ymm5,%ymm5
6955
6956	vpsrld	$3,%ymm6,%ymm7
6957	vpsrld	$7,%ymm6,%ymm1
6958	vpslld	$25,%ymm6,%ymm2
6959	vpxor	%ymm1,%ymm7,%ymm7
6960	vpsrld	$18,%ymm6,%ymm1
6961	vpxor	%ymm2,%ymm7,%ymm7
6962	vpslld	$14,%ymm6,%ymm2
6963	vmovdqu	128-128(%rax),%ymm0
6964	vpsrld	$10,%ymm0,%ymm3
6965
6966	vpxor	%ymm1,%ymm7,%ymm7
6967	vpsrld	$17,%ymm0,%ymm1
6968	vpxor	%ymm2,%ymm7,%ymm7
6969	vpslld	$15,%ymm0,%ymm2
6970	vpaddd	%ymm7,%ymm5,%ymm5
6971	vpxor	%ymm1,%ymm3,%ymm7
6972	vpsrld	$19,%ymm0,%ymm1
6973	vpxor	%ymm2,%ymm7,%ymm7
6974	vpslld	$13,%ymm0,%ymm2
6975	vpxor	%ymm1,%ymm7,%ymm7
6976	vpxor	%ymm2,%ymm7,%ymm7
6977	vpaddd	%ymm7,%ymm5,%ymm5
6978	vpsrld	$6,%ymm14,%ymm7
6979	vpslld	$26,%ymm14,%ymm2
6980	vmovdqu	%ymm5,192-128(%rax)
6981	vpaddd	%ymm9,%ymm5,%ymm5
6982
6983	vpsrld	$11,%ymm14,%ymm1
6984	vpxor	%ymm2,%ymm7,%ymm7
6985	vpslld	$21,%ymm14,%ymm2
6986	vpaddd	64(%rbp),%ymm5,%ymm5
6987	vpxor	%ymm1,%ymm7,%ymm7
6988
6989	vpsrld	$25,%ymm14,%ymm1
6990	vpxor	%ymm2,%ymm7,%ymm7
6991
6992	vpslld	$7,%ymm14,%ymm2
6993	vpandn	%ymm8,%ymm14,%ymm0
6994	vpand	%ymm15,%ymm14,%ymm3
6995
6996	vpxor	%ymm1,%ymm7,%ymm7
6997
6998	vpsrld	$2,%ymm10,%ymm9
6999	vpxor	%ymm2,%ymm7,%ymm7
7000
7001	vpslld	$30,%ymm10,%ymm1
7002	vpxor	%ymm3,%ymm0,%ymm0
7003	vpxor	%ymm10,%ymm11,%ymm3
7004
7005	vpxor	%ymm1,%ymm9,%ymm9
7006	vpaddd	%ymm7,%ymm5,%ymm5
7007
7008	vpsrld	$13,%ymm10,%ymm1
7009
7010	vpslld	$19,%ymm10,%ymm2
7011	vpaddd	%ymm0,%ymm5,%ymm5
7012	vpand	%ymm3,%ymm4,%ymm4
7013
7014	vpxor	%ymm1,%ymm9,%ymm7
7015
7016	vpsrld	$22,%ymm10,%ymm1
7017	vpxor	%ymm2,%ymm7,%ymm7
7018
7019	vpslld	$10,%ymm10,%ymm2
7020	vpxor	%ymm4,%ymm11,%ymm9
7021	vpaddd	%ymm5,%ymm13,%ymm13
7022
7023	vpxor	%ymm1,%ymm7,%ymm7
7024	vpxor	%ymm2,%ymm7,%ymm7
7025
7026	vpaddd	%ymm5,%ymm9,%ymm9
7027	vpaddd	%ymm7,%ymm9,%ymm9
7028	vmovdqu	256-256-128(%rbx),%ymm5
7029	vpaddd	0-128(%rax),%ymm6,%ymm6
7030
7031	vpsrld	$3,%ymm5,%ymm7
7032	vpsrld	$7,%ymm5,%ymm1
7033	vpslld	$25,%ymm5,%ymm2
7034	vpxor	%ymm1,%ymm7,%ymm7
7035	vpsrld	$18,%ymm5,%ymm1
7036	vpxor	%ymm2,%ymm7,%ymm7
7037	vpslld	$14,%ymm5,%ymm2
7038	vmovdqu	160-128(%rax),%ymm0
7039	vpsrld	$10,%ymm0,%ymm4
7040
7041	vpxor	%ymm1,%ymm7,%ymm7
7042	vpsrld	$17,%ymm0,%ymm1
7043	vpxor	%ymm2,%ymm7,%ymm7
7044	vpslld	$15,%ymm0,%ymm2
7045	vpaddd	%ymm7,%ymm6,%ymm6
7046	vpxor	%ymm1,%ymm4,%ymm7
7047	vpsrld	$19,%ymm0,%ymm1
7048	vpxor	%ymm2,%ymm7,%ymm7
7049	vpslld	$13,%ymm0,%ymm2
7050	vpxor	%ymm1,%ymm7,%ymm7
7051	vpxor	%ymm2,%ymm7,%ymm7
7052	vpaddd	%ymm7,%ymm6,%ymm6
7053	vpsrld	$6,%ymm13,%ymm7
7054	vpslld	$26,%ymm13,%ymm2
7055	vmovdqu	%ymm6,224-128(%rax)
7056	vpaddd	%ymm8,%ymm6,%ymm6
7057
7058	vpsrld	$11,%ymm13,%ymm1
7059	vpxor	%ymm2,%ymm7,%ymm7
7060	vpslld	$21,%ymm13,%ymm2
7061	vpaddd	96(%rbp),%ymm6,%ymm6
7062	vpxor	%ymm1,%ymm7,%ymm7
7063
7064	vpsrld	$25,%ymm13,%ymm1
7065	vpxor	%ymm2,%ymm7,%ymm7
7066
7067	vpslld	$7,%ymm13,%ymm2
7068	vpandn	%ymm15,%ymm13,%ymm0
7069	vpand	%ymm14,%ymm13,%ymm4
7070
7071	vpxor	%ymm1,%ymm7,%ymm7
7072
7073	vpsrld	$2,%ymm9,%ymm8
7074	vpxor	%ymm2,%ymm7,%ymm7
7075
7076	vpslld	$30,%ymm9,%ymm1
7077	vpxor	%ymm4,%ymm0,%ymm0
7078	vpxor	%ymm9,%ymm10,%ymm4
7079
7080	vpxor	%ymm1,%ymm8,%ymm8
7081	vpaddd	%ymm7,%ymm6,%ymm6
7082
7083	vpsrld	$13,%ymm9,%ymm1
7084
7085	vpslld	$19,%ymm9,%ymm2
7086	vpaddd	%ymm0,%ymm6,%ymm6
7087	vpand	%ymm4,%ymm3,%ymm3
7088
7089	vpxor	%ymm1,%ymm8,%ymm7
7090
7091	vpsrld	$22,%ymm9,%ymm1
7092	vpxor	%ymm2,%ymm7,%ymm7
7093
7094	vpslld	$10,%ymm9,%ymm2
7095	vpxor	%ymm3,%ymm10,%ymm8
7096	vpaddd	%ymm6,%ymm12,%ymm12
7097
7098	vpxor	%ymm1,%ymm7,%ymm7
7099	vpxor	%ymm2,%ymm7,%ymm7
7100
7101	vpaddd	%ymm6,%ymm8,%ymm8
7102	vpaddd	%ymm7,%ymm8,%ymm8
7103	addq	$256,%rbp
7104	vmovdqu	288-256-128(%rbx),%ymm6
7105	vpaddd	32-128(%rax),%ymm5,%ymm5
7106
7107	vpsrld	$3,%ymm6,%ymm7
7108	vpsrld	$7,%ymm6,%ymm1
7109	vpslld	$25,%ymm6,%ymm2
7110	vpxor	%ymm1,%ymm7,%ymm7
7111	vpsrld	$18,%ymm6,%ymm1
7112	vpxor	%ymm2,%ymm7,%ymm7
7113	vpslld	$14,%ymm6,%ymm2
7114	vmovdqu	192-128(%rax),%ymm0
7115	vpsrld	$10,%ymm0,%ymm3
7116
7117	vpxor	%ymm1,%ymm7,%ymm7
7118	vpsrld	$17,%ymm0,%ymm1
7119	vpxor	%ymm2,%ymm7,%ymm7
7120	vpslld	$15,%ymm0,%ymm2
7121	vpaddd	%ymm7,%ymm5,%ymm5
7122	vpxor	%ymm1,%ymm3,%ymm7
7123	vpsrld	$19,%ymm0,%ymm1
7124	vpxor	%ymm2,%ymm7,%ymm7
7125	vpslld	$13,%ymm0,%ymm2
7126	vpxor	%ymm1,%ymm7,%ymm7
7127	vpxor	%ymm2,%ymm7,%ymm7
7128	vpaddd	%ymm7,%ymm5,%ymm5
7129	vpsrld	$6,%ymm12,%ymm7
7130	vpslld	$26,%ymm12,%ymm2
7131	vmovdqu	%ymm5,256-256-128(%rbx)
7132	vpaddd	%ymm15,%ymm5,%ymm5
7133
7134	vpsrld	$11,%ymm12,%ymm1
7135	vpxor	%ymm2,%ymm7,%ymm7
7136	vpslld	$21,%ymm12,%ymm2
7137	vpaddd	-128(%rbp),%ymm5,%ymm5
7138	vpxor	%ymm1,%ymm7,%ymm7
7139
7140	vpsrld	$25,%ymm12,%ymm1
7141	vpxor	%ymm2,%ymm7,%ymm7
7142
7143	vpslld	$7,%ymm12,%ymm2
7144	vpandn	%ymm14,%ymm12,%ymm0
7145	vpand	%ymm13,%ymm12,%ymm3
7146
7147	vpxor	%ymm1,%ymm7,%ymm7
7148
7149	vpsrld	$2,%ymm8,%ymm15
7150	vpxor	%ymm2,%ymm7,%ymm7
7151
7152	vpslld	$30,%ymm8,%ymm1
7153	vpxor	%ymm3,%ymm0,%ymm0
7154	vpxor	%ymm8,%ymm9,%ymm3
7155
7156	vpxor	%ymm1,%ymm15,%ymm15
7157	vpaddd	%ymm7,%ymm5,%ymm5
7158
7159	vpsrld	$13,%ymm8,%ymm1
7160
7161	vpslld	$19,%ymm8,%ymm2
7162	vpaddd	%ymm0,%ymm5,%ymm5
7163	vpand	%ymm3,%ymm4,%ymm4
7164
7165	vpxor	%ymm1,%ymm15,%ymm7
7166
7167	vpsrld	$22,%ymm8,%ymm1
7168	vpxor	%ymm2,%ymm7,%ymm7
7169
7170	vpslld	$10,%ymm8,%ymm2
7171	vpxor	%ymm4,%ymm9,%ymm15
7172	vpaddd	%ymm5,%ymm11,%ymm11
7173
7174	vpxor	%ymm1,%ymm7,%ymm7
7175	vpxor	%ymm2,%ymm7,%ymm7
7176
7177	vpaddd	%ymm5,%ymm15,%ymm15
7178	vpaddd	%ymm7,%ymm15,%ymm15
7179	vmovdqu	320-256-128(%rbx),%ymm5
7180	vpaddd	64-128(%rax),%ymm6,%ymm6
7181
7182	vpsrld	$3,%ymm5,%ymm7
7183	vpsrld	$7,%ymm5,%ymm1
7184	vpslld	$25,%ymm5,%ymm2
7185	vpxor	%ymm1,%ymm7,%ymm7
7186	vpsrld	$18,%ymm5,%ymm1
7187	vpxor	%ymm2,%ymm7,%ymm7
7188	vpslld	$14,%ymm5,%ymm2
7189	vmovdqu	224-128(%rax),%ymm0
7190	vpsrld	$10,%ymm0,%ymm4
7191
7192	vpxor	%ymm1,%ymm7,%ymm7
7193	vpsrld	$17,%ymm0,%ymm1
7194	vpxor	%ymm2,%ymm7,%ymm7
7195	vpslld	$15,%ymm0,%ymm2
7196	vpaddd	%ymm7,%ymm6,%ymm6
7197	vpxor	%ymm1,%ymm4,%ymm7
7198	vpsrld	$19,%ymm0,%ymm1
7199	vpxor	%ymm2,%ymm7,%ymm7
7200	vpslld	$13,%ymm0,%ymm2
7201	vpxor	%ymm1,%ymm7,%ymm7
7202	vpxor	%ymm2,%ymm7,%ymm7
7203	vpaddd	%ymm7,%ymm6,%ymm6
7204	vpsrld	$6,%ymm11,%ymm7
7205	vpslld	$26,%ymm11,%ymm2
7206	vmovdqu	%ymm6,288-256-128(%rbx)
7207	vpaddd	%ymm14,%ymm6,%ymm6
7208
7209	vpsrld	$11,%ymm11,%ymm1
7210	vpxor	%ymm2,%ymm7,%ymm7
7211	vpslld	$21,%ymm11,%ymm2
7212	vpaddd	-96(%rbp),%ymm6,%ymm6
7213	vpxor	%ymm1,%ymm7,%ymm7
7214
7215	vpsrld	$25,%ymm11,%ymm1
7216	vpxor	%ymm2,%ymm7,%ymm7
7217
7218	vpslld	$7,%ymm11,%ymm2
7219	vpandn	%ymm13,%ymm11,%ymm0
7220	vpand	%ymm12,%ymm11,%ymm4
7221
7222	vpxor	%ymm1,%ymm7,%ymm7
7223
7224	vpsrld	$2,%ymm15,%ymm14
7225	vpxor	%ymm2,%ymm7,%ymm7
7226
7227	vpslld	$30,%ymm15,%ymm1
7228	vpxor	%ymm4,%ymm0,%ymm0
7229	vpxor	%ymm15,%ymm8,%ymm4
7230
7231	vpxor	%ymm1,%ymm14,%ymm14
7232	vpaddd	%ymm7,%ymm6,%ymm6
7233
7234	vpsrld	$13,%ymm15,%ymm1
7235
7236	vpslld	$19,%ymm15,%ymm2
7237	vpaddd	%ymm0,%ymm6,%ymm6
7238	vpand	%ymm4,%ymm3,%ymm3
7239
7240	vpxor	%ymm1,%ymm14,%ymm7
7241
7242	vpsrld	$22,%ymm15,%ymm1
7243	vpxor	%ymm2,%ymm7,%ymm7
7244
7245	vpslld	$10,%ymm15,%ymm2
7246	vpxor	%ymm3,%ymm8,%ymm14
7247	vpaddd	%ymm6,%ymm10,%ymm10
7248
7249	vpxor	%ymm1,%ymm7,%ymm7
7250	vpxor	%ymm2,%ymm7,%ymm7
7251
7252	vpaddd	%ymm6,%ymm14,%ymm14
7253	vpaddd	%ymm7,%ymm14,%ymm14
7254	vmovdqu	352-256-128(%rbx),%ymm6
7255	vpaddd	96-128(%rax),%ymm5,%ymm5
7256
7257	vpsrld	$3,%ymm6,%ymm7
7258	vpsrld	$7,%ymm6,%ymm1
7259	vpslld	$25,%ymm6,%ymm2
7260	vpxor	%ymm1,%ymm7,%ymm7
7261	vpsrld	$18,%ymm6,%ymm1
7262	vpxor	%ymm2,%ymm7,%ymm7
7263	vpslld	$14,%ymm6,%ymm2
7264	vmovdqu	256-256-128(%rbx),%ymm0
7265	vpsrld	$10,%ymm0,%ymm3
7266
7267	vpxor	%ymm1,%ymm7,%ymm7
7268	vpsrld	$17,%ymm0,%ymm1
7269	vpxor	%ymm2,%ymm7,%ymm7
7270	vpslld	$15,%ymm0,%ymm2
7271	vpaddd	%ymm7,%ymm5,%ymm5
7272	vpxor	%ymm1,%ymm3,%ymm7
7273	vpsrld	$19,%ymm0,%ymm1
7274	vpxor	%ymm2,%ymm7,%ymm7
7275	vpslld	$13,%ymm0,%ymm2
7276	vpxor	%ymm1,%ymm7,%ymm7
7277	vpxor	%ymm2,%ymm7,%ymm7
7278	vpaddd	%ymm7,%ymm5,%ymm5
7279	vpsrld	$6,%ymm10,%ymm7
7280	vpslld	$26,%ymm10,%ymm2
7281	vmovdqu	%ymm5,320-256-128(%rbx)
7282	vpaddd	%ymm13,%ymm5,%ymm5
7283
7284	vpsrld	$11,%ymm10,%ymm1
7285	vpxor	%ymm2,%ymm7,%ymm7
7286	vpslld	$21,%ymm10,%ymm2
7287	vpaddd	-64(%rbp),%ymm5,%ymm5
7288	vpxor	%ymm1,%ymm7,%ymm7
7289
7290	vpsrld	$25,%ymm10,%ymm1
7291	vpxor	%ymm2,%ymm7,%ymm7
7292
7293	vpslld	$7,%ymm10,%ymm2
7294	vpandn	%ymm12,%ymm10,%ymm0
7295	vpand	%ymm11,%ymm10,%ymm3
7296
7297	vpxor	%ymm1,%ymm7,%ymm7
7298
7299	vpsrld	$2,%ymm14,%ymm13
7300	vpxor	%ymm2,%ymm7,%ymm7
7301
7302	vpslld	$30,%ymm14,%ymm1
7303	vpxor	%ymm3,%ymm0,%ymm0
7304	vpxor	%ymm14,%ymm15,%ymm3
7305
7306	vpxor	%ymm1,%ymm13,%ymm13
7307	vpaddd	%ymm7,%ymm5,%ymm5
7308
7309	vpsrld	$13,%ymm14,%ymm1
7310
7311	vpslld	$19,%ymm14,%ymm2
7312	vpaddd	%ymm0,%ymm5,%ymm5
7313	vpand	%ymm3,%ymm4,%ymm4
7314
7315	vpxor	%ymm1,%ymm13,%ymm7
7316
7317	vpsrld	$22,%ymm14,%ymm1
7318	vpxor	%ymm2,%ymm7,%ymm7
7319
7320	vpslld	$10,%ymm14,%ymm2
7321	vpxor	%ymm4,%ymm15,%ymm13
7322	vpaddd	%ymm5,%ymm9,%ymm9
7323
7324	vpxor	%ymm1,%ymm7,%ymm7
7325	vpxor	%ymm2,%ymm7,%ymm7
7326
7327	vpaddd	%ymm5,%ymm13,%ymm13
7328	vpaddd	%ymm7,%ymm13,%ymm13
7329	vmovdqu	384-256-128(%rbx),%ymm5
7330	vpaddd	128-128(%rax),%ymm6,%ymm6
7331
7332	vpsrld	$3,%ymm5,%ymm7
7333	vpsrld	$7,%ymm5,%ymm1
7334	vpslld	$25,%ymm5,%ymm2
7335	vpxor	%ymm1,%ymm7,%ymm7
7336	vpsrld	$18,%ymm5,%ymm1
7337	vpxor	%ymm2,%ymm7,%ymm7
7338	vpslld	$14,%ymm5,%ymm2
7339	vmovdqu	288-256-128(%rbx),%ymm0
7340	vpsrld	$10,%ymm0,%ymm4
7341
7342	vpxor	%ymm1,%ymm7,%ymm7
7343	vpsrld	$17,%ymm0,%ymm1
7344	vpxor	%ymm2,%ymm7,%ymm7
7345	vpslld	$15,%ymm0,%ymm2
7346	vpaddd	%ymm7,%ymm6,%ymm6
7347	vpxor	%ymm1,%ymm4,%ymm7
7348	vpsrld	$19,%ymm0,%ymm1
7349	vpxor	%ymm2,%ymm7,%ymm7
7350	vpslld	$13,%ymm0,%ymm2
7351	vpxor	%ymm1,%ymm7,%ymm7
7352	vpxor	%ymm2,%ymm7,%ymm7
7353	vpaddd	%ymm7,%ymm6,%ymm6
7354	vpsrld	$6,%ymm9,%ymm7
7355	vpslld	$26,%ymm9,%ymm2
7356	vmovdqu	%ymm6,352-256-128(%rbx)
7357	vpaddd	%ymm12,%ymm6,%ymm6
7358
7359	vpsrld	$11,%ymm9,%ymm1
7360	vpxor	%ymm2,%ymm7,%ymm7
7361	vpslld	$21,%ymm9,%ymm2
7362	vpaddd	-32(%rbp),%ymm6,%ymm6
7363	vpxor	%ymm1,%ymm7,%ymm7
7364
7365	vpsrld	$25,%ymm9,%ymm1
7366	vpxor	%ymm2,%ymm7,%ymm7
7367
7368	vpslld	$7,%ymm9,%ymm2
7369	vpandn	%ymm11,%ymm9,%ymm0
7370	vpand	%ymm10,%ymm9,%ymm4
7371
7372	vpxor	%ymm1,%ymm7,%ymm7
7373
7374	vpsrld	$2,%ymm13,%ymm12
7375	vpxor	%ymm2,%ymm7,%ymm7
7376
7377	vpslld	$30,%ymm13,%ymm1
7378	vpxor	%ymm4,%ymm0,%ymm0
7379	vpxor	%ymm13,%ymm14,%ymm4
7380
7381	vpxor	%ymm1,%ymm12,%ymm12
7382	vpaddd	%ymm7,%ymm6,%ymm6
7383
7384	vpsrld	$13,%ymm13,%ymm1
7385
7386	vpslld	$19,%ymm13,%ymm2
7387	vpaddd	%ymm0,%ymm6,%ymm6
7388	vpand	%ymm4,%ymm3,%ymm3
7389
7390	vpxor	%ymm1,%ymm12,%ymm7
7391
7392	vpsrld	$22,%ymm13,%ymm1
7393	vpxor	%ymm2,%ymm7,%ymm7
7394
7395	vpslld	$10,%ymm13,%ymm2
7396	vpxor	%ymm3,%ymm14,%ymm12
7397	vpaddd	%ymm6,%ymm8,%ymm8
7398
7399	vpxor	%ymm1,%ymm7,%ymm7
7400	vpxor	%ymm2,%ymm7,%ymm7
7401
7402	vpaddd	%ymm6,%ymm12,%ymm12
7403	vpaddd	%ymm7,%ymm12,%ymm12
7404	vmovdqu	416-256-128(%rbx),%ymm6
7405	vpaddd	160-128(%rax),%ymm5,%ymm5
7406
7407	vpsrld	$3,%ymm6,%ymm7
7408	vpsrld	$7,%ymm6,%ymm1
7409	vpslld	$25,%ymm6,%ymm2
7410	vpxor	%ymm1,%ymm7,%ymm7
7411	vpsrld	$18,%ymm6,%ymm1
7412	vpxor	%ymm2,%ymm7,%ymm7
7413	vpslld	$14,%ymm6,%ymm2
7414	vmovdqu	320-256-128(%rbx),%ymm0
7415	vpsrld	$10,%ymm0,%ymm3
7416
7417	vpxor	%ymm1,%ymm7,%ymm7
7418	vpsrld	$17,%ymm0,%ymm1
7419	vpxor	%ymm2,%ymm7,%ymm7
7420	vpslld	$15,%ymm0,%ymm2
7421	vpaddd	%ymm7,%ymm5,%ymm5
7422	vpxor	%ymm1,%ymm3,%ymm7
7423	vpsrld	$19,%ymm0,%ymm1
7424	vpxor	%ymm2,%ymm7,%ymm7
7425	vpslld	$13,%ymm0,%ymm2
7426	vpxor	%ymm1,%ymm7,%ymm7
7427	vpxor	%ymm2,%ymm7,%ymm7
7428	vpaddd	%ymm7,%ymm5,%ymm5
7429	vpsrld	$6,%ymm8,%ymm7
7430	vpslld	$26,%ymm8,%ymm2
7431	vmovdqu	%ymm5,384-256-128(%rbx)
7432	vpaddd	%ymm11,%ymm5,%ymm5
7433
7434	vpsrld	$11,%ymm8,%ymm1
7435	vpxor	%ymm2,%ymm7,%ymm7
7436	vpslld	$21,%ymm8,%ymm2
7437	vpaddd	0(%rbp),%ymm5,%ymm5
7438	vpxor	%ymm1,%ymm7,%ymm7
7439
7440	vpsrld	$25,%ymm8,%ymm1
7441	vpxor	%ymm2,%ymm7,%ymm7
7442
7443	vpslld	$7,%ymm8,%ymm2
7444	vpandn	%ymm10,%ymm8,%ymm0
7445	vpand	%ymm9,%ymm8,%ymm3
7446
7447	vpxor	%ymm1,%ymm7,%ymm7
7448
7449	vpsrld	$2,%ymm12,%ymm11
7450	vpxor	%ymm2,%ymm7,%ymm7
7451
7452	vpslld	$30,%ymm12,%ymm1
7453	vpxor	%ymm3,%ymm0,%ymm0
7454	vpxor	%ymm12,%ymm13,%ymm3
7455
7456	vpxor	%ymm1,%ymm11,%ymm11
7457	vpaddd	%ymm7,%ymm5,%ymm5
7458
7459	vpsrld	$13,%ymm12,%ymm1
7460
7461	vpslld	$19,%ymm12,%ymm2
7462	vpaddd	%ymm0,%ymm5,%ymm5
7463	vpand	%ymm3,%ymm4,%ymm4
7464
7465	vpxor	%ymm1,%ymm11,%ymm7
7466
7467	vpsrld	$22,%ymm12,%ymm1
7468	vpxor	%ymm2,%ymm7,%ymm7
7469
7470	vpslld	$10,%ymm12,%ymm2
7471	vpxor	%ymm4,%ymm13,%ymm11
7472	vpaddd	%ymm5,%ymm15,%ymm15
7473
7474	vpxor	%ymm1,%ymm7,%ymm7
7475	vpxor	%ymm2,%ymm7,%ymm7
7476
7477	vpaddd	%ymm5,%ymm11,%ymm11
7478	vpaddd	%ymm7,%ymm11,%ymm11
7479	vmovdqu	448-256-128(%rbx),%ymm5
7480	vpaddd	192-128(%rax),%ymm6,%ymm6
7481
7482	vpsrld	$3,%ymm5,%ymm7
7483	vpsrld	$7,%ymm5,%ymm1
7484	vpslld	$25,%ymm5,%ymm2
7485	vpxor	%ymm1,%ymm7,%ymm7
7486	vpsrld	$18,%ymm5,%ymm1
7487	vpxor	%ymm2,%ymm7,%ymm7
7488	vpslld	$14,%ymm5,%ymm2
7489	vmovdqu	352-256-128(%rbx),%ymm0
7490	vpsrld	$10,%ymm0,%ymm4
7491
7492	vpxor	%ymm1,%ymm7,%ymm7
7493	vpsrld	$17,%ymm0,%ymm1
7494	vpxor	%ymm2,%ymm7,%ymm7
7495	vpslld	$15,%ymm0,%ymm2
7496	vpaddd	%ymm7,%ymm6,%ymm6
7497	vpxor	%ymm1,%ymm4,%ymm7
7498	vpsrld	$19,%ymm0,%ymm1
7499	vpxor	%ymm2,%ymm7,%ymm7
7500	vpslld	$13,%ymm0,%ymm2
7501	vpxor	%ymm1,%ymm7,%ymm7
7502	vpxor	%ymm2,%ymm7,%ymm7
7503	vpaddd	%ymm7,%ymm6,%ymm6
7504	vpsrld	$6,%ymm15,%ymm7
7505	vpslld	$26,%ymm15,%ymm2
7506	vmovdqu	%ymm6,416-256-128(%rbx)
7507	vpaddd	%ymm10,%ymm6,%ymm6
7508
7509	vpsrld	$11,%ymm15,%ymm1
7510	vpxor	%ymm2,%ymm7,%ymm7
7511	vpslld	$21,%ymm15,%ymm2
7512	vpaddd	32(%rbp),%ymm6,%ymm6
7513	vpxor	%ymm1,%ymm7,%ymm7
7514
7515	vpsrld	$25,%ymm15,%ymm1
7516	vpxor	%ymm2,%ymm7,%ymm7
7517
7518	vpslld	$7,%ymm15,%ymm2
7519	vpandn	%ymm9,%ymm15,%ymm0
7520	vpand	%ymm8,%ymm15,%ymm4
7521
7522	vpxor	%ymm1,%ymm7,%ymm7
7523
7524	vpsrld	$2,%ymm11,%ymm10
7525	vpxor	%ymm2,%ymm7,%ymm7
7526
7527	vpslld	$30,%ymm11,%ymm1
7528	vpxor	%ymm4,%ymm0,%ymm0
7529	vpxor	%ymm11,%ymm12,%ymm4
7530
7531	vpxor	%ymm1,%ymm10,%ymm10
7532	vpaddd	%ymm7,%ymm6,%ymm6
7533
7534	vpsrld	$13,%ymm11,%ymm1
7535
7536	vpslld	$19,%ymm11,%ymm2
7537	vpaddd	%ymm0,%ymm6,%ymm6
7538	vpand	%ymm4,%ymm3,%ymm3
7539
7540	vpxor	%ymm1,%ymm10,%ymm7
7541
7542	vpsrld	$22,%ymm11,%ymm1
7543	vpxor	%ymm2,%ymm7,%ymm7
7544
7545	vpslld	$10,%ymm11,%ymm2
7546	vpxor	%ymm3,%ymm12,%ymm10
7547	vpaddd	%ymm6,%ymm14,%ymm14
7548
7549	vpxor	%ymm1,%ymm7,%ymm7
7550	vpxor	%ymm2,%ymm7,%ymm7
7551
7552	vpaddd	%ymm6,%ymm10,%ymm10
7553	vpaddd	%ymm7,%ymm10,%ymm10
7554	vmovdqu	480-256-128(%rbx),%ymm6
7555	vpaddd	224-128(%rax),%ymm5,%ymm5
7556
7557	vpsrld	$3,%ymm6,%ymm7
7558	vpsrld	$7,%ymm6,%ymm1
7559	vpslld	$25,%ymm6,%ymm2
7560	vpxor	%ymm1,%ymm7,%ymm7
7561	vpsrld	$18,%ymm6,%ymm1
7562	vpxor	%ymm2,%ymm7,%ymm7
7563	vpslld	$14,%ymm6,%ymm2
7564	vmovdqu	384-256-128(%rbx),%ymm0
7565	vpsrld	$10,%ymm0,%ymm3
7566
7567	vpxor	%ymm1,%ymm7,%ymm7
7568	vpsrld	$17,%ymm0,%ymm1
7569	vpxor	%ymm2,%ymm7,%ymm7
7570	vpslld	$15,%ymm0,%ymm2
7571	vpaddd	%ymm7,%ymm5,%ymm5
7572	vpxor	%ymm1,%ymm3,%ymm7
7573	vpsrld	$19,%ymm0,%ymm1
7574	vpxor	%ymm2,%ymm7,%ymm7
7575	vpslld	$13,%ymm0,%ymm2
7576	vpxor	%ymm1,%ymm7,%ymm7
7577	vpxor	%ymm2,%ymm7,%ymm7
7578	vpaddd	%ymm7,%ymm5,%ymm5
7579	vpsrld	$6,%ymm14,%ymm7
7580	vpslld	$26,%ymm14,%ymm2
7581	vmovdqu	%ymm5,448-256-128(%rbx)
7582	vpaddd	%ymm9,%ymm5,%ymm5
7583
7584	vpsrld	$11,%ymm14,%ymm1
7585	vpxor	%ymm2,%ymm7,%ymm7
7586	vpslld	$21,%ymm14,%ymm2
7587	vpaddd	64(%rbp),%ymm5,%ymm5
7588	vpxor	%ymm1,%ymm7,%ymm7
7589
7590	vpsrld	$25,%ymm14,%ymm1
7591	vpxor	%ymm2,%ymm7,%ymm7
7592
7593	vpslld	$7,%ymm14,%ymm2
7594	vpandn	%ymm8,%ymm14,%ymm0
7595	vpand	%ymm15,%ymm14,%ymm3
7596
7597	vpxor	%ymm1,%ymm7,%ymm7
7598
7599	vpsrld	$2,%ymm10,%ymm9
7600	vpxor	%ymm2,%ymm7,%ymm7
7601
7602	vpslld	$30,%ymm10,%ymm1
7603	vpxor	%ymm3,%ymm0,%ymm0
7604	vpxor	%ymm10,%ymm11,%ymm3
7605
7606	vpxor	%ymm1,%ymm9,%ymm9
7607	vpaddd	%ymm7,%ymm5,%ymm5
7608
7609	vpsrld	$13,%ymm10,%ymm1
7610
7611	vpslld	$19,%ymm10,%ymm2
7612	vpaddd	%ymm0,%ymm5,%ymm5
7613	vpand	%ymm3,%ymm4,%ymm4
7614
7615	vpxor	%ymm1,%ymm9,%ymm7
7616
7617	vpsrld	$22,%ymm10,%ymm1
7618	vpxor	%ymm2,%ymm7,%ymm7
7619
7620	vpslld	$10,%ymm10,%ymm2
7621	vpxor	%ymm4,%ymm11,%ymm9
7622	vpaddd	%ymm5,%ymm13,%ymm13
7623
7624	vpxor	%ymm1,%ymm7,%ymm7
7625	vpxor	%ymm2,%ymm7,%ymm7
7626
7627	vpaddd	%ymm5,%ymm9,%ymm9
7628	vpaddd	%ymm7,%ymm9,%ymm9
7629	vmovdqu	0-128(%rax),%ymm5
7630	vpaddd	256-256-128(%rbx),%ymm6,%ymm6
7631
7632	vpsrld	$3,%ymm5,%ymm7
7633	vpsrld	$7,%ymm5,%ymm1
7634	vpslld	$25,%ymm5,%ymm2
7635	vpxor	%ymm1,%ymm7,%ymm7
7636	vpsrld	$18,%ymm5,%ymm1
7637	vpxor	%ymm2,%ymm7,%ymm7
7638	vpslld	$14,%ymm5,%ymm2
7639	vmovdqu	416-256-128(%rbx),%ymm0
7640	vpsrld	$10,%ymm0,%ymm4
7641
7642	vpxor	%ymm1,%ymm7,%ymm7
7643	vpsrld	$17,%ymm0,%ymm1
7644	vpxor	%ymm2,%ymm7,%ymm7
7645	vpslld	$15,%ymm0,%ymm2
7646	vpaddd	%ymm7,%ymm6,%ymm6
7647	vpxor	%ymm1,%ymm4,%ymm7
7648	vpsrld	$19,%ymm0,%ymm1
7649	vpxor	%ymm2,%ymm7,%ymm7
7650	vpslld	$13,%ymm0,%ymm2
7651	vpxor	%ymm1,%ymm7,%ymm7
7652	vpxor	%ymm2,%ymm7,%ymm7
7653	vpaddd	%ymm7,%ymm6,%ymm6
7654	vpsrld	$6,%ymm13,%ymm7
7655	vpslld	$26,%ymm13,%ymm2
7656	vmovdqu	%ymm6,480-256-128(%rbx)
7657	vpaddd	%ymm8,%ymm6,%ymm6
7658
7659	vpsrld	$11,%ymm13,%ymm1
7660	vpxor	%ymm2,%ymm7,%ymm7
7661	vpslld	$21,%ymm13,%ymm2
7662	vpaddd	96(%rbp),%ymm6,%ymm6
7663	vpxor	%ymm1,%ymm7,%ymm7
7664
7665	vpsrld	$25,%ymm13,%ymm1
7666	vpxor	%ymm2,%ymm7,%ymm7
7667
7668	vpslld	$7,%ymm13,%ymm2
7669	vpandn	%ymm15,%ymm13,%ymm0
7670	vpand	%ymm14,%ymm13,%ymm4
7671
7672	vpxor	%ymm1,%ymm7,%ymm7
7673
7674	vpsrld	$2,%ymm9,%ymm8
7675	vpxor	%ymm2,%ymm7,%ymm7
7676
7677	vpslld	$30,%ymm9,%ymm1
7678	vpxor	%ymm4,%ymm0,%ymm0
7679	vpxor	%ymm9,%ymm10,%ymm4
7680
7681	vpxor	%ymm1,%ymm8,%ymm8
7682	vpaddd	%ymm7,%ymm6,%ymm6
7683
7684	vpsrld	$13,%ymm9,%ymm1
7685
7686	vpslld	$19,%ymm9,%ymm2
7687	vpaddd	%ymm0,%ymm6,%ymm6
7688	vpand	%ymm4,%ymm3,%ymm3
7689
7690	vpxor	%ymm1,%ymm8,%ymm7
7691
7692	vpsrld	$22,%ymm9,%ymm1
7693	vpxor	%ymm2,%ymm7,%ymm7
7694
7695	vpslld	$10,%ymm9,%ymm2
7696	vpxor	%ymm3,%ymm10,%ymm8
7697	vpaddd	%ymm6,%ymm12,%ymm12
7698
7699	vpxor	%ymm1,%ymm7,%ymm7
7700	vpxor	%ymm2,%ymm7,%ymm7
7701
7702	vpaddd	%ymm6,%ymm8,%ymm8
7703	vpaddd	%ymm7,%ymm8,%ymm8
7704	addq	$256,%rbp
7705	decl	%ecx
7706	jnz	.Loop_16_xx_avx2
7707
7708	movl	$1,%ecx
7709	leaq	512(%rsp),%rbx
7710	leaq	K256+128(%rip),%rbp
7711	cmpl	0(%rbx),%ecx
7712	cmovgeq	%rbp,%r12
7713	cmpl	4(%rbx),%ecx
7714	cmovgeq	%rbp,%r13
7715	cmpl	8(%rbx),%ecx
7716	cmovgeq	%rbp,%r14
7717	cmpl	12(%rbx),%ecx
7718	cmovgeq	%rbp,%r15
7719	cmpl	16(%rbx),%ecx
7720	cmovgeq	%rbp,%r8
7721	cmpl	20(%rbx),%ecx
7722	cmovgeq	%rbp,%r9
7723	cmpl	24(%rbx),%ecx
7724	cmovgeq	%rbp,%r10
7725	cmpl	28(%rbx),%ecx
7726	cmovgeq	%rbp,%r11
7727	vmovdqa	(%rbx),%ymm7
7728	vpxor	%ymm0,%ymm0,%ymm0
7729	vmovdqa	%ymm7,%ymm6
7730	vpcmpgtd	%ymm0,%ymm6,%ymm6
7731	vpaddd	%ymm6,%ymm7,%ymm7
7732
7733	vmovdqu	0-128(%rdi),%ymm0
7734	vpand	%ymm6,%ymm8,%ymm8
7735	vmovdqu	32-128(%rdi),%ymm1
7736	vpand	%ymm6,%ymm9,%ymm9
7737	vmovdqu	64-128(%rdi),%ymm2
7738	vpand	%ymm6,%ymm10,%ymm10
7739	vmovdqu	96-128(%rdi),%ymm5
7740	vpand	%ymm6,%ymm11,%ymm11
7741	vpaddd	%ymm0,%ymm8,%ymm8
7742	vmovdqu	128-128(%rdi),%ymm0
7743	vpand	%ymm6,%ymm12,%ymm12
7744	vpaddd	%ymm1,%ymm9,%ymm9
7745	vmovdqu	160-128(%rdi),%ymm1
7746	vpand	%ymm6,%ymm13,%ymm13
7747	vpaddd	%ymm2,%ymm10,%ymm10
7748	vmovdqu	192-128(%rdi),%ymm2
7749	vpand	%ymm6,%ymm14,%ymm14
7750	vpaddd	%ymm5,%ymm11,%ymm11
7751	vmovdqu	224-128(%rdi),%ymm5
7752	vpand	%ymm6,%ymm15,%ymm15
7753	vpaddd	%ymm0,%ymm12,%ymm12
7754	vpaddd	%ymm1,%ymm13,%ymm13
7755	vmovdqu	%ymm8,0-128(%rdi)
7756	vpaddd	%ymm2,%ymm14,%ymm14
7757	vmovdqu	%ymm9,32-128(%rdi)
7758	vpaddd	%ymm5,%ymm15,%ymm15
7759	vmovdqu	%ymm10,64-128(%rdi)
7760	vmovdqu	%ymm11,96-128(%rdi)
7761	vmovdqu	%ymm12,128-128(%rdi)
7762	vmovdqu	%ymm13,160-128(%rdi)
7763	vmovdqu	%ymm14,192-128(%rdi)
7764	vmovdqu	%ymm15,224-128(%rdi)
7765
7766	vmovdqu	%ymm7,(%rbx)
7767	leaq	256+128(%rsp),%rbx
7768	vmovdqu	.Lpbswap(%rip),%ymm6
7769	decl	%edx
7770	jnz	.Loop_avx2
7771
7772
7773
7774
7775
7776
7777
7778.Ldone_avx2:
7779	movq	544(%rsp),%rax
7780.cfi_def_cfa	%rax,8
7781	vzeroupper
7782	movq	-48(%rax),%r15
7783.cfi_restore	%r15
7784	movq	-40(%rax),%r14
7785.cfi_restore	%r14
7786	movq	-32(%rax),%r13
7787.cfi_restore	%r13
7788	movq	-24(%rax),%r12
7789.cfi_restore	%r12
7790	movq	-16(%rax),%rbp
7791.cfi_restore	%rbp
7792	movq	-8(%rax),%rbx
7793.cfi_restore	%rbx
7794	leaq	(%rax),%rsp
7795.cfi_def_cfa_register	%rsp
7796.Lepilogue_avx2:
7797	.byte	0xf3,0xc3
7798.cfi_endproc
7799.size	sha256_multi_block_avx2,.-sha256_multi_block_avx2
7800.align	256
7801K256:
7802.long	1116352408,1116352408,1116352408,1116352408
7803.long	1116352408,1116352408,1116352408,1116352408
7804.long	1899447441,1899447441,1899447441,1899447441
7805.long	1899447441,1899447441,1899447441,1899447441
7806.long	3049323471,3049323471,3049323471,3049323471
7807.long	3049323471,3049323471,3049323471,3049323471
7808.long	3921009573,3921009573,3921009573,3921009573
7809.long	3921009573,3921009573,3921009573,3921009573
7810.long	961987163,961987163,961987163,961987163
7811.long	961987163,961987163,961987163,961987163
7812.long	1508970993,1508970993,1508970993,1508970993
7813.long	1508970993,1508970993,1508970993,1508970993
7814.long	2453635748,2453635748,2453635748,2453635748
7815.long	2453635748,2453635748,2453635748,2453635748
7816.long	2870763221,2870763221,2870763221,2870763221
7817.long	2870763221,2870763221,2870763221,2870763221
7818.long	3624381080,3624381080,3624381080,3624381080
7819.long	3624381080,3624381080,3624381080,3624381080
7820.long	310598401,310598401,310598401,310598401
7821.long	310598401,310598401,310598401,310598401
7822.long	607225278,607225278,607225278,607225278
7823.long	607225278,607225278,607225278,607225278
7824.long	1426881987,1426881987,1426881987,1426881987
7825.long	1426881987,1426881987,1426881987,1426881987
7826.long	1925078388,1925078388,1925078388,1925078388
7827.long	1925078388,1925078388,1925078388,1925078388
7828.long	2162078206,2162078206,2162078206,2162078206
7829.long	2162078206,2162078206,2162078206,2162078206
7830.long	2614888103,2614888103,2614888103,2614888103
7831.long	2614888103,2614888103,2614888103,2614888103
7832.long	3248222580,3248222580,3248222580,3248222580
7833.long	3248222580,3248222580,3248222580,3248222580
7834.long	3835390401,3835390401,3835390401,3835390401
7835.long	3835390401,3835390401,3835390401,3835390401
7836.long	4022224774,4022224774,4022224774,4022224774
7837.long	4022224774,4022224774,4022224774,4022224774
7838.long	264347078,264347078,264347078,264347078
7839.long	264347078,264347078,264347078,264347078
7840.long	604807628,604807628,604807628,604807628
7841.long	604807628,604807628,604807628,604807628
7842.long	770255983,770255983,770255983,770255983
7843.long	770255983,770255983,770255983,770255983
7844.long	1249150122,1249150122,1249150122,1249150122
7845.long	1249150122,1249150122,1249150122,1249150122
7846.long	1555081692,1555081692,1555081692,1555081692
7847.long	1555081692,1555081692,1555081692,1555081692
7848.long	1996064986,1996064986,1996064986,1996064986
7849.long	1996064986,1996064986,1996064986,1996064986
7850.long	2554220882,2554220882,2554220882,2554220882
7851.long	2554220882,2554220882,2554220882,2554220882
7852.long	2821834349,2821834349,2821834349,2821834349
7853.long	2821834349,2821834349,2821834349,2821834349
7854.long	2952996808,2952996808,2952996808,2952996808
7855.long	2952996808,2952996808,2952996808,2952996808
7856.long	3210313671,3210313671,3210313671,3210313671
7857.long	3210313671,3210313671,3210313671,3210313671
7858.long	3336571891,3336571891,3336571891,3336571891
7859.long	3336571891,3336571891,3336571891,3336571891
7860.long	3584528711,3584528711,3584528711,3584528711
7861.long	3584528711,3584528711,3584528711,3584528711
7862.long	113926993,113926993,113926993,113926993
7863.long	113926993,113926993,113926993,113926993
7864.long	338241895,338241895,338241895,338241895
7865.long	338241895,338241895,338241895,338241895
7866.long	666307205,666307205,666307205,666307205
7867.long	666307205,666307205,666307205,666307205
7868.long	773529912,773529912,773529912,773529912
7869.long	773529912,773529912,773529912,773529912
7870.long	1294757372,1294757372,1294757372,1294757372
7871.long	1294757372,1294757372,1294757372,1294757372
7872.long	1396182291,1396182291,1396182291,1396182291
7873.long	1396182291,1396182291,1396182291,1396182291
7874.long	1695183700,1695183700,1695183700,1695183700
7875.long	1695183700,1695183700,1695183700,1695183700
7876.long	1986661051,1986661051,1986661051,1986661051
7877.long	1986661051,1986661051,1986661051,1986661051
7878.long	2177026350,2177026350,2177026350,2177026350
7879.long	2177026350,2177026350,2177026350,2177026350
7880.long	2456956037,2456956037,2456956037,2456956037
7881.long	2456956037,2456956037,2456956037,2456956037
7882.long	2730485921,2730485921,2730485921,2730485921
7883.long	2730485921,2730485921,2730485921,2730485921
7884.long	2820302411,2820302411,2820302411,2820302411
7885.long	2820302411,2820302411,2820302411,2820302411
7886.long	3259730800,3259730800,3259730800,3259730800
7887.long	3259730800,3259730800,3259730800,3259730800
7888.long	3345764771,3345764771,3345764771,3345764771
7889.long	3345764771,3345764771,3345764771,3345764771
7890.long	3516065817,3516065817,3516065817,3516065817
7891.long	3516065817,3516065817,3516065817,3516065817
7892.long	3600352804,3600352804,3600352804,3600352804
7893.long	3600352804,3600352804,3600352804,3600352804
7894.long	4094571909,4094571909,4094571909,4094571909
7895.long	4094571909,4094571909,4094571909,4094571909
7896.long	275423344,275423344,275423344,275423344
7897.long	275423344,275423344,275423344,275423344
7898.long	430227734,430227734,430227734,430227734
7899.long	430227734,430227734,430227734,430227734
7900.long	506948616,506948616,506948616,506948616
7901.long	506948616,506948616,506948616,506948616
7902.long	659060556,659060556,659060556,659060556
7903.long	659060556,659060556,659060556,659060556
7904.long	883997877,883997877,883997877,883997877
7905.long	883997877,883997877,883997877,883997877
7906.long	958139571,958139571,958139571,958139571
7907.long	958139571,958139571,958139571,958139571
7908.long	1322822218,1322822218,1322822218,1322822218
7909.long	1322822218,1322822218,1322822218,1322822218
7910.long	1537002063,1537002063,1537002063,1537002063
7911.long	1537002063,1537002063,1537002063,1537002063
7912.long	1747873779,1747873779,1747873779,1747873779
7913.long	1747873779,1747873779,1747873779,1747873779
7914.long	1955562222,1955562222,1955562222,1955562222
7915.long	1955562222,1955562222,1955562222,1955562222
7916.long	2024104815,2024104815,2024104815,2024104815
7917.long	2024104815,2024104815,2024104815,2024104815
7918.long	2227730452,2227730452,2227730452,2227730452
7919.long	2227730452,2227730452,2227730452,2227730452
7920.long	2361852424,2361852424,2361852424,2361852424
7921.long	2361852424,2361852424,2361852424,2361852424
7922.long	2428436474,2428436474,2428436474,2428436474
7923.long	2428436474,2428436474,2428436474,2428436474
7924.long	2756734187,2756734187,2756734187,2756734187
7925.long	2756734187,2756734187,2756734187,2756734187
7926.long	3204031479,3204031479,3204031479,3204031479
7927.long	3204031479,3204031479,3204031479,3204031479
7928.long	3329325298,3329325298,3329325298,3329325298
7929.long	3329325298,3329325298,3329325298,3329325298
7930.Lpbswap:
7931.long	0x00010203,0x04050607,0x08090a0b,0x0c0d0e0f
7932.long	0x00010203,0x04050607,0x08090a0b,0x0c0d0e0f
7933K256_shaext:
7934.long	0x428a2f98,0x71374491,0xb5c0fbcf,0xe9b5dba5
7935.long	0x3956c25b,0x59f111f1,0x923f82a4,0xab1c5ed5
7936.long	0xd807aa98,0x12835b01,0x243185be,0x550c7dc3
7937.long	0x72be5d74,0x80deb1fe,0x9bdc06a7,0xc19bf174
7938.long	0xe49b69c1,0xefbe4786,0x0fc19dc6,0x240ca1cc
7939.long	0x2de92c6f,0x4a7484aa,0x5cb0a9dc,0x76f988da
7940.long	0x983e5152,0xa831c66d,0xb00327c8,0xbf597fc7
7941.long	0xc6e00bf3,0xd5a79147,0x06ca6351,0x14292967
7942.long	0x27b70a85,0x2e1b2138,0x4d2c6dfc,0x53380d13
7943.long	0x650a7354,0x766a0abb,0x81c2c92e,0x92722c85
7944.long	0xa2bfe8a1,0xa81a664b,0xc24b8b70,0xc76c51a3
7945.long	0xd192e819,0xd6990624,0xf40e3585,0x106aa070
7946.long	0x19a4c116,0x1e376c08,0x2748774c,0x34b0bcb5
7947.long	0x391c0cb3,0x4ed8aa4a,0x5b9cca4f,0x682e6ff3
7948.long	0x748f82ee,0x78a5636f,0x84c87814,0x8cc70208
7949.long	0x90befffa,0xa4506ceb,0xbef9a3f7,0xc67178f2
7950.byte	83,72,65,50,53,54,32,109,117,108,116,105,45,98,108,111,99,107,32,116,114,97,110,115,102,111,114,109,32,102,111,114,32,120,56,54,95,54,52,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0
7951