56 void crypto_int16_store(unsigned char *crypto_int16_s,crypto_int16 crypto_int16_x) {  in crypto_int16_store()  argument
57   *crypto_int16_s++ = crypto_int16_x >> 0;  in crypto_int16_store()
58   *crypto_int16_s++ = crypto_int16_x >> 8;  in crypto_int16_store()
63 crypto_int16 crypto_int16_negative_mask(crypto_int16 crypto_int16_x) {  in crypto_int16_negative_mask()  argument
65   __asm__ ("sarw $15,%0" : "+r"(crypto_int16_x) : : "cc");  in crypto_int16_negative_mask()
66   return crypto_int16_x;  in crypto_int16_negative_mask()
69   __asm__ ("sbfx %w0,%w1,15,1" : "=r"(crypto_int16_y) : "r"(crypto_int16_x) : );  in crypto_int16_negative_mask()
72   crypto_int16_x >>= 16-6;  in crypto_int16_negative_mask()
73   crypto_int16_x ^= crypto_int16_optblocker;  in crypto_int16_negative_mask()
74   crypto_int16_x >>= 5;  in crypto_int16_negative_mask()
75   return crypto_int16_x;  in crypto_int16_negative_mask()
81 crypto_int16_unsigned crypto_int16_unsigned_topbit_01(crypto_int16_unsigned crypto_int16_x) {  in crypto_int16_unsigned_topbit_01()  argument
83   __asm__ ("shrw $15,%0" : "+r"(crypto_int16_x) : : "cc");  in crypto_int16_unsigned_topbit_01()
84   return crypto_int16_x;  in crypto_int16_unsigned_topbit_01()
87   __asm__ ("ubfx %w0,%w1,15,1" : "=r"(crypto_int16_y) : "r"(crypto_int16_x) : );  in crypto_int16_unsigned_topbit_01()
90   crypto_int16_x >>= 16-6;  in crypto_int16_unsigned_topbit_01()
91   crypto_int16_x ^= crypto_int16_optblocker;  in crypto_int16_unsigned_topbit_01()
92   crypto_int16_x >>= 5;  in crypto_int16_unsigned_topbit_01()
93   return crypto_int16_x;  in crypto_int16_unsigned_topbit_01()
99 crypto_int16 crypto_int16_negative_01(crypto_int16 crypto_int16_x) {  in crypto_int16_negative_01()  argument
100   return crypto_int16_unsigned_topbit_01(crypto_int16_x);  in crypto_int16_negative_01()
105 crypto_int16 crypto_int16_topbit_mask(crypto_int16 crypto_int16_x) {  in crypto_int16_topbit_mask()  argument
106   return crypto_int16_negative_mask(crypto_int16_x);  in crypto_int16_topbit_mask()
111 crypto_int16 crypto_int16_topbit_01(crypto_int16 crypto_int16_x) {  in crypto_int16_topbit_01()  argument
112   return crypto_int16_unsigned_topbit_01(crypto_int16_x);  in crypto_int16_topbit_01()
117 crypto_int16 crypto_int16_bottombit_mask(crypto_int16 crypto_int16_x) {  in crypto_int16_bottombit_mask()  argument
119   __asm__ ("andw $1,%0" : "+r"(crypto_int16_x) : : "cc");  in crypto_int16_bottombit_mask()
120   return -crypto_int16_x;  in crypto_int16_bottombit_mask()
123   __asm__ ("sbfx %w0,%w1,0,1" : "=r"(crypto_int16_y) : "r"(crypto_int16_x) : );  in crypto_int16_bottombit_mask()
126   crypto_int16_x &= 1 ^ crypto_int16_optblocker;  in crypto_int16_bottombit_mask()
127   return -crypto_int16_x;  in crypto_int16_bottombit_mask()
133 crypto_int16 crypto_int16_bottombit_01(crypto_int16 crypto_int16_x) {  in crypto_int16_bottombit_01()  argument
135   __asm__ ("andw $1,%0" : "+r"(crypto_int16_x) : : "cc");  in crypto_int16_bottombit_01()
136   return crypto_int16_x;  in crypto_int16_bottombit_01()
139   __asm__ ("ubfx %w0,%w1,0,1" : "=r"(crypto_int16_y) : "r"(crypto_int16_x) : );  in crypto_int16_bottombit_01()
142   crypto_int16_x &= 1 ^ crypto_int16_optblocker;  in crypto_int16_bottombit_01()
143   return crypto_int16_x;  in crypto_int16_bottombit_01()
149 crypto_int16 crypto_int16_bitinrangepublicpos_mask(crypto_int16 crypto_int16_x,crypto_int16 crypto_…  in crypto_int16_bitinrangepublicpos_mask()  argument
151   __asm__ ("sarw %%cl,%0" : "+r"(crypto_int16_x) : "c"(crypto_int16_s) : "cc");  in crypto_int16_bitinrangepublicpos_mask()
153   __asm__ ("sxth %w0,%w0\n asr %w0,%w0,%w1" : "+&r"(crypto_int16_x) : "r"(crypto_int16_s) : );  in crypto_int16_bitinrangepublicpos_mask()
155   crypto_int16_x >>= crypto_int16_s ^ crypto_int16_optblocker;  in crypto_int16_bitinrangepublicpos_mask()
157   return crypto_int16_bottombit_mask(crypto_int16_x);  in crypto_int16_bitinrangepublicpos_mask()
162 crypto_int16 crypto_int16_bitinrangepublicpos_01(crypto_int16 crypto_int16_x,crypto_int16 crypto_in…  in crypto_int16_bitinrangepublicpos_01()  argument
164   __asm__ ("sarw %%cl,%0" : "+r"(crypto_int16_x) : "c"(crypto_int16_s) : "cc");  in crypto_int16_bitinrangepublicpos_01()
166   __asm__ ("sxth %w0,%w0\n asr %w0,%w0,%w1" : "+&r"(crypto_int16_x) : "r"(crypto_int16_s) : );  in crypto_int16_bitinrangepublicpos_01()
168   crypto_int16_x >>= crypto_int16_s ^ crypto_int16_optblocker;  in crypto_int16_bitinrangepublicpos_01()
170   return crypto_int16_bottombit_01(crypto_int16_x);  in crypto_int16_bitinrangepublicpos_01()
175 crypto_int16 crypto_int16_shlmod(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_s) {  in crypto_int16_shlmod()  argument
178   __asm__ ("shlw %%cl,%0" : "+r"(crypto_int16_x) : "c"(crypto_int16_s) : "cc");  in crypto_int16_shlmod()
180 …,%w0,15\n and %w1,%w1,65535\n lsl %w1,%w1,%w0" : "+&r"(crypto_int16_s), "+r"(crypto_int16_x) : : );  in crypto_int16_shlmod()
184 …crypto_int16_x ^= (crypto_int16_x ^ (crypto_int16_x << crypto_int16_k)) & crypto_int16_bitinrangep…  in crypto_int16_shlmod()
186   return crypto_int16_x;  in crypto_int16_shlmod()
191 crypto_int16 crypto_int16_shrmod(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_s) {  in crypto_int16_shrmod()  argument
194   __asm__ ("sarw %%cl,%0" : "+r"(crypto_int16_x) : "c"(crypto_int16_s) : "cc");  in crypto_int16_shrmod()
196 …d %w0,%w0,15\n sxth %w1,%w1\n asr %w1,%w1,%w0" : "+&r"(crypto_int16_s), "+r"(crypto_int16_x) : : );  in crypto_int16_shrmod()
200 …crypto_int16_x ^= (crypto_int16_x ^ (crypto_int16_x >> crypto_int16_k)) & crypto_int16_bitinrangep…  in crypto_int16_shrmod()
202   return crypto_int16_x;  in crypto_int16_shrmod()
207 crypto_int16 crypto_int16_bitmod_mask(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_s) {  in crypto_int16_bitmod_mask()  argument
208   crypto_int16_x = crypto_int16_shrmod(crypto_int16_x,crypto_int16_s);  in crypto_int16_bitmod_mask()
209   return crypto_int16_bottombit_mask(crypto_int16_x);  in crypto_int16_bitmod_mask()
214 crypto_int16 crypto_int16_bitmod_01(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_s) {  in crypto_int16_bitmod_01()  argument
215   crypto_int16_x = crypto_int16_shrmod(crypto_int16_x,crypto_int16_s);  in crypto_int16_bitmod_01()
216   return crypto_int16_bottombit_01(crypto_int16_x);  in crypto_int16_bitmod_01()
221 crypto_int16 crypto_int16_nonzero_mask(crypto_int16 crypto_int16_x) {  in crypto_int16_nonzero_mask()  argument
224 …2,%2\n cmovnew %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x) : "cc");  in crypto_int16_nonzero_mask()
228   __asm__ ("tst %w1,65535\n csetm %w0,ne" : "=r"(crypto_int16_z) : "r"(crypto_int16_x) : "cc");  in crypto_int16_nonzero_mask()
231   crypto_int16_x |= -crypto_int16_x;  in crypto_int16_nonzero_mask()
232   return crypto_int16_negative_mask(crypto_int16_x);  in crypto_int16_nonzero_mask()
238 crypto_int16 crypto_int16_nonzero_01(crypto_int16 crypto_int16_x) {  in crypto_int16_nonzero_01()  argument
241 …2,%2\n cmovnew %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x) : "cc");  in crypto_int16_nonzero_01()
245   __asm__ ("tst %w1,65535\n cset %w0,ne" : "=r"(crypto_int16_z) : "r"(crypto_int16_x) : "cc");  in crypto_int16_nonzero_01()
248   crypto_int16_x |= -crypto_int16_x;  in crypto_int16_nonzero_01()
249   return crypto_int16_unsigned_topbit_01(crypto_int16_x);  in crypto_int16_nonzero_01()
255 crypto_int16 crypto_int16_positive_mask(crypto_int16 crypto_int16_x) {  in crypto_int16_positive_mask()  argument
258 …%2,%2\n cmovgw %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x) : "cc");  in crypto_int16_positive_mask()
262 …__asm__ ("sxth %w0,%w1\n cmp %w0,0\n csetm %w0,gt" : "=r"(crypto_int16_z) : "r"(crypto_int16_x) : …  in crypto_int16_positive_mask()
265   crypto_int16 crypto_int16_z = -crypto_int16_x;  in crypto_int16_positive_mask()
266   crypto_int16_z ^= crypto_int16_x & crypto_int16_z;  in crypto_int16_positive_mask()
273 crypto_int16 crypto_int16_positive_01(crypto_int16 crypto_int16_x) {  in crypto_int16_positive_01()  argument
276 …%2,%2\n cmovgw %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x) : "cc");  in crypto_int16_positive_01()
280 …__asm__ ("sxth %w0,%w1\n cmp %w0,0\n cset %w0,gt" : "=r"(crypto_int16_z) : "r"(crypto_int16_x) : "…  in crypto_int16_positive_01()
283   crypto_int16 crypto_int16_z = -crypto_int16_x;  in crypto_int16_positive_01()
284   crypto_int16_z ^= crypto_int16_x & crypto_int16_z;  in crypto_int16_positive_01()
291 crypto_int16 crypto_int16_zero_mask(crypto_int16 crypto_int16_x) {  in crypto_int16_zero_mask()  argument
294 …%2,%2\n cmovew %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x) : "cc");  in crypto_int16_zero_mask()
298   __asm__ ("tst %w1,65535\n csetm %w0,eq" : "=r"(crypto_int16_z) : "r"(crypto_int16_x) : "cc");  in crypto_int16_zero_mask()
301   return ~crypto_int16_nonzero_mask(crypto_int16_x);  in crypto_int16_zero_mask()
307 crypto_int16 crypto_int16_zero_01(crypto_int16 crypto_int16_x) {  in crypto_int16_zero_01()  argument
310 …%2,%2\n cmovew %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x) : "cc");  in crypto_int16_zero_01()
314   __asm__ ("tst %w1,65535\n cset %w0,eq" : "=r"(crypto_int16_z) : "r"(crypto_int16_x) : "cc");  in crypto_int16_zero_01()
317   return 1-crypto_int16_nonzero_01(crypto_int16_x);  in crypto_int16_zero_01()
323 crypto_int16 crypto_int16_unequal_mask(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_y) {  in crypto_int16_unequal_mask()  argument
326 … cmovnew %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_unequal_mask()
330 …535\n cmp %w0,%w2,uxth\n csetm %w0,ne" : "=&r"(crypto_int16_z) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_unequal_mask()
333   return crypto_int16_nonzero_mask(crypto_int16_x ^ crypto_int16_y);  in crypto_int16_unequal_mask()
339 crypto_int16 crypto_int16_unequal_01(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_y) {  in crypto_int16_unequal_01()  argument
342 … cmovnew %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_unequal_01()
346 …5535\n cmp %w0,%w2,uxth\n cset %w0,ne" : "=&r"(crypto_int16_z) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_unequal_01()
349   return crypto_int16_nonzero_01(crypto_int16_x ^ crypto_int16_y);  in crypto_int16_unequal_01()
355 crypto_int16 crypto_int16_equal_mask(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_y) {  in crypto_int16_equal_mask()  argument
358 …n cmovew %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_equal_mask()
362 …535\n cmp %w0,%w2,uxth\n csetm %w0,eq" : "=&r"(crypto_int16_z) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_equal_mask()
365   return ~crypto_int16_unequal_mask(crypto_int16_x,crypto_int16_y);  in crypto_int16_equal_mask()
371 crypto_int16 crypto_int16_equal_01(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_y) {  in crypto_int16_equal_01()  argument
374 …n cmovew %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_equal_01()
378 …5535\n cmp %w0,%w2,uxth\n cset %w0,eq" : "=&r"(crypto_int16_z) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_equal_01()
381   return 1-crypto_int16_unequal_01(crypto_int16_x,crypto_int16_y);  in crypto_int16_equal_01()
387 crypto_int16 crypto_int16_min(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_y) {  in crypto_int16_min()  argument
389   __asm__ ("cmpw %1,%0\n cmovgw %1,%0" : "+r"(crypto_int16_x) : "r"(crypto_int16_y) : "cc");  in crypto_int16_min()
390   return crypto_int16_x;  in crypto_int16_min()
392 …__asm__ ("sxth %w0,%w0\n cmp %w0,%w1,sxth\n csel %w0,%w0,%w1,lt" : "+&r"(crypto_int16_x) : "r"(cry…  in crypto_int16_min()
393   return crypto_int16_x;  in crypto_int16_min()
395   crypto_int16 crypto_int16_r = crypto_int16_y ^ crypto_int16_x;  in crypto_int16_min()
396   crypto_int16 crypto_int16_z = crypto_int16_y - crypto_int16_x;  in crypto_int16_min()
400   return crypto_int16_x ^ crypto_int16_z;  in crypto_int16_min()
406 crypto_int16 crypto_int16_max(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_y) {  in crypto_int16_max()  argument
408   __asm__ ("cmpw %1,%0\n cmovlw %1,%0" : "+r"(crypto_int16_x) : "r"(crypto_int16_y) : "cc");  in crypto_int16_max()
409   return crypto_int16_x;  in crypto_int16_max()
411 …__asm__ ("sxth %w0,%w0\n cmp %w0,%w1,sxth\n csel %w0,%w1,%w0,lt" : "+&r"(crypto_int16_x) : "r"(cry…  in crypto_int16_max()
412   return crypto_int16_x;  in crypto_int16_max()
414   crypto_int16 crypto_int16_r = crypto_int16_y ^ crypto_int16_x;  in crypto_int16_max()
415   crypto_int16 crypto_int16_z = crypto_int16_y - crypto_int16_x;  in crypto_int16_max()
426   crypto_int16 crypto_int16_x = *crypto_int16_p;  in crypto_int16_minmax()  local
430 … %1,%0\n cmovgw %2,%1\n cmovgw %0,%2" : "=&r"(crypto_int16_z), "+&r"(crypto_int16_x), "+r"(crypto_…  in crypto_int16_minmax()
431   *crypto_int16_p = crypto_int16_x;  in crypto_int16_minmax()
435 …mp %w0,%w3,sxth\n csel %w1,%w0,%w3,lt\n csel %w2,%w3,%w0,lt" : "+&r"(crypto_int16_x), "=&r"(crypto…  in crypto_int16_minmax()
439   crypto_int16 crypto_int16_r = crypto_int16_y ^ crypto_int16_x;  in crypto_int16_minmax()
440   crypto_int16 crypto_int16_z = crypto_int16_y - crypto_int16_x;  in crypto_int16_minmax()
444   crypto_int16_x ^= crypto_int16_z;  in crypto_int16_minmax()
446   *crypto_int16_p = crypto_int16_x;  in crypto_int16_minmax()
453 crypto_int16 crypto_int16_smaller_mask(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_y) {  in crypto_int16_smaller_mask()  argument
456 …n cmovlw %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_smaller_mask()
460 …%w1\n cmp %w0,%w2,sxth\n csetm %w0,lt" : "=&r"(crypto_int16_z) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_smaller_mask()
463   crypto_int16 crypto_int16_r = crypto_int16_x ^ crypto_int16_y;  in crypto_int16_smaller_mask()
464   crypto_int16 crypto_int16_z = crypto_int16_x - crypto_int16_y;  in crypto_int16_smaller_mask()
465   crypto_int16_z ^= crypto_int16_r & (crypto_int16_z ^ crypto_int16_x);  in crypto_int16_smaller_mask()
472 crypto_int16 crypto_int16_smaller_01(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_y) {  in crypto_int16_smaller_01()  argument
475 …n cmovlw %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_smaller_01()
479 …,%w1\n cmp %w0,%w2,sxth\n cset %w0,lt" : "=&r"(crypto_int16_z) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_smaller_01()
482   crypto_int16 crypto_int16_r = crypto_int16_x ^ crypto_int16_y;  in crypto_int16_smaller_01()
483   crypto_int16 crypto_int16_z = crypto_int16_x - crypto_int16_y;  in crypto_int16_smaller_01()
484   crypto_int16_z ^= crypto_int16_r & (crypto_int16_z ^ crypto_int16_x);  in crypto_int16_smaller_01()
491 crypto_int16 crypto_int16_leq_mask(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_y) {  in crypto_int16_leq_mask()  argument
494 … cmovlew %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_leq_mask()
498 …%w1\n cmp %w0,%w2,sxth\n csetm %w0,le" : "=&r"(crypto_int16_z) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_leq_mask()
501   return ~crypto_int16_smaller_mask(crypto_int16_y,crypto_int16_x);  in crypto_int16_leq_mask()
507 crypto_int16 crypto_int16_leq_01(crypto_int16 crypto_int16_x,crypto_int16 crypto_int16_y) {  in crypto_int16_leq_01()  argument
510 … cmovlew %1,%0" : "=&r"(crypto_int16_z), "=&r"(crypto_int16_q) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_leq_01()
514 …,%w1\n cmp %w0,%w2,sxth\n cset %w0,le" : "=&r"(crypto_int16_z) : "r"(crypto_int16_x), "r"(crypto_i…  in crypto_int16_leq_01()
517   return 1-crypto_int16_smaller_01(crypto_int16_y,crypto_int16_x);  in crypto_int16_leq_01()
523 int crypto_int16_ones_num(crypto_int16 crypto_int16_x) {  in crypto_int16_ones_num()  argument
524   crypto_int16_unsigned crypto_int16_y = crypto_int16_x;  in crypto_int16_ones_num()
537 int crypto_int16_bottomzeros_num(crypto_int16 crypto_int16_x) {  in crypto_int16_bottomzeros_num()  argument
540   __asm__ ("bsfw %0,%0\n cmovew %1,%0" : "+&r"(crypto_int16_x) : "r"(fallback) : "cc");  in crypto_int16_bottomzeros_num()
541   return crypto_int16_x;  in crypto_int16_bottomzeros_num()
544 …"orr %w0,%w1,-65536\n rbit %w0,%w0\n clz %w0,%w0" : "=r"(crypto_int16_y) : "r"(crypto_int16_x) : );  in crypto_int16_bottomzeros_num()
547   crypto_int16 crypto_int16_y = crypto_int16_x ^ (crypto_int16_x-1);  in crypto_int16_bottomzeros_num()
549   crypto_int16_y &= ~(crypto_int16_x & (((crypto_int16) 1) << (16-1)));  in crypto_int16_bottomzeros_num()