106 	size_t fromseglen, oseglen, seglen, toseglen;  in armv8_aes_encrypt_cbc()  local
112 	for (; len > 0; len -= seglen) {  in armv8_aes_encrypt_cbc()
116 		seglen = ulmin(len, ulmin(fromseglen, toseglen));  in armv8_aes_encrypt_cbc()
117 		if (seglen < AES_BLOCK_LEN) {  in armv8_aes_encrypt_cbc()
125 			seglen = AES_BLOCK_LEN;  in armv8_aes_encrypt_cbc()
127 			for (oseglen = seglen; seglen >= AES_BLOCK_LEN;  in armv8_aes_encrypt_cbc()
128 			    seglen -= AES_BLOCK_LEN) {  in armv8_aes_encrypt_cbc()
138 			seglen = oseglen - seglen;  in armv8_aes_encrypt_cbc()
139 			crypto_cursor_advance(fromc, seglen);  in armv8_aes_encrypt_cbc()
140 			crypto_cursor_advance(toc, seglen);  in armv8_aes_encrypt_cbc()
154 	size_t fromseglen, oseglen, seglen, toseglen;  in armv8_aes_decrypt_cbc()  local
160 	for (; len > 0; len -= seglen) {  in armv8_aes_decrypt_cbc()
164 		seglen = ulmin(len, ulmin(fromseglen, toseglen));  in armv8_aes_decrypt_cbc()
165 		if (seglen < AES_BLOCK_LEN) {  in armv8_aes_decrypt_cbc()
173 			seglen = AES_BLOCK_LEN;  in armv8_aes_decrypt_cbc()
175 			for (oseglen = seglen; seglen >= AES_BLOCK_LEN;  in armv8_aes_decrypt_cbc()
176 			    seglen -= AES_BLOCK_LEN) {  in armv8_aes_decrypt_cbc()
185 			crypto_cursor_advance(fromc, oseglen - seglen);  in armv8_aes_decrypt_cbc()
186 			crypto_cursor_advance(toc, oseglen - seglen);  in armv8_aes_decrypt_cbc()
187 			seglen = oseglen - seglen;  in armv8_aes_decrypt_cbc()
244 	size_t fromseglen, oseglen, seglen, toseglen;  in armv8_aes_crypt_xts()  local
263 	for (; len > 0; len -= seglen) {  in armv8_aes_crypt_xts()
267 		seglen = ulmin(len, ulmin(fromseglen, toseglen));  in armv8_aes_crypt_xts()
268 		if (seglen < AES_XTS_BLOCKSIZE) {  in armv8_aes_crypt_xts()
273 			seglen = AES_XTS_BLOCKSIZE;  in armv8_aes_crypt_xts()
275 			for (oseglen = seglen; seglen >= AES_XTS_BLOCKSIZE;  in armv8_aes_crypt_xts()
276 			    seglen -= AES_XTS_BLOCKSIZE) {  in armv8_aes_crypt_xts()
282 			seglen = oseglen - seglen;  in armv8_aes_crypt_xts()
283 			crypto_cursor_advance(fromc, seglen);  in armv8_aes_crypt_xts()
284 			crypto_cursor_advance(toc, seglen);  in armv8_aes_crypt_xts()
403 	size_t fromseglen, i, olen, oseglen, seglen, toseglen;  in armv8_aes_encrypt_gcm()  local
407 	for (olen = len; len > 0; len -= seglen) {  in armv8_aes_encrypt_gcm()
411 		seglen = ulmin(len, ulmin(fromseglen, toseglen));  in armv8_aes_encrypt_gcm()
412 		if (seglen < AES_BLOCK_LEN) {  in armv8_aes_encrypt_gcm()
413 			seglen = ulmin(len, AES_BLOCK_LEN);  in armv8_aes_encrypt_gcm()
416 			crypto_cursor_copydata(fromc, (int)seglen, block);  in armv8_aes_encrypt_gcm()
418 			if (seglen == AES_BLOCK_LEN) {  in armv8_aes_encrypt_gcm()
424 				for (i = 0; i < seglen; i++)  in armv8_aes_encrypt_gcm()
427 			gcm_ghash_v8(s.Xi.u, Htable, block, seglen);  in armv8_aes_encrypt_gcm()
429 			crypto_cursor_copyback(toc, (int)seglen, block);  in armv8_aes_encrypt_gcm()
431 			for (oseglen = seglen; seglen >= AES_BLOCK_LEN;  in armv8_aes_encrypt_gcm()
432 			    seglen -= AES_BLOCK_LEN) {  in armv8_aes_encrypt_gcm()
442 			seglen = oseglen - seglen;  in armv8_aes_encrypt_gcm()
443 			crypto_cursor_advance(fromc, seglen);  in armv8_aes_encrypt_gcm()
444 			crypto_cursor_advance(toc, seglen);  in armv8_aes_encrypt_gcm()
467 	size_t fromseglen, olen, oseglen, seglen, toseglen;  in armv8_aes_decrypt_gcm()  local
473 	for (olen = len; len > 0; len -= seglen) {  in armv8_aes_decrypt_gcm()
475 		seglen = ulmin(len, fromseglen);  in armv8_aes_decrypt_gcm()
476 		seglen -= seglen % AES_BLOCK_LEN;  in armv8_aes_decrypt_gcm()
477 		if (seglen > 0) {  in armv8_aes_decrypt_gcm()
478 			gcm_ghash_v8(s.Xi.u, Htable, from, seglen);  in armv8_aes_decrypt_gcm()
479 			crypto_cursor_advance(&fromcc, seglen);  in armv8_aes_decrypt_gcm()
482 			seglen = ulmin(len, AES_BLOCK_LEN);  in armv8_aes_decrypt_gcm()
483 			crypto_cursor_copydata(&fromcc, seglen, block);  in armv8_aes_decrypt_gcm()
484 			gcm_ghash_v8(s.Xi.u, Htable, block, seglen);  in armv8_aes_decrypt_gcm()
496 	for (len = olen; len > 0; len -= seglen) {  in armv8_aes_decrypt_gcm()
500 		seglen = ulmin(len, ulmin(fromseglen, toseglen));  in armv8_aes_decrypt_gcm()
501 		if (seglen < AES_BLOCK_LEN) {  in armv8_aes_decrypt_gcm()
502 			seglen = ulmin(len, AES_BLOCK_LEN);  in armv8_aes_decrypt_gcm()
505 			crypto_cursor_copydata(fromc, seglen, block);  in armv8_aes_decrypt_gcm()
510 			crypto_cursor_copyback(toc, (int)seglen, block);  in armv8_aes_decrypt_gcm()
512 			for (oseglen = seglen; seglen >= AES_BLOCK_LEN;  in armv8_aes_decrypt_gcm()
513 			    seglen -= AES_BLOCK_LEN) {  in armv8_aes_decrypt_gcm()
521 			seglen = oseglen - seglen;  in armv8_aes_decrypt_gcm()
522 			crypto_cursor_advance(fromc, seglen);  in armv8_aes_decrypt_gcm()
523 			crypto_cursor_advance(toc, seglen);  in armv8_aes_decrypt_gcm()