46 #define NBYTES 8  macro
53 #define NBYTES 4  macro
57 #define UNIT(unit)  ((unit)*NBYTES)
386 #define NBYTES 8  macro
406 #define NBYTES 4  macro
427 #define FIRST(unit) ((unit)*NBYTES)
428 #define REST(unit)  (FIRST(unit)+NBYTES-1)
430 #define ADDRMASK (NBYTES-1)
453 	sltu	t2, len, NBYTES
467 	beqz	t0, .Lcleanup_both_aligned\@ # len < 8*NBYTES
469 	SUB	len, 8*NBYTES		# subtract here for bgez loop
480 	SUB	len, len, 8*NBYTES
481 	ADD	src, src, 8*NBYTES
499 	ADD	dst, dst, 8*NBYTES
502 	ADD	len, 8*NBYTES		# revert len (see above)
510 	 sltu	t0, len, 4*NBYTES
512 	 and	rem, len, (NBYTES-1)	# rem = len % NBYTES
520 	SUB	len, len, 4*NBYTES
521 	ADD	src, src, 4*NBYTES
531 	ADD	dst, dst, 4*NBYTES
542 	ADD	src, src, NBYTES
543 	SUB	len, len, NBYTES
547 	ADD	dst, dst, NBYTES
565 	li	bits, 8*NBYTES
588 	ADD	t2, zero, NBYTES
606 	 and	rem, len, (4*NBYTES-1)	 # rem = len % 4*NBYTES
616 	SUB	len, len, 4*NBYTES
623 	ADD	src, src, 4*NBYTES
636 	ADD	dst, dst, 4*NBYTES
642 	 and	rem, len, NBYTES-1  # rem = len % NBYTES
648 	ADD	src, src, NBYTES
649 	SUB	len, len, NBYTES
653 	ADD	dst, dst, NBYTES
666 #define SHIFT_START 8*(NBYTES-1)
688 	LOADBU(t0, NBYTES-2(src))
690 	STOREB(t0, NBYTES-2(dst))