150acfb2bSThomas Gleixner/* SPDX-License-Identifier: GPL-2.0-only */ 25d8544e2SPalmer Dabbelt/* 35d8544e2SPalmer Dabbelt * Copyright (C) 2013 Regents of the University of California 45d8544e2SPalmer Dabbelt */ 55d8544e2SPalmer Dabbelt 65d8544e2SPalmer Dabbelt 75d8544e2SPalmer Dabbelt#include <linux/linkage.h> 85d8544e2SPalmer Dabbelt#include <asm/asm.h> 95d8544e2SPalmer Dabbelt 105d8544e2SPalmer Dabbelt/* void *memset(void *, int, size_t) */ 11*76329c69SClément LégerSYM_FUNC_START(__memset) 125d8544e2SPalmer Dabbelt move t0, a0 /* Preserve return value */ 135d8544e2SPalmer Dabbelt 145d8544e2SPalmer Dabbelt /* Defer to byte-oriented fill for small sizes */ 155d8544e2SPalmer Dabbelt sltiu a3, a2, 16 165d8544e2SPalmer Dabbelt bnez a3, 4f 175d8544e2SPalmer Dabbelt 185d8544e2SPalmer Dabbelt /* 195d8544e2SPalmer Dabbelt * Round to nearest XLEN-aligned address 205d8544e2SPalmer Dabbelt * greater than or equal to start address 215d8544e2SPalmer Dabbelt */ 225d8544e2SPalmer Dabbelt addi a3, t0, SZREG-1 235d8544e2SPalmer Dabbelt andi a3, a3, ~(SZREG-1) 245d8544e2SPalmer Dabbelt beq a3, t0, 2f /* Skip if already aligned */ 255d8544e2SPalmer Dabbelt /* Handle initial misalignment */ 265d8544e2SPalmer Dabbelt sub a4, a3, t0 275d8544e2SPalmer Dabbelt1: 285d8544e2SPalmer Dabbelt sb a1, 0(t0) 295d8544e2SPalmer Dabbelt addi t0, t0, 1 305d8544e2SPalmer Dabbelt bltu t0, a3, 1b 315d8544e2SPalmer Dabbelt sub a2, a2, a4 /* Update count */ 325d8544e2SPalmer Dabbelt 335d8544e2SPalmer Dabbelt2: /* Duff's device with 32 XLEN stores per iteration */ 345d8544e2SPalmer Dabbelt /* Broadcast value into all bytes */ 355d8544e2SPalmer Dabbelt andi a1, a1, 0xff 365d8544e2SPalmer Dabbelt slli a3, a1, 8 375d8544e2SPalmer Dabbelt or a1, a3, a1 385d8544e2SPalmer Dabbelt slli a3, a1, 16 395d8544e2SPalmer Dabbelt or a1, a3, a1 405d8544e2SPalmer Dabbelt#ifdef CONFIG_64BIT 415d8544e2SPalmer Dabbelt slli a3, a1, 32 425d8544e2SPalmer Dabbelt or a1, a3, a1 435d8544e2SPalmer Dabbelt#endif 445d8544e2SPalmer Dabbelt 455d8544e2SPalmer Dabbelt /* Calculate end address */ 465d8544e2SPalmer Dabbelt andi a4, a2, ~(SZREG-1) 475d8544e2SPalmer Dabbelt add a3, t0, a4 485d8544e2SPalmer Dabbelt 495d8544e2SPalmer Dabbelt andi a4, a4, 31*SZREG /* Calculate remainder */ 505d8544e2SPalmer Dabbelt beqz a4, 3f /* Shortcut if no remainder */ 515d8544e2SPalmer Dabbelt neg a4, a4 525d8544e2SPalmer Dabbelt addi a4, a4, 32*SZREG /* Calculate initial offset */ 535d8544e2SPalmer Dabbelt 545d8544e2SPalmer Dabbelt /* Adjust start address with offset */ 555d8544e2SPalmer Dabbelt sub t0, t0, a4 565d8544e2SPalmer Dabbelt 575d8544e2SPalmer Dabbelt /* Jump into loop body */ 585d8544e2SPalmer Dabbelt /* Assumes 32-bit instruction lengths */ 595d8544e2SPalmer Dabbelt la a5, 3f 605d8544e2SPalmer Dabbelt#ifdef CONFIG_64BIT 615d8544e2SPalmer Dabbelt srli a4, a4, 1 625d8544e2SPalmer Dabbelt#endif 635d8544e2SPalmer Dabbelt add a5, a5, a4 645d8544e2SPalmer Dabbelt jr a5 655d8544e2SPalmer Dabbelt3: 665d8544e2SPalmer Dabbelt REG_S a1, 0(t0) 675d8544e2SPalmer Dabbelt REG_S a1, SZREG(t0) 685d8544e2SPalmer Dabbelt REG_S a1, 2*SZREG(t0) 695d8544e2SPalmer Dabbelt REG_S a1, 3*SZREG(t0) 705d8544e2SPalmer Dabbelt REG_S a1, 4*SZREG(t0) 715d8544e2SPalmer Dabbelt REG_S a1, 5*SZREG(t0) 725d8544e2SPalmer Dabbelt REG_S a1, 6*SZREG(t0) 735d8544e2SPalmer Dabbelt REG_S a1, 7*SZREG(t0) 745d8544e2SPalmer Dabbelt REG_S a1, 8*SZREG(t0) 755d8544e2SPalmer Dabbelt REG_S a1, 9*SZREG(t0) 765d8544e2SPalmer Dabbelt REG_S a1, 10*SZREG(t0) 775d8544e2SPalmer Dabbelt REG_S a1, 11*SZREG(t0) 785d8544e2SPalmer Dabbelt REG_S a1, 12*SZREG(t0) 795d8544e2SPalmer Dabbelt REG_S a1, 13*SZREG(t0) 805d8544e2SPalmer Dabbelt REG_S a1, 14*SZREG(t0) 815d8544e2SPalmer Dabbelt REG_S a1, 15*SZREG(t0) 825d8544e2SPalmer Dabbelt REG_S a1, 16*SZREG(t0) 835d8544e2SPalmer Dabbelt REG_S a1, 17*SZREG(t0) 845d8544e2SPalmer Dabbelt REG_S a1, 18*SZREG(t0) 855d8544e2SPalmer Dabbelt REG_S a1, 19*SZREG(t0) 865d8544e2SPalmer Dabbelt REG_S a1, 20*SZREG(t0) 875d8544e2SPalmer Dabbelt REG_S a1, 21*SZREG(t0) 885d8544e2SPalmer Dabbelt REG_S a1, 22*SZREG(t0) 895d8544e2SPalmer Dabbelt REG_S a1, 23*SZREG(t0) 905d8544e2SPalmer Dabbelt REG_S a1, 24*SZREG(t0) 915d8544e2SPalmer Dabbelt REG_S a1, 25*SZREG(t0) 925d8544e2SPalmer Dabbelt REG_S a1, 26*SZREG(t0) 935d8544e2SPalmer Dabbelt REG_S a1, 27*SZREG(t0) 945d8544e2SPalmer Dabbelt REG_S a1, 28*SZREG(t0) 955d8544e2SPalmer Dabbelt REG_S a1, 29*SZREG(t0) 965d8544e2SPalmer Dabbelt REG_S a1, 30*SZREG(t0) 975d8544e2SPalmer Dabbelt REG_S a1, 31*SZREG(t0) 985d8544e2SPalmer Dabbelt addi t0, t0, 32*SZREG 995d8544e2SPalmer Dabbelt bltu t0, a3, 3b 1005d8544e2SPalmer Dabbelt andi a2, a2, SZREG-1 /* Update count */ 1015d8544e2SPalmer Dabbelt 1025d8544e2SPalmer Dabbelt4: 1035d8544e2SPalmer Dabbelt /* Handle trailing misalignment */ 1045d8544e2SPalmer Dabbelt beqz a2, 6f 1055d8544e2SPalmer Dabbelt add a3, t0, a2 1065d8544e2SPalmer Dabbelt5: 1075d8544e2SPalmer Dabbelt sb a1, 0(t0) 1085d8544e2SPalmer Dabbelt addi t0, t0, 1 1095d8544e2SPalmer Dabbelt bltu t0, a3, 5b 1105d8544e2SPalmer Dabbelt6: 1115d8544e2SPalmer Dabbelt ret 112*76329c69SClément LégerSYM_FUNC_END(__memset) 113*76329c69SClément LégerSYM_FUNC_ALIAS_WEAK(memset, __memset) 114