Loading...
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 | /* SPDX-License-Identifier: GPL-2.0 */ /* NG4memset.S: Niagara-4 optimized memset/bzero. * * Copyright (C) 2012 David S. Miller (davem@davemloft.net) */ #include <asm/asi.h> .register %g2, #scratch .register %g3, #scratch .text .align 32 .globl NG4memset NG4memset: andcc %o1, 0xff, %o4 be,pt %icc, 1f mov %o2, %o1 sllx %o4, 8, %g1 or %g1, %o4, %o2 sllx %o2, 16, %g1 or %g1, %o2, %o2 sllx %o2, 32, %g1 ba,pt %icc, 1f or %g1, %o2, %o4 .size NG4memset,.-NG4memset .align 32 .globl NG4bzero NG4bzero: clr %o4 1: cmp %o1, 16 ble %icc, .Ltiny mov %o0, %o3 sub %g0, %o0, %g1 and %g1, 0x7, %g1 brz,pt %g1, .Laligned8 sub %o1, %g1, %o1 1: stb %o4, [%o0 + 0x00] subcc %g1, 1, %g1 bne,pt %icc, 1b add %o0, 1, %o0 .Laligned8: cmp %o1, 64 + (64 - 8) ble .Lmedium sub %g0, %o0, %g1 andcc %g1, (64 - 1), %g1 brz,pn %g1, .Laligned64 sub %o1, %g1, %o1 1: stx %o4, [%o0 + 0x00] subcc %g1, 8, %g1 bne,pt %icc, 1b add %o0, 0x8, %o0 .Laligned64: andn %o1, 64 - 1, %g1 sub %o1, %g1, %o1 brnz,pn %o4, .Lnon_bzero_loop mov 0x20, %g2 1: stxa %o4, [%o0 + %g0] ASI_BLK_INIT_QUAD_LDD_P subcc %g1, 0x40, %g1 stxa %o4, [%o0 + %g2] ASI_BLK_INIT_QUAD_LDD_P bne,pt %icc, 1b add %o0, 0x40, %o0 .Lpostloop: cmp %o1, 8 bl,pn %icc, .Ltiny membar #StoreStore|#StoreLoad .Lmedium: andn %o1, 0x7, %g1 sub %o1, %g1, %o1 1: stx %o4, [%o0 + 0x00] subcc %g1, 0x8, %g1 bne,pt %icc, 1b add %o0, 0x08, %o0 andcc %o1, 0x4, %g1 be,pt %icc, .Ltiny sub %o1, %g1, %o1 stw %o4, [%o0 + 0x00] add %o0, 0x4, %o0 .Ltiny: cmp %o1, 0 be,pn %icc, .Lexit 1: subcc %o1, 1, %o1 stb %o4, [%o0 + 0x00] bne,pt %icc, 1b add %o0, 1, %o0 .Lexit: retl mov %o3, %o0 .Lnon_bzero_loop: mov 0x08, %g3 mov 0x28, %o5 1: stxa %o4, [%o0 + %g0] ASI_BLK_INIT_QUAD_LDD_P subcc %g1, 0x40, %g1 stxa %o4, [%o0 + %g2] ASI_BLK_INIT_QUAD_LDD_P stxa %o4, [%o0 + %g3] ASI_BLK_INIT_QUAD_LDD_P stxa %o4, [%o0 + %o5] ASI_BLK_INIT_QUAD_LDD_P add %o0, 0x10, %o0 stxa %o4, [%o0 + %g0] ASI_BLK_INIT_QUAD_LDD_P stxa %o4, [%o0 + %g2] ASI_BLK_INIT_QUAD_LDD_P stxa %o4, [%o0 + %g3] ASI_BLK_INIT_QUAD_LDD_P stxa %o4, [%o0 + %o5] ASI_BLK_INIT_QUAD_LDD_P bne,pt %icc, 1b add %o0, 0x30, %o0 ba,a,pt %icc, .Lpostloop nop .size NG4bzero,.-NG4bzero |