Home
last modified time | relevance | path

Searched refs:__m256i (Results 1 – 22 of 22) sorted by relevance

/freebsd/contrib/llvm-project/clang/lib/Headers/
H A Davxvnniint16intrin.h93 static __inline__ __m256i __DEFAULT_FN_ATTRS256
94 _mm256_dpwsud_epi32(__m256i __W, __m256i __A, __m256i __B) { in _mm256_dpwsud_epi32()
95 return (__m256i)__builtin_ia32_vpdpwsud256((__v8si)__W, (__v8si)__A, in _mm256_dpwsud_epi32()
168 static __inline__ __m256i __DEFAULT_FN_ATTRS256
169 _mm256_dpwsuds_epi32(__m256i __W, __m256i __A, __m256i __B) { in _mm256_dpwsuds_epi32()
170 return (__m256i)__builtin_ia32_vpdpwsuds256((__v8si)__W, (__v8si)__A, in _mm256_dpwsuds_epi32()
241 static __inline__ __m256i __DEFAULT_FN_ATTRS256
242 _mm256_dpwusd_epi32(__m256i __W, __m256i __A, __m256i __B) { in _mm256_dpwusd_epi32()
243 return (__m256i)__builtin_ia32_vpdpwusd256((__v8si)__W, (__v8si)__A, in _mm256_dpwusd_epi32()
316 static __inline__ __m256i __DEFAULT_FN_ATTRS256
[all …]
H A Davxvnniint8intrin.h92 static __inline__ __m256i __DEFAULT_FN_ATTRS256
93 _mm256_dpbssd_epi32(__m256i __W, __m256i __A, __m256i __B) { in _mm256_dpbssd_epi32()
94 return (__m256i)__builtin_ia32_vpdpbssd256((__v8si)__W, (__v8si)__A, in _mm256_dpbssd_epi32()
167 static __inline__ __m256i __DEFAULT_FN_ATTRS256
168 _mm256_dpbssds_epi32(__m256i __W, __m256i __A, __m256i __B) { in _mm256_dpbssds_epi32()
169 return (__m256i)__builtin_ia32_vpdpbssds256((__v8si)__W, (__v8si)__A, in _mm256_dpbssds_epi32()
240 static __inline__ __m256i __DEFAULT_FN_ATTRS256
241 _mm256_dpbsud_epi32(__m256i __W, __m256i __A, __m256i __B) { in _mm256_dpbsud_epi32()
242 return (__m256i)__builtin_ia32_vpdpbsud256((__v8si)__W, (__v8si)__A, in _mm256_dpbsud_epi32()
315 static __inline__ __m256i __DEFAULT_FN_ATTRS256
[all …]
H A Davxvnniintrin.h63 static __inline__ __m256i __DEFAULT_FN_ATTRS256
64 _mm256_dpbusd_avx_epi32(__m256i __S, __m256i __A, __m256i __B) in _mm256_dpbusd_avx_epi32()
66 return (__m256i)__builtin_ia32_vpdpbusd256((__v8si)__S, (__v8si)__A, (__v8si)__B); in _mm256_dpbusd_avx_epi32()
86 static __inline__ __m256i __DEFAULT_FN_ATTRS256
87 _mm256_dpbusds_avx_epi32(__m256i __S, __m256i __A, __m256i __B) in _mm256_dpbusds_avx_epi32()
89 return (__m256i)__builtin_ia32_vpdpbusds256((__v8si)__S, (__v8si)__A, (__v8si)__B); in _mm256_dpbusds_avx_epi32()
107 static __inline__ __m256i __DEFAULT_FN_ATTRS256
108 _mm256_dpwssd_avx_epi32(__m256i __S, __m256i __A, __m256i __B) in _mm256_dpwssd_avx_epi32()
110 return (__m256i)__builtin_ia32_vpdpwssd256((__v8si)__S, (__v8si)__A, (__v8si)__B); in _mm256_dpwssd_avx_epi32()
128 static __inline__ __m256i __DEFAULT_FN_ATTRS256
[all …]
H A Dsha512intrin.h63 static __inline__ __m256i __DEFAULT_FN_ATTRS256
64 _mm256_sha512msg1_epi64(__m256i __A, __m128i __B) { in _mm256_sha512msg1_epi64()
65 return (__m256i)__builtin_ia32_vsha512msg1((__v4du)__A, (__v2du)__B); in _mm256_sha512msg1_epi64()
111 static __inline__ __m256i __DEFAULT_FN_ATTRS256
112 _mm256_sha512msg2_epi64(__m256i __A, __m256i __B) { in _mm256_sha512msg2_epi64()
113 return (__m256i)__builtin_ia32_vsha512msg2((__v4du)__A, (__v4du)__B); in _mm256_sha512msg2_epi64()
192 static __inline__ __m256i __DEFAULT_FN_ATTRS256
193 _mm256_sha512rnds2_epi64(__m256i __A, __m256i __B, __m128i __C) { in _mm256_sha512rnds2_epi64()
194 return (__m256i)__builtin_ia32_vsha512rnds2((__v4du)__A, (__v4du)__B, in _mm256_sha512rnds2_epi64()
H A Davxintrin.h36 typedef long long __m256i __attribute__((__vector_size__(32), __aligned__(32))); typedef
836 _mm256_permutevar_pd(__m256d __a, __m256i __c) in _mm256_permutevar_pd()
982 _mm256_permutevar_ps(__m256 __a, __m256i __c) in _mm256_permutevar_ps()
1324 ((__m256i)__builtin_ia32_vperm2f128_si256((__v8si)(__m256i)(V1), \
1325 (__v8si)(__m256i)(V2), (int)(M)))
1987 ((int)__builtin_ia32_vec_ext_v8si((__v8si)(__m256i)(X), (int)(N)))
2009 ((int)(unsigned short)__builtin_ia32_vec_ext_v16hi((__v16hi)(__m256i)(X), \
2032 ((int)(unsigned char)__builtin_ia32_vec_ext_v32qi((__v32qi)(__m256i)(X), \
2056 ((long long)__builtin_ia32_vec_ext_v4di((__v4di)(__m256i)(X), (int)(N)))
2082 ((__m256i)__builtin_ia32_vec_set_v8si((__v8si)(__m256i)(X), \
[all …]
H A Davxifmaintrin.h95 static __inline__ __m256i __DEFAULT_FN_ATTRS256
96 _mm256_madd52hi_avx_epu64(__m256i __X, __m256i __Y, __m256i __Z) { in _mm256_madd52hi_avx_epu64()
97 return (__m256i)__builtin_ia32_vpmadd52huq256((__v4di)__X, (__v4di)__Y, in _mm256_madd52hi_avx_epu64()
169 static __inline__ __m256i __DEFAULT_FN_ATTRS256
170 _mm256_madd52lo_avx_epu64(__m256i __X, __m256i __Y, __m256i __Z) { in _mm256_madd52lo_avx_epu64()
171 return (__m256i)__builtin_ia32_vpmadd52luq256((__v4di)__X, (__v4di)__Y, in _mm256_madd52lo_avx_epu64()
H A Dvpclmulqdqintrin.h18 ((__m256i)__builtin_ia32_pclmulqdq256((__v4di)(__m256i)(A), \
19 (__v4di)(__m256i)(B), \
H A Dsm4intrin.h139 (__m256i) __builtin_ia32_vsm4key4256((__v8su)A, (__v8su)B)
267 (__m256i) __builtin_ia32_vsm4rnds4256((__v8su)A, (__v8su)B)
H A Dxopintrin.h191 static __inline__ __m256i __DEFAULT_FN_ATTRS256
192 _mm256_cmov_si256(__m256i __A, __m256i __B, __m256i __C) in _mm256_cmov_si256()
194 return (__m256i)(((__v4du)__A & (__v4du)__C) | ((__v4du)__B & ~(__v4du)__C)); in _mm256_cmov_si256()
720 (__v4di)(__m256i)(C), (I)))
729 (__v8si)(__m256i)(C), (I)))
H A Davx512fp16intrin.h131 static __inline__ __m256i __DEFAULT_FN_ATTRS256
133 return (__m256i)__a; in _mm256_castph_si256()
170 _mm256_castsi256_ph(__m256i __a) { in _mm256_castsi256_ph()
/freebsd/contrib/llvm-project/llvm/lib/Support/BLAKE3/
H A Dblake3_avx2.c7 INLINE __m256i loadu(const uint8_t src[32]) { in loadu()
8 return _mm256_loadu_si256((const __m256i *)src); in loadu()
11 INLINE void storeu(__m256i src, uint8_t dest[16]) { in storeu()
12 _mm256_storeu_si256((__m256i *)dest, src); in storeu()
15 INLINE __m256i addv(__m256i a, __m256i b) { return _mm256_add_epi32(a, b); } in addv()
18 INLINE __m256i xorv(__m256i a, __m256i b) { return _mm256_xor_si256(a, b); } in xorv()
20 INLINE __m256i set1(uint32_t x) { return _mm256_set1_epi32((int32_t)x); } in set1()
22 INLINE __m256i rot16(__m256i x) { in rot16()
28 INLINE __m256i rot12(__m256i x) { in rot12()
32 INLINE __m256i rot8(__m256i x) { in rot8()
[all …]
H A Dblake3_avx512.c13 INLINE __m256i loadu_256(const uint8_t src[32]) { in loadu_256()
14 return _mm256_loadu_si256((const __m256i *)src); in loadu_256()
25 INLINE void storeu_256(__m256i src, uint8_t dest[16]) { in storeu_256()
26 _mm256_storeu_si256((__m256i *)dest, src); in storeu_256()
31 INLINE __m256i add_256(__m256i a, __m256i b) { return _mm256_add_epi32(a, b); } in add_256()
37 INLINE __m256i xor_256(__m256i a, __m256i b) { return _mm256_xor_si256(a, b); } in xor_256()
43 INLINE __m256i set1_256(uint32_t x) { return _mm256_set1_epi32((int32_t)x); } in set1_256()
53 INLINE __m256i rot16_256(__m256i x) { return _mm256_ror_epi32(x, 16); } in rot16_256()
59 INLINE __m256i rot12_256(__m256i x) { return _mm256_ror_epi32(x, 12); } in rot12_256()
65 INLINE __m256i rot8_256(__m256i x) { return _mm256_ror_epi32(x, 8); } in rot8_256()
[all …]
/freebsd/sys/contrib/libsodium/src/libsodium/crypto_stream/chacha20/dolbeau/
H A Du8.h131 __m256i rot16 =
134 __m256i rot8 =
140 __m256i x_0 = _mm256_set1_epi32(x[0]);
141 __m256i x_1 = _mm256_set1_epi32(x[1]);
142 __m256i x_2 = _mm256_set1_epi32(x[2]);
143 __m256i x_3 = _mm256_set1_epi32(x[3]);
144 __m256i x_4 = _mm256_set1_epi32(x[4]);
145 __m256i x_5 = _mm256_set1_epi32(x[5]);
146 __m256i x_6 = _mm256_set1_epi32(x[6]);
147 __m256i x_7 = _mm256_set1_epi32(x[7]);
[all …]
/freebsd/sys/contrib/libsodium/src/libsodium/crypto_stream/salsa20/xmm6int/
H A Du8.h2 __m256i y0, y1, y2, y3, y4, y5, y6, y7, y8, y9, y10, y11, y12, y13, y14,
6 __m256i z0 = _mm256_set1_epi32(x[0]);
7 __m256i z5 = _mm256_set1_epi32(x[1]);
8 __m256i z10 = _mm256_set1_epi32(x[2]);
9 __m256i z15 = _mm256_set1_epi32(x[3]);
10 __m256i z12 = _mm256_set1_epi32(x[4]);
11 __m256i z1 = _mm256_set1_epi32(x[5]);
12 __m256i z6 = _mm256_set1_epi32(x[6]);
13 __m256i z11 = _mm256_set1_epi32(x[7]);
14 __m256i z8; /* useless */
[all …]
/freebsd/sys/contrib/libsodium/src/libsodium/crypto_generichash/blake2b/ref/
H A Dblake2b-compress-avx2.h8 #define LOAD(p) _mm256_load_si256((__m256i *) (p))
9 #define STORE(p, r) _mm256_store_si256((__m256i *) (p), r)
11 #define LOADU(p) _mm256_loadu_si256((__m256i *) (p))
12 #define STOREU(p, r) _mm256_storeu_si256((__m256i *) (p), r)
82 __m256i b0; \
112 const __m256i m0 = _mm256_broadcastsi128_si256(LOADU128((m) + 0)); \
113 const __m256i m1 = _mm256_broadcastsi128_si256(LOADU128((m) + 16)); \
114 const __m256i m2 = _mm256_broadcastsi128_si256(LOADU128((m) + 32)); \
115 const __m256i m3 = _mm256_broadcastsi128_si256(LOADU128((m) + 48)); \
116 const __m256i m4 = _mm256_broadcastsi128_si256(LOADU128((m) + 64)); \
[all …]
H A Dblake2b-compress-avx2.c40 __m256i a = LOADU(&S->h[0]); in blake2b_compress_avx2()
41 __m256i b = LOADU(&S->h[4]); in blake2b_compress_avx2()
/freebsd/sys/contrib/libsodium/src/libsodium/crypto_pwhash/argon2/
H A Dargon2-fill-block-avx2.c44 fill_block(__m256i *state, const uint8_t *ref_block, uint8_t *next_block) in fill_block()
46 __m256i block_XY[ARGON2_HWORDS_IN_BLOCK]; in fill_block()
51 state[i], _mm256_loadu_si256((__m256i const *) (&ref_block[32 * i]))); in fill_block()
66 _mm256_storeu_si256((__m256i *) (&next_block[32 * i]), state[i]); in fill_block()
71 fill_block_with_xor(__m256i *state, const uint8_t *ref_block, in fill_block_with_xor()
74 __m256i block_XY[ARGON2_HWORDS_IN_BLOCK]; in fill_block_with_xor()
79 state[i], _mm256_loadu_si256((__m256i const *) (&ref_block[32 * i]))); in fill_block_with_xor()
81 state[i], _mm256_loadu_si256((__m256i const *) (&next_block[32 * i]))); in fill_block_with_xor()
96 _mm256_storeu_si256((__m256i *) (&next_block[32 * i]), state[i]); in fill_block_with_xor()
121 __m256i zero_block[ARGON2_HWORDS_IN_BLOCK]; in generate_addresses()
[all …]
H A Dblamka-round-avx2.h14 __m256i ml = _mm256_mul_epu32(A0, B0); \
43 __m256i ml = _mm256_mul_epu32(A0, B0); \
81 __m256i tmp1 = _mm256_blend_epi32(B0, B1, 0xCC); \
82 __m256i tmp2 = _mm256_blend_epi32(B0, B1, 0x33); \
109 __m256i tmp1 = _mm256_blend_epi32(B0, B1, 0xCC); \
110 __m256i tmp2 = _mm256_blend_epi32(B0, B1, 0x33); \
/freebsd/sys/contrib/zstd/lib/common/
H A Dxxhash.h3853 { __m256i* const xacc = (__m256i *) acc; in XXH3_accumulate_512_avx2()
3856 const __m256i* const xinput = (const __m256i *) input; in XXH3_accumulate_512_avx2()
3859 const __m256i* const xsecret = (const __m256i *) secret; in XXH3_accumulate_512_avx2()
3862 for (i=0; i < XXH_STRIPE_LEN/sizeof(__m256i); i++) { in XXH3_accumulate_512_avx2()
3864 __m256i const data_vec = _mm256_loadu_si256 (xinput+i); in XXH3_accumulate_512_avx2()
3866 __m256i const key_vec = _mm256_loadu_si256 (xsecret+i); in XXH3_accumulate_512_avx2()
3868 __m256i const data_key = _mm256_xor_si256 (data_vec, key_vec); in XXH3_accumulate_512_avx2()
3870 __m256i const data_key_lo = _mm256_shuffle_epi32 (data_key, _MM_SHUFFLE(0, 3, 0, 1)); in XXH3_accumulate_512_avx2()
3872 __m256i const product = _mm256_mul_epu32 (data_key, data_key_lo); in XXH3_accumulate_512_avx2()
3874 __m256i const data_swap = _mm256_shuffle_epi32(data_vec, _MM_SHUFFLE(1, 0, 3, 2)); in XXH3_accumulate_512_avx2()
[all …]
/freebsd/sys/contrib/libsodium/
H A Dconfigure.ac473 ]], [[ __m256i y = _mm256_broadcastsi128_si256(_mm_setzero_si128()); ]])],
/freebsd/contrib/llvm-project/llvm/lib/Target/X86/
H A DX86CallingConv.td151 // __m256, __m256i, __m256d --> YMM
228 // __m256, __m256i, __m256d --> YMM
/freebsd/sys/contrib/zstd/lib/legacy/
H A Dzstd_v01.c1434 __m256i hashTable[HASH_TABLESIZE>>3];