xref: /freebsd/contrib/llvm-project/clang/lib/Headers/avx512vlbitalgintrin.h (revision 2f9966ff63d65bd474478888c9088eeae3f9c669)
1 /*===---- avx512vlbitalgintrin.h - BITALG intrinsics -----------------------===
2  *
3  *
4  * Part of the LLVM Project, under the Apache License v2.0 with LLVM Exceptions.
5  * See https://llvm.org/LICENSE.txt for license information.
6  * SPDX-License-Identifier: Apache-2.0 WITH LLVM-exception
7  *
8  *===-----------------------------------------------------------------------===
9  */
10 #ifndef __IMMINTRIN_H
11 #error "Never use <avx512vlbitalgintrin.h> directly; include <immintrin.h> instead."
12 #endif
13 
14 #ifndef __AVX512VLBITALGINTRIN_H
15 #define __AVX512VLBITALGINTRIN_H
16 
17 /* Define the default attributes for the functions in this file. */
18 #define __DEFAULT_FN_ATTRS128                                                  \
19   __attribute__((__always_inline__, __nodebug__,                               \
20                  __target__("avx512vl,avx512bitalg,no-evex512"),               \
21                  __min_vector_width__(128)))
22 #define __DEFAULT_FN_ATTRS256                                                  \
23   __attribute__((__always_inline__, __nodebug__,                               \
24                  __target__("avx512vl,avx512bitalg,no-evex512"),               \
25                  __min_vector_width__(256)))
26 
27 static __inline__ __m256i __DEFAULT_FN_ATTRS256
28 _mm256_popcnt_epi16(__m256i __A)
29 {
30   return (__m256i) __builtin_ia32_vpopcntw_256((__v16hi) __A);
31 }
32 
33 static __inline__ __m256i __DEFAULT_FN_ATTRS256
34 _mm256_mask_popcnt_epi16(__m256i __A, __mmask16 __U, __m256i __B)
35 {
36   return (__m256i) __builtin_ia32_selectw_256((__mmask16) __U,
37               (__v16hi) _mm256_popcnt_epi16(__B),
38               (__v16hi) __A);
39 }
40 
41 static __inline__ __m256i __DEFAULT_FN_ATTRS256
42 _mm256_maskz_popcnt_epi16(__mmask16 __U, __m256i __B)
43 {
44   return _mm256_mask_popcnt_epi16((__m256i) _mm256_setzero_si256(),
45               __U,
46               __B);
47 }
48 
49 static __inline__ __m128i __DEFAULT_FN_ATTRS128
50 _mm_popcnt_epi16(__m128i __A)
51 {
52   return (__m128i) __builtin_ia32_vpopcntw_128((__v8hi) __A);
53 }
54 
55 static __inline__ __m128i __DEFAULT_FN_ATTRS128
56 _mm_mask_popcnt_epi16(__m128i __A, __mmask8 __U, __m128i __B)
57 {
58   return (__m128i) __builtin_ia32_selectw_128((__mmask8) __U,
59               (__v8hi) _mm_popcnt_epi16(__B),
60               (__v8hi) __A);
61 }
62 
63 static __inline__ __m128i __DEFAULT_FN_ATTRS128
64 _mm_maskz_popcnt_epi16(__mmask8 __U, __m128i __B)
65 {
66   return _mm_mask_popcnt_epi16((__m128i) _mm_setzero_si128(),
67               __U,
68               __B);
69 }
70 
71 static __inline__ __m256i __DEFAULT_FN_ATTRS256
72 _mm256_popcnt_epi8(__m256i __A)
73 {
74   return (__m256i) __builtin_ia32_vpopcntb_256((__v32qi) __A);
75 }
76 
77 static __inline__ __m256i __DEFAULT_FN_ATTRS256
78 _mm256_mask_popcnt_epi8(__m256i __A, __mmask32 __U, __m256i __B)
79 {
80   return (__m256i) __builtin_ia32_selectb_256((__mmask32) __U,
81               (__v32qi) _mm256_popcnt_epi8(__B),
82               (__v32qi) __A);
83 }
84 
85 static __inline__ __m256i __DEFAULT_FN_ATTRS256
86 _mm256_maskz_popcnt_epi8(__mmask32 __U, __m256i __B)
87 {
88   return _mm256_mask_popcnt_epi8((__m256i) _mm256_setzero_si256(),
89               __U,
90               __B);
91 }
92 
93 static __inline__ __m128i __DEFAULT_FN_ATTRS128
94 _mm_popcnt_epi8(__m128i __A)
95 {
96   return (__m128i) __builtin_ia32_vpopcntb_128((__v16qi) __A);
97 }
98 
99 static __inline__ __m128i __DEFAULT_FN_ATTRS128
100 _mm_mask_popcnt_epi8(__m128i __A, __mmask16 __U, __m128i __B)
101 {
102   return (__m128i) __builtin_ia32_selectb_128((__mmask16) __U,
103               (__v16qi) _mm_popcnt_epi8(__B),
104               (__v16qi) __A);
105 }
106 
107 static __inline__ __m128i __DEFAULT_FN_ATTRS128
108 _mm_maskz_popcnt_epi8(__mmask16 __U, __m128i __B)
109 {
110   return _mm_mask_popcnt_epi8((__m128i) _mm_setzero_si128(),
111               __U,
112               __B);
113 }
114 
115 static __inline__ __mmask32 __DEFAULT_FN_ATTRS256
116 _mm256_mask_bitshuffle_epi64_mask(__mmask32 __U, __m256i __A, __m256i __B)
117 {
118   return (__mmask32) __builtin_ia32_vpshufbitqmb256_mask((__v32qi) __A,
119               (__v32qi) __B,
120               __U);
121 }
122 
123 static __inline__ __mmask32 __DEFAULT_FN_ATTRS256
124 _mm256_bitshuffle_epi64_mask(__m256i __A, __m256i __B)
125 {
126   return _mm256_mask_bitshuffle_epi64_mask((__mmask32) -1,
127               __A,
128               __B);
129 }
130 
131 static __inline__ __mmask16 __DEFAULT_FN_ATTRS128
132 _mm_mask_bitshuffle_epi64_mask(__mmask16 __U, __m128i __A, __m128i __B)
133 {
134   return (__mmask16) __builtin_ia32_vpshufbitqmb128_mask((__v16qi) __A,
135               (__v16qi) __B,
136               __U);
137 }
138 
139 static __inline__ __mmask16 __DEFAULT_FN_ATTRS128
140 _mm_bitshuffle_epi64_mask(__m128i __A, __m128i __B)
141 {
142   return _mm_mask_bitshuffle_epi64_mask((__mmask16) -1,
143               __A,
144               __B);
145 }
146 
147 
148 #undef __DEFAULT_FN_ATTRS128
149 #undef __DEFAULT_FN_ATTRS256
150 
151 #endif
152