1*d448578bSJean-Sébastien Pédron /* SPDX-License-Identifier: (GPL-2.0-only OR BSD-3-Clause) */
2*d448578bSJean-Sébastien Pédron /* Copyright (C) 2016-2022 Jason A. Donenfeld <Jason@zx2c4.com>. All Rights Reserved.
3*d448578bSJean-Sébastien Pédron *
4*d448578bSJean-Sébastien Pédron * SipHash: a fast short-input PRF
5*d448578bSJean-Sébastien Pédron * https://131002.net/siphash/
6*d448578bSJean-Sébastien Pédron *
7*d448578bSJean-Sébastien Pédron * This implementation is specifically for SipHash2-4 for a secure PRF
8*d448578bSJean-Sébastien Pédron * and HalfSipHash1-3/SipHash1-3 for an insecure PRF only suitable for
9*d448578bSJean-Sébastien Pédron * hashtables.
10*d448578bSJean-Sébastien Pédron */
11*d448578bSJean-Sébastien Pédron
12*d448578bSJean-Sébastien Pédron #ifndef _LINUX_SIPHASH_H
13*d448578bSJean-Sébastien Pédron #define _LINUX_SIPHASH_H
14*d448578bSJean-Sébastien Pédron
15*d448578bSJean-Sébastien Pédron #include <linux/types.h>
16*d448578bSJean-Sébastien Pédron #include <linux/kernel.h>
17*d448578bSJean-Sébastien Pédron
18*d448578bSJean-Sébastien Pédron #define SIPHASH_ALIGNMENT __alignof__(u64)
19*d448578bSJean-Sébastien Pédron typedef struct {
20*d448578bSJean-Sébastien Pédron u64 key[2];
21*d448578bSJean-Sébastien Pédron } siphash_key_t;
22*d448578bSJean-Sébastien Pédron
23*d448578bSJean-Sébastien Pédron #define siphash_aligned_key_t siphash_key_t __aligned(16)
24*d448578bSJean-Sébastien Pédron
siphash_key_is_zero(const siphash_key_t * key)25*d448578bSJean-Sébastien Pédron static inline bool siphash_key_is_zero(const siphash_key_t *key)
26*d448578bSJean-Sébastien Pédron {
27*d448578bSJean-Sébastien Pédron return !(key->key[0] | key->key[1]);
28*d448578bSJean-Sébastien Pédron }
29*d448578bSJean-Sébastien Pédron
30*d448578bSJean-Sébastien Pédron u64 __siphash_aligned(const void *data, size_t len, const siphash_key_t *key);
31*d448578bSJean-Sébastien Pédron u64 __siphash_unaligned(const void *data, size_t len, const siphash_key_t *key);
32*d448578bSJean-Sébastien Pédron
33*d448578bSJean-Sébastien Pédron u64 siphash_1u64(const u64 a, const siphash_key_t *key);
34*d448578bSJean-Sébastien Pédron u64 siphash_2u64(const u64 a, const u64 b, const siphash_key_t *key);
35*d448578bSJean-Sébastien Pédron u64 siphash_3u64(const u64 a, const u64 b, const u64 c,
36*d448578bSJean-Sébastien Pédron const siphash_key_t *key);
37*d448578bSJean-Sébastien Pédron u64 siphash_4u64(const u64 a, const u64 b, const u64 c, const u64 d,
38*d448578bSJean-Sébastien Pédron const siphash_key_t *key);
39*d448578bSJean-Sébastien Pédron u64 siphash_1u32(const u32 a, const siphash_key_t *key);
40*d448578bSJean-Sébastien Pédron u64 siphash_3u32(const u32 a, const u32 b, const u32 c,
41*d448578bSJean-Sébastien Pédron const siphash_key_t *key);
42*d448578bSJean-Sébastien Pédron
siphash_2u32(const u32 a,const u32 b,const siphash_key_t * key)43*d448578bSJean-Sébastien Pédron static inline u64 siphash_2u32(const u32 a, const u32 b,
44*d448578bSJean-Sébastien Pédron const siphash_key_t *key)
45*d448578bSJean-Sébastien Pédron {
46*d448578bSJean-Sébastien Pédron return siphash_1u64((u64)b << 32 | a, key);
47*d448578bSJean-Sébastien Pédron }
siphash_4u32(const u32 a,const u32 b,const u32 c,const u32 d,const siphash_key_t * key)48*d448578bSJean-Sébastien Pédron static inline u64 siphash_4u32(const u32 a, const u32 b, const u32 c,
49*d448578bSJean-Sébastien Pédron const u32 d, const siphash_key_t *key)
50*d448578bSJean-Sébastien Pédron {
51*d448578bSJean-Sébastien Pédron return siphash_2u64((u64)b << 32 | a, (u64)d << 32 | c, key);
52*d448578bSJean-Sébastien Pédron }
53*d448578bSJean-Sébastien Pédron
54*d448578bSJean-Sébastien Pédron
___siphash_aligned(const __le64 * data,size_t len,const siphash_key_t * key)55*d448578bSJean-Sébastien Pédron static inline u64 ___siphash_aligned(const __le64 *data, size_t len,
56*d448578bSJean-Sébastien Pédron const siphash_key_t *key)
57*d448578bSJean-Sébastien Pédron {
58*d448578bSJean-Sébastien Pédron if (__builtin_constant_p(len) && len == 4)
59*d448578bSJean-Sébastien Pédron return siphash_1u32(le32_to_cpup((const __le32 *)data), key);
60*d448578bSJean-Sébastien Pédron if (__builtin_constant_p(len) && len == 8)
61*d448578bSJean-Sébastien Pédron return siphash_1u64(le64_to_cpu(data[0]), key);
62*d448578bSJean-Sébastien Pédron if (__builtin_constant_p(len) && len == 16)
63*d448578bSJean-Sébastien Pédron return siphash_2u64(le64_to_cpu(data[0]), le64_to_cpu(data[1]),
64*d448578bSJean-Sébastien Pédron key);
65*d448578bSJean-Sébastien Pédron if (__builtin_constant_p(len) && len == 24)
66*d448578bSJean-Sébastien Pédron return siphash_3u64(le64_to_cpu(data[0]), le64_to_cpu(data[1]),
67*d448578bSJean-Sébastien Pédron le64_to_cpu(data[2]), key);
68*d448578bSJean-Sébastien Pédron if (__builtin_constant_p(len) && len == 32)
69*d448578bSJean-Sébastien Pédron return siphash_4u64(le64_to_cpu(data[0]), le64_to_cpu(data[1]),
70*d448578bSJean-Sébastien Pédron le64_to_cpu(data[2]), le64_to_cpu(data[3]),
71*d448578bSJean-Sébastien Pédron key);
72*d448578bSJean-Sébastien Pédron return __siphash_aligned(data, len, key);
73*d448578bSJean-Sébastien Pédron }
74*d448578bSJean-Sébastien Pédron
75*d448578bSJean-Sébastien Pédron /**
76*d448578bSJean-Sébastien Pédron * siphash - compute 64-bit siphash PRF value
77*d448578bSJean-Sébastien Pédron * @data: buffer to hash
78*d448578bSJean-Sébastien Pédron * @size: size of @data
79*d448578bSJean-Sébastien Pédron * @key: the siphash key
80*d448578bSJean-Sébastien Pédron */
siphash(const void * data,size_t len,const siphash_key_t * key)81*d448578bSJean-Sébastien Pédron static inline u64 siphash(const void *data, size_t len,
82*d448578bSJean-Sébastien Pédron const siphash_key_t *key)
83*d448578bSJean-Sébastien Pédron {
84*d448578bSJean-Sébastien Pédron if (IS_ENABLED(CONFIG_HAVE_EFFICIENT_UNALIGNED_ACCESS) ||
85*d448578bSJean-Sébastien Pédron !IS_ALIGNED((unsigned long)data, SIPHASH_ALIGNMENT))
86*d448578bSJean-Sébastien Pédron return __siphash_unaligned(data, len, key);
87*d448578bSJean-Sébastien Pédron return ___siphash_aligned(data, len, key);
88*d448578bSJean-Sébastien Pédron }
89*d448578bSJean-Sébastien Pédron
90*d448578bSJean-Sébastien Pédron #define HSIPHASH_ALIGNMENT __alignof__(unsigned long)
91*d448578bSJean-Sébastien Pédron typedef struct {
92*d448578bSJean-Sébastien Pédron unsigned long key[2];
93*d448578bSJean-Sébastien Pédron } hsiphash_key_t;
94*d448578bSJean-Sébastien Pédron
95*d448578bSJean-Sébastien Pédron u32 __hsiphash_aligned(const void *data, size_t len,
96*d448578bSJean-Sébastien Pédron const hsiphash_key_t *key);
97*d448578bSJean-Sébastien Pédron u32 __hsiphash_unaligned(const void *data, size_t len,
98*d448578bSJean-Sébastien Pédron const hsiphash_key_t *key);
99*d448578bSJean-Sébastien Pédron
100*d448578bSJean-Sébastien Pédron u32 hsiphash_1u32(const u32 a, const hsiphash_key_t *key);
101*d448578bSJean-Sébastien Pédron u32 hsiphash_2u32(const u32 a, const u32 b, const hsiphash_key_t *key);
102*d448578bSJean-Sébastien Pédron u32 hsiphash_3u32(const u32 a, const u32 b, const u32 c,
103*d448578bSJean-Sébastien Pédron const hsiphash_key_t *key);
104*d448578bSJean-Sébastien Pédron u32 hsiphash_4u32(const u32 a, const u32 b, const u32 c, const u32 d,
105*d448578bSJean-Sébastien Pédron const hsiphash_key_t *key);
106*d448578bSJean-Sébastien Pédron
___hsiphash_aligned(const __le32 * data,size_t len,const hsiphash_key_t * key)107*d448578bSJean-Sébastien Pédron static inline u32 ___hsiphash_aligned(const __le32 *data, size_t len,
108*d448578bSJean-Sébastien Pédron const hsiphash_key_t *key)
109*d448578bSJean-Sébastien Pédron {
110*d448578bSJean-Sébastien Pédron if (__builtin_constant_p(len) && len == 4)
111*d448578bSJean-Sébastien Pédron return hsiphash_1u32(le32_to_cpu(data[0]), key);
112*d448578bSJean-Sébastien Pédron if (__builtin_constant_p(len) && len == 8)
113*d448578bSJean-Sébastien Pédron return hsiphash_2u32(le32_to_cpu(data[0]), le32_to_cpu(data[1]),
114*d448578bSJean-Sébastien Pédron key);
115*d448578bSJean-Sébastien Pédron if (__builtin_constant_p(len) && len == 12)
116*d448578bSJean-Sébastien Pédron return hsiphash_3u32(le32_to_cpu(data[0]), le32_to_cpu(data[1]),
117*d448578bSJean-Sébastien Pédron le32_to_cpu(data[2]), key);
118*d448578bSJean-Sébastien Pédron if (__builtin_constant_p(len) && len == 16)
119*d448578bSJean-Sébastien Pédron return hsiphash_4u32(le32_to_cpu(data[0]), le32_to_cpu(data[1]),
120*d448578bSJean-Sébastien Pédron le32_to_cpu(data[2]), le32_to_cpu(data[3]),
121*d448578bSJean-Sébastien Pédron key);
122*d448578bSJean-Sébastien Pédron return __hsiphash_aligned(data, len, key);
123*d448578bSJean-Sébastien Pédron }
124*d448578bSJean-Sébastien Pédron
125*d448578bSJean-Sébastien Pédron /**
126*d448578bSJean-Sébastien Pédron * hsiphash - compute 32-bit hsiphash PRF value
127*d448578bSJean-Sébastien Pédron * @data: buffer to hash
128*d448578bSJean-Sébastien Pédron * @size: size of @data
129*d448578bSJean-Sébastien Pédron * @key: the hsiphash key
130*d448578bSJean-Sébastien Pédron */
hsiphash(const void * data,size_t len,const hsiphash_key_t * key)131*d448578bSJean-Sébastien Pédron static inline u32 hsiphash(const void *data, size_t len,
132*d448578bSJean-Sébastien Pédron const hsiphash_key_t *key)
133*d448578bSJean-Sébastien Pédron {
134*d448578bSJean-Sébastien Pédron if (IS_ENABLED(CONFIG_HAVE_EFFICIENT_UNALIGNED_ACCESS) ||
135*d448578bSJean-Sébastien Pédron !IS_ALIGNED((unsigned long)data, HSIPHASH_ALIGNMENT))
136*d448578bSJean-Sébastien Pédron return __hsiphash_unaligned(data, len, key);
137*d448578bSJean-Sébastien Pédron return ___hsiphash_aligned(data, len, key);
138*d448578bSJean-Sébastien Pédron }
139*d448578bSJean-Sébastien Pédron
140*d448578bSJean-Sébastien Pédron /*
141*d448578bSJean-Sébastien Pédron * These macros expose the raw SipHash and HalfSipHash permutations.
142*d448578bSJean-Sébastien Pédron * Do not use them directly! If you think you have a use for them,
143*d448578bSJean-Sébastien Pédron * be sure to CC the maintainer of this file explaining why.
144*d448578bSJean-Sébastien Pédron */
145*d448578bSJean-Sébastien Pédron
146*d448578bSJean-Sébastien Pédron #define SIPHASH_PERMUTATION(a, b, c, d) ( \
147*d448578bSJean-Sébastien Pédron (a) += (b), (b) = rol64((b), 13), (b) ^= (a), (a) = rol64((a), 32), \
148*d448578bSJean-Sébastien Pédron (c) += (d), (d) = rol64((d), 16), (d) ^= (c), \
149*d448578bSJean-Sébastien Pédron (a) += (d), (d) = rol64((d), 21), (d) ^= (a), \
150*d448578bSJean-Sébastien Pédron (c) += (b), (b) = rol64((b), 17), (b) ^= (c), (c) = rol64((c), 32))
151*d448578bSJean-Sébastien Pédron
152*d448578bSJean-Sébastien Pédron #define SIPHASH_CONST_0 0x736f6d6570736575ULL
153*d448578bSJean-Sébastien Pédron #define SIPHASH_CONST_1 0x646f72616e646f6dULL
154*d448578bSJean-Sébastien Pédron #define SIPHASH_CONST_2 0x6c7967656e657261ULL
155*d448578bSJean-Sébastien Pédron #define SIPHASH_CONST_3 0x7465646279746573ULL
156*d448578bSJean-Sébastien Pédron
157*d448578bSJean-Sébastien Pédron #define HSIPHASH_PERMUTATION(a, b, c, d) ( \
158*d448578bSJean-Sébastien Pédron (a) += (b), (b) = rol32((b), 5), (b) ^= (a), (a) = rol32((a), 16), \
159*d448578bSJean-Sébastien Pédron (c) += (d), (d) = rol32((d), 8), (d) ^= (c), \
160*d448578bSJean-Sébastien Pédron (a) += (d), (d) = rol32((d), 7), (d) ^= (a), \
161*d448578bSJean-Sébastien Pédron (c) += (b), (b) = rol32((b), 13), (b) ^= (c), (c) = rol32((c), 16))
162*d448578bSJean-Sébastien Pédron
163*d448578bSJean-Sébastien Pédron #define HSIPHASH_CONST_0 0U
164*d448578bSJean-Sébastien Pédron #define HSIPHASH_CONST_1 0U
165*d448578bSJean-Sébastien Pédron #define HSIPHASH_CONST_2 0x6c796765U
166*d448578bSJean-Sébastien Pédron #define HSIPHASH_CONST_3 0x74656462U
167*d448578bSJean-Sébastien Pédron
168*d448578bSJean-Sébastien Pédron #endif /* _LINUX_SIPHASH_H */
169