1*0957b409SSimon J. Gerraty /*
2*0957b409SSimon J. Gerraty * Copyright (c) 2017 Thomas Pornin <pornin@bolet.org>
3*0957b409SSimon J. Gerraty *
4*0957b409SSimon J. Gerraty * Permission is hereby granted, free of charge, to any person obtaining
5*0957b409SSimon J. Gerraty * a copy of this software and associated documentation files (the
6*0957b409SSimon J. Gerraty * "Software"), to deal in the Software without restriction, including
7*0957b409SSimon J. Gerraty * without limitation the rights to use, copy, modify, merge, publish,
8*0957b409SSimon J. Gerraty * distribute, sublicense, and/or sell copies of the Software, and to
9*0957b409SSimon J. Gerraty * permit persons to whom the Software is furnished to do so, subject to
10*0957b409SSimon J. Gerraty * the following conditions:
11*0957b409SSimon J. Gerraty *
12*0957b409SSimon J. Gerraty * The above copyright notice and this permission notice shall be
13*0957b409SSimon J. Gerraty * included in all copies or substantial portions of the Software.
14*0957b409SSimon J. Gerraty *
15*0957b409SSimon J. Gerraty * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
16*0957b409SSimon J. Gerraty * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
17*0957b409SSimon J. Gerraty * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
18*0957b409SSimon J. Gerraty * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
19*0957b409SSimon J. Gerraty * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
20*0957b409SSimon J. Gerraty * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
21*0957b409SSimon J. Gerraty * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
22*0957b409SSimon J. Gerraty * SOFTWARE.
23*0957b409SSimon J. Gerraty */
24*0957b409SSimon J. Gerraty
25*0957b409SSimon J. Gerraty #include "inner.h"
26*0957b409SSimon J. Gerraty
27*0957b409SSimon J. Gerraty /* obsolete
28*0957b409SSimon J. Gerraty #include <stdio.h>
29*0957b409SSimon J. Gerraty #include <stdlib.h>
30*0957b409SSimon J. Gerraty static void
31*0957b409SSimon J. Gerraty print_int(const char *name, const uint32_t *x)
32*0957b409SSimon J. Gerraty {
33*0957b409SSimon J. Gerraty size_t u;
34*0957b409SSimon J. Gerraty unsigned char tmp[36];
35*0957b409SSimon J. Gerraty
36*0957b409SSimon J. Gerraty printf("%s = ", name);
37*0957b409SSimon J. Gerraty for (u = 0; u < 20; u ++) {
38*0957b409SSimon J. Gerraty if (x[u] > 0x1FFF) {
39*0957b409SSimon J. Gerraty printf("INVALID:");
40*0957b409SSimon J. Gerraty for (u = 0; u < 20; u ++) {
41*0957b409SSimon J. Gerraty printf(" %04X", x[u]);
42*0957b409SSimon J. Gerraty }
43*0957b409SSimon J. Gerraty printf("\n");
44*0957b409SSimon J. Gerraty return;
45*0957b409SSimon J. Gerraty }
46*0957b409SSimon J. Gerraty }
47*0957b409SSimon J. Gerraty memset(tmp, 0, sizeof tmp);
48*0957b409SSimon J. Gerraty for (u = 0; u < 20; u ++) {
49*0957b409SSimon J. Gerraty uint32_t w;
50*0957b409SSimon J. Gerraty int j, k;
51*0957b409SSimon J. Gerraty
52*0957b409SSimon J. Gerraty w = x[u];
53*0957b409SSimon J. Gerraty j = 13 * (int)u;
54*0957b409SSimon J. Gerraty k = j & 7;
55*0957b409SSimon J. Gerraty if (k != 0) {
56*0957b409SSimon J. Gerraty w <<= k;
57*0957b409SSimon J. Gerraty j -= k;
58*0957b409SSimon J. Gerraty }
59*0957b409SSimon J. Gerraty k = j >> 3;
60*0957b409SSimon J. Gerraty tmp[35 - k] |= (unsigned char)w;
61*0957b409SSimon J. Gerraty tmp[34 - k] |= (unsigned char)(w >> 8);
62*0957b409SSimon J. Gerraty tmp[33 - k] |= (unsigned char)(w >> 16);
63*0957b409SSimon J. Gerraty tmp[32 - k] |= (unsigned char)(w >> 24);
64*0957b409SSimon J. Gerraty }
65*0957b409SSimon J. Gerraty for (u = 4; u < 36; u ++) {
66*0957b409SSimon J. Gerraty printf("%02X", tmp[u]);
67*0957b409SSimon J. Gerraty }
68*0957b409SSimon J. Gerraty printf("\n");
69*0957b409SSimon J. Gerraty }
70*0957b409SSimon J. Gerraty */
71*0957b409SSimon J. Gerraty
72*0957b409SSimon J. Gerraty /*
73*0957b409SSimon J. Gerraty * If BR_NO_ARITH_SHIFT is undefined, or defined to 0, then we _assume_
74*0957b409SSimon J. Gerraty * that right-shifting a signed negative integer copies the sign bit
75*0957b409SSimon J. Gerraty * (arithmetic right-shift). This is "implementation-defined behaviour",
76*0957b409SSimon J. Gerraty * i.e. it is not undefined, but it may differ between compilers. Each
77*0957b409SSimon J. Gerraty * compiler is supposed to document its behaviour in that respect. GCC
78*0957b409SSimon J. Gerraty * explicitly defines that an arithmetic right shift is used. We expect
79*0957b409SSimon J. Gerraty * all other compilers to do the same, because underlying CPU offer an
80*0957b409SSimon J. Gerraty * arithmetic right shift opcode that could not be used otherwise.
81*0957b409SSimon J. Gerraty */
82*0957b409SSimon J. Gerraty #if BR_NO_ARITH_SHIFT
83*0957b409SSimon J. Gerraty #define ARSH(x, n) (((uint32_t)(x) >> (n)) \
84*0957b409SSimon J. Gerraty | ((-((uint32_t)(x) >> 31)) << (32 - (n))))
85*0957b409SSimon J. Gerraty #else
86*0957b409SSimon J. Gerraty #define ARSH(x, n) ((*(int32_t *)&(x)) >> (n))
87*0957b409SSimon J. Gerraty #endif
88*0957b409SSimon J. Gerraty
89*0957b409SSimon J. Gerraty /*
90*0957b409SSimon J. Gerraty * Convert an integer from unsigned little-endian encoding to a sequence of
91*0957b409SSimon J. Gerraty * 13-bit words in little-endian order. The final "partial" word is
92*0957b409SSimon J. Gerraty * returned.
93*0957b409SSimon J. Gerraty */
94*0957b409SSimon J. Gerraty static uint32_t
le8_to_le13(uint32_t * dst,const unsigned char * src,size_t len)95*0957b409SSimon J. Gerraty le8_to_le13(uint32_t *dst, const unsigned char *src, size_t len)
96*0957b409SSimon J. Gerraty {
97*0957b409SSimon J. Gerraty uint32_t acc;
98*0957b409SSimon J. Gerraty int acc_len;
99*0957b409SSimon J. Gerraty
100*0957b409SSimon J. Gerraty acc = 0;
101*0957b409SSimon J. Gerraty acc_len = 0;
102*0957b409SSimon J. Gerraty while (len -- > 0) {
103*0957b409SSimon J. Gerraty acc |= (uint32_t)(*src ++) << acc_len;
104*0957b409SSimon J. Gerraty acc_len += 8;
105*0957b409SSimon J. Gerraty if (acc_len >= 13) {
106*0957b409SSimon J. Gerraty *dst ++ = acc & 0x1FFF;
107*0957b409SSimon J. Gerraty acc >>= 13;
108*0957b409SSimon J. Gerraty acc_len -= 13;
109*0957b409SSimon J. Gerraty }
110*0957b409SSimon J. Gerraty }
111*0957b409SSimon J. Gerraty return acc;
112*0957b409SSimon J. Gerraty }
113*0957b409SSimon J. Gerraty
114*0957b409SSimon J. Gerraty /*
115*0957b409SSimon J. Gerraty * Convert an integer (13-bit words, little-endian) to unsigned
116*0957b409SSimon J. Gerraty * little-endian encoding. The total encoding length is provided; all
117*0957b409SSimon J. Gerraty * the destination bytes will be filled.
118*0957b409SSimon J. Gerraty */
119*0957b409SSimon J. Gerraty static void
le13_to_le8(unsigned char * dst,size_t len,const uint32_t * src)120*0957b409SSimon J. Gerraty le13_to_le8(unsigned char *dst, size_t len, const uint32_t *src)
121*0957b409SSimon J. Gerraty {
122*0957b409SSimon J. Gerraty uint32_t acc;
123*0957b409SSimon J. Gerraty int acc_len;
124*0957b409SSimon J. Gerraty
125*0957b409SSimon J. Gerraty acc = 0;
126*0957b409SSimon J. Gerraty acc_len = 0;
127*0957b409SSimon J. Gerraty while (len -- > 0) {
128*0957b409SSimon J. Gerraty if (acc_len < 8) {
129*0957b409SSimon J. Gerraty acc |= (*src ++) << acc_len;
130*0957b409SSimon J. Gerraty acc_len += 13;
131*0957b409SSimon J. Gerraty }
132*0957b409SSimon J. Gerraty *dst ++ = (unsigned char)acc;
133*0957b409SSimon J. Gerraty acc >>= 8;
134*0957b409SSimon J. Gerraty acc_len -= 8;
135*0957b409SSimon J. Gerraty }
136*0957b409SSimon J. Gerraty }
137*0957b409SSimon J. Gerraty
138*0957b409SSimon J. Gerraty /*
139*0957b409SSimon J. Gerraty * Normalise an array of words to a strict 13 bits per word. Returned
140*0957b409SSimon J. Gerraty * value is the resulting carry. The source (w) and destination (d)
141*0957b409SSimon J. Gerraty * arrays may be identical, but shall not overlap partially.
142*0957b409SSimon J. Gerraty */
143*0957b409SSimon J. Gerraty static inline uint32_t
norm13(uint32_t * d,const uint32_t * w,size_t len)144*0957b409SSimon J. Gerraty norm13(uint32_t *d, const uint32_t *w, size_t len)
145*0957b409SSimon J. Gerraty {
146*0957b409SSimon J. Gerraty size_t u;
147*0957b409SSimon J. Gerraty uint32_t cc;
148*0957b409SSimon J. Gerraty
149*0957b409SSimon J. Gerraty cc = 0;
150*0957b409SSimon J. Gerraty for (u = 0; u < len; u ++) {
151*0957b409SSimon J. Gerraty int32_t z;
152*0957b409SSimon J. Gerraty
153*0957b409SSimon J. Gerraty z = w[u] + cc;
154*0957b409SSimon J. Gerraty d[u] = z & 0x1FFF;
155*0957b409SSimon J. Gerraty cc = ARSH(z, 13);
156*0957b409SSimon J. Gerraty }
157*0957b409SSimon J. Gerraty return cc;
158*0957b409SSimon J. Gerraty }
159*0957b409SSimon J. Gerraty
160*0957b409SSimon J. Gerraty /*
161*0957b409SSimon J. Gerraty * mul20() multiplies two 260-bit integers together. Each word must fit
162*0957b409SSimon J. Gerraty * on 13 bits; source operands use 20 words, destination operand
163*0957b409SSimon J. Gerraty * receives 40 words. All overlaps allowed.
164*0957b409SSimon J. Gerraty *
165*0957b409SSimon J. Gerraty * square20() computes the square of a 260-bit integer. Each word must
166*0957b409SSimon J. Gerraty * fit on 13 bits; source operand uses 20 words, destination operand
167*0957b409SSimon J. Gerraty * receives 40 words. All overlaps allowed.
168*0957b409SSimon J. Gerraty */
169*0957b409SSimon J. Gerraty
170*0957b409SSimon J. Gerraty #if BR_SLOW_MUL15
171*0957b409SSimon J. Gerraty
172*0957b409SSimon J. Gerraty static void
mul20(uint32_t * d,const uint32_t * a,const uint32_t * b)173*0957b409SSimon J. Gerraty mul20(uint32_t *d, const uint32_t *a, const uint32_t *b)
174*0957b409SSimon J. Gerraty {
175*0957b409SSimon J. Gerraty /*
176*0957b409SSimon J. Gerraty * Two-level Karatsuba: turns a 20x20 multiplication into
177*0957b409SSimon J. Gerraty * nine 5x5 multiplications. We use 13-bit words but do not
178*0957b409SSimon J. Gerraty * propagate carries immediately, so words may expand:
179*0957b409SSimon J. Gerraty *
180*0957b409SSimon J. Gerraty * - First Karatsuba decomposition turns the 20x20 mul on
181*0957b409SSimon J. Gerraty * 13-bit words into three 10x10 muls, two on 13-bit words
182*0957b409SSimon J. Gerraty * and one on 14-bit words.
183*0957b409SSimon J. Gerraty *
184*0957b409SSimon J. Gerraty * - Second Karatsuba decomposition further splits these into:
185*0957b409SSimon J. Gerraty *
186*0957b409SSimon J. Gerraty * * four 5x5 muls on 13-bit words
187*0957b409SSimon J. Gerraty * * four 5x5 muls on 14-bit words
188*0957b409SSimon J. Gerraty * * one 5x5 mul on 15-bit words
189*0957b409SSimon J. Gerraty *
190*0957b409SSimon J. Gerraty * Highest word value is 8191, 16382 or 32764, for 13-bit, 14-bit
191*0957b409SSimon J. Gerraty * or 15-bit words, respectively.
192*0957b409SSimon J. Gerraty */
193*0957b409SSimon J. Gerraty uint32_t u[45], v[45], w[90];
194*0957b409SSimon J. Gerraty uint32_t cc;
195*0957b409SSimon J. Gerraty int i;
196*0957b409SSimon J. Gerraty
197*0957b409SSimon J. Gerraty #define ZADD(dw, d_off, s1w, s1_off, s2w, s2_off) do { \
198*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 0] = (s1w)[5 * (s1_off) + 0] \
199*0957b409SSimon J. Gerraty + (s2w)[5 * (s2_off) + 0]; \
200*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 1] = (s1w)[5 * (s1_off) + 1] \
201*0957b409SSimon J. Gerraty + (s2w)[5 * (s2_off) + 1]; \
202*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 2] = (s1w)[5 * (s1_off) + 2] \
203*0957b409SSimon J. Gerraty + (s2w)[5 * (s2_off) + 2]; \
204*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 3] = (s1w)[5 * (s1_off) + 3] \
205*0957b409SSimon J. Gerraty + (s2w)[5 * (s2_off) + 3]; \
206*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 4] = (s1w)[5 * (s1_off) + 4] \
207*0957b409SSimon J. Gerraty + (s2w)[5 * (s2_off) + 4]; \
208*0957b409SSimon J. Gerraty } while (0)
209*0957b409SSimon J. Gerraty
210*0957b409SSimon J. Gerraty #define ZADDT(dw, d_off, sw, s_off) do { \
211*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 0] += (sw)[5 * (s_off) + 0]; \
212*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 1] += (sw)[5 * (s_off) + 1]; \
213*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 2] += (sw)[5 * (s_off) + 2]; \
214*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 3] += (sw)[5 * (s_off) + 3]; \
215*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 4] += (sw)[5 * (s_off) + 4]; \
216*0957b409SSimon J. Gerraty } while (0)
217*0957b409SSimon J. Gerraty
218*0957b409SSimon J. Gerraty #define ZSUB2F(dw, d_off, s1w, s1_off, s2w, s2_off) do { \
219*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 0] -= (s1w)[5 * (s1_off) + 0] \
220*0957b409SSimon J. Gerraty + (s2w)[5 * (s2_off) + 0]; \
221*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 1] -= (s1w)[5 * (s1_off) + 1] \
222*0957b409SSimon J. Gerraty + (s2w)[5 * (s2_off) + 1]; \
223*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 2] -= (s1w)[5 * (s1_off) + 2] \
224*0957b409SSimon J. Gerraty + (s2w)[5 * (s2_off) + 2]; \
225*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 3] -= (s1w)[5 * (s1_off) + 3] \
226*0957b409SSimon J. Gerraty + (s2w)[5 * (s2_off) + 3]; \
227*0957b409SSimon J. Gerraty (dw)[5 * (d_off) + 4] -= (s1w)[5 * (s1_off) + 4] \
228*0957b409SSimon J. Gerraty + (s2w)[5 * (s2_off) + 4]; \
229*0957b409SSimon J. Gerraty } while (0)
230*0957b409SSimon J. Gerraty
231*0957b409SSimon J. Gerraty #define CPR1(w, cprcc) do { \
232*0957b409SSimon J. Gerraty uint32_t cprz = (w) + cprcc; \
233*0957b409SSimon J. Gerraty (w) = cprz & 0x1FFF; \
234*0957b409SSimon J. Gerraty cprcc = cprz >> 13; \
235*0957b409SSimon J. Gerraty } while (0)
236*0957b409SSimon J. Gerraty
237*0957b409SSimon J. Gerraty #define CPR(dw, d_off) do { \
238*0957b409SSimon J. Gerraty uint32_t cprcc; \
239*0957b409SSimon J. Gerraty cprcc = 0; \
240*0957b409SSimon J. Gerraty CPR1((dw)[(d_off) + 0], cprcc); \
241*0957b409SSimon J. Gerraty CPR1((dw)[(d_off) + 1], cprcc); \
242*0957b409SSimon J. Gerraty CPR1((dw)[(d_off) + 2], cprcc); \
243*0957b409SSimon J. Gerraty CPR1((dw)[(d_off) + 3], cprcc); \
244*0957b409SSimon J. Gerraty CPR1((dw)[(d_off) + 4], cprcc); \
245*0957b409SSimon J. Gerraty CPR1((dw)[(d_off) + 5], cprcc); \
246*0957b409SSimon J. Gerraty CPR1((dw)[(d_off) + 6], cprcc); \
247*0957b409SSimon J. Gerraty CPR1((dw)[(d_off) + 7], cprcc); \
248*0957b409SSimon J. Gerraty CPR1((dw)[(d_off) + 8], cprcc); \
249*0957b409SSimon J. Gerraty (dw)[(d_off) + 9] = cprcc; \
250*0957b409SSimon J. Gerraty } while (0)
251*0957b409SSimon J. Gerraty
252*0957b409SSimon J. Gerraty memcpy(u, a, 20 * sizeof *a);
253*0957b409SSimon J. Gerraty ZADD(u, 4, a, 0, a, 1);
254*0957b409SSimon J. Gerraty ZADD(u, 5, a, 2, a, 3);
255*0957b409SSimon J. Gerraty ZADD(u, 6, a, 0, a, 2);
256*0957b409SSimon J. Gerraty ZADD(u, 7, a, 1, a, 3);
257*0957b409SSimon J. Gerraty ZADD(u, 8, u, 6, u, 7);
258*0957b409SSimon J. Gerraty
259*0957b409SSimon J. Gerraty memcpy(v, b, 20 * sizeof *b);
260*0957b409SSimon J. Gerraty ZADD(v, 4, b, 0, b, 1);
261*0957b409SSimon J. Gerraty ZADD(v, 5, b, 2, b, 3);
262*0957b409SSimon J. Gerraty ZADD(v, 6, b, 0, b, 2);
263*0957b409SSimon J. Gerraty ZADD(v, 7, b, 1, b, 3);
264*0957b409SSimon J. Gerraty ZADD(v, 8, v, 6, v, 7);
265*0957b409SSimon J. Gerraty
266*0957b409SSimon J. Gerraty /*
267*0957b409SSimon J. Gerraty * Do the eight first 8x8 muls. Source words are at most 16382
268*0957b409SSimon J. Gerraty * each, so we can add product results together "as is" in 32-bit
269*0957b409SSimon J. Gerraty * words.
270*0957b409SSimon J. Gerraty */
271*0957b409SSimon J. Gerraty for (i = 0; i < 40; i += 5) {
272*0957b409SSimon J. Gerraty w[(i << 1) + 0] = MUL15(u[i + 0], v[i + 0]);
273*0957b409SSimon J. Gerraty w[(i << 1) + 1] = MUL15(u[i + 0], v[i + 1])
274*0957b409SSimon J. Gerraty + MUL15(u[i + 1], v[i + 0]);
275*0957b409SSimon J. Gerraty w[(i << 1) + 2] = MUL15(u[i + 0], v[i + 2])
276*0957b409SSimon J. Gerraty + MUL15(u[i + 1], v[i + 1])
277*0957b409SSimon J. Gerraty + MUL15(u[i + 2], v[i + 0]);
278*0957b409SSimon J. Gerraty w[(i << 1) + 3] = MUL15(u[i + 0], v[i + 3])
279*0957b409SSimon J. Gerraty + MUL15(u[i + 1], v[i + 2])
280*0957b409SSimon J. Gerraty + MUL15(u[i + 2], v[i + 1])
281*0957b409SSimon J. Gerraty + MUL15(u[i + 3], v[i + 0]);
282*0957b409SSimon J. Gerraty w[(i << 1) + 4] = MUL15(u[i + 0], v[i + 4])
283*0957b409SSimon J. Gerraty + MUL15(u[i + 1], v[i + 3])
284*0957b409SSimon J. Gerraty + MUL15(u[i + 2], v[i + 2])
285*0957b409SSimon J. Gerraty + MUL15(u[i + 3], v[i + 1])
286*0957b409SSimon J. Gerraty + MUL15(u[i + 4], v[i + 0]);
287*0957b409SSimon J. Gerraty w[(i << 1) + 5] = MUL15(u[i + 1], v[i + 4])
288*0957b409SSimon J. Gerraty + MUL15(u[i + 2], v[i + 3])
289*0957b409SSimon J. Gerraty + MUL15(u[i + 3], v[i + 2])
290*0957b409SSimon J. Gerraty + MUL15(u[i + 4], v[i + 1]);
291*0957b409SSimon J. Gerraty w[(i << 1) + 6] = MUL15(u[i + 2], v[i + 4])
292*0957b409SSimon J. Gerraty + MUL15(u[i + 3], v[i + 3])
293*0957b409SSimon J. Gerraty + MUL15(u[i + 4], v[i + 2]);
294*0957b409SSimon J. Gerraty w[(i << 1) + 7] = MUL15(u[i + 3], v[i + 4])
295*0957b409SSimon J. Gerraty + MUL15(u[i + 4], v[i + 3]);
296*0957b409SSimon J. Gerraty w[(i << 1) + 8] = MUL15(u[i + 4], v[i + 4]);
297*0957b409SSimon J. Gerraty w[(i << 1) + 9] = 0;
298*0957b409SSimon J. Gerraty }
299*0957b409SSimon J. Gerraty
300*0957b409SSimon J. Gerraty /*
301*0957b409SSimon J. Gerraty * For the 9th multiplication, source words are up to 32764,
302*0957b409SSimon J. Gerraty * so we must do some carry propagation. If we add up to
303*0957b409SSimon J. Gerraty * 4 products and the carry is no more than 524224, then the
304*0957b409SSimon J. Gerraty * result fits in 32 bits, and the next carry will be no more
305*0957b409SSimon J. Gerraty * than 524224 (because 4*(32764^2)+524224 < 8192*524225).
306*0957b409SSimon J. Gerraty *
307*0957b409SSimon J. Gerraty * We thus just skip one of the products in the middle word,
308*0957b409SSimon J. Gerraty * then do a carry propagation (this reduces words to 13 bits
309*0957b409SSimon J. Gerraty * each, except possibly the last, which may use up to 17 bits
310*0957b409SSimon J. Gerraty * or so), then add the missing product.
311*0957b409SSimon J. Gerraty */
312*0957b409SSimon J. Gerraty w[80 + 0] = MUL15(u[40 + 0], v[40 + 0]);
313*0957b409SSimon J. Gerraty w[80 + 1] = MUL15(u[40 + 0], v[40 + 1])
314*0957b409SSimon J. Gerraty + MUL15(u[40 + 1], v[40 + 0]);
315*0957b409SSimon J. Gerraty w[80 + 2] = MUL15(u[40 + 0], v[40 + 2])
316*0957b409SSimon J. Gerraty + MUL15(u[40 + 1], v[40 + 1])
317*0957b409SSimon J. Gerraty + MUL15(u[40 + 2], v[40 + 0]);
318*0957b409SSimon J. Gerraty w[80 + 3] = MUL15(u[40 + 0], v[40 + 3])
319*0957b409SSimon J. Gerraty + MUL15(u[40 + 1], v[40 + 2])
320*0957b409SSimon J. Gerraty + MUL15(u[40 + 2], v[40 + 1])
321*0957b409SSimon J. Gerraty + MUL15(u[40 + 3], v[40 + 0]);
322*0957b409SSimon J. Gerraty w[80 + 4] = MUL15(u[40 + 0], v[40 + 4])
323*0957b409SSimon J. Gerraty + MUL15(u[40 + 1], v[40 + 3])
324*0957b409SSimon J. Gerraty + MUL15(u[40 + 2], v[40 + 2])
325*0957b409SSimon J. Gerraty + MUL15(u[40 + 3], v[40 + 1]);
326*0957b409SSimon J. Gerraty /* + MUL15(u[40 + 4], v[40 + 0]) */
327*0957b409SSimon J. Gerraty w[80 + 5] = MUL15(u[40 + 1], v[40 + 4])
328*0957b409SSimon J. Gerraty + MUL15(u[40 + 2], v[40 + 3])
329*0957b409SSimon J. Gerraty + MUL15(u[40 + 3], v[40 + 2])
330*0957b409SSimon J. Gerraty + MUL15(u[40 + 4], v[40 + 1]);
331*0957b409SSimon J. Gerraty w[80 + 6] = MUL15(u[40 + 2], v[40 + 4])
332*0957b409SSimon J. Gerraty + MUL15(u[40 + 3], v[40 + 3])
333*0957b409SSimon J. Gerraty + MUL15(u[40 + 4], v[40 + 2]);
334*0957b409SSimon J. Gerraty w[80 + 7] = MUL15(u[40 + 3], v[40 + 4])
335*0957b409SSimon J. Gerraty + MUL15(u[40 + 4], v[40 + 3]);
336*0957b409SSimon J. Gerraty w[80 + 8] = MUL15(u[40 + 4], v[40 + 4]);
337*0957b409SSimon J. Gerraty
338*0957b409SSimon J. Gerraty CPR(w, 80);
339*0957b409SSimon J. Gerraty
340*0957b409SSimon J. Gerraty w[80 + 4] += MUL15(u[40 + 4], v[40 + 0]);
341*0957b409SSimon J. Gerraty
342*0957b409SSimon J. Gerraty /*
343*0957b409SSimon J. Gerraty * The products on 14-bit words in slots 6 and 7 yield values
344*0957b409SSimon J. Gerraty * up to 5*(16382^2) each, and we need to subtract two such
345*0957b409SSimon J. Gerraty * values from the higher word. We need the subtraction to fit
346*0957b409SSimon J. Gerraty * in a _signed_ 32-bit integer, i.e. 31 bits + a sign bit.
347*0957b409SSimon J. Gerraty * However, 10*(16382^2) does not fit. So we must perform a
348*0957b409SSimon J. Gerraty * bit of reduction here.
349*0957b409SSimon J. Gerraty */
350*0957b409SSimon J. Gerraty CPR(w, 60);
351*0957b409SSimon J. Gerraty CPR(w, 70);
352*0957b409SSimon J. Gerraty
353*0957b409SSimon J. Gerraty /*
354*0957b409SSimon J. Gerraty * Recompose results.
355*0957b409SSimon J. Gerraty */
356*0957b409SSimon J. Gerraty
357*0957b409SSimon J. Gerraty /* 0..1*0..1 into 0..3 */
358*0957b409SSimon J. Gerraty ZSUB2F(w, 8, w, 0, w, 2);
359*0957b409SSimon J. Gerraty ZSUB2F(w, 9, w, 1, w, 3);
360*0957b409SSimon J. Gerraty ZADDT(w, 1, w, 8);
361*0957b409SSimon J. Gerraty ZADDT(w, 2, w, 9);
362*0957b409SSimon J. Gerraty
363*0957b409SSimon J. Gerraty /* 2..3*2..3 into 4..7 */
364*0957b409SSimon J. Gerraty ZSUB2F(w, 10, w, 4, w, 6);
365*0957b409SSimon J. Gerraty ZSUB2F(w, 11, w, 5, w, 7);
366*0957b409SSimon J. Gerraty ZADDT(w, 5, w, 10);
367*0957b409SSimon J. Gerraty ZADDT(w, 6, w, 11);
368*0957b409SSimon J. Gerraty
369*0957b409SSimon J. Gerraty /* (0..1+2..3)*(0..1+2..3) into 12..15 */
370*0957b409SSimon J. Gerraty ZSUB2F(w, 16, w, 12, w, 14);
371*0957b409SSimon J. Gerraty ZSUB2F(w, 17, w, 13, w, 15);
372*0957b409SSimon J. Gerraty ZADDT(w, 13, w, 16);
373*0957b409SSimon J. Gerraty ZADDT(w, 14, w, 17);
374*0957b409SSimon J. Gerraty
375*0957b409SSimon J. Gerraty /* first-level recomposition */
376*0957b409SSimon J. Gerraty ZSUB2F(w, 12, w, 0, w, 4);
377*0957b409SSimon J. Gerraty ZSUB2F(w, 13, w, 1, w, 5);
378*0957b409SSimon J. Gerraty ZSUB2F(w, 14, w, 2, w, 6);
379*0957b409SSimon J. Gerraty ZSUB2F(w, 15, w, 3, w, 7);
380*0957b409SSimon J. Gerraty ZADDT(w, 2, w, 12);
381*0957b409SSimon J. Gerraty ZADDT(w, 3, w, 13);
382*0957b409SSimon J. Gerraty ZADDT(w, 4, w, 14);
383*0957b409SSimon J. Gerraty ZADDT(w, 5, w, 15);
384*0957b409SSimon J. Gerraty
385*0957b409SSimon J. Gerraty /*
386*0957b409SSimon J. Gerraty * Perform carry propagation to bring all words down to 13 bits.
387*0957b409SSimon J. Gerraty */
388*0957b409SSimon J. Gerraty cc = norm13(d, w, 40);
389*0957b409SSimon J. Gerraty d[39] += (cc << 13);
390*0957b409SSimon J. Gerraty
391*0957b409SSimon J. Gerraty #undef ZADD
392*0957b409SSimon J. Gerraty #undef ZADDT
393*0957b409SSimon J. Gerraty #undef ZSUB2F
394*0957b409SSimon J. Gerraty #undef CPR1
395*0957b409SSimon J. Gerraty #undef CPR
396*0957b409SSimon J. Gerraty }
397*0957b409SSimon J. Gerraty
398*0957b409SSimon J. Gerraty static inline void
square20(uint32_t * d,const uint32_t * a)399*0957b409SSimon J. Gerraty square20(uint32_t *d, const uint32_t *a)
400*0957b409SSimon J. Gerraty {
401*0957b409SSimon J. Gerraty mul20(d, a, a);
402*0957b409SSimon J. Gerraty }
403*0957b409SSimon J. Gerraty
404*0957b409SSimon J. Gerraty #else
405*0957b409SSimon J. Gerraty
406*0957b409SSimon J. Gerraty static void
mul20(uint32_t * d,const uint32_t * a,const uint32_t * b)407*0957b409SSimon J. Gerraty mul20(uint32_t *d, const uint32_t *a, const uint32_t *b)
408*0957b409SSimon J. Gerraty {
409*0957b409SSimon J. Gerraty uint32_t t[39];
410*0957b409SSimon J. Gerraty
411*0957b409SSimon J. Gerraty t[ 0] = MUL15(a[ 0], b[ 0]);
412*0957b409SSimon J. Gerraty t[ 1] = MUL15(a[ 0], b[ 1])
413*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[ 0]);
414*0957b409SSimon J. Gerraty t[ 2] = MUL15(a[ 0], b[ 2])
415*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[ 1])
416*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[ 0]);
417*0957b409SSimon J. Gerraty t[ 3] = MUL15(a[ 0], b[ 3])
418*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[ 2])
419*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[ 1])
420*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[ 0]);
421*0957b409SSimon J. Gerraty t[ 4] = MUL15(a[ 0], b[ 4])
422*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[ 3])
423*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[ 2])
424*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[ 1])
425*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[ 0]);
426*0957b409SSimon J. Gerraty t[ 5] = MUL15(a[ 0], b[ 5])
427*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[ 4])
428*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[ 3])
429*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[ 2])
430*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[ 1])
431*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[ 0]);
432*0957b409SSimon J. Gerraty t[ 6] = MUL15(a[ 0], b[ 6])
433*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[ 5])
434*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[ 4])
435*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[ 3])
436*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[ 2])
437*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[ 1])
438*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[ 0]);
439*0957b409SSimon J. Gerraty t[ 7] = MUL15(a[ 0], b[ 7])
440*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[ 6])
441*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[ 5])
442*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[ 4])
443*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[ 3])
444*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[ 2])
445*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[ 1])
446*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[ 0]);
447*0957b409SSimon J. Gerraty t[ 8] = MUL15(a[ 0], b[ 8])
448*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[ 7])
449*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[ 6])
450*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[ 5])
451*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[ 4])
452*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[ 3])
453*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[ 2])
454*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[ 1])
455*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[ 0]);
456*0957b409SSimon J. Gerraty t[ 9] = MUL15(a[ 0], b[ 9])
457*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[ 8])
458*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[ 7])
459*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[ 6])
460*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[ 5])
461*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[ 4])
462*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[ 3])
463*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[ 2])
464*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[ 1])
465*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[ 0]);
466*0957b409SSimon J. Gerraty t[10] = MUL15(a[ 0], b[10])
467*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[ 9])
468*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[ 8])
469*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[ 7])
470*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[ 6])
471*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[ 5])
472*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[ 4])
473*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[ 3])
474*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[ 2])
475*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[ 1])
476*0957b409SSimon J. Gerraty + MUL15(a[10], b[ 0]);
477*0957b409SSimon J. Gerraty t[11] = MUL15(a[ 0], b[11])
478*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[10])
479*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[ 9])
480*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[ 8])
481*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[ 7])
482*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[ 6])
483*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[ 5])
484*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[ 4])
485*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[ 3])
486*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[ 2])
487*0957b409SSimon J. Gerraty + MUL15(a[10], b[ 1])
488*0957b409SSimon J. Gerraty + MUL15(a[11], b[ 0]);
489*0957b409SSimon J. Gerraty t[12] = MUL15(a[ 0], b[12])
490*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[11])
491*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[10])
492*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[ 9])
493*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[ 8])
494*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[ 7])
495*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[ 6])
496*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[ 5])
497*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[ 4])
498*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[ 3])
499*0957b409SSimon J. Gerraty + MUL15(a[10], b[ 2])
500*0957b409SSimon J. Gerraty + MUL15(a[11], b[ 1])
501*0957b409SSimon J. Gerraty + MUL15(a[12], b[ 0]);
502*0957b409SSimon J. Gerraty t[13] = MUL15(a[ 0], b[13])
503*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[12])
504*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[11])
505*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[10])
506*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[ 9])
507*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[ 8])
508*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[ 7])
509*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[ 6])
510*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[ 5])
511*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[ 4])
512*0957b409SSimon J. Gerraty + MUL15(a[10], b[ 3])
513*0957b409SSimon J. Gerraty + MUL15(a[11], b[ 2])
514*0957b409SSimon J. Gerraty + MUL15(a[12], b[ 1])
515*0957b409SSimon J. Gerraty + MUL15(a[13], b[ 0]);
516*0957b409SSimon J. Gerraty t[14] = MUL15(a[ 0], b[14])
517*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[13])
518*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[12])
519*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[11])
520*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[10])
521*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[ 9])
522*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[ 8])
523*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[ 7])
524*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[ 6])
525*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[ 5])
526*0957b409SSimon J. Gerraty + MUL15(a[10], b[ 4])
527*0957b409SSimon J. Gerraty + MUL15(a[11], b[ 3])
528*0957b409SSimon J. Gerraty + MUL15(a[12], b[ 2])
529*0957b409SSimon J. Gerraty + MUL15(a[13], b[ 1])
530*0957b409SSimon J. Gerraty + MUL15(a[14], b[ 0]);
531*0957b409SSimon J. Gerraty t[15] = MUL15(a[ 0], b[15])
532*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[14])
533*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[13])
534*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[12])
535*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[11])
536*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[10])
537*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[ 9])
538*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[ 8])
539*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[ 7])
540*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[ 6])
541*0957b409SSimon J. Gerraty + MUL15(a[10], b[ 5])
542*0957b409SSimon J. Gerraty + MUL15(a[11], b[ 4])
543*0957b409SSimon J. Gerraty + MUL15(a[12], b[ 3])
544*0957b409SSimon J. Gerraty + MUL15(a[13], b[ 2])
545*0957b409SSimon J. Gerraty + MUL15(a[14], b[ 1])
546*0957b409SSimon J. Gerraty + MUL15(a[15], b[ 0]);
547*0957b409SSimon J. Gerraty t[16] = MUL15(a[ 0], b[16])
548*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[15])
549*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[14])
550*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[13])
551*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[12])
552*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[11])
553*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[10])
554*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[ 9])
555*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[ 8])
556*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[ 7])
557*0957b409SSimon J. Gerraty + MUL15(a[10], b[ 6])
558*0957b409SSimon J. Gerraty + MUL15(a[11], b[ 5])
559*0957b409SSimon J. Gerraty + MUL15(a[12], b[ 4])
560*0957b409SSimon J. Gerraty + MUL15(a[13], b[ 3])
561*0957b409SSimon J. Gerraty + MUL15(a[14], b[ 2])
562*0957b409SSimon J. Gerraty + MUL15(a[15], b[ 1])
563*0957b409SSimon J. Gerraty + MUL15(a[16], b[ 0]);
564*0957b409SSimon J. Gerraty t[17] = MUL15(a[ 0], b[17])
565*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[16])
566*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[15])
567*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[14])
568*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[13])
569*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[12])
570*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[11])
571*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[10])
572*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[ 9])
573*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[ 8])
574*0957b409SSimon J. Gerraty + MUL15(a[10], b[ 7])
575*0957b409SSimon J. Gerraty + MUL15(a[11], b[ 6])
576*0957b409SSimon J. Gerraty + MUL15(a[12], b[ 5])
577*0957b409SSimon J. Gerraty + MUL15(a[13], b[ 4])
578*0957b409SSimon J. Gerraty + MUL15(a[14], b[ 3])
579*0957b409SSimon J. Gerraty + MUL15(a[15], b[ 2])
580*0957b409SSimon J. Gerraty + MUL15(a[16], b[ 1])
581*0957b409SSimon J. Gerraty + MUL15(a[17], b[ 0]);
582*0957b409SSimon J. Gerraty t[18] = MUL15(a[ 0], b[18])
583*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[17])
584*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[16])
585*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[15])
586*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[14])
587*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[13])
588*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[12])
589*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[11])
590*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[10])
591*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[ 9])
592*0957b409SSimon J. Gerraty + MUL15(a[10], b[ 8])
593*0957b409SSimon J. Gerraty + MUL15(a[11], b[ 7])
594*0957b409SSimon J. Gerraty + MUL15(a[12], b[ 6])
595*0957b409SSimon J. Gerraty + MUL15(a[13], b[ 5])
596*0957b409SSimon J. Gerraty + MUL15(a[14], b[ 4])
597*0957b409SSimon J. Gerraty + MUL15(a[15], b[ 3])
598*0957b409SSimon J. Gerraty + MUL15(a[16], b[ 2])
599*0957b409SSimon J. Gerraty + MUL15(a[17], b[ 1])
600*0957b409SSimon J. Gerraty + MUL15(a[18], b[ 0]);
601*0957b409SSimon J. Gerraty t[19] = MUL15(a[ 0], b[19])
602*0957b409SSimon J. Gerraty + MUL15(a[ 1], b[18])
603*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[17])
604*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[16])
605*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[15])
606*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[14])
607*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[13])
608*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[12])
609*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[11])
610*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[10])
611*0957b409SSimon J. Gerraty + MUL15(a[10], b[ 9])
612*0957b409SSimon J. Gerraty + MUL15(a[11], b[ 8])
613*0957b409SSimon J. Gerraty + MUL15(a[12], b[ 7])
614*0957b409SSimon J. Gerraty + MUL15(a[13], b[ 6])
615*0957b409SSimon J. Gerraty + MUL15(a[14], b[ 5])
616*0957b409SSimon J. Gerraty + MUL15(a[15], b[ 4])
617*0957b409SSimon J. Gerraty + MUL15(a[16], b[ 3])
618*0957b409SSimon J. Gerraty + MUL15(a[17], b[ 2])
619*0957b409SSimon J. Gerraty + MUL15(a[18], b[ 1])
620*0957b409SSimon J. Gerraty + MUL15(a[19], b[ 0]);
621*0957b409SSimon J. Gerraty t[20] = MUL15(a[ 1], b[19])
622*0957b409SSimon J. Gerraty + MUL15(a[ 2], b[18])
623*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[17])
624*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[16])
625*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[15])
626*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[14])
627*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[13])
628*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[12])
629*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[11])
630*0957b409SSimon J. Gerraty + MUL15(a[10], b[10])
631*0957b409SSimon J. Gerraty + MUL15(a[11], b[ 9])
632*0957b409SSimon J. Gerraty + MUL15(a[12], b[ 8])
633*0957b409SSimon J. Gerraty + MUL15(a[13], b[ 7])
634*0957b409SSimon J. Gerraty + MUL15(a[14], b[ 6])
635*0957b409SSimon J. Gerraty + MUL15(a[15], b[ 5])
636*0957b409SSimon J. Gerraty + MUL15(a[16], b[ 4])
637*0957b409SSimon J. Gerraty + MUL15(a[17], b[ 3])
638*0957b409SSimon J. Gerraty + MUL15(a[18], b[ 2])
639*0957b409SSimon J. Gerraty + MUL15(a[19], b[ 1]);
640*0957b409SSimon J. Gerraty t[21] = MUL15(a[ 2], b[19])
641*0957b409SSimon J. Gerraty + MUL15(a[ 3], b[18])
642*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[17])
643*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[16])
644*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[15])
645*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[14])
646*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[13])
647*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[12])
648*0957b409SSimon J. Gerraty + MUL15(a[10], b[11])
649*0957b409SSimon J. Gerraty + MUL15(a[11], b[10])
650*0957b409SSimon J. Gerraty + MUL15(a[12], b[ 9])
651*0957b409SSimon J. Gerraty + MUL15(a[13], b[ 8])
652*0957b409SSimon J. Gerraty + MUL15(a[14], b[ 7])
653*0957b409SSimon J. Gerraty + MUL15(a[15], b[ 6])
654*0957b409SSimon J. Gerraty + MUL15(a[16], b[ 5])
655*0957b409SSimon J. Gerraty + MUL15(a[17], b[ 4])
656*0957b409SSimon J. Gerraty + MUL15(a[18], b[ 3])
657*0957b409SSimon J. Gerraty + MUL15(a[19], b[ 2]);
658*0957b409SSimon J. Gerraty t[22] = MUL15(a[ 3], b[19])
659*0957b409SSimon J. Gerraty + MUL15(a[ 4], b[18])
660*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[17])
661*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[16])
662*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[15])
663*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[14])
664*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[13])
665*0957b409SSimon J. Gerraty + MUL15(a[10], b[12])
666*0957b409SSimon J. Gerraty + MUL15(a[11], b[11])
667*0957b409SSimon J. Gerraty + MUL15(a[12], b[10])
668*0957b409SSimon J. Gerraty + MUL15(a[13], b[ 9])
669*0957b409SSimon J. Gerraty + MUL15(a[14], b[ 8])
670*0957b409SSimon J. Gerraty + MUL15(a[15], b[ 7])
671*0957b409SSimon J. Gerraty + MUL15(a[16], b[ 6])
672*0957b409SSimon J. Gerraty + MUL15(a[17], b[ 5])
673*0957b409SSimon J. Gerraty + MUL15(a[18], b[ 4])
674*0957b409SSimon J. Gerraty + MUL15(a[19], b[ 3]);
675*0957b409SSimon J. Gerraty t[23] = MUL15(a[ 4], b[19])
676*0957b409SSimon J. Gerraty + MUL15(a[ 5], b[18])
677*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[17])
678*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[16])
679*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[15])
680*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[14])
681*0957b409SSimon J. Gerraty + MUL15(a[10], b[13])
682*0957b409SSimon J. Gerraty + MUL15(a[11], b[12])
683*0957b409SSimon J. Gerraty + MUL15(a[12], b[11])
684*0957b409SSimon J. Gerraty + MUL15(a[13], b[10])
685*0957b409SSimon J. Gerraty + MUL15(a[14], b[ 9])
686*0957b409SSimon J. Gerraty + MUL15(a[15], b[ 8])
687*0957b409SSimon J. Gerraty + MUL15(a[16], b[ 7])
688*0957b409SSimon J. Gerraty + MUL15(a[17], b[ 6])
689*0957b409SSimon J. Gerraty + MUL15(a[18], b[ 5])
690*0957b409SSimon J. Gerraty + MUL15(a[19], b[ 4]);
691*0957b409SSimon J. Gerraty t[24] = MUL15(a[ 5], b[19])
692*0957b409SSimon J. Gerraty + MUL15(a[ 6], b[18])
693*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[17])
694*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[16])
695*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[15])
696*0957b409SSimon J. Gerraty + MUL15(a[10], b[14])
697*0957b409SSimon J. Gerraty + MUL15(a[11], b[13])
698*0957b409SSimon J. Gerraty + MUL15(a[12], b[12])
699*0957b409SSimon J. Gerraty + MUL15(a[13], b[11])
700*0957b409SSimon J. Gerraty + MUL15(a[14], b[10])
701*0957b409SSimon J. Gerraty + MUL15(a[15], b[ 9])
702*0957b409SSimon J. Gerraty + MUL15(a[16], b[ 8])
703*0957b409SSimon J. Gerraty + MUL15(a[17], b[ 7])
704*0957b409SSimon J. Gerraty + MUL15(a[18], b[ 6])
705*0957b409SSimon J. Gerraty + MUL15(a[19], b[ 5]);
706*0957b409SSimon J. Gerraty t[25] = MUL15(a[ 6], b[19])
707*0957b409SSimon J. Gerraty + MUL15(a[ 7], b[18])
708*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[17])
709*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[16])
710*0957b409SSimon J. Gerraty + MUL15(a[10], b[15])
711*0957b409SSimon J. Gerraty + MUL15(a[11], b[14])
712*0957b409SSimon J. Gerraty + MUL15(a[12], b[13])
713*0957b409SSimon J. Gerraty + MUL15(a[13], b[12])
714*0957b409SSimon J. Gerraty + MUL15(a[14], b[11])
715*0957b409SSimon J. Gerraty + MUL15(a[15], b[10])
716*0957b409SSimon J. Gerraty + MUL15(a[16], b[ 9])
717*0957b409SSimon J. Gerraty + MUL15(a[17], b[ 8])
718*0957b409SSimon J. Gerraty + MUL15(a[18], b[ 7])
719*0957b409SSimon J. Gerraty + MUL15(a[19], b[ 6]);
720*0957b409SSimon J. Gerraty t[26] = MUL15(a[ 7], b[19])
721*0957b409SSimon J. Gerraty + MUL15(a[ 8], b[18])
722*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[17])
723*0957b409SSimon J. Gerraty + MUL15(a[10], b[16])
724*0957b409SSimon J. Gerraty + MUL15(a[11], b[15])
725*0957b409SSimon J. Gerraty + MUL15(a[12], b[14])
726*0957b409SSimon J. Gerraty + MUL15(a[13], b[13])
727*0957b409SSimon J. Gerraty + MUL15(a[14], b[12])
728*0957b409SSimon J. Gerraty + MUL15(a[15], b[11])
729*0957b409SSimon J. Gerraty + MUL15(a[16], b[10])
730*0957b409SSimon J. Gerraty + MUL15(a[17], b[ 9])
731*0957b409SSimon J. Gerraty + MUL15(a[18], b[ 8])
732*0957b409SSimon J. Gerraty + MUL15(a[19], b[ 7]);
733*0957b409SSimon J. Gerraty t[27] = MUL15(a[ 8], b[19])
734*0957b409SSimon J. Gerraty + MUL15(a[ 9], b[18])
735*0957b409SSimon J. Gerraty + MUL15(a[10], b[17])
736*0957b409SSimon J. Gerraty + MUL15(a[11], b[16])
737*0957b409SSimon J. Gerraty + MUL15(a[12], b[15])
738*0957b409SSimon J. Gerraty + MUL15(a[13], b[14])
739*0957b409SSimon J. Gerraty + MUL15(a[14], b[13])
740*0957b409SSimon J. Gerraty + MUL15(a[15], b[12])
741*0957b409SSimon J. Gerraty + MUL15(a[16], b[11])
742*0957b409SSimon J. Gerraty + MUL15(a[17], b[10])
743*0957b409SSimon J. Gerraty + MUL15(a[18], b[ 9])
744*0957b409SSimon J. Gerraty + MUL15(a[19], b[ 8]);
745*0957b409SSimon J. Gerraty t[28] = MUL15(a[ 9], b[19])
746*0957b409SSimon J. Gerraty + MUL15(a[10], b[18])
747*0957b409SSimon J. Gerraty + MUL15(a[11], b[17])
748*0957b409SSimon J. Gerraty + MUL15(a[12], b[16])
749*0957b409SSimon J. Gerraty + MUL15(a[13], b[15])
750*0957b409SSimon J. Gerraty + MUL15(a[14], b[14])
751*0957b409SSimon J. Gerraty + MUL15(a[15], b[13])
752*0957b409SSimon J. Gerraty + MUL15(a[16], b[12])
753*0957b409SSimon J. Gerraty + MUL15(a[17], b[11])
754*0957b409SSimon J. Gerraty + MUL15(a[18], b[10])
755*0957b409SSimon J. Gerraty + MUL15(a[19], b[ 9]);
756*0957b409SSimon J. Gerraty t[29] = MUL15(a[10], b[19])
757*0957b409SSimon J. Gerraty + MUL15(a[11], b[18])
758*0957b409SSimon J. Gerraty + MUL15(a[12], b[17])
759*0957b409SSimon J. Gerraty + MUL15(a[13], b[16])
760*0957b409SSimon J. Gerraty + MUL15(a[14], b[15])
761*0957b409SSimon J. Gerraty + MUL15(a[15], b[14])
762*0957b409SSimon J. Gerraty + MUL15(a[16], b[13])
763*0957b409SSimon J. Gerraty + MUL15(a[17], b[12])
764*0957b409SSimon J. Gerraty + MUL15(a[18], b[11])
765*0957b409SSimon J. Gerraty + MUL15(a[19], b[10]);
766*0957b409SSimon J. Gerraty t[30] = MUL15(a[11], b[19])
767*0957b409SSimon J. Gerraty + MUL15(a[12], b[18])
768*0957b409SSimon J. Gerraty + MUL15(a[13], b[17])
769*0957b409SSimon J. Gerraty + MUL15(a[14], b[16])
770*0957b409SSimon J. Gerraty + MUL15(a[15], b[15])
771*0957b409SSimon J. Gerraty + MUL15(a[16], b[14])
772*0957b409SSimon J. Gerraty + MUL15(a[17], b[13])
773*0957b409SSimon J. Gerraty + MUL15(a[18], b[12])
774*0957b409SSimon J. Gerraty + MUL15(a[19], b[11]);
775*0957b409SSimon J. Gerraty t[31] = MUL15(a[12], b[19])
776*0957b409SSimon J. Gerraty + MUL15(a[13], b[18])
777*0957b409SSimon J. Gerraty + MUL15(a[14], b[17])
778*0957b409SSimon J. Gerraty + MUL15(a[15], b[16])
779*0957b409SSimon J. Gerraty + MUL15(a[16], b[15])
780*0957b409SSimon J. Gerraty + MUL15(a[17], b[14])
781*0957b409SSimon J. Gerraty + MUL15(a[18], b[13])
782*0957b409SSimon J. Gerraty + MUL15(a[19], b[12]);
783*0957b409SSimon J. Gerraty t[32] = MUL15(a[13], b[19])
784*0957b409SSimon J. Gerraty + MUL15(a[14], b[18])
785*0957b409SSimon J. Gerraty + MUL15(a[15], b[17])
786*0957b409SSimon J. Gerraty + MUL15(a[16], b[16])
787*0957b409SSimon J. Gerraty + MUL15(a[17], b[15])
788*0957b409SSimon J. Gerraty + MUL15(a[18], b[14])
789*0957b409SSimon J. Gerraty + MUL15(a[19], b[13]);
790*0957b409SSimon J. Gerraty t[33] = MUL15(a[14], b[19])
791*0957b409SSimon J. Gerraty + MUL15(a[15], b[18])
792*0957b409SSimon J. Gerraty + MUL15(a[16], b[17])
793*0957b409SSimon J. Gerraty + MUL15(a[17], b[16])
794*0957b409SSimon J. Gerraty + MUL15(a[18], b[15])
795*0957b409SSimon J. Gerraty + MUL15(a[19], b[14]);
796*0957b409SSimon J. Gerraty t[34] = MUL15(a[15], b[19])
797*0957b409SSimon J. Gerraty + MUL15(a[16], b[18])
798*0957b409SSimon J. Gerraty + MUL15(a[17], b[17])
799*0957b409SSimon J. Gerraty + MUL15(a[18], b[16])
800*0957b409SSimon J. Gerraty + MUL15(a[19], b[15]);
801*0957b409SSimon J. Gerraty t[35] = MUL15(a[16], b[19])
802*0957b409SSimon J. Gerraty + MUL15(a[17], b[18])
803*0957b409SSimon J. Gerraty + MUL15(a[18], b[17])
804*0957b409SSimon J. Gerraty + MUL15(a[19], b[16]);
805*0957b409SSimon J. Gerraty t[36] = MUL15(a[17], b[19])
806*0957b409SSimon J. Gerraty + MUL15(a[18], b[18])
807*0957b409SSimon J. Gerraty + MUL15(a[19], b[17]);
808*0957b409SSimon J. Gerraty t[37] = MUL15(a[18], b[19])
809*0957b409SSimon J. Gerraty + MUL15(a[19], b[18]);
810*0957b409SSimon J. Gerraty t[38] = MUL15(a[19], b[19]);
811*0957b409SSimon J. Gerraty
812*0957b409SSimon J. Gerraty d[39] = norm13(d, t, 39);
813*0957b409SSimon J. Gerraty }
814*0957b409SSimon J. Gerraty
815*0957b409SSimon J. Gerraty static void
square20(uint32_t * d,const uint32_t * a)816*0957b409SSimon J. Gerraty square20(uint32_t *d, const uint32_t *a)
817*0957b409SSimon J. Gerraty {
818*0957b409SSimon J. Gerraty uint32_t t[39];
819*0957b409SSimon J. Gerraty
820*0957b409SSimon J. Gerraty t[ 0] = MUL15(a[ 0], a[ 0]);
821*0957b409SSimon J. Gerraty t[ 1] = ((MUL15(a[ 0], a[ 1])) << 1);
822*0957b409SSimon J. Gerraty t[ 2] = MUL15(a[ 1], a[ 1])
823*0957b409SSimon J. Gerraty + ((MUL15(a[ 0], a[ 2])) << 1);
824*0957b409SSimon J. Gerraty t[ 3] = ((MUL15(a[ 0], a[ 3])
825*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[ 2])) << 1);
826*0957b409SSimon J. Gerraty t[ 4] = MUL15(a[ 2], a[ 2])
827*0957b409SSimon J. Gerraty + ((MUL15(a[ 0], a[ 4])
828*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[ 3])) << 1);
829*0957b409SSimon J. Gerraty t[ 5] = ((MUL15(a[ 0], a[ 5])
830*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[ 4])
831*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[ 3])) << 1);
832*0957b409SSimon J. Gerraty t[ 6] = MUL15(a[ 3], a[ 3])
833*0957b409SSimon J. Gerraty + ((MUL15(a[ 0], a[ 6])
834*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[ 5])
835*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[ 4])) << 1);
836*0957b409SSimon J. Gerraty t[ 7] = ((MUL15(a[ 0], a[ 7])
837*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[ 6])
838*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[ 5])
839*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[ 4])) << 1);
840*0957b409SSimon J. Gerraty t[ 8] = MUL15(a[ 4], a[ 4])
841*0957b409SSimon J. Gerraty + ((MUL15(a[ 0], a[ 8])
842*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[ 7])
843*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[ 6])
844*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[ 5])) << 1);
845*0957b409SSimon J. Gerraty t[ 9] = ((MUL15(a[ 0], a[ 9])
846*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[ 8])
847*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[ 7])
848*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[ 6])
849*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[ 5])) << 1);
850*0957b409SSimon J. Gerraty t[10] = MUL15(a[ 5], a[ 5])
851*0957b409SSimon J. Gerraty + ((MUL15(a[ 0], a[10])
852*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[ 9])
853*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[ 8])
854*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[ 7])
855*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[ 6])) << 1);
856*0957b409SSimon J. Gerraty t[11] = ((MUL15(a[ 0], a[11])
857*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[10])
858*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[ 9])
859*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[ 8])
860*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[ 7])
861*0957b409SSimon J. Gerraty + MUL15(a[ 5], a[ 6])) << 1);
862*0957b409SSimon J. Gerraty t[12] = MUL15(a[ 6], a[ 6])
863*0957b409SSimon J. Gerraty + ((MUL15(a[ 0], a[12])
864*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[11])
865*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[10])
866*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[ 9])
867*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[ 8])
868*0957b409SSimon J. Gerraty + MUL15(a[ 5], a[ 7])) << 1);
869*0957b409SSimon J. Gerraty t[13] = ((MUL15(a[ 0], a[13])
870*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[12])
871*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[11])
872*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[10])
873*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[ 9])
874*0957b409SSimon J. Gerraty + MUL15(a[ 5], a[ 8])
875*0957b409SSimon J. Gerraty + MUL15(a[ 6], a[ 7])) << 1);
876*0957b409SSimon J. Gerraty t[14] = MUL15(a[ 7], a[ 7])
877*0957b409SSimon J. Gerraty + ((MUL15(a[ 0], a[14])
878*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[13])
879*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[12])
880*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[11])
881*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[10])
882*0957b409SSimon J. Gerraty + MUL15(a[ 5], a[ 9])
883*0957b409SSimon J. Gerraty + MUL15(a[ 6], a[ 8])) << 1);
884*0957b409SSimon J. Gerraty t[15] = ((MUL15(a[ 0], a[15])
885*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[14])
886*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[13])
887*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[12])
888*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[11])
889*0957b409SSimon J. Gerraty + MUL15(a[ 5], a[10])
890*0957b409SSimon J. Gerraty + MUL15(a[ 6], a[ 9])
891*0957b409SSimon J. Gerraty + MUL15(a[ 7], a[ 8])) << 1);
892*0957b409SSimon J. Gerraty t[16] = MUL15(a[ 8], a[ 8])
893*0957b409SSimon J. Gerraty + ((MUL15(a[ 0], a[16])
894*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[15])
895*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[14])
896*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[13])
897*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[12])
898*0957b409SSimon J. Gerraty + MUL15(a[ 5], a[11])
899*0957b409SSimon J. Gerraty + MUL15(a[ 6], a[10])
900*0957b409SSimon J. Gerraty + MUL15(a[ 7], a[ 9])) << 1);
901*0957b409SSimon J. Gerraty t[17] = ((MUL15(a[ 0], a[17])
902*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[16])
903*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[15])
904*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[14])
905*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[13])
906*0957b409SSimon J. Gerraty + MUL15(a[ 5], a[12])
907*0957b409SSimon J. Gerraty + MUL15(a[ 6], a[11])
908*0957b409SSimon J. Gerraty + MUL15(a[ 7], a[10])
909*0957b409SSimon J. Gerraty + MUL15(a[ 8], a[ 9])) << 1);
910*0957b409SSimon J. Gerraty t[18] = MUL15(a[ 9], a[ 9])
911*0957b409SSimon J. Gerraty + ((MUL15(a[ 0], a[18])
912*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[17])
913*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[16])
914*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[15])
915*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[14])
916*0957b409SSimon J. Gerraty + MUL15(a[ 5], a[13])
917*0957b409SSimon J. Gerraty + MUL15(a[ 6], a[12])
918*0957b409SSimon J. Gerraty + MUL15(a[ 7], a[11])
919*0957b409SSimon J. Gerraty + MUL15(a[ 8], a[10])) << 1);
920*0957b409SSimon J. Gerraty t[19] = ((MUL15(a[ 0], a[19])
921*0957b409SSimon J. Gerraty + MUL15(a[ 1], a[18])
922*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[17])
923*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[16])
924*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[15])
925*0957b409SSimon J. Gerraty + MUL15(a[ 5], a[14])
926*0957b409SSimon J. Gerraty + MUL15(a[ 6], a[13])
927*0957b409SSimon J. Gerraty + MUL15(a[ 7], a[12])
928*0957b409SSimon J. Gerraty + MUL15(a[ 8], a[11])
929*0957b409SSimon J. Gerraty + MUL15(a[ 9], a[10])) << 1);
930*0957b409SSimon J. Gerraty t[20] = MUL15(a[10], a[10])
931*0957b409SSimon J. Gerraty + ((MUL15(a[ 1], a[19])
932*0957b409SSimon J. Gerraty + MUL15(a[ 2], a[18])
933*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[17])
934*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[16])
935*0957b409SSimon J. Gerraty + MUL15(a[ 5], a[15])
936*0957b409SSimon J. Gerraty + MUL15(a[ 6], a[14])
937*0957b409SSimon J. Gerraty + MUL15(a[ 7], a[13])
938*0957b409SSimon J. Gerraty + MUL15(a[ 8], a[12])
939*0957b409SSimon J. Gerraty + MUL15(a[ 9], a[11])) << 1);
940*0957b409SSimon J. Gerraty t[21] = ((MUL15(a[ 2], a[19])
941*0957b409SSimon J. Gerraty + MUL15(a[ 3], a[18])
942*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[17])
943*0957b409SSimon J. Gerraty + MUL15(a[ 5], a[16])
944*0957b409SSimon J. Gerraty + MUL15(a[ 6], a[15])
945*0957b409SSimon J. Gerraty + MUL15(a[ 7], a[14])
946*0957b409SSimon J. Gerraty + MUL15(a[ 8], a[13])
947*0957b409SSimon J. Gerraty + MUL15(a[ 9], a[12])
948*0957b409SSimon J. Gerraty + MUL15(a[10], a[11])) << 1);
949*0957b409SSimon J. Gerraty t[22] = MUL15(a[11], a[11])
950*0957b409SSimon J. Gerraty + ((MUL15(a[ 3], a[19])
951*0957b409SSimon J. Gerraty + MUL15(a[ 4], a[18])
952*0957b409SSimon J. Gerraty + MUL15(a[ 5], a[17])
953*0957b409SSimon J. Gerraty + MUL15(a[ 6], a[16])
954*0957b409SSimon J. Gerraty + MUL15(a[ 7], a[15])
955*0957b409SSimon J. Gerraty + MUL15(a[ 8], a[14])
956*0957b409SSimon J. Gerraty + MUL15(a[ 9], a[13])
957*0957b409SSimon J. Gerraty + MUL15(a[10], a[12])) << 1);
958*0957b409SSimon J. Gerraty t[23] = ((MUL15(a[ 4], a[19])
959*0957b409SSimon J. Gerraty + MUL15(a[ 5], a[18])
960*0957b409SSimon J. Gerraty + MUL15(a[ 6], a[17])
961*0957b409SSimon J. Gerraty + MUL15(a[ 7], a[16])
962*0957b409SSimon J. Gerraty + MUL15(a[ 8], a[15])
963*0957b409SSimon J. Gerraty + MUL15(a[ 9], a[14])
964*0957b409SSimon J. Gerraty + MUL15(a[10], a[13])
965*0957b409SSimon J. Gerraty + MUL15(a[11], a[12])) << 1);
966*0957b409SSimon J. Gerraty t[24] = MUL15(a[12], a[12])
967*0957b409SSimon J. Gerraty + ((MUL15(a[ 5], a[19])
968*0957b409SSimon J. Gerraty + MUL15(a[ 6], a[18])
969*0957b409SSimon J. Gerraty + MUL15(a[ 7], a[17])
970*0957b409SSimon J. Gerraty + MUL15(a[ 8], a[16])
971*0957b409SSimon J. Gerraty + MUL15(a[ 9], a[15])
972*0957b409SSimon J. Gerraty + MUL15(a[10], a[14])
973*0957b409SSimon J. Gerraty + MUL15(a[11], a[13])) << 1);
974*0957b409SSimon J. Gerraty t[25] = ((MUL15(a[ 6], a[19])
975*0957b409SSimon J. Gerraty + MUL15(a[ 7], a[18])
976*0957b409SSimon J. Gerraty + MUL15(a[ 8], a[17])
977*0957b409SSimon J. Gerraty + MUL15(a[ 9], a[16])
978*0957b409SSimon J. Gerraty + MUL15(a[10], a[15])
979*0957b409SSimon J. Gerraty + MUL15(a[11], a[14])
980*0957b409SSimon J. Gerraty + MUL15(a[12], a[13])) << 1);
981*0957b409SSimon J. Gerraty t[26] = MUL15(a[13], a[13])
982*0957b409SSimon J. Gerraty + ((MUL15(a[ 7], a[19])
983*0957b409SSimon J. Gerraty + MUL15(a[ 8], a[18])
984*0957b409SSimon J. Gerraty + MUL15(a[ 9], a[17])
985*0957b409SSimon J. Gerraty + MUL15(a[10], a[16])
986*0957b409SSimon J. Gerraty + MUL15(a[11], a[15])
987*0957b409SSimon J. Gerraty + MUL15(a[12], a[14])) << 1);
988*0957b409SSimon J. Gerraty t[27] = ((MUL15(a[ 8], a[19])
989*0957b409SSimon J. Gerraty + MUL15(a[ 9], a[18])
990*0957b409SSimon J. Gerraty + MUL15(a[10], a[17])
991*0957b409SSimon J. Gerraty + MUL15(a[11], a[16])
992*0957b409SSimon J. Gerraty + MUL15(a[12], a[15])
993*0957b409SSimon J. Gerraty + MUL15(a[13], a[14])) << 1);
994*0957b409SSimon J. Gerraty t[28] = MUL15(a[14], a[14])
995*0957b409SSimon J. Gerraty + ((MUL15(a[ 9], a[19])
996*0957b409SSimon J. Gerraty + MUL15(a[10], a[18])
997*0957b409SSimon J. Gerraty + MUL15(a[11], a[17])
998*0957b409SSimon J. Gerraty + MUL15(a[12], a[16])
999*0957b409SSimon J. Gerraty + MUL15(a[13], a[15])) << 1);
1000*0957b409SSimon J. Gerraty t[29] = ((MUL15(a[10], a[19])
1001*0957b409SSimon J. Gerraty + MUL15(a[11], a[18])
1002*0957b409SSimon J. Gerraty + MUL15(a[12], a[17])
1003*0957b409SSimon J. Gerraty + MUL15(a[13], a[16])
1004*0957b409SSimon J. Gerraty + MUL15(a[14], a[15])) << 1);
1005*0957b409SSimon J. Gerraty t[30] = MUL15(a[15], a[15])
1006*0957b409SSimon J. Gerraty + ((MUL15(a[11], a[19])
1007*0957b409SSimon J. Gerraty + MUL15(a[12], a[18])
1008*0957b409SSimon J. Gerraty + MUL15(a[13], a[17])
1009*0957b409SSimon J. Gerraty + MUL15(a[14], a[16])) << 1);
1010*0957b409SSimon J. Gerraty t[31] = ((MUL15(a[12], a[19])
1011*0957b409SSimon J. Gerraty + MUL15(a[13], a[18])
1012*0957b409SSimon J. Gerraty + MUL15(a[14], a[17])
1013*0957b409SSimon J. Gerraty + MUL15(a[15], a[16])) << 1);
1014*0957b409SSimon J. Gerraty t[32] = MUL15(a[16], a[16])
1015*0957b409SSimon J. Gerraty + ((MUL15(a[13], a[19])
1016*0957b409SSimon J. Gerraty + MUL15(a[14], a[18])
1017*0957b409SSimon J. Gerraty + MUL15(a[15], a[17])) << 1);
1018*0957b409SSimon J. Gerraty t[33] = ((MUL15(a[14], a[19])
1019*0957b409SSimon J. Gerraty + MUL15(a[15], a[18])
1020*0957b409SSimon J. Gerraty + MUL15(a[16], a[17])) << 1);
1021*0957b409SSimon J. Gerraty t[34] = MUL15(a[17], a[17])
1022*0957b409SSimon J. Gerraty + ((MUL15(a[15], a[19])
1023*0957b409SSimon J. Gerraty + MUL15(a[16], a[18])) << 1);
1024*0957b409SSimon J. Gerraty t[35] = ((MUL15(a[16], a[19])
1025*0957b409SSimon J. Gerraty + MUL15(a[17], a[18])) << 1);
1026*0957b409SSimon J. Gerraty t[36] = MUL15(a[18], a[18])
1027*0957b409SSimon J. Gerraty + ((MUL15(a[17], a[19])) << 1);
1028*0957b409SSimon J. Gerraty t[37] = ((MUL15(a[18], a[19])) << 1);
1029*0957b409SSimon J. Gerraty t[38] = MUL15(a[19], a[19]);
1030*0957b409SSimon J. Gerraty
1031*0957b409SSimon J. Gerraty d[39] = norm13(d, t, 39);
1032*0957b409SSimon J. Gerraty }
1033*0957b409SSimon J. Gerraty
1034*0957b409SSimon J. Gerraty #endif
1035*0957b409SSimon J. Gerraty
1036*0957b409SSimon J. Gerraty /*
1037*0957b409SSimon J. Gerraty * Perform a "final reduction" in field F255 (field for Curve25519)
1038*0957b409SSimon J. Gerraty * The source value must be less than twice the modulus. If the value
1039*0957b409SSimon J. Gerraty * is not lower than the modulus, then the modulus is subtracted and
1040*0957b409SSimon J. Gerraty * this function returns 1; otherwise, it leaves it untouched and it
1041*0957b409SSimon J. Gerraty * returns 0.
1042*0957b409SSimon J. Gerraty */
1043*0957b409SSimon J. Gerraty static uint32_t
reduce_final_f255(uint32_t * d)1044*0957b409SSimon J. Gerraty reduce_final_f255(uint32_t *d)
1045*0957b409SSimon J. Gerraty {
1046*0957b409SSimon J. Gerraty uint32_t t[20];
1047*0957b409SSimon J. Gerraty uint32_t cc;
1048*0957b409SSimon J. Gerraty int i;
1049*0957b409SSimon J. Gerraty
1050*0957b409SSimon J. Gerraty memcpy(t, d, sizeof t);
1051*0957b409SSimon J. Gerraty cc = 19;
1052*0957b409SSimon J. Gerraty for (i = 0; i < 20; i ++) {
1053*0957b409SSimon J. Gerraty uint32_t w;
1054*0957b409SSimon J. Gerraty
1055*0957b409SSimon J. Gerraty w = t[i] + cc;
1056*0957b409SSimon J. Gerraty cc = w >> 13;
1057*0957b409SSimon J. Gerraty t[i] = w & 0x1FFF;
1058*0957b409SSimon J. Gerraty }
1059*0957b409SSimon J. Gerraty cc = t[19] >> 8;
1060*0957b409SSimon J. Gerraty t[19] &= 0xFF;
1061*0957b409SSimon J. Gerraty CCOPY(cc, d, t, sizeof t);
1062*0957b409SSimon J. Gerraty return cc;
1063*0957b409SSimon J. Gerraty }
1064*0957b409SSimon J. Gerraty
1065*0957b409SSimon J. Gerraty static void
f255_mulgen(uint32_t * d,const uint32_t * a,const uint32_t * b,int square)1066*0957b409SSimon J. Gerraty f255_mulgen(uint32_t *d, const uint32_t *a, const uint32_t *b, int square)
1067*0957b409SSimon J. Gerraty {
1068*0957b409SSimon J. Gerraty uint32_t t[40], cc, w;
1069*0957b409SSimon J. Gerraty
1070*0957b409SSimon J. Gerraty /*
1071*0957b409SSimon J. Gerraty * Compute raw multiplication. All result words fit in 13 bits
1072*0957b409SSimon J. Gerraty * each; upper word (t[39]) must fit on 5 bits, since the product
1073*0957b409SSimon J. Gerraty * of two 256-bit integers must fit on 512 bits.
1074*0957b409SSimon J. Gerraty */
1075*0957b409SSimon J. Gerraty if (square) {
1076*0957b409SSimon J. Gerraty square20(t, a);
1077*0957b409SSimon J. Gerraty } else {
1078*0957b409SSimon J. Gerraty mul20(t, a, b);
1079*0957b409SSimon J. Gerraty }
1080*0957b409SSimon J. Gerraty
1081*0957b409SSimon J. Gerraty /*
1082*0957b409SSimon J. Gerraty * Modular reduction: each high word is added where necessary.
1083*0957b409SSimon J. Gerraty * Since the modulus is 2^255-19 and word 20 corresponds to
1084*0957b409SSimon J. Gerraty * offset 20*13 = 260, word 20+k must be added to word k with
1085*0957b409SSimon J. Gerraty * a factor of 19*2^5 = 608. The extra bits in word 19 are also
1086*0957b409SSimon J. Gerraty * added that way.
1087*0957b409SSimon J. Gerraty */
1088*0957b409SSimon J. Gerraty cc = MUL15(t[19] >> 8, 19);
1089*0957b409SSimon J. Gerraty t[19] &= 0xFF;
1090*0957b409SSimon J. Gerraty
1091*0957b409SSimon J. Gerraty #define MM1(x) do { \
1092*0957b409SSimon J. Gerraty w = t[x] + cc + MUL15(t[(x) + 20], 608); \
1093*0957b409SSimon J. Gerraty t[x] = w & 0x1FFF; \
1094*0957b409SSimon J. Gerraty cc = w >> 13; \
1095*0957b409SSimon J. Gerraty } while (0)
1096*0957b409SSimon J. Gerraty
1097*0957b409SSimon J. Gerraty MM1( 0);
1098*0957b409SSimon J. Gerraty MM1( 1);
1099*0957b409SSimon J. Gerraty MM1( 2);
1100*0957b409SSimon J. Gerraty MM1( 3);
1101*0957b409SSimon J. Gerraty MM1( 4);
1102*0957b409SSimon J. Gerraty MM1( 5);
1103*0957b409SSimon J. Gerraty MM1( 6);
1104*0957b409SSimon J. Gerraty MM1( 7);
1105*0957b409SSimon J. Gerraty MM1( 8);
1106*0957b409SSimon J. Gerraty MM1( 9);
1107*0957b409SSimon J. Gerraty MM1(10);
1108*0957b409SSimon J. Gerraty MM1(11);
1109*0957b409SSimon J. Gerraty MM1(12);
1110*0957b409SSimon J. Gerraty MM1(13);
1111*0957b409SSimon J. Gerraty MM1(14);
1112*0957b409SSimon J. Gerraty MM1(15);
1113*0957b409SSimon J. Gerraty MM1(16);
1114*0957b409SSimon J. Gerraty MM1(17);
1115*0957b409SSimon J. Gerraty MM1(18);
1116*0957b409SSimon J. Gerraty MM1(19);
1117*0957b409SSimon J. Gerraty
1118*0957b409SSimon J. Gerraty #undef MM1
1119*0957b409SSimon J. Gerraty
1120*0957b409SSimon J. Gerraty cc = MUL15(w >> 8, 19);
1121*0957b409SSimon J. Gerraty t[19] &= 0xFF;
1122*0957b409SSimon J. Gerraty
1123*0957b409SSimon J. Gerraty #define MM2(x) do { \
1124*0957b409SSimon J. Gerraty w = t[x] + cc; \
1125*0957b409SSimon J. Gerraty d[x] = w & 0x1FFF; \
1126*0957b409SSimon J. Gerraty cc = w >> 13; \
1127*0957b409SSimon J. Gerraty } while (0)
1128*0957b409SSimon J. Gerraty
1129*0957b409SSimon J. Gerraty MM2( 0);
1130*0957b409SSimon J. Gerraty MM2( 1);
1131*0957b409SSimon J. Gerraty MM2( 2);
1132*0957b409SSimon J. Gerraty MM2( 3);
1133*0957b409SSimon J. Gerraty MM2( 4);
1134*0957b409SSimon J. Gerraty MM2( 5);
1135*0957b409SSimon J. Gerraty MM2( 6);
1136*0957b409SSimon J. Gerraty MM2( 7);
1137*0957b409SSimon J. Gerraty MM2( 8);
1138*0957b409SSimon J. Gerraty MM2( 9);
1139*0957b409SSimon J. Gerraty MM2(10);
1140*0957b409SSimon J. Gerraty MM2(11);
1141*0957b409SSimon J. Gerraty MM2(12);
1142*0957b409SSimon J. Gerraty MM2(13);
1143*0957b409SSimon J. Gerraty MM2(14);
1144*0957b409SSimon J. Gerraty MM2(15);
1145*0957b409SSimon J. Gerraty MM2(16);
1146*0957b409SSimon J. Gerraty MM2(17);
1147*0957b409SSimon J. Gerraty MM2(18);
1148*0957b409SSimon J. Gerraty MM2(19);
1149*0957b409SSimon J. Gerraty
1150*0957b409SSimon J. Gerraty #undef MM2
1151*0957b409SSimon J. Gerraty }
1152*0957b409SSimon J. Gerraty
1153*0957b409SSimon J. Gerraty /*
1154*0957b409SSimon J. Gerraty * Perform a multiplication of two integers modulo 2^255-19.
1155*0957b409SSimon J. Gerraty * Operands are arrays of 20 words, each containing 13 bits of data, in
1156*0957b409SSimon J. Gerraty * little-endian order. Input value may be up to 2^256-1; on output, value
1157*0957b409SSimon J. Gerraty * fits on 256 bits and is lower than twice the modulus.
1158*0957b409SSimon J. Gerraty *
1159*0957b409SSimon J. Gerraty * f255_mul() is the general multiplication, f255_square() is specialised
1160*0957b409SSimon J. Gerraty * for squarings.
1161*0957b409SSimon J. Gerraty */
1162*0957b409SSimon J. Gerraty #define f255_mul(d, a, b) f255_mulgen(d, a, b, 0)
1163*0957b409SSimon J. Gerraty #define f255_square(d, a) f255_mulgen(d, a, a, 1)
1164*0957b409SSimon J. Gerraty
1165*0957b409SSimon J. Gerraty /*
1166*0957b409SSimon J. Gerraty * Add two values in F255. Partial reduction is performed (down to less
1167*0957b409SSimon J. Gerraty * than twice the modulus).
1168*0957b409SSimon J. Gerraty */
1169*0957b409SSimon J. Gerraty static void
f255_add(uint32_t * d,const uint32_t * a,const uint32_t * b)1170*0957b409SSimon J. Gerraty f255_add(uint32_t *d, const uint32_t *a, const uint32_t *b)
1171*0957b409SSimon J. Gerraty {
1172*0957b409SSimon J. Gerraty int i;
1173*0957b409SSimon J. Gerraty uint32_t cc, w;
1174*0957b409SSimon J. Gerraty
1175*0957b409SSimon J. Gerraty cc = 0;
1176*0957b409SSimon J. Gerraty for (i = 0; i < 20; i ++) {
1177*0957b409SSimon J. Gerraty w = a[i] + b[i] + cc;
1178*0957b409SSimon J. Gerraty d[i] = w & 0x1FFF;
1179*0957b409SSimon J. Gerraty cc = w >> 13;
1180*0957b409SSimon J. Gerraty }
1181*0957b409SSimon J. Gerraty cc = MUL15(w >> 8, 19);
1182*0957b409SSimon J. Gerraty d[19] &= 0xFF;
1183*0957b409SSimon J. Gerraty for (i = 0; i < 20; i ++) {
1184*0957b409SSimon J. Gerraty w = d[i] + cc;
1185*0957b409SSimon J. Gerraty d[i] = w & 0x1FFF;
1186*0957b409SSimon J. Gerraty cc = w >> 13;
1187*0957b409SSimon J. Gerraty }
1188*0957b409SSimon J. Gerraty }
1189*0957b409SSimon J. Gerraty
1190*0957b409SSimon J. Gerraty /*
1191*0957b409SSimon J. Gerraty * Subtract one value from another in F255. Partial reduction is
1192*0957b409SSimon J. Gerraty * performed (down to less than twice the modulus).
1193*0957b409SSimon J. Gerraty */
1194*0957b409SSimon J. Gerraty static void
f255_sub(uint32_t * d,const uint32_t * a,const uint32_t * b)1195*0957b409SSimon J. Gerraty f255_sub(uint32_t *d, const uint32_t *a, const uint32_t *b)
1196*0957b409SSimon J. Gerraty {
1197*0957b409SSimon J. Gerraty /*
1198*0957b409SSimon J. Gerraty * We actually compute a - b + 2*p, so that the final value is
1199*0957b409SSimon J. Gerraty * necessarily positive.
1200*0957b409SSimon J. Gerraty */
1201*0957b409SSimon J. Gerraty int i;
1202*0957b409SSimon J. Gerraty uint32_t cc, w;
1203*0957b409SSimon J. Gerraty
1204*0957b409SSimon J. Gerraty cc = (uint32_t)-38;
1205*0957b409SSimon J. Gerraty for (i = 0; i < 20; i ++) {
1206*0957b409SSimon J. Gerraty w = a[i] - b[i] + cc;
1207*0957b409SSimon J. Gerraty d[i] = w & 0x1FFF;
1208*0957b409SSimon J. Gerraty cc = ARSH(w, 13);
1209*0957b409SSimon J. Gerraty }
1210*0957b409SSimon J. Gerraty cc = MUL15((w + 0x200) >> 8, 19);
1211*0957b409SSimon J. Gerraty d[19] &= 0xFF;
1212*0957b409SSimon J. Gerraty for (i = 0; i < 20; i ++) {
1213*0957b409SSimon J. Gerraty w = d[i] + cc;
1214*0957b409SSimon J. Gerraty d[i] = w & 0x1FFF;
1215*0957b409SSimon J. Gerraty cc = w >> 13;
1216*0957b409SSimon J. Gerraty }
1217*0957b409SSimon J. Gerraty }
1218*0957b409SSimon J. Gerraty
1219*0957b409SSimon J. Gerraty /*
1220*0957b409SSimon J. Gerraty * Multiply an integer by the 'A24' constant (121665). Partial reduction
1221*0957b409SSimon J. Gerraty * is performed (down to less than twice the modulus).
1222*0957b409SSimon J. Gerraty */
1223*0957b409SSimon J. Gerraty static void
f255_mul_a24(uint32_t * d,const uint32_t * a)1224*0957b409SSimon J. Gerraty f255_mul_a24(uint32_t *d, const uint32_t *a)
1225*0957b409SSimon J. Gerraty {
1226*0957b409SSimon J. Gerraty int i;
1227*0957b409SSimon J. Gerraty uint32_t cc, w;
1228*0957b409SSimon J. Gerraty
1229*0957b409SSimon J. Gerraty cc = 0;
1230*0957b409SSimon J. Gerraty for (i = 0; i < 20; i ++) {
1231*0957b409SSimon J. Gerraty w = MUL15(a[i], 121665) + cc;
1232*0957b409SSimon J. Gerraty d[i] = w & 0x1FFF;
1233*0957b409SSimon J. Gerraty cc = w >> 13;
1234*0957b409SSimon J. Gerraty }
1235*0957b409SSimon J. Gerraty cc = MUL15(w >> 8, 19);
1236*0957b409SSimon J. Gerraty d[19] &= 0xFF;
1237*0957b409SSimon J. Gerraty for (i = 0; i < 20; i ++) {
1238*0957b409SSimon J. Gerraty w = d[i] + cc;
1239*0957b409SSimon J. Gerraty d[i] = w & 0x1FFF;
1240*0957b409SSimon J. Gerraty cc = w >> 13;
1241*0957b409SSimon J. Gerraty }
1242*0957b409SSimon J. Gerraty }
1243*0957b409SSimon J. Gerraty
1244*0957b409SSimon J. Gerraty static const unsigned char GEN[] = {
1245*0957b409SSimon J. Gerraty 0x09, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
1246*0957b409SSimon J. Gerraty 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
1247*0957b409SSimon J. Gerraty 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
1248*0957b409SSimon J. Gerraty 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00
1249*0957b409SSimon J. Gerraty };
1250*0957b409SSimon J. Gerraty
1251*0957b409SSimon J. Gerraty static const unsigned char ORDER[] = {
1252*0957b409SSimon J. Gerraty 0x7F, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
1253*0957b409SSimon J. Gerraty 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
1254*0957b409SSimon J. Gerraty 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
1255*0957b409SSimon J. Gerraty 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF
1256*0957b409SSimon J. Gerraty };
1257*0957b409SSimon J. Gerraty
1258*0957b409SSimon J. Gerraty static const unsigned char *
api_generator(int curve,size_t * len)1259*0957b409SSimon J. Gerraty api_generator(int curve, size_t *len)
1260*0957b409SSimon J. Gerraty {
1261*0957b409SSimon J. Gerraty (void)curve;
1262*0957b409SSimon J. Gerraty *len = 32;
1263*0957b409SSimon J. Gerraty return GEN;
1264*0957b409SSimon J. Gerraty }
1265*0957b409SSimon J. Gerraty
1266*0957b409SSimon J. Gerraty static const unsigned char *
api_order(int curve,size_t * len)1267*0957b409SSimon J. Gerraty api_order(int curve, size_t *len)
1268*0957b409SSimon J. Gerraty {
1269*0957b409SSimon J. Gerraty (void)curve;
1270*0957b409SSimon J. Gerraty *len = 32;
1271*0957b409SSimon J. Gerraty return ORDER;
1272*0957b409SSimon J. Gerraty }
1273*0957b409SSimon J. Gerraty
1274*0957b409SSimon J. Gerraty static size_t
api_xoff(int curve,size_t * len)1275*0957b409SSimon J. Gerraty api_xoff(int curve, size_t *len)
1276*0957b409SSimon J. Gerraty {
1277*0957b409SSimon J. Gerraty (void)curve;
1278*0957b409SSimon J. Gerraty *len = 32;
1279*0957b409SSimon J. Gerraty return 0;
1280*0957b409SSimon J. Gerraty }
1281*0957b409SSimon J. Gerraty
1282*0957b409SSimon J. Gerraty static void
cswap(uint32_t * a,uint32_t * b,uint32_t ctl)1283*0957b409SSimon J. Gerraty cswap(uint32_t *a, uint32_t *b, uint32_t ctl)
1284*0957b409SSimon J. Gerraty {
1285*0957b409SSimon J. Gerraty int i;
1286*0957b409SSimon J. Gerraty
1287*0957b409SSimon J. Gerraty ctl = -ctl;
1288*0957b409SSimon J. Gerraty for (i = 0; i < 20; i ++) {
1289*0957b409SSimon J. Gerraty uint32_t aw, bw, tw;
1290*0957b409SSimon J. Gerraty
1291*0957b409SSimon J. Gerraty aw = a[i];
1292*0957b409SSimon J. Gerraty bw = b[i];
1293*0957b409SSimon J. Gerraty tw = ctl & (aw ^ bw);
1294*0957b409SSimon J. Gerraty a[i] = aw ^ tw;
1295*0957b409SSimon J. Gerraty b[i] = bw ^ tw;
1296*0957b409SSimon J. Gerraty }
1297*0957b409SSimon J. Gerraty }
1298*0957b409SSimon J. Gerraty
1299*0957b409SSimon J. Gerraty static uint32_t
api_mul(unsigned char * G,size_t Glen,const unsigned char * kb,size_t kblen,int curve)1300*0957b409SSimon J. Gerraty api_mul(unsigned char *G, size_t Glen,
1301*0957b409SSimon J. Gerraty const unsigned char *kb, size_t kblen, int curve)
1302*0957b409SSimon J. Gerraty {
1303*0957b409SSimon J. Gerraty uint32_t x1[20], x2[20], x3[20], z2[20], z3[20];
1304*0957b409SSimon J. Gerraty uint32_t a[20], aa[20], b[20], bb[20];
1305*0957b409SSimon J. Gerraty uint32_t c[20], d[20], e[20], da[20], cb[20];
1306*0957b409SSimon J. Gerraty unsigned char k[32];
1307*0957b409SSimon J. Gerraty uint32_t swap;
1308*0957b409SSimon J. Gerraty int i;
1309*0957b409SSimon J. Gerraty
1310*0957b409SSimon J. Gerraty (void)curve;
1311*0957b409SSimon J. Gerraty
1312*0957b409SSimon J. Gerraty /*
1313*0957b409SSimon J. Gerraty * Points are encoded over exactly 32 bytes. Multipliers must fit
1314*0957b409SSimon J. Gerraty * in 32 bytes as well.
1315*0957b409SSimon J. Gerraty * RFC 7748 mandates that the high bit of the last point byte must
1316*0957b409SSimon J. Gerraty * be ignored/cleared.
1317*0957b409SSimon J. Gerraty */
1318*0957b409SSimon J. Gerraty if (Glen != 32 || kblen > 32) {
1319*0957b409SSimon J. Gerraty return 0;
1320*0957b409SSimon J. Gerraty }
1321*0957b409SSimon J. Gerraty G[31] &= 0x7F;
1322*0957b409SSimon J. Gerraty
1323*0957b409SSimon J. Gerraty /*
1324*0957b409SSimon J. Gerraty * Initialise variables x1, x2, z2, x3 and z3. We set all of them
1325*0957b409SSimon J. Gerraty * into Montgomery representation.
1326*0957b409SSimon J. Gerraty */
1327*0957b409SSimon J. Gerraty x1[19] = le8_to_le13(x1, G, 32);
1328*0957b409SSimon J. Gerraty memcpy(x3, x1, sizeof x1);
1329*0957b409SSimon J. Gerraty memset(z2, 0, sizeof z2);
1330*0957b409SSimon J. Gerraty memset(x2, 0, sizeof x2);
1331*0957b409SSimon J. Gerraty x2[0] = 1;
1332*0957b409SSimon J. Gerraty memset(z3, 0, sizeof z3);
1333*0957b409SSimon J. Gerraty z3[0] = 1;
1334*0957b409SSimon J. Gerraty
1335*0957b409SSimon J. Gerraty memset(k, 0, (sizeof k) - kblen);
1336*0957b409SSimon J. Gerraty memcpy(k + (sizeof k) - kblen, kb, kblen);
1337*0957b409SSimon J. Gerraty k[31] &= 0xF8;
1338*0957b409SSimon J. Gerraty k[0] &= 0x7F;
1339*0957b409SSimon J. Gerraty k[0] |= 0x40;
1340*0957b409SSimon J. Gerraty
1341*0957b409SSimon J. Gerraty /* obsolete
1342*0957b409SSimon J. Gerraty print_int("x1", x1);
1343*0957b409SSimon J. Gerraty */
1344*0957b409SSimon J. Gerraty
1345*0957b409SSimon J. Gerraty swap = 0;
1346*0957b409SSimon J. Gerraty for (i = 254; i >= 0; i --) {
1347*0957b409SSimon J. Gerraty uint32_t kt;
1348*0957b409SSimon J. Gerraty
1349*0957b409SSimon J. Gerraty kt = (k[31 - (i >> 3)] >> (i & 7)) & 1;
1350*0957b409SSimon J. Gerraty swap ^= kt;
1351*0957b409SSimon J. Gerraty cswap(x2, x3, swap);
1352*0957b409SSimon J. Gerraty cswap(z2, z3, swap);
1353*0957b409SSimon J. Gerraty swap = kt;
1354*0957b409SSimon J. Gerraty
1355*0957b409SSimon J. Gerraty /* obsolete
1356*0957b409SSimon J. Gerraty print_int("x2", x2);
1357*0957b409SSimon J. Gerraty print_int("z2", z2);
1358*0957b409SSimon J. Gerraty print_int("x3", x3);
1359*0957b409SSimon J. Gerraty print_int("z3", z3);
1360*0957b409SSimon J. Gerraty */
1361*0957b409SSimon J. Gerraty
1362*0957b409SSimon J. Gerraty f255_add(a, x2, z2);
1363*0957b409SSimon J. Gerraty f255_square(aa, a);
1364*0957b409SSimon J. Gerraty f255_sub(b, x2, z2);
1365*0957b409SSimon J. Gerraty f255_square(bb, b);
1366*0957b409SSimon J. Gerraty f255_sub(e, aa, bb);
1367*0957b409SSimon J. Gerraty f255_add(c, x3, z3);
1368*0957b409SSimon J. Gerraty f255_sub(d, x3, z3);
1369*0957b409SSimon J. Gerraty f255_mul(da, d, a);
1370*0957b409SSimon J. Gerraty f255_mul(cb, c, b);
1371*0957b409SSimon J. Gerraty
1372*0957b409SSimon J. Gerraty /* obsolete
1373*0957b409SSimon J. Gerraty print_int("a ", a);
1374*0957b409SSimon J. Gerraty print_int("aa", aa);
1375*0957b409SSimon J. Gerraty print_int("b ", b);
1376*0957b409SSimon J. Gerraty print_int("bb", bb);
1377*0957b409SSimon J. Gerraty print_int("e ", e);
1378*0957b409SSimon J. Gerraty print_int("c ", c);
1379*0957b409SSimon J. Gerraty print_int("d ", d);
1380*0957b409SSimon J. Gerraty print_int("da", da);
1381*0957b409SSimon J. Gerraty print_int("cb", cb);
1382*0957b409SSimon J. Gerraty */
1383*0957b409SSimon J. Gerraty
1384*0957b409SSimon J. Gerraty f255_add(x3, da, cb);
1385*0957b409SSimon J. Gerraty f255_square(x3, x3);
1386*0957b409SSimon J. Gerraty f255_sub(z3, da, cb);
1387*0957b409SSimon J. Gerraty f255_square(z3, z3);
1388*0957b409SSimon J. Gerraty f255_mul(z3, z3, x1);
1389*0957b409SSimon J. Gerraty f255_mul(x2, aa, bb);
1390*0957b409SSimon J. Gerraty f255_mul_a24(z2, e);
1391*0957b409SSimon J. Gerraty f255_add(z2, z2, aa);
1392*0957b409SSimon J. Gerraty f255_mul(z2, e, z2);
1393*0957b409SSimon J. Gerraty
1394*0957b409SSimon J. Gerraty /* obsolete
1395*0957b409SSimon J. Gerraty print_int("x2", x2);
1396*0957b409SSimon J. Gerraty print_int("z2", z2);
1397*0957b409SSimon J. Gerraty print_int("x3", x3);
1398*0957b409SSimon J. Gerraty print_int("z3", z3);
1399*0957b409SSimon J. Gerraty */
1400*0957b409SSimon J. Gerraty }
1401*0957b409SSimon J. Gerraty cswap(x2, x3, swap);
1402*0957b409SSimon J. Gerraty cswap(z2, z3, swap);
1403*0957b409SSimon J. Gerraty
1404*0957b409SSimon J. Gerraty /*
1405*0957b409SSimon J. Gerraty * Inverse z2 with a modular exponentiation. This is a simple
1406*0957b409SSimon J. Gerraty * square-and-multiply algorithm; we mutualise most non-squarings
1407*0957b409SSimon J. Gerraty * since the exponent contains almost only ones.
1408*0957b409SSimon J. Gerraty */
1409*0957b409SSimon J. Gerraty memcpy(a, z2, sizeof z2);
1410*0957b409SSimon J. Gerraty for (i = 0; i < 15; i ++) {
1411*0957b409SSimon J. Gerraty f255_square(a, a);
1412*0957b409SSimon J. Gerraty f255_mul(a, a, z2);
1413*0957b409SSimon J. Gerraty }
1414*0957b409SSimon J. Gerraty memcpy(b, a, sizeof a);
1415*0957b409SSimon J. Gerraty for (i = 0; i < 14; i ++) {
1416*0957b409SSimon J. Gerraty int j;
1417*0957b409SSimon J. Gerraty
1418*0957b409SSimon J. Gerraty for (j = 0; j < 16; j ++) {
1419*0957b409SSimon J. Gerraty f255_square(b, b);
1420*0957b409SSimon J. Gerraty }
1421*0957b409SSimon J. Gerraty f255_mul(b, b, a);
1422*0957b409SSimon J. Gerraty }
1423*0957b409SSimon J. Gerraty for (i = 14; i >= 0; i --) {
1424*0957b409SSimon J. Gerraty f255_square(b, b);
1425*0957b409SSimon J. Gerraty if ((0xFFEB >> i) & 1) {
1426*0957b409SSimon J. Gerraty f255_mul(b, z2, b);
1427*0957b409SSimon J. Gerraty }
1428*0957b409SSimon J. Gerraty }
1429*0957b409SSimon J. Gerraty f255_mul(x2, x2, b);
1430*0957b409SSimon J. Gerraty reduce_final_f255(x2);
1431*0957b409SSimon J. Gerraty le13_to_le8(G, 32, x2);
1432*0957b409SSimon J. Gerraty return 1;
1433*0957b409SSimon J. Gerraty }
1434*0957b409SSimon J. Gerraty
1435*0957b409SSimon J. Gerraty static size_t
api_mulgen(unsigned char * R,const unsigned char * x,size_t xlen,int curve)1436*0957b409SSimon J. Gerraty api_mulgen(unsigned char *R,
1437*0957b409SSimon J. Gerraty const unsigned char *x, size_t xlen, int curve)
1438*0957b409SSimon J. Gerraty {
1439*0957b409SSimon J. Gerraty const unsigned char *G;
1440*0957b409SSimon J. Gerraty size_t Glen;
1441*0957b409SSimon J. Gerraty
1442*0957b409SSimon J. Gerraty G = api_generator(curve, &Glen);
1443*0957b409SSimon J. Gerraty memcpy(R, G, Glen);
1444*0957b409SSimon J. Gerraty api_mul(R, Glen, x, xlen, curve);
1445*0957b409SSimon J. Gerraty return Glen;
1446*0957b409SSimon J. Gerraty }
1447*0957b409SSimon J. Gerraty
1448*0957b409SSimon J. Gerraty static uint32_t
api_muladd(unsigned char * A,const unsigned char * B,size_t len,const unsigned char * x,size_t xlen,const unsigned char * y,size_t ylen,int curve)1449*0957b409SSimon J. Gerraty api_muladd(unsigned char *A, const unsigned char *B, size_t len,
1450*0957b409SSimon J. Gerraty const unsigned char *x, size_t xlen,
1451*0957b409SSimon J. Gerraty const unsigned char *y, size_t ylen, int curve)
1452*0957b409SSimon J. Gerraty {
1453*0957b409SSimon J. Gerraty /*
1454*0957b409SSimon J. Gerraty * We don't implement this method, since it is used for ECDSA
1455*0957b409SSimon J. Gerraty * only, and there is no ECDSA over Curve25519 (which instead
1456*0957b409SSimon J. Gerraty * uses EdDSA).
1457*0957b409SSimon J. Gerraty */
1458*0957b409SSimon J. Gerraty (void)A;
1459*0957b409SSimon J. Gerraty (void)B;
1460*0957b409SSimon J. Gerraty (void)len;
1461*0957b409SSimon J. Gerraty (void)x;
1462*0957b409SSimon J. Gerraty (void)xlen;
1463*0957b409SSimon J. Gerraty (void)y;
1464*0957b409SSimon J. Gerraty (void)ylen;
1465*0957b409SSimon J. Gerraty (void)curve;
1466*0957b409SSimon J. Gerraty return 0;
1467*0957b409SSimon J. Gerraty }
1468*0957b409SSimon J. Gerraty
1469*0957b409SSimon J. Gerraty /* see bearssl_ec.h */
1470*0957b409SSimon J. Gerraty const br_ec_impl br_ec_c25519_m15 = {
1471*0957b409SSimon J. Gerraty (uint32_t)0x20000000,
1472*0957b409SSimon J. Gerraty &api_generator,
1473*0957b409SSimon J. Gerraty &api_order,
1474*0957b409SSimon J. Gerraty &api_xoff,
1475*0957b409SSimon J. Gerraty &api_mul,
1476*0957b409SSimon J. Gerraty &api_mulgen,
1477*0957b409SSimon J. Gerraty &api_muladd
1478*0957b409SSimon J. Gerraty };
1479