xref: /freebsd/contrib/unbound/validator/val_secalgo.c (revision e2d1500434f5c64506dad196d921caee199cad1c)
18ed2b524SDag-Erling Smørgrav /*
28ed2b524SDag-Erling Smørgrav  * validator/val_secalgo.c - validator security algorithm functions.
38ed2b524SDag-Erling Smørgrav  *
48ed2b524SDag-Erling Smørgrav  * Copyright (c) 2012, NLnet Labs. All rights reserved.
58ed2b524SDag-Erling Smørgrav  *
68ed2b524SDag-Erling Smørgrav  * This software is open source.
78ed2b524SDag-Erling Smørgrav  *
88ed2b524SDag-Erling Smørgrav  * Redistribution and use in source and binary forms, with or without
98ed2b524SDag-Erling Smørgrav  * modification, are permitted provided that the following conditions
108ed2b524SDag-Erling Smørgrav  * are met:
118ed2b524SDag-Erling Smørgrav  *
128ed2b524SDag-Erling Smørgrav  * Redistributions of source code must retain the above copyright notice,
138ed2b524SDag-Erling Smørgrav  * this list of conditions and the following disclaimer.
148ed2b524SDag-Erling Smørgrav  *
158ed2b524SDag-Erling Smørgrav  * Redistributions in binary form must reproduce the above copyright notice,
168ed2b524SDag-Erling Smørgrav  * this list of conditions and the following disclaimer in the documentation
178ed2b524SDag-Erling Smørgrav  * and/or other materials provided with the distribution.
188ed2b524SDag-Erling Smørgrav  *
198ed2b524SDag-Erling Smørgrav  * Neither the name of the NLNET LABS nor the names of its contributors may
208ed2b524SDag-Erling Smørgrav  * be used to endorse or promote products derived from this software without
218ed2b524SDag-Erling Smørgrav  * specific prior written permission.
228ed2b524SDag-Erling Smørgrav  *
238ed2b524SDag-Erling Smørgrav  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
2417d15b25SDag-Erling Smørgrav  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
2517d15b25SDag-Erling Smørgrav  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
2617d15b25SDag-Erling Smørgrav  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
2717d15b25SDag-Erling Smørgrav  * HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
2817d15b25SDag-Erling Smørgrav  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED
2917d15b25SDag-Erling Smørgrav  * TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
3017d15b25SDag-Erling Smørgrav  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
3117d15b25SDag-Erling Smørgrav  * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
3217d15b25SDag-Erling Smørgrav  * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
3317d15b25SDag-Erling Smørgrav  * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
348ed2b524SDag-Erling Smørgrav  */
358ed2b524SDag-Erling Smørgrav 
368ed2b524SDag-Erling Smørgrav /**
378ed2b524SDag-Erling Smørgrav  * \file
388ed2b524SDag-Erling Smørgrav  *
398ed2b524SDag-Erling Smørgrav  * This file contains helper functions for the validator module.
408ed2b524SDag-Erling Smørgrav  * These functions take raw data buffers, formatted for crypto verification,
418ed2b524SDag-Erling Smørgrav  * and do the library calls (for the crypto library in use).
428ed2b524SDag-Erling Smørgrav  */
438ed2b524SDag-Erling Smørgrav #include "config.h"
446480faa8SDag-Erling Smørgrav /* packed_rrset on top to define enum types (forced by c99 standard) */
458ed2b524SDag-Erling Smørgrav #include "util/data/packed_rrset.h"
466480faa8SDag-Erling Smørgrav #include "validator/val_secalgo.h"
4705ab2901SDag-Erling Smørgrav #include "validator/val_nsec3.h"
488ed2b524SDag-Erling Smørgrav #include "util/log.h"
4909a3aaf3SDag-Erling Smørgrav #include "sldns/rrdef.h"
5009a3aaf3SDag-Erling Smørgrav #include "sldns/keyraw.h"
5109a3aaf3SDag-Erling Smørgrav #include "sldns/sbuffer.h"
528ed2b524SDag-Erling Smørgrav 
5305ab2901SDag-Erling Smørgrav #if !defined(HAVE_SSL) && !defined(HAVE_NSS) && !defined(HAVE_NETTLE)
548ed2b524SDag-Erling Smørgrav #error "Need crypto library to do digital signature cryptography"
558ed2b524SDag-Erling Smørgrav #endif
568ed2b524SDag-Erling Smørgrav 
578ed2b524SDag-Erling Smørgrav /* OpenSSL implementation */
588ed2b524SDag-Erling Smørgrav #ifdef HAVE_SSL
598ed2b524SDag-Erling Smørgrav #ifdef HAVE_OPENSSL_ERR_H
608ed2b524SDag-Erling Smørgrav #include <openssl/err.h>
618ed2b524SDag-Erling Smørgrav #endif
628ed2b524SDag-Erling Smørgrav 
638ed2b524SDag-Erling Smørgrav #ifdef HAVE_OPENSSL_RAND_H
648ed2b524SDag-Erling Smørgrav #include <openssl/rand.h>
658ed2b524SDag-Erling Smørgrav #endif
668ed2b524SDag-Erling Smørgrav 
678ed2b524SDag-Erling Smørgrav #ifdef HAVE_OPENSSL_CONF_H
688ed2b524SDag-Erling Smørgrav #include <openssl/conf.h>
698ed2b524SDag-Erling Smørgrav #endif
708ed2b524SDag-Erling Smørgrav 
718ed2b524SDag-Erling Smørgrav #ifdef HAVE_OPENSSL_ENGINE_H
728ed2b524SDag-Erling Smørgrav #include <openssl/engine.h>
738ed2b524SDag-Erling Smørgrav #endif
748ed2b524SDag-Erling Smørgrav 
7505ab2901SDag-Erling Smørgrav /* return size of digest if supported, or 0 otherwise */
7605ab2901SDag-Erling Smørgrav size_t
7705ab2901SDag-Erling Smørgrav nsec3_hash_algo_size_supported(int id)
7805ab2901SDag-Erling Smørgrav {
7905ab2901SDag-Erling Smørgrav 	switch(id) {
8005ab2901SDag-Erling Smørgrav 	case NSEC3_HASH_SHA1:
8105ab2901SDag-Erling Smørgrav 		return SHA_DIGEST_LENGTH;
8205ab2901SDag-Erling Smørgrav 	default:
8305ab2901SDag-Erling Smørgrav 		return 0;
8405ab2901SDag-Erling Smørgrav 	}
8505ab2901SDag-Erling Smørgrav }
8605ab2901SDag-Erling Smørgrav 
8705ab2901SDag-Erling Smørgrav /* perform nsec3 hash. return false on failure */
8805ab2901SDag-Erling Smørgrav int
8905ab2901SDag-Erling Smørgrav secalgo_nsec3_hash(int algo, unsigned char* buf, size_t len,
9005ab2901SDag-Erling Smørgrav         unsigned char* res)
9105ab2901SDag-Erling Smørgrav {
9205ab2901SDag-Erling Smørgrav 	switch(algo) {
9305ab2901SDag-Erling Smørgrav 	case NSEC3_HASH_SHA1:
9405ab2901SDag-Erling Smørgrav 		(void)SHA1(buf, len, res);
9505ab2901SDag-Erling Smørgrav 		return 1;
9605ab2901SDag-Erling Smørgrav 	default:
9705ab2901SDag-Erling Smørgrav 		return 0;
9805ab2901SDag-Erling Smørgrav 	}
9905ab2901SDag-Erling Smørgrav }
10005ab2901SDag-Erling Smørgrav 
101*e2d15004SDag-Erling Smørgrav void
102*e2d15004SDag-Erling Smørgrav secalgo_hash_sha256(unsigned char* buf, size_t len, unsigned char* res)
103*e2d15004SDag-Erling Smørgrav {
104*e2d15004SDag-Erling Smørgrav 	(void)SHA256(buf, len, res);
105*e2d15004SDag-Erling Smørgrav }
106*e2d15004SDag-Erling Smørgrav 
1078ed2b524SDag-Erling Smørgrav /**
1088ed2b524SDag-Erling Smørgrav  * Return size of DS digest according to its hash algorithm.
1098ed2b524SDag-Erling Smørgrav  * @param algo: DS digest algo.
1108ed2b524SDag-Erling Smørgrav  * @return size in bytes of digest, or 0 if not supported.
1118ed2b524SDag-Erling Smørgrav  */
1128ed2b524SDag-Erling Smørgrav size_t
1138ed2b524SDag-Erling Smørgrav ds_digest_size_supported(int algo)
1148ed2b524SDag-Erling Smørgrav {
1158ed2b524SDag-Erling Smørgrav 	switch(algo) {
1168ed2b524SDag-Erling Smørgrav #ifdef HAVE_EVP_SHA1
1178ed2b524SDag-Erling Smørgrav 		case LDNS_SHA1:
1188ed2b524SDag-Erling Smørgrav 			return SHA_DIGEST_LENGTH;
1198ed2b524SDag-Erling Smørgrav #endif
1208ed2b524SDag-Erling Smørgrav #ifdef HAVE_EVP_SHA256
1218ed2b524SDag-Erling Smørgrav 		case LDNS_SHA256:
1228ed2b524SDag-Erling Smørgrav 			return SHA256_DIGEST_LENGTH;
1238ed2b524SDag-Erling Smørgrav #endif
1248ed2b524SDag-Erling Smørgrav #ifdef USE_GOST
1258ed2b524SDag-Erling Smørgrav 		case LDNS_HASH_GOST:
126f61ef7f6SDag-Erling Smørgrav 			/* we support GOST if it can be loaded */
127f61ef7f6SDag-Erling Smørgrav 			(void)sldns_key_EVP_load_gost_id();
1288ed2b524SDag-Erling Smørgrav 			if(EVP_get_digestbyname("md_gost94"))
1298ed2b524SDag-Erling Smørgrav 				return 32;
1308ed2b524SDag-Erling Smørgrav 			else	return 0;
1318ed2b524SDag-Erling Smørgrav #endif
1328ed2b524SDag-Erling Smørgrav #ifdef USE_ECDSA
1338ed2b524SDag-Erling Smørgrav 		case LDNS_SHA384:
1348ed2b524SDag-Erling Smørgrav 			return SHA384_DIGEST_LENGTH;
1358ed2b524SDag-Erling Smørgrav #endif
1368ed2b524SDag-Erling Smørgrav 		default: break;
1378ed2b524SDag-Erling Smørgrav 	}
1388ed2b524SDag-Erling Smørgrav 	return 0;
1398ed2b524SDag-Erling Smørgrav }
1408ed2b524SDag-Erling Smørgrav 
1418ed2b524SDag-Erling Smørgrav #ifdef USE_GOST
1428ed2b524SDag-Erling Smørgrav /** Perform GOST hash */
1438ed2b524SDag-Erling Smørgrav static int
1448ed2b524SDag-Erling Smørgrav do_gost94(unsigned char* data, size_t len, unsigned char* dest)
1458ed2b524SDag-Erling Smørgrav {
1468ed2b524SDag-Erling Smørgrav 	const EVP_MD* md = EVP_get_digestbyname("md_gost94");
1478ed2b524SDag-Erling Smørgrav 	if(!md)
1488ed2b524SDag-Erling Smørgrav 		return 0;
14917d15b25SDag-Erling Smørgrav 	return sldns_digest_evp(data, (unsigned int)len, dest, md);
1508ed2b524SDag-Erling Smørgrav }
1518ed2b524SDag-Erling Smørgrav #endif
1528ed2b524SDag-Erling Smørgrav 
1538ed2b524SDag-Erling Smørgrav int
1548ed2b524SDag-Erling Smørgrav secalgo_ds_digest(int algo, unsigned char* buf, size_t len,
1558ed2b524SDag-Erling Smørgrav 	unsigned char* res)
1568ed2b524SDag-Erling Smørgrav {
1578ed2b524SDag-Erling Smørgrav 	switch(algo) {
1588ed2b524SDag-Erling Smørgrav #ifdef HAVE_EVP_SHA1
1598ed2b524SDag-Erling Smørgrav 		case LDNS_SHA1:
1608ed2b524SDag-Erling Smørgrav 			(void)SHA1(buf, len, res);
1618ed2b524SDag-Erling Smørgrav 			return 1;
1628ed2b524SDag-Erling Smørgrav #endif
1638ed2b524SDag-Erling Smørgrav #ifdef HAVE_EVP_SHA256
1648ed2b524SDag-Erling Smørgrav 		case LDNS_SHA256:
1658ed2b524SDag-Erling Smørgrav 			(void)SHA256(buf, len, res);
1668ed2b524SDag-Erling Smørgrav 			return 1;
1678ed2b524SDag-Erling Smørgrav #endif
1688ed2b524SDag-Erling Smørgrav #ifdef USE_GOST
1698ed2b524SDag-Erling Smørgrav 		case LDNS_HASH_GOST:
1708ed2b524SDag-Erling Smørgrav 			if(do_gost94(buf, len, res))
1718ed2b524SDag-Erling Smørgrav 				return 1;
1728ed2b524SDag-Erling Smørgrav 			break;
1738ed2b524SDag-Erling Smørgrav #endif
1748ed2b524SDag-Erling Smørgrav #ifdef USE_ECDSA
1758ed2b524SDag-Erling Smørgrav 		case LDNS_SHA384:
1768ed2b524SDag-Erling Smørgrav 			(void)SHA384(buf, len, res);
1778ed2b524SDag-Erling Smørgrav 			return 1;
1788ed2b524SDag-Erling Smørgrav #endif
1798ed2b524SDag-Erling Smørgrav 		default:
1808ed2b524SDag-Erling Smørgrav 			verbose(VERB_QUERY, "unknown DS digest algorithm %d",
1818ed2b524SDag-Erling Smørgrav 				algo);
1828ed2b524SDag-Erling Smørgrav 			break;
1838ed2b524SDag-Erling Smørgrav 	}
1848ed2b524SDag-Erling Smørgrav 	return 0;
1858ed2b524SDag-Erling Smørgrav }
1868ed2b524SDag-Erling Smørgrav 
1878ed2b524SDag-Erling Smørgrav /** return true if DNSKEY algorithm id is supported */
1888ed2b524SDag-Erling Smørgrav int
1898ed2b524SDag-Erling Smørgrav dnskey_algo_id_is_supported(int id)
1908ed2b524SDag-Erling Smørgrav {
1918ed2b524SDag-Erling Smørgrav 	switch(id) {
1928ed2b524SDag-Erling Smørgrav 	case LDNS_RSAMD5:
1938ed2b524SDag-Erling Smørgrav 		/* RFC 6725 deprecates RSAMD5 */
1948ed2b524SDag-Erling Smørgrav 		return 0;
195*e2d15004SDag-Erling Smørgrav #ifdef USE_DSA
1968ed2b524SDag-Erling Smørgrav 	case LDNS_DSA:
1978ed2b524SDag-Erling Smørgrav 	case LDNS_DSA_NSEC3:
198*e2d15004SDag-Erling Smørgrav #endif
1998ed2b524SDag-Erling Smørgrav 	case LDNS_RSASHA1:
2008ed2b524SDag-Erling Smørgrav 	case LDNS_RSASHA1_NSEC3:
2018ed2b524SDag-Erling Smørgrav #if defined(HAVE_EVP_SHA256) && defined(USE_SHA2)
2028ed2b524SDag-Erling Smørgrav 	case LDNS_RSASHA256:
2038ed2b524SDag-Erling Smørgrav #endif
2048ed2b524SDag-Erling Smørgrav #if defined(HAVE_EVP_SHA512) && defined(USE_SHA2)
2058ed2b524SDag-Erling Smørgrav 	case LDNS_RSASHA512:
2068ed2b524SDag-Erling Smørgrav #endif
2078ed2b524SDag-Erling Smørgrav #ifdef USE_ECDSA
2088ed2b524SDag-Erling Smørgrav 	case LDNS_ECDSAP256SHA256:
2098ed2b524SDag-Erling Smørgrav 	case LDNS_ECDSAP384SHA384:
2108ed2b524SDag-Erling Smørgrav #endif
2118ed2b524SDag-Erling Smørgrav 		return 1;
2128ed2b524SDag-Erling Smørgrav #ifdef USE_GOST
2138ed2b524SDag-Erling Smørgrav 	case LDNS_ECC_GOST:
2148ed2b524SDag-Erling Smørgrav 		/* we support GOST if it can be loaded */
21517d15b25SDag-Erling Smørgrav 		return sldns_key_EVP_load_gost_id();
2168ed2b524SDag-Erling Smørgrav #endif
2178ed2b524SDag-Erling Smørgrav 	default:
2188ed2b524SDag-Erling Smørgrav 		return 0;
2198ed2b524SDag-Erling Smørgrav 	}
2208ed2b524SDag-Erling Smørgrav }
2218ed2b524SDag-Erling Smørgrav 
2228ed2b524SDag-Erling Smørgrav /**
2238ed2b524SDag-Erling Smørgrav  * Output a libcrypto openssl error to the logfile.
2248ed2b524SDag-Erling Smørgrav  * @param str: string to add to it.
2258ed2b524SDag-Erling Smørgrav  * @param e: the error to output, error number from ERR_get_error().
2268ed2b524SDag-Erling Smørgrav  */
2278ed2b524SDag-Erling Smørgrav static void
2288ed2b524SDag-Erling Smørgrav log_crypto_error(const char* str, unsigned long e)
2298ed2b524SDag-Erling Smørgrav {
2308ed2b524SDag-Erling Smørgrav 	char buf[128];
2318ed2b524SDag-Erling Smørgrav 	/* or use ERR_error_string if ERR_error_string_n is not avail TODO */
2328ed2b524SDag-Erling Smørgrav 	ERR_error_string_n(e, buf, sizeof(buf));
2338ed2b524SDag-Erling Smørgrav 	/* buf now contains */
2348ed2b524SDag-Erling Smørgrav 	/* error:[error code]:[library name]:[function name]:[reason string] */
2358ed2b524SDag-Erling Smørgrav 	log_err("%s crypto %s", str, buf);
2368ed2b524SDag-Erling Smørgrav }
2378ed2b524SDag-Erling Smørgrav 
238*e2d15004SDag-Erling Smørgrav #ifdef USE_DSA
2398ed2b524SDag-Erling Smørgrav /**
2408ed2b524SDag-Erling Smørgrav  * Setup DSA key digest in DER encoding ...
2418ed2b524SDag-Erling Smørgrav  * @param sig: input is signature output alloced ptr (unless failure).
2428ed2b524SDag-Erling Smørgrav  * 	caller must free alloced ptr if this routine returns true.
2438ed2b524SDag-Erling Smørgrav  * @param len: input is initial siglen, output is output len.
2448ed2b524SDag-Erling Smørgrav  * @return false on failure.
2458ed2b524SDag-Erling Smørgrav  */
2468ed2b524SDag-Erling Smørgrav static int
2478ed2b524SDag-Erling Smørgrav setup_dsa_sig(unsigned char** sig, unsigned int* len)
2488ed2b524SDag-Erling Smørgrav {
2498ed2b524SDag-Erling Smørgrav 	unsigned char* orig = *sig;
2508ed2b524SDag-Erling Smørgrav 	unsigned int origlen = *len;
2518ed2b524SDag-Erling Smørgrav 	int newlen;
2528ed2b524SDag-Erling Smørgrav 	BIGNUM *R, *S;
2538ed2b524SDag-Erling Smørgrav 	DSA_SIG *dsasig;
2548ed2b524SDag-Erling Smørgrav 
2558ed2b524SDag-Erling Smørgrav 	/* extract the R and S field from the sig buffer */
2568ed2b524SDag-Erling Smørgrav 	if(origlen < 1 + 2*SHA_DIGEST_LENGTH)
2578ed2b524SDag-Erling Smørgrav 		return 0;
2588ed2b524SDag-Erling Smørgrav 	R = BN_new();
2598ed2b524SDag-Erling Smørgrav 	if(!R) return 0;
2608ed2b524SDag-Erling Smørgrav 	(void) BN_bin2bn(orig + 1, SHA_DIGEST_LENGTH, R);
2618ed2b524SDag-Erling Smørgrav 	S = BN_new();
2628ed2b524SDag-Erling Smørgrav 	if(!S) return 0;
2638ed2b524SDag-Erling Smørgrav 	(void) BN_bin2bn(orig + 21, SHA_DIGEST_LENGTH, S);
2648ed2b524SDag-Erling Smørgrav 	dsasig = DSA_SIG_new();
2658ed2b524SDag-Erling Smørgrav 	if(!dsasig) return 0;
2668ed2b524SDag-Erling Smørgrav 
2678ed2b524SDag-Erling Smørgrav 	dsasig->r = R;
2688ed2b524SDag-Erling Smørgrav 	dsasig->s = S;
2698ed2b524SDag-Erling Smørgrav 	*sig = NULL;
2708ed2b524SDag-Erling Smørgrav 	newlen = i2d_DSA_SIG(dsasig, sig);
2718ed2b524SDag-Erling Smørgrav 	if(newlen < 0) {
2728ed2b524SDag-Erling Smørgrav 		DSA_SIG_free(dsasig);
2738ed2b524SDag-Erling Smørgrav 		free(*sig);
2748ed2b524SDag-Erling Smørgrav 		return 0;
2758ed2b524SDag-Erling Smørgrav 	}
2768ed2b524SDag-Erling Smørgrav 	*len = (unsigned int)newlen;
2778ed2b524SDag-Erling Smørgrav 	DSA_SIG_free(dsasig);
2788ed2b524SDag-Erling Smørgrav 	return 1;
2798ed2b524SDag-Erling Smørgrav }
280*e2d15004SDag-Erling Smørgrav #endif /* USE_DSA */
2818ed2b524SDag-Erling Smørgrav 
2828ed2b524SDag-Erling Smørgrav #ifdef USE_ECDSA
2838ed2b524SDag-Erling Smørgrav /**
2848ed2b524SDag-Erling Smørgrav  * Setup the ECDSA signature in its encoding that the library wants.
2858ed2b524SDag-Erling Smørgrav  * Converts from plain numbers to ASN formatted.
2868ed2b524SDag-Erling Smørgrav  * @param sig: input is signature, output alloced ptr (unless failure).
2878ed2b524SDag-Erling Smørgrav  * 	caller must free alloced ptr if this routine returns true.
2888ed2b524SDag-Erling Smørgrav  * @param len: input is initial siglen, output is output len.
2898ed2b524SDag-Erling Smørgrav  * @return false on failure.
2908ed2b524SDag-Erling Smørgrav  */
2918ed2b524SDag-Erling Smørgrav static int
2928ed2b524SDag-Erling Smørgrav setup_ecdsa_sig(unsigned char** sig, unsigned int* len)
2938ed2b524SDag-Erling Smørgrav {
294*e2d15004SDag-Erling Smørgrav         /* convert from two BIGNUMs in the rdata buffer, to ASN notation.
295*e2d15004SDag-Erling Smørgrav 	 * ASN preable:  30440220 <R 32bytefor256> 0220 <S 32bytefor256>
296*e2d15004SDag-Erling Smørgrav 	 * the '20' is the length of that field (=bnsize).
297*e2d15004SDag-Erling Smørgrav i	 * the '44' is the total remaining length.
298*e2d15004SDag-Erling Smørgrav 	 * if negative, start with leading zero.
299*e2d15004SDag-Erling Smørgrav 	 * if starts with 00s, remove them from the number.
300*e2d15004SDag-Erling Smørgrav 	 */
301*e2d15004SDag-Erling Smørgrav         uint8_t pre[] = {0x30, 0x44, 0x02, 0x20};
302*e2d15004SDag-Erling Smørgrav         int pre_len = 4;
303*e2d15004SDag-Erling Smørgrav         uint8_t mid[] = {0x02, 0x20};
304*e2d15004SDag-Erling Smørgrav         int mid_len = 2;
305*e2d15004SDag-Erling Smørgrav         int raw_sig_len, r_high, s_high, r_rem=0, s_rem=0;
3068ed2b524SDag-Erling Smørgrav 	int bnsize = (int)((*len)/2);
307*e2d15004SDag-Erling Smørgrav         unsigned char* d = *sig;
308*e2d15004SDag-Erling Smørgrav 	uint8_t* p;
3098ed2b524SDag-Erling Smørgrav 	/* if too short or not even length, fails */
3108ed2b524SDag-Erling Smørgrav 	if(*len < 16 || bnsize*2 != (int)*len)
3118ed2b524SDag-Erling Smørgrav 		return 0;
3128ed2b524SDag-Erling Smørgrav 
313*e2d15004SDag-Erling Smørgrav         /* strip leading zeroes from r (but not last one) */
314*e2d15004SDag-Erling Smørgrav         while(r_rem < bnsize-1 && d[r_rem] == 0)
315*e2d15004SDag-Erling Smørgrav                 r_rem++;
316*e2d15004SDag-Erling Smørgrav         /* strip leading zeroes from s (but not last one) */
317*e2d15004SDag-Erling Smørgrav         while(s_rem < bnsize-1 && d[bnsize+s_rem] == 0)
318*e2d15004SDag-Erling Smørgrav                 s_rem++;
319*e2d15004SDag-Erling Smørgrav 
320*e2d15004SDag-Erling Smørgrav         r_high = ((d[0+r_rem]&0x80)?1:0);
321*e2d15004SDag-Erling Smørgrav         s_high = ((d[bnsize+s_rem]&0x80)?1:0);
322*e2d15004SDag-Erling Smørgrav         raw_sig_len = pre_len + r_high + bnsize - r_rem + mid_len +
323*e2d15004SDag-Erling Smørgrav                 s_high + bnsize - s_rem;
324*e2d15004SDag-Erling Smørgrav 	*sig = (unsigned char*)malloc((size_t)raw_sig_len);
325*e2d15004SDag-Erling Smørgrav 	if(!*sig)
3268ed2b524SDag-Erling Smørgrav 		return 0;
327*e2d15004SDag-Erling Smørgrav 	p = (uint8_t*)*sig;
328*e2d15004SDag-Erling Smørgrav 	p[0] = pre[0];
329*e2d15004SDag-Erling Smørgrav 	p[1] = (uint8_t)(raw_sig_len-2);
330*e2d15004SDag-Erling Smørgrav 	p[2] = pre[2];
331*e2d15004SDag-Erling Smørgrav 	p[3] = (uint8_t)(bnsize + r_high - r_rem);
332*e2d15004SDag-Erling Smørgrav 	p += 4;
333*e2d15004SDag-Erling Smørgrav 	if(r_high) {
334*e2d15004SDag-Erling Smørgrav 		*p = 0;
335*e2d15004SDag-Erling Smørgrav 		p += 1;
3368ed2b524SDag-Erling Smørgrav 	}
337*e2d15004SDag-Erling Smørgrav 	memmove(p, d+r_rem, (size_t)bnsize-r_rem);
338*e2d15004SDag-Erling Smørgrav 	p += bnsize-r_rem;
339*e2d15004SDag-Erling Smørgrav 	memmove(p, mid, (size_t)mid_len-1);
340*e2d15004SDag-Erling Smørgrav 	p += mid_len-1;
341*e2d15004SDag-Erling Smørgrav 	*p = (uint8_t)(bnsize + s_high - s_rem);
342*e2d15004SDag-Erling Smørgrav 	p += 1;
343*e2d15004SDag-Erling Smørgrav         if(s_high) {
344*e2d15004SDag-Erling Smørgrav 		*p = 0;
345*e2d15004SDag-Erling Smørgrav 		p += 1;
346*e2d15004SDag-Erling Smørgrav 	}
347*e2d15004SDag-Erling Smørgrav 	memmove(p, d+bnsize+s_rem, (size_t)bnsize-s_rem);
348*e2d15004SDag-Erling Smørgrav 	*len = (unsigned int)raw_sig_len;
3498ed2b524SDag-Erling Smørgrav 	return 1;
3508ed2b524SDag-Erling Smørgrav }
3518ed2b524SDag-Erling Smørgrav #endif /* USE_ECDSA */
3528ed2b524SDag-Erling Smørgrav 
3538ed2b524SDag-Erling Smørgrav /**
3548ed2b524SDag-Erling Smørgrav  * Setup key and digest for verification. Adjust sig if necessary.
3558ed2b524SDag-Erling Smørgrav  *
3568ed2b524SDag-Erling Smørgrav  * @param algo: key algorithm
3578ed2b524SDag-Erling Smørgrav  * @param evp_key: EVP PKEY public key to create.
3588ed2b524SDag-Erling Smørgrav  * @param digest_type: digest type to use
3598ed2b524SDag-Erling Smørgrav  * @param key: key to setup for.
3608ed2b524SDag-Erling Smørgrav  * @param keylen: length of key.
3618ed2b524SDag-Erling Smørgrav  * @return false on failure.
3628ed2b524SDag-Erling Smørgrav  */
3638ed2b524SDag-Erling Smørgrav static int
3648ed2b524SDag-Erling Smørgrav setup_key_digest(int algo, EVP_PKEY** evp_key, const EVP_MD** digest_type,
3658ed2b524SDag-Erling Smørgrav 	unsigned char* key, size_t keylen)
3668ed2b524SDag-Erling Smørgrav {
367*e2d15004SDag-Erling Smørgrav #ifdef USE_DSA
3688ed2b524SDag-Erling Smørgrav 	DSA* dsa;
369*e2d15004SDag-Erling Smørgrav #endif
3708ed2b524SDag-Erling Smørgrav 	RSA* rsa;
3718ed2b524SDag-Erling Smørgrav 
3728ed2b524SDag-Erling Smørgrav 	switch(algo) {
373*e2d15004SDag-Erling Smørgrav #ifdef USE_DSA
3748ed2b524SDag-Erling Smørgrav 		case LDNS_DSA:
3758ed2b524SDag-Erling Smørgrav 		case LDNS_DSA_NSEC3:
3768ed2b524SDag-Erling Smørgrav 			*evp_key = EVP_PKEY_new();
3778ed2b524SDag-Erling Smørgrav 			if(!*evp_key) {
3788ed2b524SDag-Erling Smørgrav 				log_err("verify: malloc failure in crypto");
3798ed2b524SDag-Erling Smørgrav 				return 0;
3808ed2b524SDag-Erling Smørgrav 			}
38117d15b25SDag-Erling Smørgrav 			dsa = sldns_key_buf2dsa_raw(key, keylen);
3828ed2b524SDag-Erling Smørgrav 			if(!dsa) {
3838ed2b524SDag-Erling Smørgrav 				verbose(VERB_QUERY, "verify: "
38417d15b25SDag-Erling Smørgrav 					"sldns_key_buf2dsa_raw failed");
3858ed2b524SDag-Erling Smørgrav 				return 0;
3868ed2b524SDag-Erling Smørgrav 			}
3878ed2b524SDag-Erling Smørgrav 			if(EVP_PKEY_assign_DSA(*evp_key, dsa) == 0) {
3888ed2b524SDag-Erling Smørgrav 				verbose(VERB_QUERY, "verify: "
3898ed2b524SDag-Erling Smørgrav 					"EVP_PKEY_assign_DSA failed");
3908ed2b524SDag-Erling Smørgrav 				return 0;
3918ed2b524SDag-Erling Smørgrav 			}
3928ed2b524SDag-Erling Smørgrav 			*digest_type = EVP_dss1();
3938ed2b524SDag-Erling Smørgrav 
3948ed2b524SDag-Erling Smørgrav 			break;
395*e2d15004SDag-Erling Smørgrav #endif /* USE_DSA */
3968ed2b524SDag-Erling Smørgrav 		case LDNS_RSASHA1:
3978ed2b524SDag-Erling Smørgrav 		case LDNS_RSASHA1_NSEC3:
3988ed2b524SDag-Erling Smørgrav #if defined(HAVE_EVP_SHA256) && defined(USE_SHA2)
3998ed2b524SDag-Erling Smørgrav 		case LDNS_RSASHA256:
4008ed2b524SDag-Erling Smørgrav #endif
4018ed2b524SDag-Erling Smørgrav #if defined(HAVE_EVP_SHA512) && defined(USE_SHA2)
4028ed2b524SDag-Erling Smørgrav 		case LDNS_RSASHA512:
4038ed2b524SDag-Erling Smørgrav #endif
4048ed2b524SDag-Erling Smørgrav 			*evp_key = EVP_PKEY_new();
4058ed2b524SDag-Erling Smørgrav 			if(!*evp_key) {
4068ed2b524SDag-Erling Smørgrav 				log_err("verify: malloc failure in crypto");
4078ed2b524SDag-Erling Smørgrav 				return 0;
4088ed2b524SDag-Erling Smørgrav 			}
40917d15b25SDag-Erling Smørgrav 			rsa = sldns_key_buf2rsa_raw(key, keylen);
4108ed2b524SDag-Erling Smørgrav 			if(!rsa) {
4118ed2b524SDag-Erling Smørgrav 				verbose(VERB_QUERY, "verify: "
41217d15b25SDag-Erling Smørgrav 					"sldns_key_buf2rsa_raw SHA failed");
4138ed2b524SDag-Erling Smørgrav 				return 0;
4148ed2b524SDag-Erling Smørgrav 			}
4158ed2b524SDag-Erling Smørgrav 			if(EVP_PKEY_assign_RSA(*evp_key, rsa) == 0) {
4168ed2b524SDag-Erling Smørgrav 				verbose(VERB_QUERY, "verify: "
4178ed2b524SDag-Erling Smørgrav 					"EVP_PKEY_assign_RSA SHA failed");
4188ed2b524SDag-Erling Smørgrav 				return 0;
4198ed2b524SDag-Erling Smørgrav 			}
4208ed2b524SDag-Erling Smørgrav 
4218ed2b524SDag-Erling Smørgrav 			/* select SHA version */
4228ed2b524SDag-Erling Smørgrav #if defined(HAVE_EVP_SHA256) && defined(USE_SHA2)
4238ed2b524SDag-Erling Smørgrav 			if(algo == LDNS_RSASHA256)
4248ed2b524SDag-Erling Smørgrav 				*digest_type = EVP_sha256();
4258ed2b524SDag-Erling Smørgrav 			else
4268ed2b524SDag-Erling Smørgrav #endif
4278ed2b524SDag-Erling Smørgrav #if defined(HAVE_EVP_SHA512) && defined(USE_SHA2)
4288ed2b524SDag-Erling Smørgrav 				if(algo == LDNS_RSASHA512)
4298ed2b524SDag-Erling Smørgrav 				*digest_type = EVP_sha512();
4308ed2b524SDag-Erling Smørgrav 			else
4318ed2b524SDag-Erling Smørgrav #endif
4328ed2b524SDag-Erling Smørgrav 				*digest_type = EVP_sha1();
4338ed2b524SDag-Erling Smørgrav 
4348ed2b524SDag-Erling Smørgrav 			break;
4358ed2b524SDag-Erling Smørgrav 		case LDNS_RSAMD5:
4368ed2b524SDag-Erling Smørgrav 			*evp_key = EVP_PKEY_new();
4378ed2b524SDag-Erling Smørgrav 			if(!*evp_key) {
4388ed2b524SDag-Erling Smørgrav 				log_err("verify: malloc failure in crypto");
4398ed2b524SDag-Erling Smørgrav 				return 0;
4408ed2b524SDag-Erling Smørgrav 			}
44117d15b25SDag-Erling Smørgrav 			rsa = sldns_key_buf2rsa_raw(key, keylen);
4428ed2b524SDag-Erling Smørgrav 			if(!rsa) {
4438ed2b524SDag-Erling Smørgrav 				verbose(VERB_QUERY, "verify: "
44417d15b25SDag-Erling Smørgrav 					"sldns_key_buf2rsa_raw MD5 failed");
4458ed2b524SDag-Erling Smørgrav 				return 0;
4468ed2b524SDag-Erling Smørgrav 			}
4478ed2b524SDag-Erling Smørgrav 			if(EVP_PKEY_assign_RSA(*evp_key, rsa) == 0) {
4488ed2b524SDag-Erling Smørgrav 				verbose(VERB_QUERY, "verify: "
4498ed2b524SDag-Erling Smørgrav 					"EVP_PKEY_assign_RSA MD5 failed");
4508ed2b524SDag-Erling Smørgrav 				return 0;
4518ed2b524SDag-Erling Smørgrav 			}
4528ed2b524SDag-Erling Smørgrav 			*digest_type = EVP_md5();
4538ed2b524SDag-Erling Smørgrav 
4548ed2b524SDag-Erling Smørgrav 			break;
4558ed2b524SDag-Erling Smørgrav #ifdef USE_GOST
4568ed2b524SDag-Erling Smørgrav 		case LDNS_ECC_GOST:
45717d15b25SDag-Erling Smørgrav 			*evp_key = sldns_gost2pkey_raw(key, keylen);
4588ed2b524SDag-Erling Smørgrav 			if(!*evp_key) {
4598ed2b524SDag-Erling Smørgrav 				verbose(VERB_QUERY, "verify: "
46017d15b25SDag-Erling Smørgrav 					"sldns_gost2pkey_raw failed");
4618ed2b524SDag-Erling Smørgrav 				return 0;
4628ed2b524SDag-Erling Smørgrav 			}
4638ed2b524SDag-Erling Smørgrav 			*digest_type = EVP_get_digestbyname("md_gost94");
4648ed2b524SDag-Erling Smørgrav 			if(!*digest_type) {
4658ed2b524SDag-Erling Smørgrav 				verbose(VERB_QUERY, "verify: "
4668ed2b524SDag-Erling Smørgrav 					"EVP_getdigest md_gost94 failed");
4678ed2b524SDag-Erling Smørgrav 				return 0;
4688ed2b524SDag-Erling Smørgrav 			}
4698ed2b524SDag-Erling Smørgrav 			break;
4708ed2b524SDag-Erling Smørgrav #endif
4718ed2b524SDag-Erling Smørgrav #ifdef USE_ECDSA
4728ed2b524SDag-Erling Smørgrav 		case LDNS_ECDSAP256SHA256:
47317d15b25SDag-Erling Smørgrav 			*evp_key = sldns_ecdsa2pkey_raw(key, keylen,
4748ed2b524SDag-Erling Smørgrav 				LDNS_ECDSAP256SHA256);
4758ed2b524SDag-Erling Smørgrav 			if(!*evp_key) {
4768ed2b524SDag-Erling Smørgrav 				verbose(VERB_QUERY, "verify: "
47717d15b25SDag-Erling Smørgrav 					"sldns_ecdsa2pkey_raw failed");
4788ed2b524SDag-Erling Smørgrav 				return 0;
4798ed2b524SDag-Erling Smørgrav 			}
4808ed2b524SDag-Erling Smørgrav #ifdef USE_ECDSA_EVP_WORKAROUND
4818ed2b524SDag-Erling Smørgrav 			/* openssl before 1.0.0 fixes RSA with the SHA256
4828ed2b524SDag-Erling Smørgrav 			 * hash in EVP.  We create one for ecdsa_sha256 */
4838ed2b524SDag-Erling Smørgrav 			{
4848ed2b524SDag-Erling Smørgrav 				static int md_ecdsa_256_done = 0;
4858ed2b524SDag-Erling Smørgrav 				static EVP_MD md;
4868ed2b524SDag-Erling Smørgrav 				if(!md_ecdsa_256_done) {
4878ed2b524SDag-Erling Smørgrav 					EVP_MD m = *EVP_sha256();
4888ed2b524SDag-Erling Smørgrav 					md_ecdsa_256_done = 1;
4898ed2b524SDag-Erling Smørgrav 					m.required_pkey_type[0] = (*evp_key)->type;
4908ed2b524SDag-Erling Smørgrav 					m.verify = (void*)ECDSA_verify;
4918ed2b524SDag-Erling Smørgrav 					md = m;
4928ed2b524SDag-Erling Smørgrav 				}
4938ed2b524SDag-Erling Smørgrav 				*digest_type = &md;
4948ed2b524SDag-Erling Smørgrav 			}
4958ed2b524SDag-Erling Smørgrav #else
4968ed2b524SDag-Erling Smørgrav 			*digest_type = EVP_sha256();
4978ed2b524SDag-Erling Smørgrav #endif
4988ed2b524SDag-Erling Smørgrav 			break;
4998ed2b524SDag-Erling Smørgrav 		case LDNS_ECDSAP384SHA384:
50017d15b25SDag-Erling Smørgrav 			*evp_key = sldns_ecdsa2pkey_raw(key, keylen,
5018ed2b524SDag-Erling Smørgrav 				LDNS_ECDSAP384SHA384);
5028ed2b524SDag-Erling Smørgrav 			if(!*evp_key) {
5038ed2b524SDag-Erling Smørgrav 				verbose(VERB_QUERY, "verify: "
50417d15b25SDag-Erling Smørgrav 					"sldns_ecdsa2pkey_raw failed");
5058ed2b524SDag-Erling Smørgrav 				return 0;
5068ed2b524SDag-Erling Smørgrav 			}
5078ed2b524SDag-Erling Smørgrav #ifdef USE_ECDSA_EVP_WORKAROUND
5088ed2b524SDag-Erling Smørgrav 			/* openssl before 1.0.0 fixes RSA with the SHA384
5098ed2b524SDag-Erling Smørgrav 			 * hash in EVP.  We create one for ecdsa_sha384 */
5108ed2b524SDag-Erling Smørgrav 			{
5118ed2b524SDag-Erling Smørgrav 				static int md_ecdsa_384_done = 0;
5128ed2b524SDag-Erling Smørgrav 				static EVP_MD md;
5138ed2b524SDag-Erling Smørgrav 				if(!md_ecdsa_384_done) {
5148ed2b524SDag-Erling Smørgrav 					EVP_MD m = *EVP_sha384();
5158ed2b524SDag-Erling Smørgrav 					md_ecdsa_384_done = 1;
5168ed2b524SDag-Erling Smørgrav 					m.required_pkey_type[0] = (*evp_key)->type;
5178ed2b524SDag-Erling Smørgrav 					m.verify = (void*)ECDSA_verify;
5188ed2b524SDag-Erling Smørgrav 					md = m;
5198ed2b524SDag-Erling Smørgrav 				}
5208ed2b524SDag-Erling Smørgrav 				*digest_type = &md;
5218ed2b524SDag-Erling Smørgrav 			}
5228ed2b524SDag-Erling Smørgrav #else
5238ed2b524SDag-Erling Smørgrav 			*digest_type = EVP_sha384();
5248ed2b524SDag-Erling Smørgrav #endif
5258ed2b524SDag-Erling Smørgrav 			break;
5268ed2b524SDag-Erling Smørgrav #endif /* USE_ECDSA */
5278ed2b524SDag-Erling Smørgrav 		default:
5288ed2b524SDag-Erling Smørgrav 			verbose(VERB_QUERY, "verify: unknown algorithm %d",
5298ed2b524SDag-Erling Smørgrav 				algo);
5308ed2b524SDag-Erling Smørgrav 			return 0;
5318ed2b524SDag-Erling Smørgrav 	}
5328ed2b524SDag-Erling Smørgrav 	return 1;
5338ed2b524SDag-Erling Smørgrav }
5348ed2b524SDag-Erling Smørgrav 
5358ed2b524SDag-Erling Smørgrav /**
5368ed2b524SDag-Erling Smørgrav  * Check a canonical sig+rrset and signature against a dnskey
5378ed2b524SDag-Erling Smørgrav  * @param buf: buffer with data to verify, the first rrsig part and the
5388ed2b524SDag-Erling Smørgrav  *	canonicalized rrset.
5398ed2b524SDag-Erling Smørgrav  * @param algo: DNSKEY algorithm.
5408ed2b524SDag-Erling Smørgrav  * @param sigblock: signature rdata field from RRSIG
5418ed2b524SDag-Erling Smørgrav  * @param sigblock_len: length of sigblock data.
5428ed2b524SDag-Erling Smørgrav  * @param key: public key data from DNSKEY RR.
5438ed2b524SDag-Erling Smørgrav  * @param keylen: length of keydata.
5448ed2b524SDag-Erling Smørgrav  * @param reason: bogus reason in more detail.
5458ed2b524SDag-Erling Smørgrav  * @return secure if verification succeeded, bogus on crypto failure,
5468ed2b524SDag-Erling Smørgrav  *	unchecked on format errors and alloc failures.
5478ed2b524SDag-Erling Smørgrav  */
5488ed2b524SDag-Erling Smørgrav enum sec_status
54917d15b25SDag-Erling Smørgrav verify_canonrrset(sldns_buffer* buf, int algo, unsigned char* sigblock,
5508ed2b524SDag-Erling Smørgrav 	unsigned int sigblock_len, unsigned char* key, unsigned int keylen,
5518ed2b524SDag-Erling Smørgrav 	char** reason)
5528ed2b524SDag-Erling Smørgrav {
5538ed2b524SDag-Erling Smørgrav 	const EVP_MD *digest_type;
554*e2d15004SDag-Erling Smørgrav 	EVP_MD_CTX* ctx;
555*e2d15004SDag-Erling Smørgrav 	int res, dofree = 0, docrypto_free = 0;
5568ed2b524SDag-Erling Smørgrav 	EVP_PKEY *evp_key = NULL;
5578ed2b524SDag-Erling Smørgrav 
5588ed2b524SDag-Erling Smørgrav 	if(!setup_key_digest(algo, &evp_key, &digest_type, key, keylen)) {
5598ed2b524SDag-Erling Smørgrav 		verbose(VERB_QUERY, "verify: failed to setup key");
5608ed2b524SDag-Erling Smørgrav 		*reason = "use of key for crypto failed";
5618ed2b524SDag-Erling Smørgrav 		EVP_PKEY_free(evp_key);
5628ed2b524SDag-Erling Smørgrav 		return sec_status_bogus;
5638ed2b524SDag-Erling Smørgrav 	}
564*e2d15004SDag-Erling Smørgrav #ifdef USE_DSA
5658ed2b524SDag-Erling Smørgrav 	/* if it is a DSA signature in bind format, convert to DER format */
5668ed2b524SDag-Erling Smørgrav 	if((algo == LDNS_DSA || algo == LDNS_DSA_NSEC3) &&
5678ed2b524SDag-Erling Smørgrav 		sigblock_len == 1+2*SHA_DIGEST_LENGTH) {
5688ed2b524SDag-Erling Smørgrav 		if(!setup_dsa_sig(&sigblock, &sigblock_len)) {
5698ed2b524SDag-Erling Smørgrav 			verbose(VERB_QUERY, "verify: failed to setup DSA sig");
5708ed2b524SDag-Erling Smørgrav 			*reason = "use of key for DSA crypto failed";
5718ed2b524SDag-Erling Smørgrav 			EVP_PKEY_free(evp_key);
5728ed2b524SDag-Erling Smørgrav 			return sec_status_bogus;
5738ed2b524SDag-Erling Smørgrav 		}
574*e2d15004SDag-Erling Smørgrav 		docrypto_free = 1;
5758ed2b524SDag-Erling Smørgrav 	}
576*e2d15004SDag-Erling Smørgrav #endif
577*e2d15004SDag-Erling Smørgrav #if defined(USE_ECDSA) && defined(USE_DSA)
578*e2d15004SDag-Erling Smørgrav 	else
579*e2d15004SDag-Erling Smørgrav #endif
5808ed2b524SDag-Erling Smørgrav #ifdef USE_ECDSA
581*e2d15004SDag-Erling Smørgrav 	if(algo == LDNS_ECDSAP256SHA256 || algo == LDNS_ECDSAP384SHA384) {
5828ed2b524SDag-Erling Smørgrav 		/* EVP uses ASN prefix on sig, which is not in the wire data */
5838ed2b524SDag-Erling Smørgrav 		if(!setup_ecdsa_sig(&sigblock, &sigblock_len)) {
5848ed2b524SDag-Erling Smørgrav 			verbose(VERB_QUERY, "verify: failed to setup ECDSA sig");
5858ed2b524SDag-Erling Smørgrav 			*reason = "use of signature for ECDSA crypto failed";
5868ed2b524SDag-Erling Smørgrav 			EVP_PKEY_free(evp_key);
5878ed2b524SDag-Erling Smørgrav 			return sec_status_bogus;
5888ed2b524SDag-Erling Smørgrav 		}
5898ed2b524SDag-Erling Smørgrav 		dofree = 1;
5908ed2b524SDag-Erling Smørgrav 	}
5918ed2b524SDag-Erling Smørgrav #endif /* USE_ECDSA */
5928ed2b524SDag-Erling Smørgrav 
5938ed2b524SDag-Erling Smørgrav 	/* do the signature cryptography work */
594*e2d15004SDag-Erling Smørgrav #ifdef HAVE_EVP_MD_CTX_NEW
595*e2d15004SDag-Erling Smørgrav 	ctx = EVP_MD_CTX_new();
596*e2d15004SDag-Erling Smørgrav #else
597*e2d15004SDag-Erling Smørgrav 	ctx = (EVP_MD_CTX*)malloc(sizeof(*ctx));
598*e2d15004SDag-Erling Smørgrav 	if(ctx) EVP_MD_CTX_init(ctx);
599*e2d15004SDag-Erling Smørgrav #endif
600*e2d15004SDag-Erling Smørgrav 	if(!ctx) {
601*e2d15004SDag-Erling Smørgrav 		log_err("EVP_MD_CTX_new: malloc failure");
6028ed2b524SDag-Erling Smørgrav 		EVP_PKEY_free(evp_key);
6038ed2b524SDag-Erling Smørgrav 		if(dofree) free(sigblock);
604*e2d15004SDag-Erling Smørgrav 		else if(docrypto_free) CRYPTO_free(sigblock);
6058ed2b524SDag-Erling Smørgrav 		return sec_status_unchecked;
6068ed2b524SDag-Erling Smørgrav 	}
607*e2d15004SDag-Erling Smørgrav 	if(EVP_VerifyInit(ctx, digest_type) == 0) {
608*e2d15004SDag-Erling Smørgrav 		verbose(VERB_QUERY, "verify: EVP_VerifyInit failed");
609*e2d15004SDag-Erling Smørgrav 		EVP_MD_CTX_destroy(ctx);
610*e2d15004SDag-Erling Smørgrav 		EVP_PKEY_free(evp_key);
611*e2d15004SDag-Erling Smørgrav 		if(dofree) free(sigblock);
612*e2d15004SDag-Erling Smørgrav 		else if(docrypto_free) CRYPTO_free(sigblock);
613*e2d15004SDag-Erling Smørgrav 		return sec_status_unchecked;
614*e2d15004SDag-Erling Smørgrav 	}
615*e2d15004SDag-Erling Smørgrav 	if(EVP_VerifyUpdate(ctx, (unsigned char*)sldns_buffer_begin(buf),
61617d15b25SDag-Erling Smørgrav 		(unsigned int)sldns_buffer_limit(buf)) == 0) {
6178ed2b524SDag-Erling Smørgrav 		verbose(VERB_QUERY, "verify: EVP_VerifyUpdate failed");
618*e2d15004SDag-Erling Smørgrav 		EVP_MD_CTX_destroy(ctx);
6198ed2b524SDag-Erling Smørgrav 		EVP_PKEY_free(evp_key);
6208ed2b524SDag-Erling Smørgrav 		if(dofree) free(sigblock);
621*e2d15004SDag-Erling Smørgrav 		else if(docrypto_free) CRYPTO_free(sigblock);
6228ed2b524SDag-Erling Smørgrav 		return sec_status_unchecked;
6238ed2b524SDag-Erling Smørgrav 	}
6248ed2b524SDag-Erling Smørgrav 
625*e2d15004SDag-Erling Smørgrav 	res = EVP_VerifyFinal(ctx, sigblock, sigblock_len, evp_key);
626*e2d15004SDag-Erling Smørgrav #ifdef HAVE_EVP_MD_CTX_NEW
627*e2d15004SDag-Erling Smørgrav 	EVP_MD_CTX_destroy(ctx);
628*e2d15004SDag-Erling Smørgrav #else
629*e2d15004SDag-Erling Smørgrav 	EVP_MD_CTX_cleanup(ctx);
630*e2d15004SDag-Erling Smørgrav 	free(ctx);
631*e2d15004SDag-Erling Smørgrav #endif
6328ed2b524SDag-Erling Smørgrav 	EVP_PKEY_free(evp_key);
6338ed2b524SDag-Erling Smørgrav 
634*e2d15004SDag-Erling Smørgrav 	if(dofree) free(sigblock);
635*e2d15004SDag-Erling Smørgrav 	else if(docrypto_free) CRYPTO_free(sigblock);
6368ed2b524SDag-Erling Smørgrav 
6378ed2b524SDag-Erling Smørgrav 	if(res == 1) {
6388ed2b524SDag-Erling Smørgrav 		return sec_status_secure;
6398ed2b524SDag-Erling Smørgrav 	} else if(res == 0) {
6408ed2b524SDag-Erling Smørgrav 		verbose(VERB_QUERY, "verify: signature mismatch");
6418ed2b524SDag-Erling Smørgrav 		*reason = "signature crypto failed";
6428ed2b524SDag-Erling Smørgrav 		return sec_status_bogus;
6438ed2b524SDag-Erling Smørgrav 	}
6448ed2b524SDag-Erling Smørgrav 
6458ed2b524SDag-Erling Smørgrav 	log_crypto_error("verify:", ERR_get_error());
6468ed2b524SDag-Erling Smørgrav 	return sec_status_unchecked;
6478ed2b524SDag-Erling Smørgrav }
6488ed2b524SDag-Erling Smørgrav 
6498ed2b524SDag-Erling Smørgrav /**************************************************/
6508ed2b524SDag-Erling Smørgrav #elif defined(HAVE_NSS)
6518ed2b524SDag-Erling Smørgrav /* libnss implementation */
6528ed2b524SDag-Erling Smørgrav /* nss3 */
6538ed2b524SDag-Erling Smørgrav #include "sechash.h"
6548ed2b524SDag-Erling Smørgrav #include "pk11pub.h"
6558ed2b524SDag-Erling Smørgrav #include "keyhi.h"
6568ed2b524SDag-Erling Smørgrav #include "secerr.h"
6578ed2b524SDag-Erling Smørgrav #include "cryptohi.h"
6588ed2b524SDag-Erling Smørgrav /* nspr4 */
6598ed2b524SDag-Erling Smørgrav #include "prerror.h"
6608ed2b524SDag-Erling Smørgrav 
66105ab2901SDag-Erling Smørgrav /* return size of digest if supported, or 0 otherwise */
66205ab2901SDag-Erling Smørgrav size_t
66305ab2901SDag-Erling Smørgrav nsec3_hash_algo_size_supported(int id)
66405ab2901SDag-Erling Smørgrav {
66505ab2901SDag-Erling Smørgrav 	switch(id) {
66605ab2901SDag-Erling Smørgrav 	case NSEC3_HASH_SHA1:
66705ab2901SDag-Erling Smørgrav 		return SHA1_LENGTH;
66805ab2901SDag-Erling Smørgrav 	default:
66905ab2901SDag-Erling Smørgrav 		return 0;
67005ab2901SDag-Erling Smørgrav 	}
67105ab2901SDag-Erling Smørgrav }
67205ab2901SDag-Erling Smørgrav 
67305ab2901SDag-Erling Smørgrav /* perform nsec3 hash. return false on failure */
67405ab2901SDag-Erling Smørgrav int
67505ab2901SDag-Erling Smørgrav secalgo_nsec3_hash(int algo, unsigned char* buf, size_t len,
67605ab2901SDag-Erling Smørgrav         unsigned char* res)
67705ab2901SDag-Erling Smørgrav {
67805ab2901SDag-Erling Smørgrav 	switch(algo) {
67905ab2901SDag-Erling Smørgrav 	case NSEC3_HASH_SHA1:
68005ab2901SDag-Erling Smørgrav 		(void)HASH_HashBuf(HASH_AlgSHA1, res, buf, (unsigned long)len);
68105ab2901SDag-Erling Smørgrav 		return 1;
68205ab2901SDag-Erling Smørgrav 	default:
68305ab2901SDag-Erling Smørgrav 		return 0;
68405ab2901SDag-Erling Smørgrav 	}
68505ab2901SDag-Erling Smørgrav }
68605ab2901SDag-Erling Smørgrav 
687*e2d15004SDag-Erling Smørgrav void
688*e2d15004SDag-Erling Smørgrav secalgo_hash_sha256(unsigned char* buf, size_t len, unsigned char* res)
689*e2d15004SDag-Erling Smørgrav {
690*e2d15004SDag-Erling Smørgrav 	(void)HASH_HashBuf(HASH_AlgSHA256, res, buf, (unsigned long)len);
691*e2d15004SDag-Erling Smørgrav }
692*e2d15004SDag-Erling Smørgrav 
6938ed2b524SDag-Erling Smørgrav size_t
6948ed2b524SDag-Erling Smørgrav ds_digest_size_supported(int algo)
6958ed2b524SDag-Erling Smørgrav {
6968ed2b524SDag-Erling Smørgrav 	/* uses libNSS */
6978ed2b524SDag-Erling Smørgrav 	switch(algo) {
6988ed2b524SDag-Erling Smørgrav 		case LDNS_SHA1:
6998ed2b524SDag-Erling Smørgrav 			return SHA1_LENGTH;
7008ed2b524SDag-Erling Smørgrav #ifdef USE_SHA2
7018ed2b524SDag-Erling Smørgrav 		case LDNS_SHA256:
7028ed2b524SDag-Erling Smørgrav 			return SHA256_LENGTH;
7038ed2b524SDag-Erling Smørgrav #endif
7048ed2b524SDag-Erling Smørgrav #ifdef USE_ECDSA
7058ed2b524SDag-Erling Smørgrav 		case LDNS_SHA384:
7068ed2b524SDag-Erling Smørgrav 			return SHA384_LENGTH;
7078ed2b524SDag-Erling Smørgrav #endif
7088ed2b524SDag-Erling Smørgrav 		/* GOST not supported in NSS */
7098ed2b524SDag-Erling Smørgrav 		case LDNS_HASH_GOST:
7108ed2b524SDag-Erling Smørgrav 		default: break;
7118ed2b524SDag-Erling Smørgrav 	}
7128ed2b524SDag-Erling Smørgrav 	return 0;
7138ed2b524SDag-Erling Smørgrav }
7148ed2b524SDag-Erling Smørgrav 
7158ed2b524SDag-Erling Smørgrav int
7168ed2b524SDag-Erling Smørgrav secalgo_ds_digest(int algo, unsigned char* buf, size_t len,
7178ed2b524SDag-Erling Smørgrav 	unsigned char* res)
7188ed2b524SDag-Erling Smørgrav {
7198ed2b524SDag-Erling Smørgrav 	/* uses libNSS */
7208ed2b524SDag-Erling Smørgrav 	switch(algo) {
7218ed2b524SDag-Erling Smørgrav 		case LDNS_SHA1:
7228ed2b524SDag-Erling Smørgrav 			return HASH_HashBuf(HASH_AlgSHA1, res, buf, len)
7238ed2b524SDag-Erling Smørgrav 				== SECSuccess;
7248ed2b524SDag-Erling Smørgrav #if defined(USE_SHA2)
7258ed2b524SDag-Erling Smørgrav 		case LDNS_SHA256:
7268ed2b524SDag-Erling Smørgrav 			return HASH_HashBuf(HASH_AlgSHA256, res, buf, len)
7278ed2b524SDag-Erling Smørgrav 				== SECSuccess;
7288ed2b524SDag-Erling Smørgrav #endif
7298ed2b524SDag-Erling Smørgrav #ifdef USE_ECDSA
7308ed2b524SDag-Erling Smørgrav 		case LDNS_SHA384:
7318ed2b524SDag-Erling Smørgrav 			return HASH_HashBuf(HASH_AlgSHA384, res, buf, len)
7328ed2b524SDag-Erling Smørgrav 				== SECSuccess;
7338ed2b524SDag-Erling Smørgrav #endif
7348ed2b524SDag-Erling Smørgrav 		case LDNS_HASH_GOST:
7358ed2b524SDag-Erling Smørgrav 		default:
7368ed2b524SDag-Erling Smørgrav 			verbose(VERB_QUERY, "unknown DS digest algorithm %d",
7378ed2b524SDag-Erling Smørgrav 				algo);
7388ed2b524SDag-Erling Smørgrav 			break;
7398ed2b524SDag-Erling Smørgrav 	}
7408ed2b524SDag-Erling Smørgrav 	return 0;
7418ed2b524SDag-Erling Smørgrav }
7428ed2b524SDag-Erling Smørgrav 
7438ed2b524SDag-Erling Smørgrav int
7448ed2b524SDag-Erling Smørgrav dnskey_algo_id_is_supported(int id)
7458ed2b524SDag-Erling Smørgrav {
7468ed2b524SDag-Erling Smørgrav 	/* uses libNSS */
7478ed2b524SDag-Erling Smørgrav 	switch(id) {
7488ed2b524SDag-Erling Smørgrav 	case LDNS_RSAMD5:
7498ed2b524SDag-Erling Smørgrav 		/* RFC 6725 deprecates RSAMD5 */
7508ed2b524SDag-Erling Smørgrav 		return 0;
751*e2d15004SDag-Erling Smørgrav #ifdef USE_DSA
7528ed2b524SDag-Erling Smørgrav 	case LDNS_DSA:
7538ed2b524SDag-Erling Smørgrav 	case LDNS_DSA_NSEC3:
754*e2d15004SDag-Erling Smørgrav #endif
7558ed2b524SDag-Erling Smørgrav 	case LDNS_RSASHA1:
7568ed2b524SDag-Erling Smørgrav 	case LDNS_RSASHA1_NSEC3:
7578ed2b524SDag-Erling Smørgrav #ifdef USE_SHA2
7588ed2b524SDag-Erling Smørgrav 	case LDNS_RSASHA256:
7598ed2b524SDag-Erling Smørgrav #endif
7608ed2b524SDag-Erling Smørgrav #ifdef USE_SHA2
7618ed2b524SDag-Erling Smørgrav 	case LDNS_RSASHA512:
7628ed2b524SDag-Erling Smørgrav #endif
7638ed2b524SDag-Erling Smørgrav 		return 1;
7648ed2b524SDag-Erling Smørgrav #ifdef USE_ECDSA
7658ed2b524SDag-Erling Smørgrav 	case LDNS_ECDSAP256SHA256:
7668ed2b524SDag-Erling Smørgrav 	case LDNS_ECDSAP384SHA384:
7678ed2b524SDag-Erling Smørgrav 		return PK11_TokenExists(CKM_ECDSA);
7688ed2b524SDag-Erling Smørgrav #endif
7698ed2b524SDag-Erling Smørgrav 	case LDNS_ECC_GOST:
7708ed2b524SDag-Erling Smørgrav 	default:
7718ed2b524SDag-Erling Smørgrav 		return 0;
7728ed2b524SDag-Erling Smørgrav 	}
7738ed2b524SDag-Erling Smørgrav }
7748ed2b524SDag-Erling Smørgrav 
7758ed2b524SDag-Erling Smørgrav /* return a new public key for NSS */
7768ed2b524SDag-Erling Smørgrav static SECKEYPublicKey* nss_key_create(KeyType ktype)
7778ed2b524SDag-Erling Smørgrav {
7788ed2b524SDag-Erling Smørgrav 	SECKEYPublicKey* key;
7798ed2b524SDag-Erling Smørgrav 	PLArenaPool* arena = PORT_NewArena(DER_DEFAULT_CHUNKSIZE);
7808ed2b524SDag-Erling Smørgrav 	if(!arena) {
7818ed2b524SDag-Erling Smørgrav 		log_err("out of memory, PORT_NewArena failed");
7828ed2b524SDag-Erling Smørgrav 		return NULL;
7838ed2b524SDag-Erling Smørgrav 	}
7848ed2b524SDag-Erling Smørgrav 	key = PORT_ArenaZNew(arena, SECKEYPublicKey);
7858ed2b524SDag-Erling Smørgrav 	if(!key) {
7868ed2b524SDag-Erling Smørgrav 		log_err("out of memory, PORT_ArenaZNew failed");
7878ed2b524SDag-Erling Smørgrav 		PORT_FreeArena(arena, PR_FALSE);
7888ed2b524SDag-Erling Smørgrav 		return NULL;
7898ed2b524SDag-Erling Smørgrav 	}
7908ed2b524SDag-Erling Smørgrav 	key->arena = arena;
7918ed2b524SDag-Erling Smørgrav 	key->keyType = ktype;
7928ed2b524SDag-Erling Smørgrav 	key->pkcs11Slot = NULL;
7938ed2b524SDag-Erling Smørgrav 	key->pkcs11ID = CK_INVALID_HANDLE;
7948ed2b524SDag-Erling Smørgrav 	return key;
7958ed2b524SDag-Erling Smørgrav }
7968ed2b524SDag-Erling Smørgrav 
7978ed2b524SDag-Erling Smørgrav static SECKEYPublicKey* nss_buf2ecdsa(unsigned char* key, size_t len, int algo)
7988ed2b524SDag-Erling Smørgrav {
7998ed2b524SDag-Erling Smørgrav 	SECKEYPublicKey* pk;
8008ed2b524SDag-Erling Smørgrav 	SECItem pub = {siBuffer, NULL, 0};
8018ed2b524SDag-Erling Smørgrav 	SECItem params = {siBuffer, NULL, 0};
80217d15b25SDag-Erling Smørgrav 	static unsigned char param256[] = {
8038ed2b524SDag-Erling Smørgrav 		/* OBJECTIDENTIFIER 1.2.840.10045.3.1.7 (P-256)
8048ed2b524SDag-Erling Smørgrav 		 * {iso(1) member-body(2) us(840) ansi-x962(10045) curves(3) prime(1) prime256v1(7)} */
8058ed2b524SDag-Erling Smørgrav 		0x06, 0x08, 0x2a, 0x86, 0x48, 0xce, 0x3d, 0x03, 0x01, 0x07
8068ed2b524SDag-Erling Smørgrav 	};
80717d15b25SDag-Erling Smørgrav 	static unsigned char param384[] = {
8088ed2b524SDag-Erling Smørgrav 		/* OBJECTIDENTIFIER 1.3.132.0.34 (P-384)
8098ed2b524SDag-Erling Smørgrav 		 * {iso(1) identified-organization(3) certicom(132) curve(0) ansip384r1(34)} */
8108ed2b524SDag-Erling Smørgrav 		0x06, 0x05, 0x2b, 0x81, 0x04, 0x00, 0x22
8118ed2b524SDag-Erling Smørgrav 	};
8128ed2b524SDag-Erling Smørgrav 	unsigned char buf[256+2]; /* sufficient for 2*384/8+1 */
8138ed2b524SDag-Erling Smørgrav 
8148ed2b524SDag-Erling Smørgrav 	/* check length, which uncompressed must be 2 bignums */
8158ed2b524SDag-Erling Smørgrav 	if(algo == LDNS_ECDSAP256SHA256) {
8168ed2b524SDag-Erling Smørgrav 		if(len != 2*256/8) return NULL;
8178ed2b524SDag-Erling Smørgrav 		/* ECCurve_X9_62_PRIME_256V1 */
8188ed2b524SDag-Erling Smørgrav 	} else if(algo == LDNS_ECDSAP384SHA384) {
8198ed2b524SDag-Erling Smørgrav 		if(len != 2*384/8) return NULL;
8208ed2b524SDag-Erling Smørgrav 		/* ECCurve_X9_62_PRIME_384R1 */
8218ed2b524SDag-Erling Smørgrav 	} else    return NULL;
8228ed2b524SDag-Erling Smørgrav 
8238ed2b524SDag-Erling Smørgrav 	buf[0] = 0x04; /* POINT_FORM_UNCOMPRESSED */
8248ed2b524SDag-Erling Smørgrav 	memmove(buf+1, key, len);
8258ed2b524SDag-Erling Smørgrav 	pub.data = buf;
8268ed2b524SDag-Erling Smørgrav 	pub.len = len+1;
8278ed2b524SDag-Erling Smørgrav 	if(algo == LDNS_ECDSAP256SHA256) {
8288ed2b524SDag-Erling Smørgrav 		params.data = param256;
8298ed2b524SDag-Erling Smørgrav 		params.len = sizeof(param256);
8308ed2b524SDag-Erling Smørgrav 	} else {
8318ed2b524SDag-Erling Smørgrav 		params.data = param384;
8328ed2b524SDag-Erling Smørgrav 		params.len = sizeof(param384);
8338ed2b524SDag-Erling Smørgrav 	}
8348ed2b524SDag-Erling Smørgrav 
8358ed2b524SDag-Erling Smørgrav 	pk = nss_key_create(ecKey);
8368ed2b524SDag-Erling Smørgrav 	if(!pk)
8378ed2b524SDag-Erling Smørgrav 		return NULL;
8388ed2b524SDag-Erling Smørgrav 	pk->u.ec.size = (len/2)*8;
8398ed2b524SDag-Erling Smørgrav 	if(SECITEM_CopyItem(pk->arena, &pk->u.ec.publicValue, &pub)) {
8408ed2b524SDag-Erling Smørgrav 		SECKEY_DestroyPublicKey(pk);
8418ed2b524SDag-Erling Smørgrav 		return NULL;
8428ed2b524SDag-Erling Smørgrav 	}
8438ed2b524SDag-Erling Smørgrav 	if(SECITEM_CopyItem(pk->arena, &pk->u.ec.DEREncodedParams, &params)) {
8448ed2b524SDag-Erling Smørgrav 		SECKEY_DestroyPublicKey(pk);
8458ed2b524SDag-Erling Smørgrav 		return NULL;
8468ed2b524SDag-Erling Smørgrav 	}
8478ed2b524SDag-Erling Smørgrav 
8488ed2b524SDag-Erling Smørgrav 	return pk;
8498ed2b524SDag-Erling Smørgrav }
8508ed2b524SDag-Erling Smørgrav 
8518ed2b524SDag-Erling Smørgrav static SECKEYPublicKey* nss_buf2dsa(unsigned char* key, size_t len)
8528ed2b524SDag-Erling Smørgrav {
8538ed2b524SDag-Erling Smørgrav 	SECKEYPublicKey* pk;
8548ed2b524SDag-Erling Smørgrav 	uint8_t T;
8558ed2b524SDag-Erling Smørgrav 	uint16_t length;
8568ed2b524SDag-Erling Smørgrav 	uint16_t offset;
8578ed2b524SDag-Erling Smørgrav 	SECItem Q = {siBuffer, NULL, 0};
8588ed2b524SDag-Erling Smørgrav 	SECItem P = {siBuffer, NULL, 0};
8598ed2b524SDag-Erling Smørgrav 	SECItem G = {siBuffer, NULL, 0};
8608ed2b524SDag-Erling Smørgrav 	SECItem Y = {siBuffer, NULL, 0};
8618ed2b524SDag-Erling Smørgrav 
8628ed2b524SDag-Erling Smørgrav 	if(len == 0)
8638ed2b524SDag-Erling Smørgrav 		return NULL;
8648ed2b524SDag-Erling Smørgrav 	T = (uint8_t)key[0];
8658ed2b524SDag-Erling Smørgrav 	length = (64 + T * 8);
8668ed2b524SDag-Erling Smørgrav 	offset = 1;
8678ed2b524SDag-Erling Smørgrav 
8688ed2b524SDag-Erling Smørgrav 	if (T > 8) {
8698ed2b524SDag-Erling Smørgrav 		return NULL;
8708ed2b524SDag-Erling Smørgrav 	}
8718ed2b524SDag-Erling Smørgrav 	if(len < (size_t)1 + SHA1_LENGTH + 3*length)
8728ed2b524SDag-Erling Smørgrav 		return NULL;
8738ed2b524SDag-Erling Smørgrav 
8748ed2b524SDag-Erling Smørgrav 	Q.data = key+offset;
8758ed2b524SDag-Erling Smørgrav 	Q.len = SHA1_LENGTH;
8768ed2b524SDag-Erling Smørgrav 	offset += SHA1_LENGTH;
8778ed2b524SDag-Erling Smørgrav 
8788ed2b524SDag-Erling Smørgrav 	P.data = key+offset;
8798ed2b524SDag-Erling Smørgrav 	P.len = length;
8808ed2b524SDag-Erling Smørgrav 	offset += length;
8818ed2b524SDag-Erling Smørgrav 
8828ed2b524SDag-Erling Smørgrav 	G.data = key+offset;
8838ed2b524SDag-Erling Smørgrav 	G.len = length;
8848ed2b524SDag-Erling Smørgrav 	offset += length;
8858ed2b524SDag-Erling Smørgrav 
8868ed2b524SDag-Erling Smørgrav 	Y.data = key+offset;
8878ed2b524SDag-Erling Smørgrav 	Y.len = length;
8888ed2b524SDag-Erling Smørgrav 	offset += length;
8898ed2b524SDag-Erling Smørgrav 
8908ed2b524SDag-Erling Smørgrav 	pk = nss_key_create(dsaKey);
8918ed2b524SDag-Erling Smørgrav 	if(!pk)
8928ed2b524SDag-Erling Smørgrav 		return NULL;
8938ed2b524SDag-Erling Smørgrav 	if(SECITEM_CopyItem(pk->arena, &pk->u.dsa.params.prime, &P)) {
8948ed2b524SDag-Erling Smørgrav 		SECKEY_DestroyPublicKey(pk);
8958ed2b524SDag-Erling Smørgrav 		return NULL;
8968ed2b524SDag-Erling Smørgrav 	}
8978ed2b524SDag-Erling Smørgrav 	if(SECITEM_CopyItem(pk->arena, &pk->u.dsa.params.subPrime, &Q)) {
8988ed2b524SDag-Erling Smørgrav 		SECKEY_DestroyPublicKey(pk);
8998ed2b524SDag-Erling Smørgrav 		return NULL;
9008ed2b524SDag-Erling Smørgrav 	}
9018ed2b524SDag-Erling Smørgrav 	if(SECITEM_CopyItem(pk->arena, &pk->u.dsa.params.base, &G)) {
9028ed2b524SDag-Erling Smørgrav 		SECKEY_DestroyPublicKey(pk);
9038ed2b524SDag-Erling Smørgrav 		return NULL;
9048ed2b524SDag-Erling Smørgrav 	}
9058ed2b524SDag-Erling Smørgrav 	if(SECITEM_CopyItem(pk->arena, &pk->u.dsa.publicValue, &Y)) {
9068ed2b524SDag-Erling Smørgrav 		SECKEY_DestroyPublicKey(pk);
9078ed2b524SDag-Erling Smørgrav 		return NULL;
9088ed2b524SDag-Erling Smørgrav 	}
9098ed2b524SDag-Erling Smørgrav 	return pk;
9108ed2b524SDag-Erling Smørgrav }
9118ed2b524SDag-Erling Smørgrav 
9128ed2b524SDag-Erling Smørgrav static SECKEYPublicKey* nss_buf2rsa(unsigned char* key, size_t len)
9138ed2b524SDag-Erling Smørgrav {
9148ed2b524SDag-Erling Smørgrav 	SECKEYPublicKey* pk;
9158ed2b524SDag-Erling Smørgrav 	uint16_t exp;
9168ed2b524SDag-Erling Smørgrav 	uint16_t offset;
9178ed2b524SDag-Erling Smørgrav 	uint16_t int16;
9188ed2b524SDag-Erling Smørgrav 	SECItem modulus = {siBuffer, NULL, 0};
9198ed2b524SDag-Erling Smørgrav 	SECItem exponent = {siBuffer, NULL, 0};
9208ed2b524SDag-Erling Smørgrav 	if(len == 0)
9218ed2b524SDag-Erling Smørgrav 		return NULL;
9228ed2b524SDag-Erling Smørgrav 	if(key[0] == 0) {
9238ed2b524SDag-Erling Smørgrav 		if(len < 3)
9248ed2b524SDag-Erling Smørgrav 			return NULL;
9258ed2b524SDag-Erling Smørgrav 		/* the exponent is too large so it's places further */
9268ed2b524SDag-Erling Smørgrav 		memmove(&int16, key+1, 2);
9278ed2b524SDag-Erling Smørgrav 		exp = ntohs(int16);
9288ed2b524SDag-Erling Smørgrav 		offset = 3;
9298ed2b524SDag-Erling Smørgrav 	} else {
9308ed2b524SDag-Erling Smørgrav 		exp = key[0];
9318ed2b524SDag-Erling Smørgrav 		offset = 1;
9328ed2b524SDag-Erling Smørgrav 	}
9338ed2b524SDag-Erling Smørgrav 
9348ed2b524SDag-Erling Smørgrav 	/* key length at least one */
9358ed2b524SDag-Erling Smørgrav 	if(len < (size_t)offset + exp + 1)
9368ed2b524SDag-Erling Smørgrav 		return NULL;
9378ed2b524SDag-Erling Smørgrav 
9388ed2b524SDag-Erling Smørgrav 	exponent.data = key+offset;
9398ed2b524SDag-Erling Smørgrav 	exponent.len = exp;
9408ed2b524SDag-Erling Smørgrav 	offset += exp;
9418ed2b524SDag-Erling Smørgrav 	modulus.data = key+offset;
9428ed2b524SDag-Erling Smørgrav 	modulus.len = (len - offset);
9438ed2b524SDag-Erling Smørgrav 
9448ed2b524SDag-Erling Smørgrav 	pk = nss_key_create(rsaKey);
9458ed2b524SDag-Erling Smørgrav 	if(!pk)
9468ed2b524SDag-Erling Smørgrav 		return NULL;
9478ed2b524SDag-Erling Smørgrav 	if(SECITEM_CopyItem(pk->arena, &pk->u.rsa.modulus, &modulus)) {
9488ed2b524SDag-Erling Smørgrav 		SECKEY_DestroyPublicKey(pk);
9498ed2b524SDag-Erling Smørgrav 		return NULL;
9508ed2b524SDag-Erling Smørgrav 	}
9518ed2b524SDag-Erling Smørgrav 	if(SECITEM_CopyItem(pk->arena, &pk->u.rsa.publicExponent, &exponent)) {
9528ed2b524SDag-Erling Smørgrav 		SECKEY_DestroyPublicKey(pk);
9538ed2b524SDag-Erling Smørgrav 		return NULL;
9548ed2b524SDag-Erling Smørgrav 	}
9558ed2b524SDag-Erling Smørgrav 	return pk;
9568ed2b524SDag-Erling Smørgrav }
9578ed2b524SDag-Erling Smørgrav 
9588ed2b524SDag-Erling Smørgrav /**
9598ed2b524SDag-Erling Smørgrav  * Setup key and digest for verification. Adjust sig if necessary.
9608ed2b524SDag-Erling Smørgrav  *
9618ed2b524SDag-Erling Smørgrav  * @param algo: key algorithm
9628ed2b524SDag-Erling Smørgrav  * @param evp_key: EVP PKEY public key to create.
9638ed2b524SDag-Erling Smørgrav  * @param digest_type: digest type to use
9648ed2b524SDag-Erling Smørgrav  * @param key: key to setup for.
9658ed2b524SDag-Erling Smørgrav  * @param keylen: length of key.
9668ed2b524SDag-Erling Smørgrav  * @param prefix: if returned, the ASN prefix for the hashblob.
9678ed2b524SDag-Erling Smørgrav  * @param prefixlen: length of the prefix.
9688ed2b524SDag-Erling Smørgrav  * @return false on failure.
9698ed2b524SDag-Erling Smørgrav  */
9708ed2b524SDag-Erling Smørgrav static int
9718ed2b524SDag-Erling Smørgrav nss_setup_key_digest(int algo, SECKEYPublicKey** pubkey, HASH_HashType* htype,
9728ed2b524SDag-Erling Smørgrav 	unsigned char* key, size_t keylen, unsigned char** prefix,
9738ed2b524SDag-Erling Smørgrav 	size_t* prefixlen)
9748ed2b524SDag-Erling Smørgrav {
9758ed2b524SDag-Erling Smørgrav 	/* uses libNSS */
9768ed2b524SDag-Erling Smørgrav 
9778ed2b524SDag-Erling Smørgrav 	/* hash prefix for md5, RFC2537 */
97817d15b25SDag-Erling Smørgrav 	static unsigned char p_md5[] = {0x30, 0x20, 0x30, 0x0c, 0x06, 0x08, 0x2a,
9798ed2b524SDag-Erling Smørgrav 	0x86, 0x48, 0x86, 0xf7, 0x0d, 0x02, 0x05, 0x05, 0x00, 0x04, 0x10};
9808ed2b524SDag-Erling Smørgrav 	/* hash prefix to prepend to hash output, from RFC3110 */
98117d15b25SDag-Erling Smørgrav 	static unsigned char p_sha1[] = {0x30, 0x21, 0x30, 0x09, 0x06, 0x05, 0x2B,
9828ed2b524SDag-Erling Smørgrav 		0x0E, 0x03, 0x02, 0x1A, 0x05, 0x00, 0x04, 0x14};
9838ed2b524SDag-Erling Smørgrav 	/* from RFC5702 */
98417d15b25SDag-Erling Smørgrav 	static unsigned char p_sha256[] = {0x30, 0x31, 0x30, 0x0d, 0x06, 0x09, 0x60,
9858ed2b524SDag-Erling Smørgrav 	0x86, 0x48, 0x01, 0x65, 0x03, 0x04, 0x02, 0x01, 0x05, 0x00, 0x04, 0x20};
98617d15b25SDag-Erling Smørgrav 	static unsigned char p_sha512[] = {0x30, 0x51, 0x30, 0x0d, 0x06, 0x09, 0x60,
9878ed2b524SDag-Erling Smørgrav 	0x86, 0x48, 0x01, 0x65, 0x03, 0x04, 0x02, 0x03, 0x05, 0x00, 0x04, 0x40};
9888ed2b524SDag-Erling Smørgrav 	/* from RFC6234 */
9898ed2b524SDag-Erling Smørgrav 	/* for future RSASHA384 ..
99017d15b25SDag-Erling Smørgrav 	static unsigned char p_sha384[] = {0x30, 0x51, 0x30, 0x0d, 0x06, 0x09, 0x60,
9918ed2b524SDag-Erling Smørgrav 	0x86, 0x48, 0x01, 0x65, 0x03, 0x04, 0x02, 0x02, 0x05, 0x00, 0x04, 0x30};
9928ed2b524SDag-Erling Smørgrav 	*/
9938ed2b524SDag-Erling Smørgrav 
9948ed2b524SDag-Erling Smørgrav 	switch(algo) {
995*e2d15004SDag-Erling Smørgrav #ifdef USE_DSA
9968ed2b524SDag-Erling Smørgrav 		case LDNS_DSA:
9978ed2b524SDag-Erling Smørgrav 		case LDNS_DSA_NSEC3:
9988ed2b524SDag-Erling Smørgrav 			*pubkey = nss_buf2dsa(key, keylen);
9998ed2b524SDag-Erling Smørgrav 			if(!*pubkey) {
10008ed2b524SDag-Erling Smørgrav 				log_err("verify: malloc failure in crypto");
10018ed2b524SDag-Erling Smørgrav 				return 0;
10028ed2b524SDag-Erling Smørgrav 			}
10038ed2b524SDag-Erling Smørgrav 			*htype = HASH_AlgSHA1;
10048ed2b524SDag-Erling Smørgrav 			/* no prefix for DSA verification */
10058ed2b524SDag-Erling Smørgrav 			break;
1006*e2d15004SDag-Erling Smørgrav #endif
10078ed2b524SDag-Erling Smørgrav 		case LDNS_RSASHA1:
10088ed2b524SDag-Erling Smørgrav 		case LDNS_RSASHA1_NSEC3:
10098ed2b524SDag-Erling Smørgrav #ifdef USE_SHA2
10108ed2b524SDag-Erling Smørgrav 		case LDNS_RSASHA256:
10118ed2b524SDag-Erling Smørgrav #endif
10128ed2b524SDag-Erling Smørgrav #ifdef USE_SHA2
10138ed2b524SDag-Erling Smørgrav 		case LDNS_RSASHA512:
10148ed2b524SDag-Erling Smørgrav #endif
10158ed2b524SDag-Erling Smørgrav 			*pubkey = nss_buf2rsa(key, keylen);
10168ed2b524SDag-Erling Smørgrav 			if(!*pubkey) {
10178ed2b524SDag-Erling Smørgrav 				log_err("verify: malloc failure in crypto");
10188ed2b524SDag-Erling Smørgrav 				return 0;
10198ed2b524SDag-Erling Smørgrav 			}
10208ed2b524SDag-Erling Smørgrav 			/* select SHA version */
10218ed2b524SDag-Erling Smørgrav #ifdef USE_SHA2
10228ed2b524SDag-Erling Smørgrav 			if(algo == LDNS_RSASHA256) {
10238ed2b524SDag-Erling Smørgrav 				*htype = HASH_AlgSHA256;
10248ed2b524SDag-Erling Smørgrav 				*prefix = p_sha256;
10258ed2b524SDag-Erling Smørgrav 				*prefixlen = sizeof(p_sha256);
10268ed2b524SDag-Erling Smørgrav 			} else
10278ed2b524SDag-Erling Smørgrav #endif
10288ed2b524SDag-Erling Smørgrav #ifdef USE_SHA2
10298ed2b524SDag-Erling Smørgrav 				if(algo == LDNS_RSASHA512) {
10308ed2b524SDag-Erling Smørgrav 				*htype = HASH_AlgSHA512;
10318ed2b524SDag-Erling Smørgrav 				*prefix = p_sha512;
10328ed2b524SDag-Erling Smørgrav 				*prefixlen = sizeof(p_sha512);
10338ed2b524SDag-Erling Smørgrav 			} else
10348ed2b524SDag-Erling Smørgrav #endif
10358ed2b524SDag-Erling Smørgrav 			{
10368ed2b524SDag-Erling Smørgrav 				*htype = HASH_AlgSHA1;
10378ed2b524SDag-Erling Smørgrav 				*prefix = p_sha1;
10388ed2b524SDag-Erling Smørgrav 				*prefixlen = sizeof(p_sha1);
10398ed2b524SDag-Erling Smørgrav 			}
10408ed2b524SDag-Erling Smørgrav 
10418ed2b524SDag-Erling Smørgrav 			break;
10428ed2b524SDag-Erling Smørgrav 		case LDNS_RSAMD5:
10438ed2b524SDag-Erling Smørgrav 			*pubkey = nss_buf2rsa(key, keylen);
10448ed2b524SDag-Erling Smørgrav 			if(!*pubkey) {
10458ed2b524SDag-Erling Smørgrav 				log_err("verify: malloc failure in crypto");
10468ed2b524SDag-Erling Smørgrav 				return 0;
10478ed2b524SDag-Erling Smørgrav 			}
10488ed2b524SDag-Erling Smørgrav 			*htype = HASH_AlgMD5;
10498ed2b524SDag-Erling Smørgrav 			*prefix = p_md5;
10508ed2b524SDag-Erling Smørgrav 			*prefixlen = sizeof(p_md5);
10518ed2b524SDag-Erling Smørgrav 
10528ed2b524SDag-Erling Smørgrav 			break;
10538ed2b524SDag-Erling Smørgrav #ifdef USE_ECDSA
10548ed2b524SDag-Erling Smørgrav 		case LDNS_ECDSAP256SHA256:
10558ed2b524SDag-Erling Smørgrav 			*pubkey = nss_buf2ecdsa(key, keylen,
10568ed2b524SDag-Erling Smørgrav 				LDNS_ECDSAP256SHA256);
10578ed2b524SDag-Erling Smørgrav 			if(!*pubkey) {
10588ed2b524SDag-Erling Smørgrav 				log_err("verify: malloc failure in crypto");
10598ed2b524SDag-Erling Smørgrav 				return 0;
10608ed2b524SDag-Erling Smørgrav 			}
10618ed2b524SDag-Erling Smørgrav 			*htype = HASH_AlgSHA256;
10628ed2b524SDag-Erling Smørgrav 			/* no prefix for DSA verification */
10638ed2b524SDag-Erling Smørgrav 			break;
10648ed2b524SDag-Erling Smørgrav 		case LDNS_ECDSAP384SHA384:
10658ed2b524SDag-Erling Smørgrav 			*pubkey = nss_buf2ecdsa(key, keylen,
10668ed2b524SDag-Erling Smørgrav 				LDNS_ECDSAP384SHA384);
10678ed2b524SDag-Erling Smørgrav 			if(!*pubkey) {
10688ed2b524SDag-Erling Smørgrav 				log_err("verify: malloc failure in crypto");
10698ed2b524SDag-Erling Smørgrav 				return 0;
10708ed2b524SDag-Erling Smørgrav 			}
10718ed2b524SDag-Erling Smørgrav 			*htype = HASH_AlgSHA384;
10728ed2b524SDag-Erling Smørgrav 			/* no prefix for DSA verification */
10738ed2b524SDag-Erling Smørgrav 			break;
10748ed2b524SDag-Erling Smørgrav #endif /* USE_ECDSA */
10758ed2b524SDag-Erling Smørgrav 		case LDNS_ECC_GOST:
10768ed2b524SDag-Erling Smørgrav 		default:
10778ed2b524SDag-Erling Smørgrav 			verbose(VERB_QUERY, "verify: unknown algorithm %d",
10788ed2b524SDag-Erling Smørgrav 				algo);
10798ed2b524SDag-Erling Smørgrav 			return 0;
10808ed2b524SDag-Erling Smørgrav 	}
10818ed2b524SDag-Erling Smørgrav 	return 1;
10828ed2b524SDag-Erling Smørgrav }
10838ed2b524SDag-Erling Smørgrav 
10848ed2b524SDag-Erling Smørgrav /**
10858ed2b524SDag-Erling Smørgrav  * Check a canonical sig+rrset and signature against a dnskey
10868ed2b524SDag-Erling Smørgrav  * @param buf: buffer with data to verify, the first rrsig part and the
10878ed2b524SDag-Erling Smørgrav  *	canonicalized rrset.
10888ed2b524SDag-Erling Smørgrav  * @param algo: DNSKEY algorithm.
10898ed2b524SDag-Erling Smørgrav  * @param sigblock: signature rdata field from RRSIG
10908ed2b524SDag-Erling Smørgrav  * @param sigblock_len: length of sigblock data.
10918ed2b524SDag-Erling Smørgrav  * @param key: public key data from DNSKEY RR.
10928ed2b524SDag-Erling Smørgrav  * @param keylen: length of keydata.
10938ed2b524SDag-Erling Smørgrav  * @param reason: bogus reason in more detail.
10948ed2b524SDag-Erling Smørgrav  * @return secure if verification succeeded, bogus on crypto failure,
10958ed2b524SDag-Erling Smørgrav  *	unchecked on format errors and alloc failures.
10968ed2b524SDag-Erling Smørgrav  */
10978ed2b524SDag-Erling Smørgrav enum sec_status
109817d15b25SDag-Erling Smørgrav verify_canonrrset(sldns_buffer* buf, int algo, unsigned char* sigblock,
10998ed2b524SDag-Erling Smørgrav 	unsigned int sigblock_len, unsigned char* key, unsigned int keylen,
11008ed2b524SDag-Erling Smørgrav 	char** reason)
11018ed2b524SDag-Erling Smørgrav {
11028ed2b524SDag-Erling Smørgrav 	/* uses libNSS */
11038ed2b524SDag-Erling Smørgrav 	/* large enough for the different hashes */
11048ed2b524SDag-Erling Smørgrav 	unsigned char hash[HASH_LENGTH_MAX];
11058ed2b524SDag-Erling Smørgrav 	unsigned char hash2[HASH_LENGTH_MAX*2];
11068ed2b524SDag-Erling Smørgrav 	HASH_HashType htype = 0;
11078ed2b524SDag-Erling Smørgrav 	SECKEYPublicKey* pubkey = NULL;
11088ed2b524SDag-Erling Smørgrav 	SECItem secsig = {siBuffer, sigblock, sigblock_len};
11098ed2b524SDag-Erling Smørgrav 	SECItem sechash = {siBuffer, hash, 0};
11108ed2b524SDag-Erling Smørgrav 	SECStatus res;
11118ed2b524SDag-Erling Smørgrav 	unsigned char* prefix = NULL; /* prefix for hash, RFC3110, RFC5702 */
11128ed2b524SDag-Erling Smørgrav 	size_t prefixlen = 0;
11138ed2b524SDag-Erling Smørgrav 	int err;
11148ed2b524SDag-Erling Smørgrav 
11158ed2b524SDag-Erling Smørgrav 	if(!nss_setup_key_digest(algo, &pubkey, &htype, key, keylen,
11168ed2b524SDag-Erling Smørgrav 		&prefix, &prefixlen)) {
11178ed2b524SDag-Erling Smørgrav 		verbose(VERB_QUERY, "verify: failed to setup key");
11188ed2b524SDag-Erling Smørgrav 		*reason = "use of key for crypto failed";
11198ed2b524SDag-Erling Smørgrav 		SECKEY_DestroyPublicKey(pubkey);
11208ed2b524SDag-Erling Smørgrav 		return sec_status_bogus;
11218ed2b524SDag-Erling Smørgrav 	}
11228ed2b524SDag-Erling Smørgrav 
1123*e2d15004SDag-Erling Smørgrav #ifdef USE_DSA
11248ed2b524SDag-Erling Smørgrav 	/* need to convert DSA, ECDSA signatures? */
11258ed2b524SDag-Erling Smørgrav 	if((algo == LDNS_DSA || algo == LDNS_DSA_NSEC3)) {
11268ed2b524SDag-Erling Smørgrav 		if(sigblock_len == 1+2*SHA1_LENGTH) {
11278ed2b524SDag-Erling Smørgrav 			secsig.data ++;
11288ed2b524SDag-Erling Smørgrav 			secsig.len --;
11298ed2b524SDag-Erling Smørgrav 		} else {
11308ed2b524SDag-Erling Smørgrav 			SECItem* p = DSAU_DecodeDerSig(&secsig);
11318ed2b524SDag-Erling Smørgrav 			if(!p) {
11328ed2b524SDag-Erling Smørgrav 				verbose(VERB_QUERY, "verify: failed DER decode");
11338ed2b524SDag-Erling Smørgrav 				*reason = "signature DER decode failed";
11348ed2b524SDag-Erling Smørgrav 				SECKEY_DestroyPublicKey(pubkey);
11358ed2b524SDag-Erling Smørgrav 				return sec_status_bogus;
11368ed2b524SDag-Erling Smørgrav 			}
11378ed2b524SDag-Erling Smørgrav 			if(SECITEM_CopyItem(pubkey->arena, &secsig, p)) {
11388ed2b524SDag-Erling Smørgrav 				log_err("alloc failure in DER decode");
11398ed2b524SDag-Erling Smørgrav 				SECKEY_DestroyPublicKey(pubkey);
11408ed2b524SDag-Erling Smørgrav 				SECITEM_FreeItem(p, PR_TRUE);
11418ed2b524SDag-Erling Smørgrav 				return sec_status_unchecked;
11428ed2b524SDag-Erling Smørgrav 			}
11438ed2b524SDag-Erling Smørgrav 			SECITEM_FreeItem(p, PR_TRUE);
11448ed2b524SDag-Erling Smørgrav 		}
11458ed2b524SDag-Erling Smørgrav 	}
1146*e2d15004SDag-Erling Smørgrav #endif /* USE_DSA */
11478ed2b524SDag-Erling Smørgrav 
11488ed2b524SDag-Erling Smørgrav 	/* do the signature cryptography work */
11498ed2b524SDag-Erling Smørgrav 	/* hash the data */
11508ed2b524SDag-Erling Smørgrav 	sechash.len = HASH_ResultLen(htype);
11518ed2b524SDag-Erling Smørgrav 	if(sechash.len > sizeof(hash)) {
11528ed2b524SDag-Erling Smørgrav 		verbose(VERB_QUERY, "verify: hash too large for buffer");
11538ed2b524SDag-Erling Smørgrav 		SECKEY_DestroyPublicKey(pubkey);
11548ed2b524SDag-Erling Smørgrav 		return sec_status_unchecked;
11558ed2b524SDag-Erling Smørgrav 	}
115617d15b25SDag-Erling Smørgrav 	if(HASH_HashBuf(htype, hash, (unsigned char*)sldns_buffer_begin(buf),
115717d15b25SDag-Erling Smørgrav 		(unsigned int)sldns_buffer_limit(buf)) != SECSuccess) {
11588ed2b524SDag-Erling Smørgrav 		verbose(VERB_QUERY, "verify: HASH_HashBuf failed");
11598ed2b524SDag-Erling Smørgrav 		SECKEY_DestroyPublicKey(pubkey);
11608ed2b524SDag-Erling Smørgrav 		return sec_status_unchecked;
11618ed2b524SDag-Erling Smørgrav 	}
11628ed2b524SDag-Erling Smørgrav 	if(prefix) {
11638ed2b524SDag-Erling Smørgrav 		int hashlen = sechash.len;
11648ed2b524SDag-Erling Smørgrav 		if(prefixlen+hashlen > sizeof(hash2)) {
11658ed2b524SDag-Erling Smørgrav 			verbose(VERB_QUERY, "verify: hashprefix too large");
11668ed2b524SDag-Erling Smørgrav 			SECKEY_DestroyPublicKey(pubkey);
11678ed2b524SDag-Erling Smørgrav 			return sec_status_unchecked;
11688ed2b524SDag-Erling Smørgrav 		}
11698ed2b524SDag-Erling Smørgrav 		sechash.data = hash2;
11708ed2b524SDag-Erling Smørgrav 		sechash.len = prefixlen+hashlen;
11718ed2b524SDag-Erling Smørgrav 		memcpy(sechash.data, prefix, prefixlen);
11728ed2b524SDag-Erling Smørgrav 		memmove(sechash.data+prefixlen, hash, hashlen);
11738ed2b524SDag-Erling Smørgrav 	}
11748ed2b524SDag-Erling Smørgrav 
11758ed2b524SDag-Erling Smørgrav 	/* verify the signature */
11768ed2b524SDag-Erling Smørgrav 	res = PK11_Verify(pubkey, &secsig, &sechash, NULL /*wincx*/);
11778ed2b524SDag-Erling Smørgrav 	SECKEY_DestroyPublicKey(pubkey);
11788ed2b524SDag-Erling Smørgrav 
11798ed2b524SDag-Erling Smørgrav 	if(res == SECSuccess) {
11808ed2b524SDag-Erling Smørgrav 		return sec_status_secure;
11818ed2b524SDag-Erling Smørgrav 	}
11828ed2b524SDag-Erling Smørgrav 	err = PORT_GetError();
11838ed2b524SDag-Erling Smørgrav 	if(err != SEC_ERROR_BAD_SIGNATURE) {
11848ed2b524SDag-Erling Smørgrav 		/* failed to verify */
11858ed2b524SDag-Erling Smørgrav 		verbose(VERB_QUERY, "verify: PK11_Verify failed: %s",
11868ed2b524SDag-Erling Smørgrav 			PORT_ErrorToString(err));
11878ed2b524SDag-Erling Smørgrav 		/* if it is not supported, like ECC is removed, we get,
11888ed2b524SDag-Erling Smørgrav 		 * SEC_ERROR_NO_MODULE */
11898ed2b524SDag-Erling Smørgrav 		if(err == SEC_ERROR_NO_MODULE)
11908ed2b524SDag-Erling Smørgrav 			return sec_status_unchecked;
11918ed2b524SDag-Erling Smørgrav 		/* but other errors are commonly returned
11928ed2b524SDag-Erling Smørgrav 		 * for a bad signature from NSS.  Thus we return bogus,
11938ed2b524SDag-Erling Smørgrav 		 * not unchecked */
11948ed2b524SDag-Erling Smørgrav 		*reason = "signature crypto failed";
11958ed2b524SDag-Erling Smørgrav 		return sec_status_bogus;
11968ed2b524SDag-Erling Smørgrav 	}
11978ed2b524SDag-Erling Smørgrav 	verbose(VERB_QUERY, "verify: signature mismatch: %s",
11988ed2b524SDag-Erling Smørgrav 		PORT_ErrorToString(err));
11998ed2b524SDag-Erling Smørgrav 	*reason = "signature crypto failed";
12008ed2b524SDag-Erling Smørgrav 	return sec_status_bogus;
12018ed2b524SDag-Erling Smørgrav }
12028ed2b524SDag-Erling Smørgrav 
120305ab2901SDag-Erling Smørgrav #elif defined(HAVE_NETTLE)
12048ed2b524SDag-Erling Smørgrav 
120505ab2901SDag-Erling Smørgrav #include "sha.h"
120605ab2901SDag-Erling Smørgrav #include "bignum.h"
120705ab2901SDag-Erling Smørgrav #include "macros.h"
120805ab2901SDag-Erling Smørgrav #include "rsa.h"
120905ab2901SDag-Erling Smørgrav #include "dsa.h"
121005ab2901SDag-Erling Smørgrav #include "asn1.h"
121105ab2901SDag-Erling Smørgrav #ifdef USE_ECDSA
121205ab2901SDag-Erling Smørgrav #include "ecdsa.h"
121305ab2901SDag-Erling Smørgrav #include "ecc-curve.h"
121405ab2901SDag-Erling Smørgrav #endif
121505ab2901SDag-Erling Smørgrav 
121605ab2901SDag-Erling Smørgrav static int
121705ab2901SDag-Erling Smørgrav _digest_nettle(int algo, uint8_t* buf, size_t len,
121805ab2901SDag-Erling Smørgrav 	unsigned char* res)
121905ab2901SDag-Erling Smørgrav {
122005ab2901SDag-Erling Smørgrav 	switch(algo) {
122105ab2901SDag-Erling Smørgrav 		case SHA1_DIGEST_SIZE:
122205ab2901SDag-Erling Smørgrav 		{
122305ab2901SDag-Erling Smørgrav 			struct sha1_ctx ctx;
122405ab2901SDag-Erling Smørgrav 			sha1_init(&ctx);
122505ab2901SDag-Erling Smørgrav 			sha1_update(&ctx, len, buf);
122605ab2901SDag-Erling Smørgrav 			sha1_digest(&ctx, SHA1_DIGEST_SIZE, res);
122705ab2901SDag-Erling Smørgrav 			return 1;
122805ab2901SDag-Erling Smørgrav 		}
122905ab2901SDag-Erling Smørgrav 		case SHA256_DIGEST_SIZE:
123005ab2901SDag-Erling Smørgrav 		{
123105ab2901SDag-Erling Smørgrav 			struct sha256_ctx ctx;
123205ab2901SDag-Erling Smørgrav 			sha256_init(&ctx);
123305ab2901SDag-Erling Smørgrav 			sha256_update(&ctx, len, buf);
123405ab2901SDag-Erling Smørgrav 			sha256_digest(&ctx, SHA256_DIGEST_SIZE, res);
123505ab2901SDag-Erling Smørgrav 			return 1;
123605ab2901SDag-Erling Smørgrav 		}
123705ab2901SDag-Erling Smørgrav 		case SHA384_DIGEST_SIZE:
123805ab2901SDag-Erling Smørgrav 		{
123905ab2901SDag-Erling Smørgrav 			struct sha384_ctx ctx;
124005ab2901SDag-Erling Smørgrav 			sha384_init(&ctx);
124105ab2901SDag-Erling Smørgrav 			sha384_update(&ctx, len, buf);
124205ab2901SDag-Erling Smørgrav 			sha384_digest(&ctx, SHA384_DIGEST_SIZE, res);
124305ab2901SDag-Erling Smørgrav 			return 1;
124405ab2901SDag-Erling Smørgrav 		}
124505ab2901SDag-Erling Smørgrav 		case SHA512_DIGEST_SIZE:
124605ab2901SDag-Erling Smørgrav 		{
124705ab2901SDag-Erling Smørgrav 			struct sha512_ctx ctx;
124805ab2901SDag-Erling Smørgrav 			sha512_init(&ctx);
124905ab2901SDag-Erling Smørgrav 			sha512_update(&ctx, len, buf);
125005ab2901SDag-Erling Smørgrav 			sha512_digest(&ctx, SHA512_DIGEST_SIZE, res);
125105ab2901SDag-Erling Smørgrav 			return 1;
125205ab2901SDag-Erling Smørgrav 		}
125305ab2901SDag-Erling Smørgrav 		default:
125405ab2901SDag-Erling Smørgrav 			break;
125505ab2901SDag-Erling Smørgrav 	}
125605ab2901SDag-Erling Smørgrav 	return 0;
125705ab2901SDag-Erling Smørgrav }
125805ab2901SDag-Erling Smørgrav 
125905ab2901SDag-Erling Smørgrav /* return size of digest if supported, or 0 otherwise */
126005ab2901SDag-Erling Smørgrav size_t
126105ab2901SDag-Erling Smørgrav nsec3_hash_algo_size_supported(int id)
126205ab2901SDag-Erling Smørgrav {
126305ab2901SDag-Erling Smørgrav 	switch(id) {
126405ab2901SDag-Erling Smørgrav 	case NSEC3_HASH_SHA1:
126505ab2901SDag-Erling Smørgrav 		return SHA1_DIGEST_SIZE;
126605ab2901SDag-Erling Smørgrav 	default:
126705ab2901SDag-Erling Smørgrav 		return 0;
126805ab2901SDag-Erling Smørgrav 	}
126905ab2901SDag-Erling Smørgrav }
127005ab2901SDag-Erling Smørgrav 
127105ab2901SDag-Erling Smørgrav /* perform nsec3 hash. return false on failure */
127205ab2901SDag-Erling Smørgrav int
127305ab2901SDag-Erling Smørgrav secalgo_nsec3_hash(int algo, unsigned char* buf, size_t len,
127405ab2901SDag-Erling Smørgrav         unsigned char* res)
127505ab2901SDag-Erling Smørgrav {
127605ab2901SDag-Erling Smørgrav 	switch(algo) {
127705ab2901SDag-Erling Smørgrav 	case NSEC3_HASH_SHA1:
127805ab2901SDag-Erling Smørgrav 		return _digest_nettle(SHA1_DIGEST_SIZE, (uint8_t*)buf, len,
127905ab2901SDag-Erling Smørgrav 			res);
128005ab2901SDag-Erling Smørgrav 	default:
128105ab2901SDag-Erling Smørgrav 		return 0;
128205ab2901SDag-Erling Smørgrav 	}
128305ab2901SDag-Erling Smørgrav }
128405ab2901SDag-Erling Smørgrav 
1285*e2d15004SDag-Erling Smørgrav void
1286*e2d15004SDag-Erling Smørgrav secalgo_hash_sha256(unsigned char* buf, size_t len, unsigned char* res)
1287*e2d15004SDag-Erling Smørgrav {
1288*e2d15004SDag-Erling Smørgrav 	_digest_nettle(SHA256_DIGEST_SIZE, (uint8_t*)buf, len, res);
1289*e2d15004SDag-Erling Smørgrav }
1290*e2d15004SDag-Erling Smørgrav 
129105ab2901SDag-Erling Smørgrav /**
129205ab2901SDag-Erling Smørgrav  * Return size of DS digest according to its hash algorithm.
129305ab2901SDag-Erling Smørgrav  * @param algo: DS digest algo.
129405ab2901SDag-Erling Smørgrav  * @return size in bytes of digest, or 0 if not supported.
129505ab2901SDag-Erling Smørgrav  */
129605ab2901SDag-Erling Smørgrav size_t
129705ab2901SDag-Erling Smørgrav ds_digest_size_supported(int algo)
129805ab2901SDag-Erling Smørgrav {
129905ab2901SDag-Erling Smørgrav 	switch(algo) {
130005ab2901SDag-Erling Smørgrav 		case LDNS_SHA1:
130105ab2901SDag-Erling Smørgrav 			return SHA1_DIGEST_SIZE;
130205ab2901SDag-Erling Smørgrav #ifdef USE_SHA2
130305ab2901SDag-Erling Smørgrav 		case LDNS_SHA256:
130405ab2901SDag-Erling Smørgrav 			return SHA256_DIGEST_SIZE;
130505ab2901SDag-Erling Smørgrav #endif
130605ab2901SDag-Erling Smørgrav #ifdef USE_ECDSA
130705ab2901SDag-Erling Smørgrav 		case LDNS_SHA384:
130805ab2901SDag-Erling Smørgrav 			return SHA384_DIGEST_SIZE;
130905ab2901SDag-Erling Smørgrav #endif
131005ab2901SDag-Erling Smørgrav 		/* GOST not supported */
131105ab2901SDag-Erling Smørgrav 		case LDNS_HASH_GOST:
131205ab2901SDag-Erling Smørgrav 		default:
131305ab2901SDag-Erling Smørgrav 			break;
131405ab2901SDag-Erling Smørgrav 	}
131505ab2901SDag-Erling Smørgrav 	return 0;
131605ab2901SDag-Erling Smørgrav }
131705ab2901SDag-Erling Smørgrav 
131805ab2901SDag-Erling Smørgrav int
131905ab2901SDag-Erling Smørgrav secalgo_ds_digest(int algo, unsigned char* buf, size_t len,
132005ab2901SDag-Erling Smørgrav 	unsigned char* res)
132105ab2901SDag-Erling Smørgrav {
132205ab2901SDag-Erling Smørgrav 	switch(algo) {
132305ab2901SDag-Erling Smørgrav 		case LDNS_SHA1:
132405ab2901SDag-Erling Smørgrav 			return _digest_nettle(SHA1_DIGEST_SIZE, buf, len, res);
132505ab2901SDag-Erling Smørgrav #if defined(USE_SHA2)
132605ab2901SDag-Erling Smørgrav 		case LDNS_SHA256:
132705ab2901SDag-Erling Smørgrav 			return _digest_nettle(SHA256_DIGEST_SIZE, buf, len, res);
132805ab2901SDag-Erling Smørgrav #endif
132905ab2901SDag-Erling Smørgrav #ifdef USE_ECDSA
133005ab2901SDag-Erling Smørgrav 		case LDNS_SHA384:
133105ab2901SDag-Erling Smørgrav 			return _digest_nettle(SHA384_DIGEST_SIZE, buf, len, res);
133205ab2901SDag-Erling Smørgrav 
133305ab2901SDag-Erling Smørgrav #endif
133405ab2901SDag-Erling Smørgrav 		case LDNS_HASH_GOST:
133505ab2901SDag-Erling Smørgrav 		default:
133605ab2901SDag-Erling Smørgrav 			verbose(VERB_QUERY, "unknown DS digest algorithm %d",
133705ab2901SDag-Erling Smørgrav 				algo);
133805ab2901SDag-Erling Smørgrav 			break;
133905ab2901SDag-Erling Smørgrav 	}
134005ab2901SDag-Erling Smørgrav 	return 0;
134105ab2901SDag-Erling Smørgrav }
134205ab2901SDag-Erling Smørgrav 
134305ab2901SDag-Erling Smørgrav int
134405ab2901SDag-Erling Smørgrav dnskey_algo_id_is_supported(int id)
134505ab2901SDag-Erling Smørgrav {
134605ab2901SDag-Erling Smørgrav 	/* uses libnettle */
134705ab2901SDag-Erling Smørgrav 	switch(id) {
1348*e2d15004SDag-Erling Smørgrav #ifdef USE_DSA
134905ab2901SDag-Erling Smørgrav 	case LDNS_DSA:
135005ab2901SDag-Erling Smørgrav 	case LDNS_DSA_NSEC3:
1351*e2d15004SDag-Erling Smørgrav #endif
135205ab2901SDag-Erling Smørgrav 	case LDNS_RSASHA1:
135305ab2901SDag-Erling Smørgrav 	case LDNS_RSASHA1_NSEC3:
135405ab2901SDag-Erling Smørgrav #ifdef USE_SHA2
135505ab2901SDag-Erling Smørgrav 	case LDNS_RSASHA256:
135605ab2901SDag-Erling Smørgrav 	case LDNS_RSASHA512:
135705ab2901SDag-Erling Smørgrav #endif
135805ab2901SDag-Erling Smørgrav #ifdef USE_ECDSA
135905ab2901SDag-Erling Smørgrav 	case LDNS_ECDSAP256SHA256:
136005ab2901SDag-Erling Smørgrav 	case LDNS_ECDSAP384SHA384:
136105ab2901SDag-Erling Smørgrav #endif
136205ab2901SDag-Erling Smørgrav 		return 1;
136305ab2901SDag-Erling Smørgrav 	case LDNS_RSAMD5: /* RFC 6725 deprecates RSAMD5 */
136405ab2901SDag-Erling Smørgrav 	case LDNS_ECC_GOST:
136505ab2901SDag-Erling Smørgrav 	default:
136605ab2901SDag-Erling Smørgrav 		return 0;
136705ab2901SDag-Erling Smørgrav 	}
136805ab2901SDag-Erling Smørgrav }
136905ab2901SDag-Erling Smørgrav 
137005ab2901SDag-Erling Smørgrav static char *
137105ab2901SDag-Erling Smørgrav _verify_nettle_dsa(sldns_buffer* buf, unsigned char* sigblock,
137205ab2901SDag-Erling Smørgrav 	unsigned int sigblock_len, unsigned char* key, unsigned int keylen)
137305ab2901SDag-Erling Smørgrav {
137405ab2901SDag-Erling Smørgrav 	uint8_t digest[SHA1_DIGEST_SIZE];
137505ab2901SDag-Erling Smørgrav 	uint8_t key_t;
137605ab2901SDag-Erling Smørgrav 	int res = 0;
137705ab2901SDag-Erling Smørgrav 	size_t offset;
137805ab2901SDag-Erling Smørgrav 	struct dsa_public_key pubkey;
137905ab2901SDag-Erling Smørgrav 	struct dsa_signature signature;
138005ab2901SDag-Erling Smørgrav 	unsigned int expected_len;
138105ab2901SDag-Erling Smørgrav 
138205ab2901SDag-Erling Smørgrav 	/* Extract DSA signature from the record */
138305ab2901SDag-Erling Smørgrav 	nettle_dsa_signature_init(&signature);
138405ab2901SDag-Erling Smørgrav 	/* Signature length: 41 bytes - RFC 2536 sec. 3 */
138505ab2901SDag-Erling Smørgrav 	if(sigblock_len == 41) {
138605ab2901SDag-Erling Smørgrav 		if(key[0] != sigblock[0])
138705ab2901SDag-Erling Smørgrav 			return "invalid T value in DSA signature or pubkey";
138805ab2901SDag-Erling Smørgrav 		nettle_mpz_set_str_256_u(signature.r, 20, sigblock+1);
138905ab2901SDag-Erling Smørgrav 		nettle_mpz_set_str_256_u(signature.s, 20, sigblock+1+20);
139005ab2901SDag-Erling Smørgrav 	} else {
139105ab2901SDag-Erling Smørgrav 		/* DER encoded, decode the ASN1 notated R and S bignums */
139205ab2901SDag-Erling Smørgrav 		/* SEQUENCE { r INTEGER, s INTEGER } */
139305ab2901SDag-Erling Smørgrav 		struct asn1_der_iterator i, seq;
139405ab2901SDag-Erling Smørgrav 		if(asn1_der_iterator_first(&i, sigblock_len,
139505ab2901SDag-Erling Smørgrav 			(uint8_t*)sigblock) != ASN1_ITERATOR_CONSTRUCTED
139605ab2901SDag-Erling Smørgrav 			|| i.type != ASN1_SEQUENCE)
139705ab2901SDag-Erling Smørgrav 			return "malformed DER encoded DSA signature";
139805ab2901SDag-Erling Smørgrav 		/* decode this element of i using the seq iterator */
139905ab2901SDag-Erling Smørgrav 		if(asn1_der_decode_constructed(&i, &seq) !=
140005ab2901SDag-Erling Smørgrav 			ASN1_ITERATOR_PRIMITIVE || seq.type != ASN1_INTEGER)
140105ab2901SDag-Erling Smørgrav 			return "malformed DER encoded DSA signature";
140205ab2901SDag-Erling Smørgrav 		if(!asn1_der_get_bignum(&seq, signature.r, 20*8))
140305ab2901SDag-Erling Smørgrav 			return "malformed DER encoded DSA signature";
140405ab2901SDag-Erling Smørgrav 		if(asn1_der_iterator_next(&seq) != ASN1_ITERATOR_PRIMITIVE
140505ab2901SDag-Erling Smørgrav 			|| seq.type != ASN1_INTEGER)
140605ab2901SDag-Erling Smørgrav 			return "malformed DER encoded DSA signature";
140705ab2901SDag-Erling Smørgrav 		if(!asn1_der_get_bignum(&seq, signature.s, 20*8))
140805ab2901SDag-Erling Smørgrav 			return "malformed DER encoded DSA signature";
140905ab2901SDag-Erling Smørgrav 		if(asn1_der_iterator_next(&i) != ASN1_ITERATOR_END)
141005ab2901SDag-Erling Smørgrav 			return "malformed DER encoded DSA signature";
141105ab2901SDag-Erling Smørgrav 	}
141205ab2901SDag-Erling Smørgrav 
141305ab2901SDag-Erling Smørgrav 	/* Validate T values constraints - RFC 2536 sec. 2 & sec. 3 */
141405ab2901SDag-Erling Smørgrav 	key_t = key[0];
141505ab2901SDag-Erling Smørgrav 	if (key_t > 8) {
141605ab2901SDag-Erling Smørgrav 		return "invalid T value in DSA pubkey";
141705ab2901SDag-Erling Smørgrav 	}
141805ab2901SDag-Erling Smørgrav 
141905ab2901SDag-Erling Smørgrav 	/* Pubkey minimum length: 21 bytes - RFC 2536 sec. 2 */
142005ab2901SDag-Erling Smørgrav 	if (keylen < 21) {
142105ab2901SDag-Erling Smørgrav 		return "DSA pubkey too short";
142205ab2901SDag-Erling Smørgrav 	}
142305ab2901SDag-Erling Smørgrav 
142405ab2901SDag-Erling Smørgrav 	expected_len =   1 +		/* T */
142505ab2901SDag-Erling Smørgrav 		        20 +		/* Q */
142605ab2901SDag-Erling Smørgrav 		       (64 + key_t*8) +	/* P */
142705ab2901SDag-Erling Smørgrav 		       (64 + key_t*8) +	/* G */
142805ab2901SDag-Erling Smørgrav 		       (64 + key_t*8);	/* Y */
142905ab2901SDag-Erling Smørgrav 	if (keylen != expected_len ) {
143005ab2901SDag-Erling Smørgrav 		return "invalid DSA pubkey length";
143105ab2901SDag-Erling Smørgrav 	}
143205ab2901SDag-Erling Smørgrav 
143305ab2901SDag-Erling Smørgrav 	/* Extract DSA pubkey from the record */
143405ab2901SDag-Erling Smørgrav 	nettle_dsa_public_key_init(&pubkey);
143505ab2901SDag-Erling Smørgrav 	offset = 1;
143605ab2901SDag-Erling Smørgrav 	nettle_mpz_set_str_256_u(pubkey.q, 20, key+offset);
143705ab2901SDag-Erling Smørgrav 	offset += 20;
143805ab2901SDag-Erling Smørgrav 	nettle_mpz_set_str_256_u(pubkey.p, (64 + key_t*8), key+offset);
143905ab2901SDag-Erling Smørgrav 	offset += (64 + key_t*8);
144005ab2901SDag-Erling Smørgrav 	nettle_mpz_set_str_256_u(pubkey.g, (64 + key_t*8), key+offset);
144105ab2901SDag-Erling Smørgrav 	offset += (64 + key_t*8);
144205ab2901SDag-Erling Smørgrav 	nettle_mpz_set_str_256_u(pubkey.y, (64 + key_t*8), key+offset);
144305ab2901SDag-Erling Smørgrav 
144405ab2901SDag-Erling Smørgrav 	/* Digest content of "buf" and verify its DSA signature in "sigblock"*/
144505ab2901SDag-Erling Smørgrav 	res = _digest_nettle(SHA1_DIGEST_SIZE, (unsigned char*)sldns_buffer_begin(buf),
144605ab2901SDag-Erling Smørgrav 						(unsigned int)sldns_buffer_limit(buf), (unsigned char*)digest);
144705ab2901SDag-Erling Smørgrav 	res &= dsa_sha1_verify_digest(&pubkey, digest, &signature);
144805ab2901SDag-Erling Smørgrav 
144905ab2901SDag-Erling Smørgrav 	/* Clear and return */
145005ab2901SDag-Erling Smørgrav 	nettle_dsa_signature_clear(&signature);
145105ab2901SDag-Erling Smørgrav 	nettle_dsa_public_key_clear(&pubkey);
145205ab2901SDag-Erling Smørgrav 	if (!res)
145305ab2901SDag-Erling Smørgrav 		return "DSA signature verification failed";
145405ab2901SDag-Erling Smørgrav 	else
145505ab2901SDag-Erling Smørgrav 		return NULL;
145605ab2901SDag-Erling Smørgrav }
145705ab2901SDag-Erling Smørgrav 
145805ab2901SDag-Erling Smørgrav static char *
145905ab2901SDag-Erling Smørgrav _verify_nettle_rsa(sldns_buffer* buf, unsigned int digest_size, char* sigblock,
146005ab2901SDag-Erling Smørgrav 	unsigned int sigblock_len, uint8_t* key, unsigned int keylen)
146105ab2901SDag-Erling Smørgrav {
146205ab2901SDag-Erling Smørgrav 	uint16_t exp_len = 0;
146305ab2901SDag-Erling Smørgrav 	size_t exp_offset = 0, mod_offset = 0;
146405ab2901SDag-Erling Smørgrav 	struct rsa_public_key pubkey;
146505ab2901SDag-Erling Smørgrav 	mpz_t signature;
146605ab2901SDag-Erling Smørgrav 	int res = 0;
146705ab2901SDag-Erling Smørgrav 
146805ab2901SDag-Erling Smørgrav 	/* RSA pubkey parsing as per RFC 3110 sec. 2 */
146905ab2901SDag-Erling Smørgrav 	if( keylen <= 1) {
147005ab2901SDag-Erling Smørgrav 		return "null RSA key";
147105ab2901SDag-Erling Smørgrav 	}
147205ab2901SDag-Erling Smørgrav 	if (key[0] != 0) {
147305ab2901SDag-Erling Smørgrav 		/* 1-byte length */
147405ab2901SDag-Erling Smørgrav 		exp_len = key[0];
147505ab2901SDag-Erling Smørgrav 		exp_offset = 1;
147605ab2901SDag-Erling Smørgrav 	} else {
147705ab2901SDag-Erling Smørgrav 		/* 1-byte NUL + 2-bytes exponent length */
147805ab2901SDag-Erling Smørgrav 		if (keylen < 3) {
147905ab2901SDag-Erling Smørgrav 			return "incorrect RSA key length";
148005ab2901SDag-Erling Smørgrav 		}
148105ab2901SDag-Erling Smørgrav 		exp_len = READ_UINT16(key+1);
148205ab2901SDag-Erling Smørgrav 		if (exp_len == 0)
148305ab2901SDag-Erling Smørgrav 			return "null RSA exponent length";
148405ab2901SDag-Erling Smørgrav 		exp_offset = 3;
148505ab2901SDag-Erling Smørgrav 	}
148605ab2901SDag-Erling Smørgrav 	/* Check that we are not over-running input length */
148705ab2901SDag-Erling Smørgrav 	if (keylen < exp_offset + exp_len + 1) {
148805ab2901SDag-Erling Smørgrav 		return "RSA key content shorter than expected";
148905ab2901SDag-Erling Smørgrav 	}
149005ab2901SDag-Erling Smørgrav 	mod_offset = exp_offset + exp_len;
149105ab2901SDag-Erling Smørgrav 	nettle_rsa_public_key_init(&pubkey);
149205ab2901SDag-Erling Smørgrav 	pubkey.size = keylen - mod_offset;
149305ab2901SDag-Erling Smørgrav 	nettle_mpz_set_str_256_u(pubkey.e, exp_len, &key[exp_offset]);
149405ab2901SDag-Erling Smørgrav 	nettle_mpz_set_str_256_u(pubkey.n, pubkey.size, &key[mod_offset]);
149505ab2901SDag-Erling Smørgrav 
149605ab2901SDag-Erling Smørgrav 	/* Digest content of "buf" and verify its RSA signature in "sigblock"*/
149705ab2901SDag-Erling Smørgrav 	nettle_mpz_init_set_str_256_u(signature, sigblock_len, (uint8_t*)sigblock);
149805ab2901SDag-Erling Smørgrav 	switch (digest_size) {
149905ab2901SDag-Erling Smørgrav 		case SHA1_DIGEST_SIZE:
150005ab2901SDag-Erling Smørgrav 		{
150105ab2901SDag-Erling Smørgrav 			uint8_t digest[SHA1_DIGEST_SIZE];
150205ab2901SDag-Erling Smørgrav 			res = _digest_nettle(SHA1_DIGEST_SIZE, (unsigned char*)sldns_buffer_begin(buf),
150305ab2901SDag-Erling Smørgrav 						(unsigned int)sldns_buffer_limit(buf), (unsigned char*)digest);
150405ab2901SDag-Erling Smørgrav 			res &= rsa_sha1_verify_digest(&pubkey, digest, signature);
150505ab2901SDag-Erling Smørgrav 			break;
150605ab2901SDag-Erling Smørgrav 		}
150705ab2901SDag-Erling Smørgrav 		case SHA256_DIGEST_SIZE:
150805ab2901SDag-Erling Smørgrav 		{
150905ab2901SDag-Erling Smørgrav 			uint8_t digest[SHA256_DIGEST_SIZE];
151005ab2901SDag-Erling Smørgrav 			res = _digest_nettle(SHA256_DIGEST_SIZE, (unsigned char*)sldns_buffer_begin(buf),
151105ab2901SDag-Erling Smørgrav 						(unsigned int)sldns_buffer_limit(buf), (unsigned char*)digest);
151205ab2901SDag-Erling Smørgrav 			res &= rsa_sha256_verify_digest(&pubkey, digest, signature);
151305ab2901SDag-Erling Smørgrav 			break;
151405ab2901SDag-Erling Smørgrav 		}
151505ab2901SDag-Erling Smørgrav 		case SHA512_DIGEST_SIZE:
151605ab2901SDag-Erling Smørgrav 		{
151705ab2901SDag-Erling Smørgrav 			uint8_t digest[SHA512_DIGEST_SIZE];
151805ab2901SDag-Erling Smørgrav 			res = _digest_nettle(SHA512_DIGEST_SIZE, (unsigned char*)sldns_buffer_begin(buf),
151905ab2901SDag-Erling Smørgrav 						(unsigned int)sldns_buffer_limit(buf), (unsigned char*)digest);
152005ab2901SDag-Erling Smørgrav 			res &= rsa_sha512_verify_digest(&pubkey, digest, signature);
152105ab2901SDag-Erling Smørgrav 			break;
152205ab2901SDag-Erling Smørgrav 		}
152305ab2901SDag-Erling Smørgrav 		default:
152405ab2901SDag-Erling Smørgrav 			break;
152505ab2901SDag-Erling Smørgrav 	}
152605ab2901SDag-Erling Smørgrav 
152705ab2901SDag-Erling Smørgrav 	/* Clear and return */
152805ab2901SDag-Erling Smørgrav 	nettle_rsa_public_key_clear(&pubkey);
152905ab2901SDag-Erling Smørgrav 	mpz_clear(signature);
153005ab2901SDag-Erling Smørgrav 	if (!res) {
153105ab2901SDag-Erling Smørgrav 		return "RSA signature verification failed";
153205ab2901SDag-Erling Smørgrav 	} else {
153305ab2901SDag-Erling Smørgrav 		return NULL;
153405ab2901SDag-Erling Smørgrav 	}
153505ab2901SDag-Erling Smørgrav }
153605ab2901SDag-Erling Smørgrav 
153705ab2901SDag-Erling Smørgrav #ifdef USE_ECDSA
153805ab2901SDag-Erling Smørgrav static char *
153905ab2901SDag-Erling Smørgrav _verify_nettle_ecdsa(sldns_buffer* buf, unsigned int digest_size, unsigned char* sigblock,
154005ab2901SDag-Erling Smørgrav 	unsigned int sigblock_len, unsigned char* key, unsigned int keylen)
154105ab2901SDag-Erling Smørgrav {
154205ab2901SDag-Erling Smørgrav 	int res = 0;
154305ab2901SDag-Erling Smørgrav 	struct ecc_point pubkey;
154405ab2901SDag-Erling Smørgrav 	struct dsa_signature signature;
154505ab2901SDag-Erling Smørgrav 
154605ab2901SDag-Erling Smørgrav 	/* Always matched strength, as per RFC 6605 sec. 1 */
154705ab2901SDag-Erling Smørgrav 	if (sigblock_len != 2*digest_size || keylen != 2*digest_size) {
154805ab2901SDag-Erling Smørgrav 		return "wrong ECDSA signature length";
154905ab2901SDag-Erling Smørgrav 	}
155005ab2901SDag-Erling Smørgrav 
155105ab2901SDag-Erling Smørgrav 	/* Parse ECDSA signature as per RFC 6605 sec. 4 */
155205ab2901SDag-Erling Smørgrav 	nettle_dsa_signature_init(&signature);
155305ab2901SDag-Erling Smørgrav 	switch (digest_size) {
155405ab2901SDag-Erling Smørgrav 		case SHA256_DIGEST_SIZE:
155505ab2901SDag-Erling Smørgrav 		{
155605ab2901SDag-Erling Smørgrav 			uint8_t digest[SHA256_DIGEST_SIZE];
155705ab2901SDag-Erling Smørgrav 			mpz_t x, y;
155805ab2901SDag-Erling Smørgrav 			nettle_ecc_point_init(&pubkey, &nettle_secp_256r1);
155905ab2901SDag-Erling Smørgrav 			nettle_mpz_init_set_str_256_u(x, SHA256_DIGEST_SIZE, key);
156005ab2901SDag-Erling Smørgrav 			nettle_mpz_init_set_str_256_u(y, SHA256_DIGEST_SIZE, key+SHA256_DIGEST_SIZE);
156105ab2901SDag-Erling Smørgrav 			nettle_mpz_set_str_256_u(signature.r, SHA256_DIGEST_SIZE, sigblock);
156205ab2901SDag-Erling Smørgrav 			nettle_mpz_set_str_256_u(signature.s, SHA256_DIGEST_SIZE, sigblock+SHA256_DIGEST_SIZE);
156305ab2901SDag-Erling Smørgrav 			res = _digest_nettle(SHA256_DIGEST_SIZE, (unsigned char*)sldns_buffer_begin(buf),
156405ab2901SDag-Erling Smørgrav 						(unsigned int)sldns_buffer_limit(buf), (unsigned char*)digest);
156505ab2901SDag-Erling Smørgrav 			res &= nettle_ecc_point_set(&pubkey, x, y);
156605ab2901SDag-Erling Smørgrav 			res &= nettle_ecdsa_verify (&pubkey, SHA256_DIGEST_SIZE, digest, &signature);
156705ab2901SDag-Erling Smørgrav 			mpz_clear(x);
156805ab2901SDag-Erling Smørgrav 			mpz_clear(y);
156905ab2901SDag-Erling Smørgrav 			break;
157005ab2901SDag-Erling Smørgrav 		}
157105ab2901SDag-Erling Smørgrav 		case SHA384_DIGEST_SIZE:
157205ab2901SDag-Erling Smørgrav 		{
157305ab2901SDag-Erling Smørgrav 			uint8_t digest[SHA384_DIGEST_SIZE];
157405ab2901SDag-Erling Smørgrav 			mpz_t x, y;
157505ab2901SDag-Erling Smørgrav 			nettle_ecc_point_init(&pubkey, &nettle_secp_384r1);
157605ab2901SDag-Erling Smørgrav 			nettle_mpz_init_set_str_256_u(x, SHA384_DIGEST_SIZE, key);
157705ab2901SDag-Erling Smørgrav 			nettle_mpz_init_set_str_256_u(y, SHA384_DIGEST_SIZE, key+SHA384_DIGEST_SIZE);
157805ab2901SDag-Erling Smørgrav 			nettle_mpz_set_str_256_u(signature.r, SHA384_DIGEST_SIZE, sigblock);
157905ab2901SDag-Erling Smørgrav 			nettle_mpz_set_str_256_u(signature.s, SHA384_DIGEST_SIZE, sigblock+SHA384_DIGEST_SIZE);
158005ab2901SDag-Erling Smørgrav 			res = _digest_nettle(SHA384_DIGEST_SIZE, (unsigned char*)sldns_buffer_begin(buf),
158105ab2901SDag-Erling Smørgrav 						(unsigned int)sldns_buffer_limit(buf), (unsigned char*)digest);
158205ab2901SDag-Erling Smørgrav 			res &= nettle_ecc_point_set(&pubkey, x, y);
158305ab2901SDag-Erling Smørgrav 			res &= nettle_ecdsa_verify (&pubkey, SHA384_DIGEST_SIZE, digest, &signature);
158405ab2901SDag-Erling Smørgrav 			mpz_clear(x);
158505ab2901SDag-Erling Smørgrav 			mpz_clear(y);
158605ab2901SDag-Erling Smørgrav 			nettle_ecc_point_clear(&pubkey);
158705ab2901SDag-Erling Smørgrav 			break;
158805ab2901SDag-Erling Smørgrav 		}
158905ab2901SDag-Erling Smørgrav 		default:
159005ab2901SDag-Erling Smørgrav 			return "unknown ECDSA algorithm";
159105ab2901SDag-Erling Smørgrav 	}
159205ab2901SDag-Erling Smørgrav 
159305ab2901SDag-Erling Smørgrav 	/* Clear and return */
159405ab2901SDag-Erling Smørgrav 	nettle_dsa_signature_clear(&signature);
159505ab2901SDag-Erling Smørgrav 	if (!res)
159605ab2901SDag-Erling Smørgrav 		return "ECDSA signature verification failed";
159705ab2901SDag-Erling Smørgrav 	else
159805ab2901SDag-Erling Smørgrav 		return NULL;
159905ab2901SDag-Erling Smørgrav }
160005ab2901SDag-Erling Smørgrav #endif
160105ab2901SDag-Erling Smørgrav 
160205ab2901SDag-Erling Smørgrav /**
160305ab2901SDag-Erling Smørgrav  * Check a canonical sig+rrset and signature against a dnskey
160405ab2901SDag-Erling Smørgrav  * @param buf: buffer with data to verify, the first rrsig part and the
160505ab2901SDag-Erling Smørgrav  *	canonicalized rrset.
160605ab2901SDag-Erling Smørgrav  * @param algo: DNSKEY algorithm.
160705ab2901SDag-Erling Smørgrav  * @param sigblock: signature rdata field from RRSIG
160805ab2901SDag-Erling Smørgrav  * @param sigblock_len: length of sigblock data.
160905ab2901SDag-Erling Smørgrav  * @param key: public key data from DNSKEY RR.
161005ab2901SDag-Erling Smørgrav  * @param keylen: length of keydata.
161105ab2901SDag-Erling Smørgrav  * @param reason: bogus reason in more detail.
161205ab2901SDag-Erling Smørgrav  * @return secure if verification succeeded, bogus on crypto failure,
161305ab2901SDag-Erling Smørgrav  *	unchecked on format errors and alloc failures.
161405ab2901SDag-Erling Smørgrav  */
161505ab2901SDag-Erling Smørgrav enum sec_status
161605ab2901SDag-Erling Smørgrav verify_canonrrset(sldns_buffer* buf, int algo, unsigned char* sigblock,
161705ab2901SDag-Erling Smørgrav 	unsigned int sigblock_len, unsigned char* key, unsigned int keylen,
161805ab2901SDag-Erling Smørgrav 	char** reason)
161905ab2901SDag-Erling Smørgrav {
162005ab2901SDag-Erling Smørgrav 	unsigned int digest_size = 0;
162105ab2901SDag-Erling Smørgrav 
162205ab2901SDag-Erling Smørgrav 	if (sigblock_len == 0 || keylen == 0) {
162305ab2901SDag-Erling Smørgrav 		*reason = "null signature";
162405ab2901SDag-Erling Smørgrav 		return sec_status_bogus;
162505ab2901SDag-Erling Smørgrav 	}
162605ab2901SDag-Erling Smørgrav 
162705ab2901SDag-Erling Smørgrav 	switch(algo) {
1628*e2d15004SDag-Erling Smørgrav #ifdef USE_DSA
162905ab2901SDag-Erling Smørgrav 	case LDNS_DSA:
163005ab2901SDag-Erling Smørgrav 	case LDNS_DSA_NSEC3:
163105ab2901SDag-Erling Smørgrav 		*reason = _verify_nettle_dsa(buf, sigblock, sigblock_len, key, keylen);
163205ab2901SDag-Erling Smørgrav 		if (*reason != NULL)
163305ab2901SDag-Erling Smørgrav 			return sec_status_bogus;
163405ab2901SDag-Erling Smørgrav 		else
163505ab2901SDag-Erling Smørgrav 			return sec_status_secure;
1636*e2d15004SDag-Erling Smørgrav #endif /* USE_DSA */
163705ab2901SDag-Erling Smørgrav 
163805ab2901SDag-Erling Smørgrav 	case LDNS_RSASHA1:
163905ab2901SDag-Erling Smørgrav 	case LDNS_RSASHA1_NSEC3:
164005ab2901SDag-Erling Smørgrav 		digest_size = (digest_size ? digest_size : SHA1_DIGEST_SIZE);
164105ab2901SDag-Erling Smørgrav #ifdef USE_SHA2
164205ab2901SDag-Erling Smørgrav 	case LDNS_RSASHA256:
164305ab2901SDag-Erling Smørgrav 		digest_size = (digest_size ? digest_size : SHA256_DIGEST_SIZE);
164405ab2901SDag-Erling Smørgrav 	case LDNS_RSASHA512:
164505ab2901SDag-Erling Smørgrav 		digest_size = (digest_size ? digest_size : SHA512_DIGEST_SIZE);
164605ab2901SDag-Erling Smørgrav 
164705ab2901SDag-Erling Smørgrav #endif
164805ab2901SDag-Erling Smørgrav 		*reason = _verify_nettle_rsa(buf, digest_size, (char*)sigblock,
164905ab2901SDag-Erling Smørgrav 						sigblock_len, key, keylen);
165005ab2901SDag-Erling Smørgrav 		if (*reason != NULL)
165105ab2901SDag-Erling Smørgrav 			return sec_status_bogus;
165205ab2901SDag-Erling Smørgrav 		else
165305ab2901SDag-Erling Smørgrav 			return sec_status_secure;
165405ab2901SDag-Erling Smørgrav 
165505ab2901SDag-Erling Smørgrav #ifdef USE_ECDSA
165605ab2901SDag-Erling Smørgrav 	case LDNS_ECDSAP256SHA256:
165705ab2901SDag-Erling Smørgrav 		digest_size = (digest_size ? digest_size : SHA256_DIGEST_SIZE);
165805ab2901SDag-Erling Smørgrav 	case LDNS_ECDSAP384SHA384:
165905ab2901SDag-Erling Smørgrav 		digest_size = (digest_size ? digest_size : SHA384_DIGEST_SIZE);
166005ab2901SDag-Erling Smørgrav 		*reason = _verify_nettle_ecdsa(buf, digest_size, sigblock,
166105ab2901SDag-Erling Smørgrav 						sigblock_len, key, keylen);
166205ab2901SDag-Erling Smørgrav 		if (*reason != NULL)
166305ab2901SDag-Erling Smørgrav 			return sec_status_bogus;
166405ab2901SDag-Erling Smørgrav 		else
166505ab2901SDag-Erling Smørgrav 			return sec_status_secure;
166605ab2901SDag-Erling Smørgrav #endif
166705ab2901SDag-Erling Smørgrav 	case LDNS_RSAMD5:
166805ab2901SDag-Erling Smørgrav 	case LDNS_ECC_GOST:
166905ab2901SDag-Erling Smørgrav 	default:
167005ab2901SDag-Erling Smørgrav 		*reason = "unable to verify signature, unknown algorithm";
167105ab2901SDag-Erling Smørgrav 		return sec_status_bogus;
167205ab2901SDag-Erling Smørgrav 	}
167305ab2901SDag-Erling Smørgrav }
167405ab2901SDag-Erling Smørgrav 
167505ab2901SDag-Erling Smørgrav #endif /* HAVE_SSL or HAVE_NSS or HAVE_NETTLE */
1676