xref: /freebsd/sys/net/if_llatbl.c (revision d6cd20cc5c475e8bbf257ac1474ff490ae4dcab6)
1 /*-
2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
3  *
4  * Copyright (c) 2004 Luigi Rizzo, Alessandro Cerri. All rights reserved.
5  * Copyright (c) 2004-2008 Qing Li. All rights reserved.
6  * Copyright (c) 2008 Kip Macy. All rights reserved.
7  *
8  * Redistribution and use in source and binary forms, with or without
9  * modification, are permitted provided that the following conditions
10  * are met:
11  * 1. Redistributions of source code must retain the above copyright
12  *    notice, this list of conditions and the following disclaimer.
13  * 2. Redistributions in binary form must reproduce the above copyright
14  *    notice, this list of conditions and the following disclaimer in the
15  *    documentation and/or other materials provided with the distribution.
16  *
17  * THIS SOFTWARE IS PROVIDED BY AUTHOR AND CONTRIBUTORS ``AS IS'' AND
18  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
19  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
20  * ARE DISCLAIMED.  IN NO EVENT SHALL AUTHOR OR CONTRIBUTORS BE LIABLE
21  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
23  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
24  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
25  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
27  * SUCH DAMAGE.
28  */
29 #include <sys/cdefs.h>
30 __FBSDID("$FreeBSD$");
31 
32 #include "opt_ddb.h"
33 #include "opt_inet.h"
34 #include "opt_inet6.h"
35 
36 #include <sys/param.h>
37 #include <sys/systm.h>
38 #include <sys/eventhandler.h>
39 #include <sys/malloc.h>
40 #include <sys/mbuf.h>
41 #include <sys/syslog.h>
42 #include <sys/sysctl.h>
43 #include <sys/socket.h>
44 #include <sys/kernel.h>
45 #include <sys/lock.h>
46 #include <sys/mutex.h>
47 #include <sys/rwlock.h>
48 
49 #ifdef DDB
50 #include <ddb/ddb.h>
51 #endif
52 
53 #include <vm/uma.h>
54 
55 #include <netinet/in.h>
56 #include <net/if_llatbl.h>
57 #include <net/if.h>
58 #include <net/if_dl.h>
59 #include <net/if_var.h>
60 #include <net/route.h>
61 #include <net/route/route_ctl.h>
62 #include <net/route/route_debug.h>
63 #include <net/vnet.h>
64 #include <netinet/if_ether.h>
65 #include <netinet6/in6_var.h>
66 #include <netinet6/nd6.h>
67 
68 MALLOC_DEFINE(M_LLTABLE, "lltable", "link level address tables");
69 
70 VNET_DEFINE_STATIC(SLIST_HEAD(, lltable), lltables) =
71     SLIST_HEAD_INITIALIZER(lltables);
72 #define	V_lltables	VNET(lltables)
73 
74 static struct rwlock lltable_list_lock;
75 RW_SYSINIT(lltable_list_lock, &lltable_list_lock, "lltable_list_lock");
76 #define	LLTABLE_LIST_RLOCK()		rw_rlock(&lltable_list_lock)
77 #define	LLTABLE_LIST_RUNLOCK()		rw_runlock(&lltable_list_lock)
78 #define	LLTABLE_LIST_WLOCK()		rw_wlock(&lltable_list_lock)
79 #define	LLTABLE_LIST_WUNLOCK()		rw_wunlock(&lltable_list_lock)
80 #define	LLTABLE_LIST_LOCK_ASSERT()	rw_assert(&lltable_list_lock, RA_LOCKED)
81 
82 static void lltable_unlink(struct lltable *llt);
83 static void llentries_unlink(struct lltable *llt, struct llentries *head);
84 
85 /*
86  * Dump lle state for a specific address family.
87  */
88 static int
89 lltable_dump_af(struct lltable *llt, struct sysctl_req *wr)
90 {
91 	struct epoch_tracker et;
92 	int error;
93 
94 	LLTABLE_LIST_LOCK_ASSERT();
95 
96 	if (llt->llt_ifp->if_flags & IFF_LOOPBACK)
97 		return (0);
98 	error = 0;
99 
100 	NET_EPOCH_ENTER(et);
101 	error = lltable_foreach_lle(llt,
102 	    (llt_foreach_cb_t *)llt->llt_dump_entry, wr);
103 	NET_EPOCH_EXIT(et);
104 
105 	return (error);
106 }
107 
108 /*
109  * Dump arp state for a specific address family.
110  */
111 int
112 lltable_sysctl_dumparp(int af, struct sysctl_req *wr)
113 {
114 	struct lltable *llt;
115 	int error = 0;
116 
117 	LLTABLE_LIST_RLOCK();
118 	SLIST_FOREACH(llt, &V_lltables, llt_link) {
119 		if (llt->llt_af == af) {
120 			error = lltable_dump_af(llt, wr);
121 			if (error != 0)
122 				goto done;
123 		}
124 	}
125 done:
126 	LLTABLE_LIST_RUNLOCK();
127 	return (error);
128 }
129 
130 /*
131  * Common function helpers for chained hash table.
132  */
133 
134 /*
135  * Runs specified callback for each entry in @llt.
136  * Caller does the locking.
137  *
138  */
139 static int
140 htable_foreach_lle(struct lltable *llt, llt_foreach_cb_t *f, void *farg)
141 {
142 	struct llentry *lle, *next;
143 	int i, error;
144 
145 	error = 0;
146 
147 	for (i = 0; i < llt->llt_hsize; i++) {
148 		CK_LIST_FOREACH_SAFE(lle, &llt->lle_head[i], lle_next, next) {
149 			error = f(llt, lle, farg);
150 			if (error != 0)
151 				break;
152 		}
153 	}
154 
155 	return (error);
156 }
157 
158 /*
159  * The htable_[un]link_entry() functions return:
160  * 0 if the entry was (un)linked already and nothing changed,
161  * 1 if the entry was added/removed to/from the table, and
162  * -1 on error (e.g., not being able to add the entry due to limits reached).
163  * While the "unlink" operation should never error, callers of
164  * lltable_link_entry() need to check for errors and handle them.
165  */
166 static int
167 htable_link_entry(struct lltable *llt, struct llentry *lle)
168 {
169 	struct llentries *lleh;
170 	uint32_t hashidx;
171 
172 	if ((lle->la_flags & LLE_LINKED) != 0)
173 		return (0);
174 
175 	IF_AFDATA_WLOCK_ASSERT(llt->llt_ifp);
176 
177 	if (llt->llt_maxentries > 0 &&
178 	    llt->llt_entries >= llt->llt_maxentries)
179 		return (-1);
180 
181 	hashidx = llt->llt_hash(lle, llt->llt_hsize);
182 	lleh = &llt->lle_head[hashidx];
183 
184 	lle->lle_tbl  = llt;
185 	lle->lle_head = lleh;
186 	lle->la_flags |= LLE_LINKED;
187 	CK_LIST_INSERT_HEAD(lleh, lle, lle_next);
188 	llt->llt_entries++;
189 
190 	return (1);
191 }
192 
193 static int
194 htable_unlink_entry(struct llentry *lle)
195 {
196 	struct lltable *llt;
197 
198 	if ((lle->la_flags & LLE_LINKED) == 0)
199 		return (0);
200 
201 	llt = lle->lle_tbl;
202 	IF_AFDATA_WLOCK_ASSERT(llt->llt_ifp);
203 	KASSERT(llt->llt_entries > 0, ("%s: lltable %p (%s) entries %d <= 0",
204 	    __func__, llt, if_name(llt->llt_ifp), llt->llt_entries));
205 
206 	CK_LIST_REMOVE(lle, lle_next);
207 	lle->la_flags &= ~(LLE_VALID | LLE_LINKED);
208 #if 0
209 	lle->lle_tbl = NULL;
210 	lle->lle_head = NULL;
211 #endif
212 	llt->llt_entries--;
213 
214 	return (1);
215 }
216 
217 struct prefix_match_data {
218 	const struct sockaddr *addr;
219 	const struct sockaddr *mask;
220 	struct llentries dchain;
221 	u_int flags;
222 };
223 
224 static int
225 htable_prefix_free_cb(struct lltable *llt, struct llentry *lle, void *farg)
226 {
227 	struct prefix_match_data *pmd;
228 
229 	pmd = (struct prefix_match_data *)farg;
230 
231 	if (llt->llt_match_prefix(pmd->addr, pmd->mask, pmd->flags, lle)) {
232 		LLE_WLOCK(lle);
233 		CK_LIST_INSERT_HEAD(&pmd->dchain, lle, lle_chain);
234 	}
235 
236 	return (0);
237 }
238 
239 static void
240 htable_prefix_free(struct lltable *llt, const struct sockaddr *addr,
241     const struct sockaddr *mask, u_int flags)
242 {
243 	struct llentry *lle, *next;
244 	struct prefix_match_data pmd;
245 
246 	bzero(&pmd, sizeof(pmd));
247 	pmd.addr = addr;
248 	pmd.mask = mask;
249 	pmd.flags = flags;
250 	CK_LIST_INIT(&pmd.dchain);
251 
252 	IF_AFDATA_WLOCK(llt->llt_ifp);
253 	/* Push matching lles to chain */
254 	lltable_foreach_lle(llt, htable_prefix_free_cb, &pmd);
255 
256 	llentries_unlink(llt, &pmd.dchain);
257 	IF_AFDATA_WUNLOCK(llt->llt_ifp);
258 
259 	CK_LIST_FOREACH_SAFE(lle, &pmd.dchain, lle_chain, next)
260 		lltable_free_entry(llt, lle);
261 }
262 
263 static void
264 htable_free_tbl(struct lltable *llt)
265 {
266 
267 	free(llt->lle_head, M_LLTABLE);
268 	free(llt, M_LLTABLE);
269 }
270 
271 static void
272 llentries_unlink(struct lltable *llt, struct llentries *head)
273 {
274 	struct llentry *lle, *next;
275 
276 	CK_LIST_FOREACH_SAFE(lle, head, lle_chain, next)
277 		llt->llt_unlink_entry(lle);
278 }
279 
280 /*
281  * Helper function used to drop all mbufs in hold queue.
282  *
283  * Returns the number of held packets, if any, that were dropped.
284  */
285 size_t
286 lltable_drop_entry_queue(struct llentry *lle)
287 {
288 	size_t pkts_dropped;
289 	struct mbuf *next;
290 
291 	LLE_WLOCK_ASSERT(lle);
292 
293 	pkts_dropped = 0;
294 	while ((lle->la_numheld > 0) && (lle->la_hold != NULL)) {
295 		next = lle->la_hold->m_nextpkt;
296 		m_freem(lle->la_hold);
297 		lle->la_hold = next;
298 		lle->la_numheld--;
299 		pkts_dropped++;
300 	}
301 
302 	KASSERT(lle->la_numheld == 0,
303 		("%s: la_numheld %d > 0, pkts_droped %zd", __func__,
304 		 lle->la_numheld, pkts_dropped));
305 
306 	return (pkts_dropped);
307 }
308 
309 void
310 lltable_set_entry_addr(struct ifnet *ifp, struct llentry *lle,
311     const char *linkhdr, size_t linkhdrsize, int lladdr_off)
312 {
313 
314 	memcpy(lle->r_linkdata, linkhdr, linkhdrsize);
315 	lle->r_hdrlen = linkhdrsize;
316 	lle->ll_addr = &lle->r_linkdata[lladdr_off];
317 	lle->la_flags |= LLE_VALID;
318 	lle->r_flags |= RLLE_VALID;
319 }
320 
321 /*
322  * Acquires lltable write lock.
323  *
324  * Returns true on success, with both lltable and lle lock held.
325  * On failure, false is returned and lle wlock is still held.
326  */
327 bool
328 lltable_acquire_wlock(struct ifnet *ifp, struct llentry *lle)
329 {
330 	NET_EPOCH_ASSERT();
331 
332 	/* Perform real LLE update */
333 	/* use afdata WLOCK to update fields */
334 	LLE_WUNLOCK(lle);
335 	IF_AFDATA_WLOCK(ifp);
336 	LLE_WLOCK(lle);
337 
338 	/*
339 	 * Since we droppped LLE lock, other thread might have deleted
340 	 * this lle. Check and return
341 	 */
342 	if ((lle->la_flags & LLE_DELETED) != 0) {
343 		IF_AFDATA_WUNLOCK(ifp);
344 		return (false);
345 	}
346 
347 	return (true);
348 }
349 
350 /*
351  * Tries to update @lle link-level address.
352  * Since update requires AFDATA WLOCK, function
353  * drops @lle lock, acquires AFDATA lock and then acquires
354  * @lle lock to maintain lock order.
355  *
356  * Returns 1 on success.
357  */
358 int
359 lltable_try_set_entry_addr(struct ifnet *ifp, struct llentry *lle,
360     const char *linkhdr, size_t linkhdrsize, int lladdr_off)
361 {
362 
363 	if (!lltable_acquire_wlock(ifp, lle))
364 		return (0);
365 
366 	/* Update data */
367 	lltable_set_entry_addr(ifp, lle, linkhdr, linkhdrsize, lladdr_off);
368 
369 	IF_AFDATA_WUNLOCK(ifp);
370 
371 	return (1);
372 }
373 
374  /*
375  * Helper function used to pre-compute full/partial link-layer
376  * header data suitable for feeding into if_output().
377  */
378 int
379 lltable_calc_llheader(struct ifnet *ifp, int family, char *lladdr,
380     char *buf, size_t *bufsize, int *lladdr_off)
381 {
382 	struct if_encap_req ereq;
383 	int error;
384 
385 	bzero(buf, *bufsize);
386 	bzero(&ereq, sizeof(ereq));
387 	ereq.buf = buf;
388 	ereq.bufsize = *bufsize;
389 	ereq.rtype = IFENCAP_LL;
390 	ereq.family = family;
391 	ereq.lladdr = lladdr;
392 	ereq.lladdr_len = ifp->if_addrlen;
393 	error = ifp->if_requestencap(ifp, &ereq);
394 	if (error == 0) {
395 		*bufsize = ereq.bufsize;
396 		*lladdr_off = ereq.lladdr_off;
397 	}
398 
399 	return (error);
400 }
401 
402 /*
403  * Searches for the child entry matching @family inside @lle.
404  * Returns the entry or NULL.
405  */
406 struct llentry *
407 llentry_lookup_family(struct llentry *lle, int family)
408 {
409 	struct llentry *child_lle;
410 
411 	if (lle == NULL)
412 		return (NULL);
413 
414 	CK_SLIST_FOREACH(child_lle, &lle->lle_children, lle_child_next) {
415 		if (child_lle->r_family == family)
416 			return (child_lle);
417 	}
418 
419 	return (NULL);
420 }
421 
422 /*
423  * Retrieves upper protocol family for the llentry.
424  * By default, all "normal" (e.g. upper_family == transport_family)
425  * llentries have r_family set to 0.
426  * Thus, use @default_family in that regard, otherwise use r_family.
427  *
428  * Returns upper protocol family
429  */
430 int
431 llentry_get_upper_family(const struct llentry *lle, int default_family)
432 {
433 	return (lle->r_family == 0 ? default_family : lle->r_family);
434 }
435 
436 /*
437  * Prints llentry @lle data into provided buffer.
438  * Example: lle/inet/valid/em0/1.2.3.4
439  *
440  * Returns @buf.
441  */
442 char *
443 llentry_print_buf(const struct llentry *lle, struct ifnet *ifp, int family,
444     char *buf, size_t bufsize)
445 {
446 #if defined(INET) || defined(INET6)
447 	char abuf[INET6_ADDRSTRLEN];
448 #endif
449 
450 	const char *valid = (lle->r_flags & RLLE_VALID) ? "valid" : "no_l2";
451 	const char *upper_str = rib_print_family(llentry_get_upper_family(lle, family));
452 
453 	switch (family) {
454 #ifdef INET
455 	case AF_INET:
456 		inet_ntop(AF_INET, &lle->r_l3addr.addr4, abuf, sizeof(abuf));
457 		snprintf(buf, bufsize, "lle/%s/%s/%s/%s", upper_str,
458 		    valid, if_name(ifp), abuf);
459 		break;
460 #endif
461 #ifdef INET6
462 	case AF_INET6:
463 		inet_ntop(AF_INET6, &lle->r_l3addr.addr6, abuf, sizeof(abuf));
464 		snprintf(buf, bufsize, "lle/%s/%s/%s/%s", upper_str,
465 		    valid, if_name(ifp), abuf);
466 		break;
467 #endif
468 	default:
469 		snprintf(buf, bufsize, "lle/%s/%s/%s/????", upper_str,
470 		    valid, if_name(ifp));
471 		break;
472 	}
473 
474 	return (buf);
475 }
476 
477 char *
478 llentry_print_buf_lltable(const struct llentry *lle, char *buf, size_t bufsize)
479 {
480 	struct lltable *tbl = lle->lle_tbl;
481 
482 	return (llentry_print_buf(lle, lltable_get_ifp(tbl), lltable_get_af(tbl), buf, bufsize));
483 }
484 
485 /*
486  * Requests feedback from the datapath.
487  * First packet using @lle should result in
488  * setting r_skip_req back to 0 and updating
489  * lle_hittime to the current time_uptime.
490  */
491 void
492 llentry_request_feedback(struct llentry *lle)
493 {
494 	struct llentry *child_lle;
495 
496 	LLE_REQ_LOCK(lle);
497 	lle->r_skip_req = 1;
498 	LLE_REQ_UNLOCK(lle);
499 
500 	CK_SLIST_FOREACH(child_lle, &lle->lle_children, lle_child_next) {
501 		LLE_REQ_LOCK(child_lle);
502 		child_lle->r_skip_req = 1;
503 		LLE_REQ_UNLOCK(child_lle);
504 	}
505 }
506 
507 /*
508  * Updates the lle state to mark it has been used
509  * and record the time.
510  * Used by the llentry_provide_feedback() wrapper.
511  */
512 void
513 llentry_mark_used(struct llentry *lle)
514 {
515 	LLE_REQ_LOCK(lle);
516 	lle->r_skip_req = 0;
517 	lle->lle_hittime = time_uptime;
518 	LLE_REQ_UNLOCK(lle);
519 }
520 
521 /*
522  * Fetches the time when lle was used.
523  * Return 0 if the entry was not used, relevant time_uptime
524  *  otherwise.
525  */
526 static time_t
527 llentry_get_hittime_raw(struct llentry *lle)
528 {
529 	time_t lle_hittime = 0;
530 
531 	LLE_REQ_LOCK(lle);
532 	if ((lle->r_skip_req == 0) && (lle_hittime < lle->lle_hittime))
533 		lle_hittime = lle->lle_hittime;
534 	LLE_REQ_UNLOCK(lle);
535 
536 	return (lle_hittime);
537 }
538 
539 time_t
540 llentry_get_hittime(struct llentry *lle)
541 {
542 	time_t lle_hittime = 0;
543 	struct llentry *child_lle;
544 
545 	lle_hittime = llentry_get_hittime_raw(lle);
546 
547 	CK_SLIST_FOREACH(child_lle, &lle->lle_children, lle_child_next) {
548 		time_t hittime = llentry_get_hittime_raw(child_lle);
549 		if (hittime > lle_hittime)
550 			lle_hittime = hittime;
551 	}
552 
553 	return (lle_hittime);
554 }
555 
556 /*
557  * Update link-layer header for given @lle after
558  * interface lladdr was changed.
559  */
560 static int
561 llentry_update_ifaddr(struct lltable *llt, struct llentry *lle, void *farg)
562 {
563 	struct ifnet *ifp;
564 	u_char linkhdr[LLE_MAX_LINKHDR];
565 	size_t linkhdrsize;
566 	u_char *lladdr;
567 	int lladdr_off;
568 
569 	ifp = (struct ifnet *)farg;
570 
571 	lladdr = lle->ll_addr;
572 
573 	LLE_WLOCK(lle);
574 	if ((lle->la_flags & LLE_VALID) == 0) {
575 		LLE_WUNLOCK(lle);
576 		return (0);
577 	}
578 
579 	if ((lle->la_flags & LLE_IFADDR) != 0)
580 		lladdr = IF_LLADDR(ifp);
581 
582 	linkhdrsize = sizeof(linkhdr);
583 	lltable_calc_llheader(ifp, llt->llt_af, lladdr, linkhdr, &linkhdrsize,
584 	    &lladdr_off);
585 	memcpy(lle->r_linkdata, linkhdr, linkhdrsize);
586 	LLE_WUNLOCK(lle);
587 
588 	return (0);
589 }
590 
591 /*
592  * Update all calculated headers for given @llt
593  */
594 void
595 lltable_update_ifaddr(struct lltable *llt)
596 {
597 
598 	if (llt->llt_ifp->if_flags & IFF_LOOPBACK)
599 		return;
600 
601 	IF_AFDATA_WLOCK(llt->llt_ifp);
602 	lltable_foreach_lle(llt, llentry_update_ifaddr, llt->llt_ifp);
603 	IF_AFDATA_WUNLOCK(llt->llt_ifp);
604 }
605 
606 /*
607  *
608  * Performs generic cleanup routines and frees lle.
609  *
610  * Called for non-linked entries, with callouts and
611  * other AF-specific cleanups performed.
612  *
613  * @lle must be passed WLOCK'ed
614  *
615  * Returns the number of held packets, if any, that were dropped.
616  */
617 size_t
618 llentry_free(struct llentry *lle)
619 {
620 	size_t pkts_dropped;
621 
622 	LLE_WLOCK_ASSERT(lle);
623 
624 	KASSERT((lle->la_flags & LLE_LINKED) == 0, ("freeing linked lle"));
625 
626 	pkts_dropped = lltable_drop_entry_queue(lle);
627 
628 	/* cancel timer */
629 	if (callout_stop(&lle->lle_timer) > 0)
630 		LLE_REMREF(lle);
631 	LLE_FREE_LOCKED(lle);
632 
633 	return (pkts_dropped);
634 }
635 
636 /*
637  * Free all entries from given table and free itself.
638  */
639 
640 static int
641 lltable_free_cb(struct lltable *llt, struct llentry *lle, void *farg)
642 {
643 	struct llentries *dchain;
644 
645 	dchain = (struct llentries *)farg;
646 
647 	LLE_WLOCK(lle);
648 	CK_LIST_INSERT_HEAD(dchain, lle, lle_chain);
649 
650 	return (0);
651 }
652 
653 /*
654  * Free all entries from given table and free itself.
655  */
656 void
657 lltable_free(struct lltable *llt)
658 {
659 	struct llentry *lle, *next;
660 	struct llentries dchain;
661 
662 	KASSERT(llt != NULL, ("%s: llt is NULL", __func__));
663 
664 	lltable_unlink(llt);
665 
666 	CK_LIST_INIT(&dchain);
667 	IF_AFDATA_WLOCK(llt->llt_ifp);
668 	/* Push all lles to @dchain */
669 	lltable_foreach_lle(llt, lltable_free_cb, &dchain);
670 	llentries_unlink(llt, &dchain);
671 	IF_AFDATA_WUNLOCK(llt->llt_ifp);
672 
673 	CK_LIST_FOREACH_SAFE(lle, &dchain, lle_chain, next) {
674 		llentry_free(lle);
675 	}
676 
677 	KASSERT(llt->llt_entries == 0, ("%s: lltable %p (%s) entires not 0: %d",
678 	    __func__, llt, llt->llt_ifp->if_xname, llt->llt_entries));
679 
680 	llt->llt_free_tbl(llt);
681 }
682 
683 /*
684  * Deletes an address from given lltable.
685  * Used for userland interaction to remove
686  * individual entries. Skips entries added by OS.
687  */
688 int
689 lltable_delete_addr(struct lltable *llt, u_int flags,
690     const struct sockaddr *l3addr)
691 {
692 	struct llentry *lle;
693 	struct ifnet *ifp;
694 
695 	ifp = llt->llt_ifp;
696 	IF_AFDATA_WLOCK(ifp);
697 	lle = lla_lookup(llt, LLE_SF(l3addr->sa_family, LLE_EXCLUSIVE), l3addr);
698 
699 	if (lle == NULL) {
700 		IF_AFDATA_WUNLOCK(ifp);
701 		return (ENOENT);
702 	}
703 	if ((lle->la_flags & LLE_IFADDR) != 0 && (flags & LLE_IFADDR) == 0) {
704 		IF_AFDATA_WUNLOCK(ifp);
705 		LLE_WUNLOCK(lle);
706 		return (EPERM);
707 	}
708 
709 	lltable_unlink_entry(llt, lle);
710 	IF_AFDATA_WUNLOCK(ifp);
711 
712 	llt->llt_delete_entry(llt, lle);
713 
714 	return (0);
715 }
716 
717 void
718 lltable_prefix_free(int af, struct sockaddr *addr, struct sockaddr *mask,
719     u_int flags)
720 {
721 	struct lltable *llt;
722 
723 	LLTABLE_LIST_RLOCK();
724 	SLIST_FOREACH(llt, &V_lltables, llt_link) {
725 		if (llt->llt_af != af)
726 			continue;
727 
728 		llt->llt_prefix_free(llt, addr, mask, flags);
729 	}
730 	LLTABLE_LIST_RUNLOCK();
731 }
732 
733 /*
734  * Delete llentries that func() returns true.
735  */
736 struct lle_match_data {
737 	struct llentries dchain;
738 	llt_match_cb_t *func;
739 	void *farg;
740 };
741 
742 static int
743 lltable_delete_conditional_cb(struct lltable *llt, struct llentry *lle,
744     void *farg)
745 {
746 	struct lle_match_data *lmd;
747 
748 	lmd = (struct lle_match_data *)farg;
749 	if (lmd->func(llt, lle, lmd->farg)) {
750 		LLE_WLOCK(lle);
751 		CK_LIST_INSERT_HEAD(&lmd->dchain, lle, lle_chain);
752 	}
753 
754 	return (0);
755 }
756 
757 void
758 lltable_delete_conditional(struct lltable *llt, llt_match_cb_t *func,
759     void *farg)
760 {
761 	struct llentry *lle, *next;
762 	struct lle_match_data lmd;
763 
764 	bzero(&lmd, sizeof(lmd));
765 	CK_LIST_INIT(&lmd.dchain);
766 	lmd.func = func;
767 	lmd.farg = farg;
768 
769 	IF_AFDATA_WLOCK(llt->llt_ifp);
770 	lltable_foreach_lle(llt, lltable_delete_conditional_cb, &lmd);
771 	llentries_unlink(llt, &lmd.dchain);
772 	IF_AFDATA_WUNLOCK(llt->llt_ifp);
773 
774 	CK_LIST_FOREACH_SAFE(lle, &lmd.dchain, lle_chain, next)
775 		llt->llt_delete_entry(llt, lle);
776 }
777 
778 struct lltable *
779 lltable_allocate_htbl(uint32_t hsize)
780 {
781 	struct lltable *llt;
782 	int i;
783 
784 	llt = malloc(sizeof(struct lltable), M_LLTABLE, M_WAITOK | M_ZERO);
785 	llt->llt_hsize = hsize;
786 	llt->lle_head = malloc(sizeof(struct llentries) * hsize,
787 	    M_LLTABLE, M_WAITOK | M_ZERO);
788 
789 	for (i = 0; i < llt->llt_hsize; i++)
790 		CK_LIST_INIT(&llt->lle_head[i]);
791 
792 	/* Set some default callbacks */
793 	llt->llt_link_entry = htable_link_entry;
794 	llt->llt_unlink_entry = htable_unlink_entry;
795 	llt->llt_prefix_free = htable_prefix_free;
796 	llt->llt_foreach_entry = htable_foreach_lle;
797 	llt->llt_free_tbl = htable_free_tbl;
798 
799 	return (llt);
800 }
801 
802 /*
803  * Links lltable to global llt list.
804  */
805 void
806 lltable_link(struct lltable *llt)
807 {
808 
809 	LLTABLE_LIST_WLOCK();
810 	SLIST_INSERT_HEAD(&V_lltables, llt, llt_link);
811 	LLTABLE_LIST_WUNLOCK();
812 }
813 
814 static void
815 lltable_unlink(struct lltable *llt)
816 {
817 
818 	LLTABLE_LIST_WLOCK();
819 	SLIST_REMOVE(&V_lltables, llt, lltable, llt_link);
820 	LLTABLE_LIST_WUNLOCK();
821 
822 }
823 
824 /*
825  * Gets interface @ifp lltable for the specified @family
826  */
827 struct lltable *
828 lltable_get(struct ifnet *ifp, int family)
829 {
830 	switch (family) {
831 #ifdef INET
832 	case AF_INET:
833 		return (in_lltable_get(ifp));
834 #endif
835 #ifdef INET6
836 	case AF_INET6:
837 		return (in6_lltable_get(ifp));
838 #endif
839 	}
840 
841 	return (NULL);
842 }
843 
844 /*
845  * External methods used by lltable consumers
846  */
847 
848 int
849 lltable_foreach_lle(struct lltable *llt, llt_foreach_cb_t *f, void *farg)
850 {
851 
852 	return (llt->llt_foreach_entry(llt, f, farg));
853 }
854 
855 struct llentry *
856 lltable_alloc_entry(struct lltable *llt, u_int flags,
857     const struct sockaddr *l3addr)
858 {
859 
860 	return (llt->llt_alloc_entry(llt, flags, l3addr));
861 }
862 
863 void
864 lltable_free_entry(struct lltable *llt, struct llentry *lle)
865 {
866 
867 	llt->llt_free_entry(llt, lle);
868 }
869 
870 int
871 lltable_link_entry(struct lltable *llt, struct llentry *lle)
872 {
873 
874 	return (llt->llt_link_entry(llt, lle));
875 }
876 
877 void
878 lltable_link_child_entry(struct llentry *lle, struct llentry *child_lle)
879 {
880 	child_lle->lle_parent = lle;
881 	child_lle->lle_tbl = lle->lle_tbl;
882 	child_lle->la_flags |= LLE_LINKED;
883 	CK_SLIST_INSERT_HEAD(&lle->lle_children, child_lle, lle_child_next);
884 }
885 
886 void
887 lltable_unlink_child_entry(struct llentry *child_lle)
888 {
889 	struct llentry *lle = child_lle->lle_parent;
890 
891 	child_lle->la_flags &= ~LLE_LINKED;
892 	child_lle->lle_parent = NULL;
893 	CK_SLIST_REMOVE(&lle->lle_children, child_lle, llentry, lle_child_next);
894 }
895 
896 int
897 lltable_unlink_entry(struct lltable *llt, struct llentry *lle)
898 {
899 
900 	return (llt->llt_unlink_entry(lle));
901 }
902 
903 void
904 lltable_fill_sa_entry(const struct llentry *lle, struct sockaddr *sa)
905 {
906 	struct lltable *llt;
907 
908 	llt = lle->lle_tbl;
909 	llt->llt_fill_sa_entry(lle, sa);
910 }
911 
912 struct ifnet *
913 lltable_get_ifp(const struct lltable *llt)
914 {
915 
916 	return (llt->llt_ifp);
917 }
918 
919 int
920 lltable_get_af(const struct lltable *llt)
921 {
922 
923 	return (llt->llt_af);
924 }
925 
926 /*
927  * Called in route_output when rtm_flags contains RTF_LLDATA.
928  */
929 int
930 lla_rt_output(struct rt_msghdr *rtm, struct rt_addrinfo *info)
931 {
932 	struct sockaddr_dl *dl =
933 	    (struct sockaddr_dl *)info->rti_info[RTAX_GATEWAY];
934 	struct sockaddr *dst = (struct sockaddr *)info->rti_info[RTAX_DST];
935 	struct ifnet *ifp;
936 	struct lltable *llt;
937 	struct llentry *lle, *lle_tmp;
938 	uint8_t linkhdr[LLE_MAX_LINKHDR];
939 	size_t linkhdrsize;
940 	int lladdr_off;
941 	u_int laflags = 0;
942 	int error;
943 
944 	if (dl == NULL || dl->sdl_family != AF_LINK)
945 		return (EINVAL);
946 
947 	/* XXX: should be ntohs() */
948 	ifp = ifnet_byindex(dl->sdl_index);
949 	if (ifp == NULL) {
950 		log(LOG_INFO, "%s: invalid ifp (sdl_index %d)\n",
951 		    __func__, dl->sdl_index);
952 		return EINVAL;
953 	}
954 
955 	llt = lltable_get(ifp, dst->sa_family);
956 
957 	if (llt == NULL)
958 		return (ESRCH);
959 
960 	error = 0;
961 
962 	switch (rtm->rtm_type) {
963 	case RTM_ADD:
964 		/* Add static LLE */
965 		laflags = 0;
966 		if (rtm->rtm_rmx.rmx_expire == 0)
967 			laflags = LLE_STATIC;
968 		lle = lltable_alloc_entry(llt, laflags, dst);
969 		if (lle == NULL)
970 			return (ENOMEM);
971 
972 		linkhdrsize = sizeof(linkhdr);
973 		if (lltable_calc_llheader(ifp, dst->sa_family, LLADDR(dl),
974 		    linkhdr, &linkhdrsize, &lladdr_off) != 0) {
975 			lltable_free_entry(llt, lle);
976 			return (EINVAL);
977 		}
978 		lltable_set_entry_addr(ifp, lle, linkhdr, linkhdrsize,
979 		    lladdr_off);
980 		if ((rtm->rtm_flags & RTF_ANNOUNCE))
981 			lle->la_flags |= LLE_PUB;
982 		lle->la_expire = rtm->rtm_rmx.rmx_expire;
983 
984 		laflags = lle->la_flags;
985 
986 		/* Try to link new entry */
987 		lle_tmp = NULL;
988 		IF_AFDATA_WLOCK(ifp);
989 		LLE_WLOCK(lle);
990 		lle_tmp = lla_lookup(llt, LLE_EXCLUSIVE, dst);
991 		if (lle_tmp != NULL) {
992 			/* Check if we are trying to replace immutable entry */
993 			if ((lle_tmp->la_flags & LLE_IFADDR) != 0) {
994 				IF_AFDATA_WUNLOCK(ifp);
995 				LLE_WUNLOCK(lle_tmp);
996 				lltable_free_entry(llt, lle);
997 				return (EPERM);
998 			}
999 			/* Unlink existing entry from table */
1000 			lltable_unlink_entry(llt, lle_tmp);
1001 		}
1002 		lltable_link_entry(llt, lle);
1003 		if ((lle->la_flags & LLE_PUB) != 0 &&
1004 		    (llt->llt_flags & LLT_ADDEDPROXY) == 0)
1005 			llt->llt_flags |= LLT_ADDEDPROXY;
1006 		IF_AFDATA_WUNLOCK(ifp);
1007 
1008 		if (lle_tmp != NULL) {
1009 			EVENTHANDLER_INVOKE(lle_event, lle_tmp,LLENTRY_EXPIRED);
1010 			lltable_free_entry(llt, lle_tmp);
1011 		}
1012 
1013 		/*
1014 		 * By invoking LLE handler here we might get
1015 		 * two events on static LLE entry insertion
1016 		 * in routing socket. However, since we might have
1017 		 * other subscribers we need to generate this event.
1018 		 */
1019 		EVENTHANDLER_INVOKE(lle_event, lle, LLENTRY_RESOLVED);
1020 		LLE_WUNLOCK(lle);
1021 		llt->llt_post_resolved(llt, lle);
1022 		break;
1023 
1024 	case RTM_DELETE:
1025 		return (lltable_delete_addr(llt, 0, dst));
1026 
1027 	default:
1028 		error = EINVAL;
1029 	}
1030 
1031 	return (error);
1032 }
1033 
1034 #ifdef DDB
1035 struct llentry_sa {
1036 	struct llentry		base;
1037 	struct sockaddr		l3_addr;
1038 };
1039 
1040 static void
1041 llatbl_lle_show(struct llentry_sa *la)
1042 {
1043 	struct llentry *lle;
1044 	uint8_t octet[6];
1045 
1046 	lle = &la->base;
1047 	db_printf("lle=%p\n", lle);
1048 	db_printf(" lle_next=%p\n", lle->lle_next.cle_next);
1049 	db_printf(" lle_lock=%p\n", &lle->lle_lock);
1050 	db_printf(" lle_tbl=%p\n", lle->lle_tbl);
1051 	db_printf(" lle_head=%p\n", lle->lle_head);
1052 	db_printf(" la_hold=%p\n", lle->la_hold);
1053 	db_printf(" la_numheld=%d\n", lle->la_numheld);
1054 	db_printf(" la_expire=%ju\n", (uintmax_t)lle->la_expire);
1055 	db_printf(" la_flags=0x%04x\n", lle->la_flags);
1056 	db_printf(" la_asked=%u\n", lle->la_asked);
1057 	db_printf(" la_preempt=%u\n", lle->la_preempt);
1058 	db_printf(" ln_state=%d\n", lle->ln_state);
1059 	db_printf(" ln_router=%u\n", lle->ln_router);
1060 	db_printf(" ln_ntick=%ju\n", (uintmax_t)lle->ln_ntick);
1061 	db_printf(" lle_refcnt=%d\n", lle->lle_refcnt);
1062 	bcopy(lle->ll_addr, octet, sizeof(octet));
1063 	db_printf(" ll_addr=%02x:%02x:%02x:%02x:%02x:%02x\n",
1064 	    octet[0], octet[1], octet[2], octet[3], octet[4], octet[5]);
1065 	db_printf(" lle_timer=%p\n", &lle->lle_timer);
1066 
1067 	switch (la->l3_addr.sa_family) {
1068 #ifdef INET
1069 	case AF_INET:
1070 	{
1071 		struct sockaddr_in *sin;
1072 		char l3s[INET_ADDRSTRLEN];
1073 
1074 		sin = (struct sockaddr_in *)&la->l3_addr;
1075 		inet_ntoa_r(sin->sin_addr, l3s);
1076 		db_printf(" l3_addr=%s\n", l3s);
1077 		break;
1078 	}
1079 #endif
1080 #ifdef INET6
1081 	case AF_INET6:
1082 	{
1083 		struct sockaddr_in6 *sin6;
1084 		char l3s[INET6_ADDRSTRLEN];
1085 
1086 		sin6 = (struct sockaddr_in6 *)&la->l3_addr;
1087 		ip6_sprintf(l3s, &sin6->sin6_addr);
1088 		db_printf(" l3_addr=%s\n", l3s);
1089 		break;
1090 	}
1091 #endif
1092 	default:
1093 		db_printf(" l3_addr=N/A (af=%d)\n", la->l3_addr.sa_family);
1094 		break;
1095 	}
1096 }
1097 
1098 DB_SHOW_COMMAND(llentry, db_show_llentry)
1099 {
1100 
1101 	if (!have_addr) {
1102 		db_printf("usage: show llentry <struct llentry *>\n");
1103 		return;
1104 	}
1105 
1106 	llatbl_lle_show((struct llentry_sa *)addr);
1107 }
1108 
1109 static void
1110 llatbl_llt_show(struct lltable *llt)
1111 {
1112 	int i;
1113 	struct llentry *lle;
1114 
1115 	db_printf("llt=%p llt_af=%d llt_ifp=%p\n",
1116 	    llt, llt->llt_af, llt->llt_ifp);
1117 
1118 	for (i = 0; i < llt->llt_hsize; i++) {
1119 		CK_LIST_FOREACH(lle, &llt->lle_head[i], lle_next) {
1120 			llatbl_lle_show((struct llentry_sa *)lle);
1121 			if (db_pager_quit)
1122 				return;
1123 		}
1124 	}
1125 }
1126 
1127 DB_SHOW_COMMAND(lltable, db_show_lltable)
1128 {
1129 
1130 	if (!have_addr) {
1131 		db_printf("usage: show lltable <struct lltable *>\n");
1132 		return;
1133 	}
1134 
1135 	llatbl_llt_show((struct lltable *)addr);
1136 }
1137 
1138 DB_SHOW_ALL_COMMAND(lltables, db_show_all_lltables)
1139 {
1140 	VNET_ITERATOR_DECL(vnet_iter);
1141 	struct lltable *llt;
1142 
1143 	VNET_FOREACH(vnet_iter) {
1144 		CURVNET_SET_QUIET(vnet_iter);
1145 #ifdef VIMAGE
1146 		db_printf("vnet=%p\n", curvnet);
1147 #endif
1148 		SLIST_FOREACH(llt, &V_lltables, llt_link) {
1149 			db_printf("llt=%p llt_af=%d llt_ifp=%p(%s)\n",
1150 			    llt, llt->llt_af, llt->llt_ifp,
1151 			    (llt->llt_ifp != NULL) ?
1152 				llt->llt_ifp->if_xname : "?");
1153 			if (have_addr && addr != 0) /* verbose */
1154 				llatbl_llt_show(llt);
1155 			if (db_pager_quit) {
1156 				CURVNET_RESTORE();
1157 				return;
1158 			}
1159 		}
1160 		CURVNET_RESTORE();
1161 	}
1162 }
1163 #endif
1164