| /linux/net/core/ |
| H A D | page_pool.c | 372 static void page_pool_return_page(struct page_pool *pool, netmem_ref netmem);
377 netmem_ref netmem; in page_pool_refill_alloc_cache() local
398 netmem = (__force netmem_ref)__ptr_ring_consume(r); in page_pool_refill_alloc_cache()
399 if (unlikely(!netmem)) in page_pool_refill_alloc_cache()
402 if (likely(netmem_is_pref_nid(netmem, pref_nid))) { in page_pool_refill_alloc_cache()
403 pool->alloc.cache[pool->alloc.count++] = netmem; in page_pool_refill_alloc_cache()
410 page_pool_return_page(pool, netmem); in page_pool_refill_alloc_cache()
412 netmem = 0; in page_pool_refill_alloc_cache()
419 netmem = pool->alloc.cache[--pool->alloc.count]; in page_pool_refill_alloc_cache()
423 return netmem; in page_pool_refill_alloc_cache()
[all …]
|
| H A D | netmem_priv.h | 6 static inline unsigned long netmem_get_pp_magic(netmem_ref netmem) in netmem_get_pp_magic() argument
8 return __netmem_clear_lsb(netmem)->pp_magic; in netmem_get_pp_magic()
11 static inline void netmem_or_pp_magic(netmem_ref netmem, unsigned long pp_magic) in netmem_or_pp_magic() argument
13 __netmem_clear_lsb(netmem)->pp_magic |= pp_magic; in netmem_or_pp_magic()
16 static inline void netmem_clear_pp_magic(netmem_ref netmem) in netmem_clear_pp_magic() argument
18 __netmem_clear_lsb(netmem)->pp_magic = 0; in netmem_clear_pp_magic()
21 static inline void netmem_set_pp(netmem_ref netmem, struct page_pool *pool) in netmem_set_pp() argument
23 __netmem_clear_lsb(netmem)->pp = pool; in netmem_set_pp()
26 static inline void netmem_set_dma_addr(netmem_ref netmem, in netmem_set_dma_addr() argument
29 __netmem_clear_lsb(netmem)->dma_addr = dma_addr; in netmem_set_dma_addr()
|
| H A D | page_pool_priv.h | 19 page_pool_set_dma_addr_netmem(netmem_ref netmem, dma_addr_t addr) in page_pool_set_dma_addr_netmem() argument
22 netmem_set_dma_addr(netmem, addr >> PAGE_SHIFT); in page_pool_set_dma_addr_netmem()
27 return addr != (dma_addr_t)netmem_get_dma_addr(netmem) in page_pool_set_dma_addr_netmem()
31 netmem_set_dma_addr(netmem, addr); in page_pool_set_dma_addr_netmem()
41 void page_pool_set_pp_info(struct page_pool *pool, netmem_ref netmem);
42 void page_pool_clear_pp_info(netmem_ref netmem);
47 netmem_ref netmem) in page_pool_set_pp_info() argument
50 static inline void page_pool_clear_pp_info(netmem_ref netmem) in page_pool_clear_pp_info() argument
|
| H A D | devmem.c | 364 netmem_ref netmem; in mp_dmabuf_devmem_alloc_netmems() local
370 netmem = net_iov_to_netmem(niov); in mp_dmabuf_devmem_alloc_netmems()
372 page_pool_set_pp_info(pool, netmem); in mp_dmabuf_devmem_alloc_netmems()
375 trace_page_pool_state_hold(pool, netmem, pool->pages_state_hold_cnt); in mp_dmabuf_devmem_alloc_netmems()
376 return netmem; in mp_dmabuf_devmem_alloc_netmems()
386 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page() argument
388 long refcount = atomic_long_read(netmem_get_pp_ref_count_ref(netmem)); in mp_dmabuf_devmem_release_page()
390 if (WARN_ON_ONCE(!netmem_is_net_iov(netmem))) in mp_dmabuf_devmem_release_page()
396 page_pool_clear_pp_info(netmem); in mp_dmabuf_devmem_release_page()
398 net_devmem_free_dmabuf(netmem_to_net_iov(netmem)); in mp_dmabuf_devmem_release_page()
|
| H A D | xdp.c | 432 void __xdp_return(netmem_ref netmem, enum xdp_mem_type mem_type, in __xdp_return() argument
437 netmem = netmem_compound_head(netmem); in __xdp_return()
443 page_pool_put_full_netmem(netmem_get_pp(netmem), netmem, in __xdp_return()
447 page_frag_free(__netmem_address(netmem)); in __xdp_return()
450 put_page(__netmem_to_page(netmem)); in __xdp_return()
542 void xdp_return_frag(netmem_ref netmem, const struct xdp_buff *xdp) in xdp_return_frag() argument
544 __xdp_return(netmem, xdp->rxq->mem.type, true, NULL); in xdp_return_frag()
712 netmem_ref netmem; in xdp_copy_frags_from_zc() local
714 netmem = page_pool_dev_alloc_netmem(pp, &offset, &truesize); in xdp_copy_frags_from_zc()
715 if (unlikely(!netmem)) { in xdp_copy_frags_from_zc()
[all …]
|
| H A D | mp_dmabuf_devmem.h | 20 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem);
38 mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page() argument
|
| H A D | skbuff.c | 121 offsetof(skb_frag_t, netmem));
123 sizeof_field(skb_frag_t, netmem));
789 void skb_add_rx_frag_netmem(struct sk_buff *skb, int i, netmem_ref netmem, in skb_add_rx_frag_netmem() argument
794 skb_fill_netmem_desc(skb, i, netmem, off, size); in skb_add_rx_frag_netmem()
834 static bool is_pp_netmem(netmem_ref netmem) in is_pp_netmem() argument
836 return (netmem_get_pp_magic(netmem) & ~0x3UL) == PP_SIGNATURE; in is_pp_netmem()
932 bool napi_pp_put_page(netmem_ref netmem) in napi_pp_put_page() argument
934 netmem = netmem_compound_head(netmem); in napi_pp_put_page()
943 if (unlikely(!is_pp_netmem(netmem))) in napi_pp_put_page()
946 page_pool_put_full_netmem(netmem_get_pp(netmem), netmem, false); in napi_pp_put_page()
[all …]
|
| H A D | sock.c | 1096 netmem_ref netmem = (__force netmem_ref)__xa_erase( in sock_devmem_dontneed() local
1099 if (!netmem || WARN_ON_ONCE(!netmem_is_net_iov(netmem))) in sock_devmem_dontneed()
1102 netmems[netmem_num++] = netmem; in sock_devmem_dontneed()
|
| /linux/include/trace/events/ |
| H A D | page_pool.h | 45 netmem_ref netmem, u32 release),
47 TP_ARGS(pool, netmem, release),
51 __field(unsigned long, netmem)
58 __entry->netmem = (__force unsigned long)netmem;
60 __entry->pfn = netmem_pfn_trace(netmem);
64 __entry->pool, (void *)__entry->netmem,
65 __entry->netmem & NET_IOV, __entry->pfn, __entry->release)
71 netmem_ref netmem, u32 hold),
73 TP_ARGS(pool, netmem, hold),
77 __field(unsigned long, netmem)
[all …]
|
| /linux/include/net/page_pool/ |
| H A D | helpers.h | 123 netmem_ref netmem; in page_pool_alloc_netmem() local
131 netmem = page_pool_alloc_frag_netmem(pool, offset, *size, gfp); in page_pool_alloc_netmem()
132 if (unlikely(!netmem)) in page_pool_alloc_netmem()
144 return netmem; in page_pool_alloc_netmem()
230 static inline void page_pool_fragment_netmem(netmem_ref netmem, long nr) in page_pool_fragment_netmem() argument
232 atomic_long_set(netmem_get_pp_ref_count_ref(netmem), nr); in page_pool_fragment_netmem()
258 static inline long page_pool_unref_netmem(netmem_ref netmem, long nr) in page_pool_unref_netmem() argument
260 atomic_long_t *pp_ref_count = netmem_get_pp_ref_count_ref(netmem); in page_pool_unref_netmem()
308 static inline void page_pool_ref_netmem(netmem_ref netmem) in page_pool_ref_netmem() argument
310 atomic_long_inc(netmem_get_pp_ref_count_ref(netmem)); in page_pool_ref_netmem()
[all …]
|
| H A D | types.h | 90 void (*init_callback)(netmem_ref netmem, void *arg);
279 void page_pool_put_unrefed_netmem(struct page_pool *pool, netmem_ref netmem,
|
| /linux/include/linux/ |
| H A D | skbuff_ref.h | 35 bool napi_pp_put_page(netmem_ref netmem);
37 static inline void skb_page_unref(netmem_ref netmem, bool recycle) in skb_page_unref() argument
40 if (recycle && napi_pp_put_page(netmem)) in skb_page_unref()
43 put_page(netmem_to_page(netmem)); in skb_page_unref()
|
| /linux/include/net/ |
| H A D | xdp.h | 169 void xdp_return_frag(netmem_ref netmem, const struct xdp_buff *xdp);
190 static inline bool __xdp_buff_add_frag(struct xdp_buff *xdp, netmem_ref netmem, in __xdp_buff_add_frag() argument
211 if (try_coalesce && netmem == skb_frag_netmem(prev) && in __xdp_buff_add_frag()
215 xdp_return_frag(netmem, xdp); in __xdp_buff_add_frag()
220 __skb_fill_netmem_desc_noacc(sinfo, nr_frags++, netmem, in __xdp_buff_add_frag()
244 static inline bool xdp_buff_add_frag(struct xdp_buff *xdp, netmem_ref netmem, in xdp_buff_add_frag() argument
247 if (!__xdp_buff_add_frag(xdp, netmem, offset, size, truesize, true)) in xdp_buff_add_frag()
250 if (unlikely(netmem_is_pfmemalloc(netmem))) in xdp_buff_add_frag()
410 void __xdp_return(netmem_ref netmem, enum xdp_mem_type mem_type,
|
| /linux/net/bpf/ |
| H A D | test_run.c | 130 static void xdp_test_run_init_page(netmem_ref netmem, void *arg) in xdp_test_run_init_page() argument
133 phys_to_virt(page_to_phys(netmem_to_page(netmem))); in xdp_test_run_init_page()
|
| /linux/net/ipv4/ |
| H A D | tcp_ipv4.c | 2523 void *netmem; local
2525 xa_for_each(&sk->sk_user_frags, index, netmem)
2526 WARN_ON_ONCE(!napi_pp_put_page((__force netmem_ref)netmem));
|