Home
last modified time | relevance | path

Searched refs:netmem_ref (Results 1 – 25 of 29) sorted by relevance

12

/linux/include/net/
H A Dnetmem.h140 typedef unsigned long __bitwise netmem_ref; typedef
142 static inline bool netmem_is_net_iov(const netmem_ref netmem) in netmem_is_net_iov()
158 static inline struct page *__netmem_to_page(netmem_ref netmem) in __netmem_to_page()
163 static inline struct page *netmem_to_page(netmem_ref netmem) in netmem_to_page()
171 static inline struct net_iov *netmem_to_net_iov(netmem_ref netmem) in netmem_to_net_iov()
181 static inline netmem_ref net_iov_to_netmem(struct net_iov *niov) in net_iov_to_netmem()
183 return (__force netmem_ref)((unsigned long)niov | NET_IOV); in net_iov_to_netmem()
187 const struct page * : (__force const netmem_ref)(p), \
188 struct page * : (__force netmem_ref)(p)))
196 static inline netmem_ref virt_to_netmem(const void *data) in virt_to_netmem()
[all …]
/linux/net/core/
H A Dnetmem_priv.h6 static inline unsigned long netmem_get_pp_magic(netmem_ref netmem) in netmem_get_pp_magic()
11 static inline void netmem_or_pp_magic(netmem_ref netmem, unsigned long pp_magic) in netmem_or_pp_magic()
16 static inline void netmem_clear_pp_magic(netmem_ref netmem) in netmem_clear_pp_magic()
23 static inline bool netmem_is_pp(netmem_ref netmem) in netmem_is_pp()
28 static inline void netmem_set_pp(netmem_ref netmem, struct page_pool *pool) in netmem_set_pp()
33 static inline void netmem_set_dma_addr(netmem_ref netmem, in netmem_set_dma_addr()
39 static inline unsigned long netmem_get_dma_index(netmem_ref netmem) in netmem_get_dma_index()
51 static inline void netmem_set_dma_index(netmem_ref netmem, in netmem_set_dma_index()
H A Dpage_pool.c379 static void page_pool_return_netmem(struct page_pool *pool, netmem_ref netmem);
381 static noinline netmem_ref page_pool_refill_alloc_cache(struct page_pool *pool) in page_pool_refill_alloc_cache()
384 netmem_ref netmem; in page_pool_refill_alloc_cache()
405 netmem = (__force netmem_ref)__ptr_ring_consume(r); in page_pool_refill_alloc_cache()
434 static netmem_ref __page_pool_get_cached(struct page_pool *pool) in __page_pool_get_cached()
436 netmem_ref netmem; in __page_pool_get_cached()
451 netmem_ref netmem, in __page_pool_dma_sync_for_device()
465 netmem_ref netmem, in page_pool_dma_sync_for_device()
479 netmem_ref netmem, gfp_t gfp) in page_pool_register_dma_index()
504 netmem_ref netmem) in __page_pool_unmap_netmem_dma()
[all …]
H A Dpage_pool_priv.h19 page_pool_set_dma_addr_netmem(netmem_ref netmem, dma_addr_t addr) in page_pool_set_dma_addr_netmem()
41 void page_pool_set_pp_info(struct page_pool *pool, netmem_ref netmem);
42 void page_pool_clear_pp_info(netmem_ref netmem);
47 netmem_ref netmem) in page_pool_set_pp_info()
50 static inline void page_pool_clear_pp_info(netmem_ref netmem) in page_pool_clear_pp_info()
H A Dmp_dmabuf_devmem.h16 netmem_ref mp_dmabuf_devmem_alloc_netmems(struct page_pool *pool, gfp_t gfp);
20 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem);
27 static inline netmem_ref
38 mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page()
H A Ddevmem.c471 netmem_ref mp_dmabuf_devmem_alloc_netmems(struct page_pool *pool, gfp_t gfp) in mp_dmabuf_devmem_alloc_netmems()
475 netmem_ref netmem; in mp_dmabuf_devmem_alloc_netmems()
497 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page()
H A Dxdp.c433 void __xdp_return(netmem_ref netmem, enum xdp_mem_type mem_type, in __xdp_return()
543 void xdp_return_frag(netmem_ref netmem, const struct xdp_buff *xdp) in xdp_return_frag()
H A Dsock.c1091 netmem_ref netmems[16]; in sock_devmem_dontneed()
1116 netmem_ref netmem = (__force netmem_ref)__xa_erase( in sock_devmem_dontneed()
H A Dskbuff.c1029 bool napi_pp_put_page(netmem_ref netmem) in napi_pp_put_page()
1063 netmem_ref head_netmem; in skb_pp_frag_ref()
7479 void __get_netmem(netmem_ref netmem) in __get_netmem()
7488 void __put_netmem(netmem_ref netmem) in __put_netmem()
/linux/include/net/page_pool/
H A Dtypes.h67 netmem_ref cache[PP_ALLOC_CACHE_SIZE];
103 void (*init_callback)(netmem_ref netmem, void *arg);
192 netmem_ref frag_page;
265 netmem_ref page_pool_alloc_netmems(struct page_pool *pool, gfp_t gfp);
268 netmem_ref page_pool_alloc_frag_netmem(struct page_pool *pool,
284 void page_pool_put_netmem_bulk(netmem_ref *data, u32 count);
296 static inline void page_pool_put_netmem_bulk(netmem_ref *data, u32 count) in page_pool_put_netmem_bulk()
301 void page_pool_put_unrefed_netmem(struct page_pool *pool, netmem_ref netmem,
/linux/include/net/libeth/
H A Drx.h45 netmem_ref netmem;
120 void libeth_rx_recycle_slow(netmem_ref netmem);
136 netmem_ref netmem = fqe->netmem; in libeth_rx_sync_for_cpu()
H A Dxdp.h721 netmem_ref netmem; in libeth_xdp_tx_fill_buf()
1225 netmem_ref netmem = virt_to_netmem(data); in libeth_xdp_return_va()
1234 netmem_ref netmem = skb_frag_netmem(&sinfo->frags[i]); in libeth_xdp_return_frags()
/linux/include/trace/events/
H A Dpage_pool.h45 netmem_ref netmem, u32 release),
71 netmem_ref netmem, u32 hold),
/linux/io_uring/
H A Dzcrx.c350 netmem_ref *netmems, unsigned nr) in zcrx_sync_for_device()
712 netmem_ref netmem = net_iov_to_netmem(niov); in io_zcrx_return_niov()
1246 netmem_ref netmem = net_iov_to_netmem(niov); in zcrx_put_refill_niov()
1261 netmem_ref *netmems, unsigned to_alloc) in io_zcrx_ring_refill()
1301 netmem_ref *netmems, unsigned to_alloc) in io_zcrx_refill_slow()
1372 static netmem_ref io_pp_zc_alloc_netmems(struct page_pool *pp, gfp_t gfp) in io_pp_zc_alloc_netmems()
1375 netmem_ref *netmems = pp->alloc.cache; in io_pp_zc_alloc_netmems()
1399 static bool io_pp_zc_release_netmem(struct page_pool *pp, netmem_ref netmem) in io_pp_zc_release_netmem()
1481 static unsigned zcrx_parse_rq(netmem_ref *netmem_array, unsigned nr, in zcrx_parse_rq()
1503 static void zcrx_return_buffers(netmem_ref *netmems, unsigned nr) in zcrx_return_buffers()
[all …]
/linux/drivers/net/ethernet/intel/libeth/
H A Dxdp.c265 netmem_ref netmem = fqe->netmem; in libeth_xdp_buff_add_frag()
315 static void libeth_xdp_put_netmem_bulk(netmem_ref netmem, in libeth_xdp_put_netmem_bulk()
H A Drx.c226 void __cold libeth_rx_recycle_slow(netmem_ref netmem) in libeth_rx_recycle_slow()
/linux/drivers/net/ethernet/meta/fbnic/
H A Dfbnic_txrx.h106 netmem_ref netmem;
H A Dfbnic_txrx.c733 netmem_ref netmem) in fbnic_page_pool_init()
753 static netmem_ref
767 netmem_ref netmem = rx_buf->netmem; in fbnic_page_pool_drain()
874 static void fbnic_bd_prep(struct fbnic_ring *bdq, u16 id, netmem_ref netmem) in fbnic_bd_prep()
905 netmem_ref netmem; in fbnic_fill_bdq()
1005 netmem_ref netmem = fbnic_page_pool_get_data(qt, pg_idx); in fbnic_add_rx_frag()
1037 netmem_ref netmem; in fbnic_put_pkt_buff()
/linux/include/linux/net/intel/libie/
H A Dcontrolq.h254 netmem_ref netmem; in libie_ctlq_release_rx_buf()
/linux/drivers/net/ethernet/mellanox/mlx5/core/
H A Den_rx.c278 netmem_ref netmem = page_pool_dev_alloc_netmems(pp); in mlx5e_page_alloc_fragmented()
297 netmem_ref netmem = frag_page->netmem; in mlx5e_page_release_fragmented()
530 netmem_ref netmem = frag_page->netmem; in mlx5e_add_skb_shared_info_frag()
561 netmem_ref netmem = frag_page->netmem; in mlx5e_add_skb_frag()
578 netmem_ref netmem, dma_addr_t addr, in mlx5e_copy_skb_header()
H A Den.h570 netmem_ref netmem;
/linux/drivers/net/ethernet/broadcom/bnge/
H A Dbnge_netdev.h124 netmem_ref netmem;
H A Dbnge_netdev.c710 netmem_ref netmem = rx_agg_buf->netmem; in bnge_free_one_agg_ring_bufs()
1389 static netmem_ref __bnge_alloc_rx_netmem(struct bnge_net *bn, in __bnge_alloc_rx_netmem()
1395 netmem_ref netmem; in __bnge_alloc_rx_netmem()
1499 netmem_ref netmem; in bnge_alloc_rx_netmem()
/linux/drivers/net/ethernet/google/gve/
H A Dgve.h117 netmem_ref netmem;
/linux/net/bpf/
H A Dtest_run.c119 static void xdp_test_run_init_page(netmem_ref netmem, void *arg) in xdp_test_run_init_page()

12