| /linux/include/net/ |
| H A D | netmem.h | 172 netmem_is_net_iov(const netmem_ref netmem) netmem_is_net_iov() argument
188 __netmem_to_page(netmem_ref netmem) __netmem_to_page() argument
193 netmem_to_page(netmem_ref netmem) netmem_to_page() argument
201 netmem_to_net_iov(netmem_ref netmem) netmem_to_net_iov() argument
231 netmem_ref_count(netmem_ref netmem) netmem_ref_count() argument
242 netmem_pfn_trace(netmem_ref netmem) netmem_pfn_trace() argument
263 __netmem_to_nmdesc(netmem_ref netmem) __netmem_to_nmdesc() argument
283 __netmem_clear_lsb(netmem_ref netmem) __netmem_clear_lsb() argument
316 __netmem_get_pp(netmem_ref netmem) __netmem_get_pp() argument
321 netmem_get_pp(netmem_ref netmem) netmem_get_pp() argument
326 netmem_get_pp_ref_count_ref(netmem_ref netmem) netmem_get_pp_ref_count_ref() argument
331 netmem_is_pref_nid(netmem_ref netmem,int pref_nid) netmem_is_pref_nid() argument
343 netmem_compound_head(netmem_ref netmem) netmem_compound_head() argument
363 __netmem_address(netmem_ref netmem) __netmem_address() argument
368 netmem_address(netmem_ref netmem) netmem_address() argument
383 netmem_is_pfmemalloc(netmem_ref netmem) netmem_is_pfmemalloc() argument
391 netmem_get_dma_addr(netmem_ref netmem) netmem_get_dma_addr() argument
[all...] |
| /linux/net/core/ |
| H A D | page_pool.c | 377 netmem_ref netmem; page_pool_refill_alloc_cache() local
429 netmem_ref netmem; __page_pool_get_cached() local
444 __page_pool_dma_sync_for_device(const struct page_pool * pool,netmem_ref netmem,u32 dma_sync_size) __page_pool_dma_sync_for_device() argument
458 page_pool_dma_sync_for_device(const struct page_pool * pool,netmem_ref netmem,u32 dma_sync_size) page_pool_dma_sync_for_device() argument
472 page_pool_register_dma_index(struct page_pool * pool,netmem_ref netmem,gfp_t gfp) page_pool_register_dma_index() argument
497 page_pool_release_dma_index(struct page_pool * pool,netmem_ref netmem) page_pool_release_dma_index() argument
521 page_pool_dma_map(struct page_pool * pool,netmem_ref netmem,gfp_t gfp) page_pool_dma_map() argument
592 netmem_ref netmem; __page_pool_alloc_netmems_slow() local
652 netmem_ref netmem; page_pool_alloc_netmems() local
699 page_pool_set_pp_info(struct page_pool * pool,netmem_ref netmem) page_pool_set_pp_info() argument
715 page_pool_clear_pp_info(netmem_ref netmem) page_pool_clear_pp_info() argument
722 __page_pool_release_netmem_dma(struct page_pool * pool,netmem_ref netmem) __page_pool_release_netmem_dma() argument
749 page_pool_return_netmem(struct page_pool * pool,netmem_ref netmem) page_pool_return_netmem() argument
776 page_pool_recycle_in_ring(struct page_pool * pool,netmem_ref netmem) page_pool_recycle_in_ring() argument
795 page_pool_recycle_in_cache(netmem_ref netmem,struct page_pool * pool) page_pool_recycle_in_cache() argument
809 __page_pool_page_can_be_recycled(netmem_ref netmem) __page_pool_page_can_be_recycled() argument
823 __page_pool_put_page(struct page_pool * pool,netmem_ref netmem,unsigned int dma_sync_size,bool allow_direct) __page_pool_put_page() argument
895 page_pool_put_unrefed_netmem(struct page_pool * pool,netmem_ref netmem,unsigned int dma_sync_size,bool allow_direct) page_pool_put_unrefed_netmem() argument
971 netmem_ref netmem = netmem_compound_head(data[i]); page_pool_put_netmem_bulk() local
988 netmem_ref netmem = data[i]; page_pool_put_netmem_bulk() local
1019 page_pool_drain_frag(struct page_pool * pool,netmem_ref netmem) page_pool_drain_frag() argument
1039 netmem_ref netmem = pool->frag_page; page_pool_free_frag() local
1054 netmem_ref netmem = pool->frag_page; page_pool_alloc_frag_netmem() local
1104 netmem_ref netmem; page_pool_empty_ring() local
1135 netmem_ref netmem; page_pool_empty_alloc_cache_once() local
1311 netmem_ref netmem; page_pool_update_nid() local
1334 netmem_ref netmem = net_iov_to_netmem(niov); net_mp_niov_set_page_pool() local
1347 netmem_ref netmem = net_iov_to_netmem(niov); net_mp_niov_clear_page_pool() local
[all...] |
| H A D | netmem_priv.h | 6 static inline unsigned long netmem_get_pp_magic(netmem_ref netmem) in netmem_get_pp_magic() argument
11 static inline void netmem_or_pp_magic(netmem_ref netmem, unsigned long pp_magic) in netmem_or_pp_magic() argument
16 static inline void netmem_clear_pp_magic(netmem_ref netmem) in netmem_clear_pp_magic() argument
21 netmem_set_pp(netmem_ref netmem,struct page_pool * pool) netmem_set_pp() argument
26 netmem_set_dma_addr(netmem_ref netmem,unsigned long dma_addr) netmem_set_dma_addr() argument
[all...] |
| H A D | page_pool_priv.h | 19 page_pool_set_dma_addr_netmem(netmem_ref netmem, dma_addr_t addr) in page_pool_set_dma_addr_netmem()
47 netmem_ref netmem) in page_pool_set_pp_info()
50 static inline void page_pool_clear_pp_info(netmem_ref netmem) in page_pool_clear_pp_info()
|
| H A D | mp_dmabuf_devmem.h | 38 mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page()
|
| H A D | devmem.c | 456 netmem_ref netmem; in mp_dmabuf_devmem_alloc_netmems() local
478 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page()
|
| H A D | xdp.c | 433 void __xdp_return(netmem_ref netmem, enum xdp_mem_type mem_type, in __xdp_return()
543 void xdp_return_frag(netmem_ref netmem, const struct xdp_buff *xdp) in xdp_return_frag()
|
| H A D | skbuff.c | 894 void skb_add_rx_frag_netmem(struct sk_buff *skb, int i, netmem_ref netmem, in skb_add_rx_frag_netmem()
1032 bool napi_pp_put_page(netmem_ref netmem) in napi_pp_put_page()
7448 void __get_netmem(netmem_ref netmem) in __get_netmem()
7457 void __put_netmem(netmem_ref netmem) in __put_netmem()
|
| H A D | sock.c | 1115 netmem_ref netmem = (__force netmem_ref)__xa_erase( in sock_devmem_dontneed() local
|
| /linux/drivers/net/ethernet/intel/libeth/ |
| H A D | xdp.c | 265 netmem_ref netmem = fqe->netmem; in libeth_xdp_buff_add_frag() local
315 static void libeth_xdp_put_netmem_bulk(netmem_ref netmem, in libeth_xdp_put_netmem_bulk()
|
| H A D | rx.c | 222 void __cold libeth_rx_recycle_slow(netmem_ref netmem) in libeth_rx_recycle_slow()
|
| /linux/include/linux/ |
| H A D | skbuff_ref.h | 37 static __always_inline void skb_page_unref(netmem_ref netmem, bool recycle) in skb_page_unref() argument
|
| H A D | skbuff.h | 362 netmem_ref netmem; member
2551 netmem_ref netmem, int off, in skb_frag_fill_netmem_desc()
2567 int i, netmem_ref netmem, in __skb_fill_netmem_desc_noacc()
2609 netmem_ref netmem, int off, int size) in __skb_fill_netmem_desc()
2638 netmem_ref netmem, int off, int size) in skb_fill_netmem_desc()
3954 netmem_ref netmem, int off) in skb_can_coalesce_netmem()
|
| /linux/include/net/page_pool/ |
| H A D | memory_provider.h | 46 netmem_ref netmem) in net_mp_netmem_place_in_cache()
|
| /linux/io_uring/ |
| H A D | zcrx.c | 596 netmem_ref netmem = net_iov_to_netmem(niov); in io_zcrx_return_niov() local
965 netmem_ref netmem; in io_zcrx_ring_refill() local
995 netmem_ref netmem = net_iov_to_netmem(niov); in io_zcrx_refill_slow() local
1023 static bool io_pp_zc_release_netmem(struct page_pool *pp, netmem_ref netmem) in io_pp_zc_release_netmem()
1129 netmem_ref netmem = netmems[i]; in zcrx_return_buffers() local
|
| /linux/include/net/libeth/ |
| H A D | rx.h | 45 netmem_ref netmem; member
134 netmem_ref netmem = fqe->netmem; in libeth_rx_sync_for_cpu() local
|
| H A D | xdp.h | 721 netmem_ref netmem; in libeth_xdp_tx_fill_buf() local
1225 netmem_ref netmem = virt_to_netmem(data); in libeth_xdp_return_va() local
1234 netmem_ref netmem = skb_frag_netmem(&sinfo->frags[i]); in libeth_xdp_return_frags() local
|
| /linux/drivers/net/ethernet/meta/fbnic/ |
| H A D | fbnic_txrx.c | 732 netmem_ref netmem) in fbnic_page_pool_init()
766 netmem_ref netmem = rx_buf->netmem; in fbnic_page_pool_drain() local
873 static void fbnic_bd_prep(struct fbnic_ring *bdq, u16 id, netmem_ref netmem) in fbnic_bd_prep()
904 netmem_ref netmem; in fbnic_fill_bdq() local
1004 netmem_ref netmem = fbnic_page_pool_get_data(qt, pg_idx); in fbnic_add_rx_frag() local
1036 netmem_ref netmem; in fbnic_put_pkt_buff() local
|
| H A D | fbnic_txrx.h | 106 netmem_ref netmem; member
|
| /linux/drivers/net/ethernet/mellanox/mlx5/core/ |
| H A D | en_rx.c | 280 netmem_ref netmem = page_pool_dev_alloc_netmems(pp); in mlx5e_page_alloc_fragmented() local
299 netmem_ref netmem = frag_page->netmem; in mlx5e_page_release_fragmented() local
503 netmem_ref netmem = frag_page->netmem; in mlx5e_add_skb_shared_info_frag() local
534 netmem_ref netmem = frag_page->netmem; in mlx5e_add_skb_frag() local
551 netmem_ref netmem, dma_addr_t addr, in mlx5e_copy_skb_header()
|
| /linux/drivers/net/ethernet/broadcom/bnge/ |
| H A D | bnge_netdev.c | 366 netmem_ref netmem = rx_agg_buf->netmem; in bnge_free_one_agg_ring_bufs() local
1049 netmem_ref netmem; in __bnge_alloc_rx_netmem() local
1153 netmem_ref netmem; in bnge_alloc_rx_netmem() local
|
| /linux/net/bpf/ |
| H A D | test_run.c | 119 static void xdp_test_run_init_page(netmem_ref netmem, void *arg) in xdp_test_run_init_page()
|
| /linux/drivers/net/ethernet/broadcom/bnxt/ |
| H A D | bnxt.c | 934 netmem_ref netmem; in __bnxt_alloc_rx_netmem() local
1039 netmem_ref netmem; in bnxt_alloc_rx_netmem() local
1099 netmem_ref netmem; in bnxt_reuse_rx_agg_bufs() local
1275 netmem_ref netmem; in __bnxt_rx_agg_netmems() local
3517 netmem_ref netmem = rx_agg_buf->netmem; in bnxt_free_one_rx_agg_ring() local
|
| /linux/net/ipv4/ |
| H A D | tcp_ipv4.c | 2488 void *netmem; local
|
| /linux/drivers/net/ethernet/google/gve/ |
| H A D | gve.h | 117 netmem_ref netmem; member
|