Home
last modified time | relevance | path

Searched defs:netmem (Results 1 – 25 of 26) sorted by relevance

12

/linux/include/net/
H A Dnetmem.h172 static inline bool netmem_is_net_iov(const netmem_ref netmem) in netmem_is_net_iov()
188 static inline struct page *__netmem_to_page(netmem_ref netmem) in __netmem_to_page()
193 static inline struct page *netmem_to_page(netmem_ref netmem) in netmem_to_page()
201 static inline struct net_iov *netmem_to_net_iov(netmem_ref netmem) in netmem_to_net_iov()
231 static inline int netmem_ref_count(netmem_ref netmem) in netmem_ref_count()
242 static inline unsigned long netmem_pfn_trace(netmem_ref netmem) in netmem_pfn_trace()
263 static inline struct netmem_desc *__netmem_to_nmdesc(netmem_ref netmem) in __netmem_to_nmdesc()
283 static inline struct net_iov *__netmem_clear_lsb(netmem_ref netmem) in __netmem_clear_lsb()
316 static inline struct page_pool *__netmem_get_pp(netmem_ref netmem) in __netmem_get_pp()
321 static inline struct page_pool *netmem_get_pp(netmem_ref netmem) in netmem_get_pp()
[all …]
H A Dxdp.h190 __xdp_buff_add_frag(struct xdp_buff * xdp,netmem_ref netmem,u32 offset,u32 size,u32 truesize,bool try_coalesce) __xdp_buff_add_frag() argument
244 xdp_buff_add_frag(struct xdp_buff * xdp,netmem_ref netmem,u32 offset,u32 size,u32 truesize) xdp_buff_add_frag() argument
[all...]
/linux/net/core/
H A Dpage_pool.c377 netmem_ref netmem; in page_pool_refill_alloc_cache() local
429 netmem_ref netmem; in __page_pool_get_cached() local
444 netmem_ref netmem, in __page_pool_dma_sync_for_device()
458 netmem_ref netmem, in page_pool_dma_sync_for_device()
472 netmem_ref netmem, gfp_t gfp) in page_pool_register_dma_index()
497 netmem_ref netmem) in page_pool_release_dma_index()
521 static bool page_pool_dma_map(struct page_pool *pool, netmem_ref netmem, gfp_t gfp) in page_pool_dma_map()
592 netmem_ref netmem; in __page_pool_alloc_netmems_slow() local
652 netmem_ref netmem; in page_pool_alloc_netmems() local
699 void page_pool_set_pp_info(struct page_pool *pool, netmem_ref netmem) in page_pool_set_pp_info()
[all …]
H A Dnetmem_priv.h6 static inline unsigned long netmem_get_pp_magic(netmem_ref netmem) in netmem_get_pp_magic() argument
11 static inline void netmem_or_pp_magic(netmem_ref netmem, unsigned long pp_magic) in netmem_or_pp_magic() argument
16 static inline void netmem_clear_pp_magic(netmem_ref netmem) in netmem_clear_pp_magic() argument
21 netmem_set_pp(netmem_ref netmem,struct page_pool * pool) netmem_set_pp() argument
26 netmem_set_dma_addr(netmem_ref netmem,unsigned long dma_addr) netmem_set_dma_addr() argument
[all...]
H A Dpage_pool_priv.h19 page_pool_set_dma_addr_netmem(netmem_ref netmem, dma_addr_t addr) in page_pool_set_dma_addr_netmem()
47 netmem_ref netmem) in page_pool_set_pp_info()
50 static inline void page_pool_clear_pp_info(netmem_ref netmem) in page_pool_clear_pp_info()
H A Dmp_dmabuf_devmem.h38 mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page()
H A Ddevmem.c419 netmem_ref netmem; mp_dmabuf_devmem_alloc_netmems() local
441 mp_dmabuf_devmem_release_page(struct page_pool * pool,netmem_ref netmem) mp_dmabuf_devmem_release_page() argument
[all...]
H A Dxdp.c432 __xdp_return(netmem_ref netmem,enum xdp_mem_type mem_type,bool napi_direct,struct xdp_buff * xdp) __xdp_return() argument
542 xdp_return_frag(netmem_ref netmem,const struct xdp_buff * xdp) xdp_return_frag() argument
702 netmem_ref netmem; xdp_copy_frags_from_zc() local
[all...]
H A Dskbuff.c853 void skb_add_rx_frag_netmem(struct sk_buff *skb, int i, netmem_ref netmem, in skb_add_rx_frag_netmem()
991 bool napi_pp_put_page(netmem_ref netmem) in napi_pp_put_page()
7351 void get_netmem(netmem_ref netmem) in get_netmem()
7365 void put_netmem(netmem_ref netmem) in put_netmem()
H A Dsock.c1109 netmem_ref netmem = (__force netmem_ref)__xa_erase( in sock_devmem_dontneed() local
/linux/include/net/page_pool/
H A Dhelpers.h123 netmem_ref netmem; in page_pool_alloc_netmem() local
237 static inline void page_pool_fragment_netmem(netmem_ref netmem, long nr) in page_pool_fragment_netmem() argument
265 static inline long page_pool_unref_netmem(netmem_ref netmem, long nr) in page_pool_unref_netmem() argument
315 static inline void page_pool_ref_netmem(netmem_ref netmem) in page_pool_ref_netmem() argument
325 page_pool_unref_and_test(netmem_ref netmem) page_pool_unref_and_test() argument
332 page_pool_put_netmem(struct page_pool * pool,netmem_ref netmem,unsigned int dma_sync_size,bool allow_direct) page_pool_put_netmem() argument
370 page_pool_put_full_netmem(struct page_pool * pool,netmem_ref netmem,bool allow_direct) page_pool_put_full_netmem() argument
406 page_pool_recycle_direct_netmem(struct page_pool * pool,netmem_ref netmem) page_pool_recycle_direct_netmem() argument
428 page_pool_get_dma_addr_netmem(netmem_ref netmem) page_pool_get_dma_addr_netmem() argument
481 page_pool_dma_sync_netmem_for_cpu(const struct page_pool * pool,const netmem_ref netmem,u32 offset,u32 dma_sync_size) page_pool_dma_sync_netmem_for_cpu() argument
[all...]
H A Dmemory_provider.h46 netmem_ref netmem) in net_mp_netmem_place_in_cache()
/linux/io_uring/
H A Dzcrx.c694 netmem_ref netmem = net_iov_to_netmem(niov); in io_zcrx_return_niov() local
792 netmem_ref netmem; in io_zcrx_ring_refill() local
822 netmem_ref netmem = net_iov_to_netmem(niov); in io_zcrx_refill_slow() local
850 static bool io_pp_zc_release_netmem(struct page_pool *pp, netmem_ref netmem) in io_pp_zc_release_netmem()
941 netmem_ref netmem; in io_return_buffers() local
/linux/drivers/net/ethernet/intel/libeth/
H A Dxdp.c265 netmem_ref netmem = fqe->netmem; in libeth_xdp_buff_add_frag() local
315 static void libeth_xdp_put_netmem_bulk(netmem_ref netmem, in libeth_xdp_put_netmem_bulk()
H A Drx.c222 void __cold libeth_rx_recycle_slow(netmem_ref netmem) in libeth_rx_recycle_slow()
/linux/include/linux/
H A Dskbuff_ref.h37 static inline void skb_page_unref(netmem_ref netmem, bool recycle) in skb_page_unref() argument
H A Dskbuff.h362 netmem_ref netmem; member
2551 netmem_ref netmem, int off, in skb_frag_fill_netmem_desc()
2567 int i, netmem_ref netmem, in __skb_fill_netmem_desc_noacc()
2609 netmem_ref netmem, int off, int size) in __skb_fill_netmem_desc()
2638 netmem_ref netmem, int off, int size) in skb_fill_netmem_desc()
3953 netmem_ref netmem, int off) in skb_can_coalesce_netmem()
/linux/include/net/libeth/
H A Drx.h45 netmem_ref netmem; member
134 netmem_ref netmem = fqe->netmem; in libeth_rx_sync_for_cpu() local
H A Dxdp.h721 netmem_ref netmem; in libeth_xdp_tx_fill_buf() local
1225 netmem_ref netmem = virt_to_netmem(data); in libeth_xdp_return_va() local
1234 netmem_ref netmem = skb_frag_netmem(&sinfo->frags[i]); in libeth_xdp_return_frags() local
[all...]
/linux/drivers/net/ethernet/meta/fbnic/
H A Dfbnic_txrx.c731 netmem_ref netmem) in fbnic_page_pool_init()
765 netmem_ref netmem = rx_buf->netmem; in fbnic_page_pool_drain() local
872 static void fbnic_bd_prep(struct fbnic_ring *bdq, u16 id, netmem_ref netmem) in fbnic_bd_prep()
902 netmem_ref netmem; in fbnic_fill_bdq() local
1002 netmem_ref netmem = fbnic_page_pool_get_data(qt, pg_idx); in fbnic_add_rx_frag() local
1034 netmem_ref netmem; in fbnic_put_pkt_buff() local
H A Dfbnic_txrx.h106 netmem_ref netmem; member
/linux/net/bpf/
H A Dtest_run.c119 static void xdp_test_run_init_page(netmem_ref netmem, void *arg) in xdp_test_run_init_page()
/linux/drivers/net/ethernet/broadcom/bnxt/
H A Dbnxt.c937 netmem_ref netmem; in __bnxt_alloc_rx_netmem() local
1041 netmem_ref netmem; in bnxt_alloc_rx_netmem() local
1101 netmem_ref netmem; in bnxt_reuse_rx_agg_bufs() local
1277 netmem_ref netmem; in __bnxt_rx_agg_netmems() local
3504 netmem_ref netmem = rx_agg_buf->netmem; in bnxt_free_one_rx_agg_ring() local
/linux/net/ipv4/
H A Dtcp_ipv4.c2540 void *netmem; global() local
/linux/drivers/net/ethernet/google/gve/
H A Dgve.h119 netmem_ref netmem; member

12