| /linux/include/asm-generic/ |
| H A D | pgtable-nopmd.h | 18 typedef struct { pud_t pud; } pmd_t; member
30 static inline int pud_none(pud_t pud) { return 0; } in pud_none()
31 static inline int pud_bad(pud_t pud) { return 0; } in pud_bad()
32 static inline int pud_present(pud_t pud) { return 1; } in pud_present()
33 static inline int pud_user(pud_t pud) { return 0; } in pud_user()
34 static inline int pud_leaf(pud_t pud) { return 0; } in pud_leaf()
35 static inline void pud_clear(pud_t *pud) { } in pud_clear()
46 static inline pmd_t * pmd_offset(pud_t * pud, unsigned long address) in pmd_offset()
55 #define pud_page(pud) (pmd_page((pmd_t){ pud })) argument
56 #define pud_pgtable(pud) ((pmd_t *)(pmd_page_vaddr((pmd_t){ pud }))) argument
|
| /linux/mm/kasan/ |
| H A D | init.c | 57 static inline bool kasan_pmd_table(pud_t pud) in kasan_pmd_table()
62 static inline bool kasan_pmd_table(pud_t pud) in kasan_pmd_table()
109 static int __ref zero_pmd_populate(pud_t *pud, unsigned long addr, in zero_pmd_populate()
149 pud_t *pud = pud_offset(p4d, addr); in zero_pud_populate() local
197 pud_t *pud; in zero_p4d_populate() local
249 pud_t *pud; in kasan_populate_early_shadow() local
307 static void kasan_free_pmd(pmd_t *pmd_start, pud_t *pud) in kasan_free_pmd()
324 pud_t *pud; in kasan_free_pud() local
400 static void kasan_remove_pud_table(pud_t *pud, unsigned long addr, in kasan_remove_pud_table()
433 pud_t *pud; in kasan_remove_p4d_table() local
|
| /linux/arch/x86/include/asm/ |
| H A D | pgtable.h | 89 # define set_pud(pudp, pud) native_set_pud(pudp, pud) argument
93 #define pud_clear(pud) native_pud_clear(pud) argument
162 static inline bool pud_dirty(pud_t pud) in pud_dirty() argument
167 static inline int pud_young(pud_t pud) in pud_young() argument
192 static inline int pud_write(pud_t pud) in pud_write() argument
237 pud_pfn(pud_t pud) pud_pfn() argument
277 pud_trans_huge(pud_t pud) pud_trans_huge() argument
296 pud_devmap(pud_t pud) pud_devmap() argument
301 pud_devmap(pud_t pud) pud_devmap() argument
601 pud_set_flags(pud_t pud,pudval_t set) pud_set_flags() argument
608 pud_clear_flags(pud_t pud,pudval_t clear) pud_clear_flags() argument
616 pud_mksaveddirty(pud_t pud) pud_mksaveddirty() argument
625 pud_clear_saveddirty(pud_t pud) pud_clear_saveddirty() argument
633 pud_mkold(pud_t pud) pud_mkold() argument
638 pud_mkclean(pud_t pud) pud_mkclean() argument
643 pud_wrprotect(pud_t pud) pud_wrprotect() argument
655 pud_mkdirty(pud_t pud) pud_mkdirty() argument
662 pud_mkdevmap(pud_t pud) pud_mkdevmap() argument
667 pud_mkhuge(pud_t pud) pud_mkhuge() argument
672 pud_mkyoung(pud_t pud) pud_mkyoung() argument
677 pud_mkwrite(pud_t pud) pud_mkwrite() argument
695 pud_soft_dirty(pud_t pud) pud_soft_dirty() argument
710 pud_mksoft_dirty(pud_t pud) pud_mksoft_dirty() argument
725 pud_clear_soft_dirty(pud_t pud) pud_clear_soft_dirty() argument
1067 pud_none(pud_t pud) pud_none() argument
1072 pud_present(pud_t pud) pud_present() argument
1077 pud_pgtable(pud_t pud) pud_pgtable() argument
1086 pud_page(pud) global() argument
1089 pud_leaf(pud_t pud) pud_leaf() argument
1095 pud_bad(pud_t pud) pud_bad() argument
1246 set_pud_at(struct mm_struct * mm,unsigned long addr,pud_t * pudp,pud_t pud) set_pud_at() argument
1357 pud_t pud = native_pudp_get_and_clear(pudp); pudp_huge_get_and_clear() local
1521 update_mmu_cache_pud(struct vm_area_struct * vma,unsigned long addr,pud_t * pud) update_mmu_cache_pud() argument
1663 pud_access_permitted(pud_t pud,bool write) pud_access_permitted() argument
1701 pud_user_accessible_page(pud_t pud) pud_user_accessible_page() argument
[all...] |
| H A D | pgalloc.h | 99 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate()
105 static inline void pud_populate_safe(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate_safe()
113 static inline void p4d_populate(struct mm_struct *mm, p4d_t *p4d, pud_t *pud) in p4d_populate()
119 static inline void p4d_populate_safe(struct mm_struct *mm, p4d_t *p4d, pud_t *pud) in p4d_populate_safe()
127 static inline void __pud_free_tlb(struct mmu_gather *tlb, pud_t *pud, in __pud_free_tlb()
|
| /linux/arch/powerpc/include/asm/book3s/64/ |
| H A D | pgalloc.h | 88 static inline void p4d_populate(struct mm_struct *mm, p4d_t *pgd, pud_t *pud) in p4d_populate()
95 pud_t *pud; in pud_alloc_one() local
110 static inline void __pud_free(pud_t *pud) in __pud_free()
126 static inline void pud_free(struct mm_struct *mm, pud_t *pud) in pud_free()
131 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate()
136 static inline void __pud_free_tlb(struct mmu_gather *tlb, pud_t *pud, in __pud_free_tlb()
|
| H A D | pgtable.h | 884 static inline int pud_none(pud_t pud) in pud_pte() argument
894 extern struct page *pud_page(pud_t pud); in pudp_ptep() argument
906 static inline pte_t *pudp_ptep(pud_t *pud) argument
872 pud_none(pud_t pud) pud_none() argument
877 pud_present(pud_t pud) pud_present() argument
899 pud_pfn(pud) global() argument
900 pud_dirty(pud) global() argument
901 pud_young(pud) global() argument
902 pud_mkold(pud) global() argument
903 pud_wrprotect(pud) global() argument
904 pud_mkdirty(pud) global() argument
905 pud_mkclean(pud) global() argument
907 pud_mkwrite(pud) global() argument
908 pud_write(pud) global() argument
916 pud_bad(pud_t pud) pud_bad() argument
924 pud_access_permitted(pud_t pud,bool write) pud_access_permitted() argument
985 pud_pgtable(pud_t pud) pud_pgtable() argument
1110 update_mmu_cache_pud(struct vm_area_struct * vma,unsigned long addr,pud_t * pud) update_mmu_cache_pud() argument
1213 pud_trans_huge(pud_t pud) pud_trans_huge() argument
1248 __pud_mkhuge(pud_t pud) __pud_mkhuge() argument
1271 pud_mkhuge(pud_t pud) pud_mkhuge() argument
1386 pud_mkdevmap(pud_t pud) pud_mkdevmap() argument
1399 pud_devmap(pud_t pud) pud_devmap() argument
1439 pud_leaf(pud_t pud) pud_leaf() argument
[all...] |
| /linux/arch/riscv/include/asm/ |
| H A D | pgtable-64.h | 55 unsigned long pud; member
175 static inline int pud_present(pud_t pud) in pud_present()
180 static inline int pud_none(pud_t pud) in pud_none()
185 static inline int pud_bad(pud_t pud) in pud_bad()
191 static inline bool pud_leaf(pud_t pud) in pud_leaf()
196 static inline int pud_user(pud_t pud) in pud_user()
201 static inline void set_pud(pud_t *pudp, pud_t pud) in set_pud()
216 static inline unsigned long _pud_pfn(pud_t pud) in _pud_pfn()
221 static inline pmd_t *pud_pgtable(pud_t pud) in pud_pgtable()
226 static inline struct page *pud_page(pud_t pud) in pud_page()
|
| H A D | pgalloc.h | 35 pud_populate(struct mm_struct * mm,pud_t * pud,pmd_t * pmd) pud_populate() argument
42 p4d_populate(struct mm_struct * mm,p4d_t * p4d,pud_t * pud) p4d_populate() argument
52 p4d_populate_safe(struct mm_struct * mm,p4d_t * p4d,pud_t * pud) p4d_populate_safe() argument
92 pud_free(struct mm_struct * mm,pud_t * pud) pud_free() argument
98 __pud_free_tlb(struct mmu_gather * tlb,pud_t * pud,unsigned long addr) __pud_free_tlb() argument
[all...] |
| /linux/arch/powerpc/include/asm/nohash/64/ |
| H A D | pgalloc.h | 18 static inline void p4d_populate(struct mm_struct *mm, p4d_t *p4d, pud_t *pud) in p4d_populate()
29 static inline void pud_free(struct mm_struct *mm, pud_t *pud) in pud_free()
34 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate()
64 #define __pud_free_tlb(tlb, pud, addr) \ argument
|
| H A D | pgtable.h | 119 #define pud_none(pud) (!pud_val(pud)) argument
120 #define pud_bad(pud) (!is_kernel_addr(pud_val(pud)) \ argument
122 #define pud_present(pud) (pud_val(pud) != 0) argument
124 static inline pmd_t *pud_pgtable(pud_t pud) in pud_pgtable()
131 static inline pte_t pud_pte(pud_t pud) in pud_pte()
140 #define pud_write(pud) pte_write(pud_pte(pud)) argument
|
| /linux/arch/mips/mm/ |
| H A D | hugetlbpage.c | 29 pud_t *pud; in huge_pte_alloc() local
46 pud_t *pud; in huge_pte_offset() local
66 pud_huge(pud_t pud) pud_huge() argument
|
| /linux/arch/mips/include/asm/ |
| H A D | pgtable-64.h | 175 typedef struct { unsigned long pud; } pud_t; member
278 static inline int pud_none(pud_t pud) in pud_none() argument
283 static inline int pud_bad(pud_t pud) in pud_bad() argument
288 pud_present(pud_t pud) pud_present() argument
306 pud_pgtable(pud_t pud) pud_pgtable() argument
310 pud_phys(pud) global() argument
311 pud_page(pud) global() argument
[all...] |
| H A D | pgalloc.h | 40 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate()
92 pud_t *pud; in pud_alloc_one() local
105 static inline void p4d_populate(struct mm_struct *mm, p4d_t *p4d, pud_t *pud) in p4d_populate()
|
| /linux/arch/sh/mm/ |
| H A D | hugetlbpage.c | 29 pud_t *pud; in huge_pte_alloc() local
54 pud_t *pud; in huge_pte_offset() local
79 pud_huge(pud_t pud) pud_huge() argument
|
| /linux/arch/loongarch/mm/ |
| H A D | hugetlbpage.c | 21 pud_t *pud; in huge_pte_alloc() local
38 pud_t *pud; in huge_pte_offset() local
58 pud_huge(pud_t pud) pud_huge() argument
|
| /linux/arch/arm64/include/asm/ |
| H A D | pgtable.h | 169 pud_access_permitted(pud,write) global() argument
447 pud_pte(pud_t pud) pud_pte() argument
457 pud_pmd(pud_t pud) pud_pmd() argument
594 pud_young(pud) global() argument
595 pud_mkyoung(pud) global() argument
596 pud_write(pud) global() argument
598 pud_mkhuge(pud) global() argument
600 __pud_to_phys(pud) global() argument
602 pud_pfn(pud) global() argument
623 set_pud_at(struct mm_struct * mm,unsigned long addr,pud_t * pudp,pud_t pud) set_pud_at() argument
684 pud_sect(pud_t pud) pud_sect() argument
685 pud_table(pud_t pud) pud_table() argument
687 pud_sect(pud) global() argument
689 pud_table(pud) global() argument
763 pud_none(pud) global() argument
764 pud_bad(pud) global() argument
765 pud_present(pud) global() argument
766 pud_leaf(pud) global() argument
767 pud_valid(pud) global() argument
768 pud_user(pud) global() argument
769 pud_user_exec(pud) global() argument
773 set_pud(pud_t * pudp,pud_t pud) set_pud() argument
793 pud_page_paddr(pud_t pud) pud_page_paddr() argument
798 pud_pgtable(pud_t pud) pud_pgtable() argument
807 pmd_set_fixmap_offset(pud,addr) global() argument
810 pud_page(pud) global() argument
817 pud_valid(pud) global() argument
818 pud_page_paddr(pud) global() argument
819 pud_user_exec(pud) global() argument
1122 pud_devmap(pud_t pud) pud_devmap() argument
1144 pud_user_accessible_page(pud_t pud) pud_user_accessible_page() argument
[all...] |
| /linux/arch/arm/include/asm/ |
| H A D | pgtable-2level.h | 185 static inline int pud_none(pud_t pud) in pud_none() argument
190 static inline int pud_bad(pud_t pud) in pud_bad() argument
195 static inline int pud_present(pud_t pud) in pud_present() argument
204 static inline void set_pud(pud_t *pudp, pud_t pud) in set_pud() argument
208 static inline pmd_t *pmd_offset(pud_t *pud, unsigned long addr) in pmd_offset() argument
|
| /linux/arch/um/include/asm/ |
| H A D | pgtable-3level.h | 58 #define pud_populate(mm, pud, pmd) \ argument
72 static inline void pud_clear (pud_t *pud) in pud_clear()
77 #define pud_page(pud) phys_to_page(pud_val(pud) & PAGE_MASK) argument
78 #define pud_pgtable(pud) ((pmd_t *) __va(pud_val(pud) & PAGE_MASK)) argument
|
| /linux/arch/x86/mm/ |
| H A D | init_64.c | 73 DEFINE_POPULATE(p4d_populate, p4d, pud, init) in DEFINE_POPULATE() argument
264 pud_t *pud = (pud_t *)spp_getpage(); in fill_pud() local
273 static pmd_t *fill_pmd(pud_t *pud, unsigned long vaddr) in fill_pmd()
296 static void __set_pte_vaddr(pud_t *pud, unsigned long vaddr, pte_t new_pte) in __set_pte_vaddr()
313 pud_t *pud = fill_pud(p4d, vaddr); in set_pte_vaddr_p4d() local
320 pud_t *pud = pud_page + pud_index(vaddr); in set_pte_vaddr_pud() local
347 pud_t *pud; in populate_extra_pmd() local
371 pud_t *pud; in __init_extra_mapping() local
601 pud_t *pud; in phys_pud_init() local
690 pud_t *pud; in phys_p4d_init() local
[all …]
|
| H A D | ident_map.c | 27 pud_t *pud = pud_page + pud_index(addr); in ident_pud_init() local
69 pud_t *pud; in ident_p4d_init() local
141 pud_t *pud = pud_offset(p4d, 0); in kernel_ident_mapping_init() local
|
| /linux/include/linux/ |
| H A D | page_table_check.h | 60 static inline void page_table_check_pud_clear(struct mm_struct *mm, pud_t pud) in page_table_check_pud_clear()
87 pud_t pud) in page_table_check_pud_set()
123 static inline void page_table_check_pud_clear(struct mm_struct *mm, pud_t pud) in page_table_check_pud_clear()
138 pud_t pud) in page_table_check_pud_set()
|
| /linux/arch/sparc/include/asm/ |
| H A D | pgalloc_64.h | 19 static inline void __p4d_populate(p4d_t *p4d, pud_t *pud) in __p4d_populate()
36 static inline void __pud_populate(pud_t *pud, pmd_t *pmd) in __pud_populate()
48 static inline void pud_free(struct mm_struct *mm, pud_t *pud) in pud_free()
115 #define __pud_free_tlb(tlb, pud, addr) \ argument
|
| /linux/arch/arm/mm/ |
| H A D | idmap.c | 24 static void idmap_add_pmd(pud_t *pud, unsigned long addr, unsigned long end, in idmap_add_pmd()
55 static void idmap_add_pmd(pud_t *pud, unsigned long addr, unsigned long end, in idmap_add_pmd()
72 pud_t *pud = pud_offset(p4d, addr); in idmap_add_pud() local
|
| /linux/arch/loongarch/include/asm/ |
| H A D | pgalloc.h | 28 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd) in pud_populate()
36 static inline void p4d_populate(struct mm_struct *mm, p4d_t *p4d, pud_t *pud) in p4d_populate()
82 pud_t *pud; in pud_alloc_one() local
|
| /linux/arch/sparc/mm/ |
| H A D | hugetlbpage.c | 277 pud_leaf_size(pud_t pud) pud_leaf_size() argument
286 pud_t *pud; huge_pte_alloc() local
309 pud_t *pud; huge_pte_offset() local
416 pud_huge(pud_t pud) pud_huge() argument
432 hugetlb_free_pmd_range(struct mmu_gather * tlb,pud_t * pud,unsigned long addr,unsigned long end,unsigned long floor,unsigned long ceiling) hugetlb_free_pmd_range() argument
473 pud_t *pud; hugetlb_free_pud_range() local
[all...] |