141ab5fe7SBenjamin Berg /* SPDX-License-Identifier: GPL-2.0 */
241ab5fe7SBenjamin Berg /*
341ab5fe7SBenjamin Berg * Copyright 2003 PathScale Inc
441ab5fe7SBenjamin Berg * Derived from include/asm-i386/pgtable.h
541ab5fe7SBenjamin Berg */
641ab5fe7SBenjamin Berg
741ab5fe7SBenjamin Berg #ifndef __UM_PGTABLE_4LEVEL_H
841ab5fe7SBenjamin Berg #define __UM_PGTABLE_4LEVEL_H
941ab5fe7SBenjamin Berg
1041ab5fe7SBenjamin Berg #include <asm-generic/pgtable-nop4d.h>
1141ab5fe7SBenjamin Berg
1241ab5fe7SBenjamin Berg /* PGDIR_SHIFT determines what a fourth-level page table entry can map */
1341ab5fe7SBenjamin Berg
1441ab5fe7SBenjamin Berg #define PGDIR_SHIFT 39
1541ab5fe7SBenjamin Berg #define PGDIR_SIZE (1UL << PGDIR_SHIFT)
1641ab5fe7SBenjamin Berg #define PGDIR_MASK (~(PGDIR_SIZE-1))
1741ab5fe7SBenjamin Berg
1841ab5fe7SBenjamin Berg /* PUD_SHIFT determines the size of the area a third-level page table can
1941ab5fe7SBenjamin Berg * map
2041ab5fe7SBenjamin Berg */
2141ab5fe7SBenjamin Berg
2241ab5fe7SBenjamin Berg #define PUD_SHIFT 30
2341ab5fe7SBenjamin Berg #define PUD_SIZE (1UL << PUD_SHIFT)
2441ab5fe7SBenjamin Berg #define PUD_MASK (~(PUD_SIZE-1))
2541ab5fe7SBenjamin Berg
2641ab5fe7SBenjamin Berg /* PMD_SHIFT determines the size of the area a second-level page table can
2741ab5fe7SBenjamin Berg * map
2841ab5fe7SBenjamin Berg */
2941ab5fe7SBenjamin Berg
3041ab5fe7SBenjamin Berg #define PMD_SHIFT 21
3141ab5fe7SBenjamin Berg #define PMD_SIZE (1UL << PMD_SHIFT)
3241ab5fe7SBenjamin Berg #define PMD_MASK (~(PMD_SIZE-1))
3341ab5fe7SBenjamin Berg
3441ab5fe7SBenjamin Berg /*
3541ab5fe7SBenjamin Berg * entries per page directory level
3641ab5fe7SBenjamin Berg */
3741ab5fe7SBenjamin Berg
3841ab5fe7SBenjamin Berg #define PTRS_PER_PTE 512
3941ab5fe7SBenjamin Berg #define PTRS_PER_PMD 512
4041ab5fe7SBenjamin Berg #define PTRS_PER_PUD 512
4141ab5fe7SBenjamin Berg #define PTRS_PER_PGD 512
4241ab5fe7SBenjamin Berg
4341ab5fe7SBenjamin Berg #define USER_PTRS_PER_PGD ((TASK_SIZE + (PGDIR_SIZE - 1)) / PGDIR_SIZE)
4441ab5fe7SBenjamin Berg
4541ab5fe7SBenjamin Berg #define pte_ERROR(e) \
4641ab5fe7SBenjamin Berg printk("%s:%d: bad pte %p(%016lx).\n", __FILE__, __LINE__, &(e), \
4741ab5fe7SBenjamin Berg pte_val(e))
4841ab5fe7SBenjamin Berg #define pmd_ERROR(e) \
4941ab5fe7SBenjamin Berg printk("%s:%d: bad pmd %p(%016lx).\n", __FILE__, __LINE__, &(e), \
5041ab5fe7SBenjamin Berg pmd_val(e))
5141ab5fe7SBenjamin Berg #define pud_ERROR(e) \
5241ab5fe7SBenjamin Berg printk("%s:%d: bad pud %p(%016lx).\n", __FILE__, __LINE__, &(e), \
5341ab5fe7SBenjamin Berg pud_val(e))
5441ab5fe7SBenjamin Berg #define pgd_ERROR(e) \
5541ab5fe7SBenjamin Berg printk("%s:%d: bad pgd %p(%016lx).\n", __FILE__, __LINE__, &(e), \
5641ab5fe7SBenjamin Berg pgd_val(e))
5741ab5fe7SBenjamin Berg
58*9b088185STiwei Bie #define pud_none(x) (!(pud_val(x) & ~_PAGE_NEEDSYNC))
5941ab5fe7SBenjamin Berg #define pud_bad(x) ((pud_val(x) & (~PAGE_MASK & ~_PAGE_USER)) != _KERNPG_TABLE)
6041ab5fe7SBenjamin Berg #define pud_present(x) (pud_val(x) & _PAGE_PRESENT)
6141ab5fe7SBenjamin Berg #define pud_populate(mm, pud, pmd) \
6241ab5fe7SBenjamin Berg set_pud(pud, __pud(_PAGE_TABLE + __pa(pmd)))
6341ab5fe7SBenjamin Berg
6441ab5fe7SBenjamin Berg #define set_pud(pudptr, pudval) (*(pudptr) = (pudval))
6541ab5fe7SBenjamin Berg
66*9b088185STiwei Bie #define p4d_none(x) (!(p4d_val(x) & ~_PAGE_NEEDSYNC))
6741ab5fe7SBenjamin Berg #define p4d_bad(x) ((p4d_val(x) & (~PAGE_MASK & ~_PAGE_USER)) != _KERNPG_TABLE)
6841ab5fe7SBenjamin Berg #define p4d_present(x) (p4d_val(x) & _PAGE_PRESENT)
6941ab5fe7SBenjamin Berg #define p4d_populate(mm, p4d, pud) \
7041ab5fe7SBenjamin Berg set_p4d(p4d, __p4d(_PAGE_TABLE + __pa(pud)))
7141ab5fe7SBenjamin Berg
7241ab5fe7SBenjamin Berg #define set_p4d(p4dptr, p4dval) (*(p4dptr) = (p4dval))
7341ab5fe7SBenjamin Berg
7441ab5fe7SBenjamin Berg
pgd_needsync(pgd_t pgd)75*9b088185STiwei Bie static inline int pgd_needsync(pgd_t pgd)
7641ab5fe7SBenjamin Berg {
77*9b088185STiwei Bie return pgd_val(pgd) & _PAGE_NEEDSYNC;
7841ab5fe7SBenjamin Berg }
7941ab5fe7SBenjamin Berg
pgd_mkuptodate(pgd_t pgd)80*9b088185STiwei Bie static inline void pgd_mkuptodate(pgd_t pgd) { pgd_val(pgd) &= ~_PAGE_NEEDSYNC; }
8141ab5fe7SBenjamin Berg
8241ab5fe7SBenjamin Berg #define set_pmd(pmdptr, pmdval) (*(pmdptr) = (pmdval))
8341ab5fe7SBenjamin Berg
pud_clear(pud_t * pud)8441ab5fe7SBenjamin Berg static inline void pud_clear (pud_t *pud)
8541ab5fe7SBenjamin Berg {
86*9b088185STiwei Bie set_pud(pud, __pud(_PAGE_NEEDSYNC));
8741ab5fe7SBenjamin Berg }
8841ab5fe7SBenjamin Berg
p4d_clear(p4d_t * p4d)8941ab5fe7SBenjamin Berg static inline void p4d_clear (p4d_t *p4d)
9041ab5fe7SBenjamin Berg {
91*9b088185STiwei Bie set_p4d(p4d, __p4d(_PAGE_NEEDSYNC));
9241ab5fe7SBenjamin Berg }
9341ab5fe7SBenjamin Berg
9441ab5fe7SBenjamin Berg #define pud_page(pud) phys_to_page(pud_val(pud) & PAGE_MASK)
9541ab5fe7SBenjamin Berg #define pud_pgtable(pud) ((pmd_t *) __va(pud_val(pud) & PAGE_MASK))
9641ab5fe7SBenjamin Berg
9741ab5fe7SBenjamin Berg #define p4d_page(p4d) phys_to_page(p4d_val(p4d) & PAGE_MASK)
9841ab5fe7SBenjamin Berg #define p4d_pgtable(p4d) ((pud_t *) __va(p4d_val(p4d) & PAGE_MASK))
9941ab5fe7SBenjamin Berg
pte_pfn(pte_t pte)10041ab5fe7SBenjamin Berg static inline unsigned long pte_pfn(pte_t pte)
10141ab5fe7SBenjamin Berg {
10241ab5fe7SBenjamin Berg return phys_to_pfn(pte_val(pte));
10341ab5fe7SBenjamin Berg }
10441ab5fe7SBenjamin Berg
pfn_pte(unsigned long page_nr,pgprot_t pgprot)10541ab5fe7SBenjamin Berg static inline pte_t pfn_pte(unsigned long page_nr, pgprot_t pgprot)
10641ab5fe7SBenjamin Berg {
10741ab5fe7SBenjamin Berg pte_t pte;
10841ab5fe7SBenjamin Berg phys_t phys = pfn_to_phys(page_nr);
10941ab5fe7SBenjamin Berg
11041ab5fe7SBenjamin Berg pte_set_val(pte, phys, pgprot);
11141ab5fe7SBenjamin Berg return pte;
11241ab5fe7SBenjamin Berg }
11341ab5fe7SBenjamin Berg
pfn_pmd(unsigned long page_nr,pgprot_t pgprot)11441ab5fe7SBenjamin Berg static inline pmd_t pfn_pmd(unsigned long page_nr, pgprot_t pgprot)
11541ab5fe7SBenjamin Berg {
11641ab5fe7SBenjamin Berg return __pmd((page_nr << PAGE_SHIFT) | pgprot_val(pgprot));
11741ab5fe7SBenjamin Berg }
11841ab5fe7SBenjamin Berg
11941ab5fe7SBenjamin Berg #endif
120