346 	pte_t _dst_pte, *dst_pte;  in mfill_atomic_install_pte()  local
364 	dst_pte = pte_offset_map_lock(dst_mm, dst_pmd, dst_addr, &ptl);  in mfill_atomic_install_pte()
365 	if (!dst_pte)  in mfill_atomic_install_pte()
375 	dst_ptep = ptep_get(dst_pte);  in mfill_atomic_install_pte()
398 	set_pte_at(dst_mm, dst_addr, dst_pte, _dst_pte);  in mfill_atomic_install_pte()
404 	update_mmu_cache(dst_vma, dst_addr, dst_pte);  in mfill_atomic_install_pte()
407 	pte_unmap_unlock(dst_pte, ptl);  in mfill_atomic_install_pte()
577 	pte_t _dst_pte, *dst_pte;  in mfill_atomic_pte_zeropage()  local
588 	dst_pte = pte_offset_map_lock(dst_vma->vm_mm, dst_pmd, dst_addr, &ptl);  in mfill_atomic_pte_zeropage()
589 	if (!dst_pte)  in mfill_atomic_pte_zeropage()
596 	if (!pte_none(ptep_get(dst_pte)))  in mfill_atomic_pte_zeropage()
598 	set_pte_at(dst_vma->vm_mm, dst_addr, dst_pte, _dst_pte);  in mfill_atomic_pte_zeropage()
600 	update_mmu_cache(dst_vma, dst_addr, dst_pte);  in mfill_atomic_pte_zeropage()
603 	pte_unmap_unlock(dst_pte, ptl);  in mfill_atomic_pte_zeropage()
658 	pte_t _dst_pte, *dst_pte;  in mfill_atomic_pte_poison()  local
664 	dst_pte = pte_offset_map_lock(dst_mm, dst_pmd, dst_addr, &ptl);  in mfill_atomic_pte_poison()
665 	if (!dst_pte)  in mfill_atomic_pte_poison()
675 	if (!pte_none(ptep_get(dst_pte)))  in mfill_atomic_pte_poison()
678 	set_pte_at(dst_mm, dst_addr, dst_pte, _dst_pte);  in mfill_atomic_pte_poison()
681 	update_mmu_cache(dst_vma, dst_addr, dst_pte);  in mfill_atomic_pte_poison()
684 	pte_unmap_unlock(dst_pte, ptl);  in mfill_atomic_pte_poison()
705 	pte_t *dst_pte;  in mfill_atomic_hugetlb()  local
786 		dst_pte = huge_pte_alloc(dst_mm, dst_vma, dst_addr, vma_hpagesize);  in mfill_atomic_hugetlb()
787 		if (!dst_pte) {  in mfill_atomic_hugetlb()
794 			const pte_t ptep = huge_ptep_get(dst_mm, dst_addr, dst_pte);  in mfill_atomic_hugetlb()
804 		err = hugetlb_mfill_atomic_pte(dst_pte, dst_vma, dst_addr,  in mfill_atomic_hugetlb()
1113 static inline bool is_pte_pages_stable(pte_t *dst_pte, pte_t *src_pte,  in is_pte_pages_stable()  argument
1118 	       pte_same(ptep_get(dst_pte), orig_dst_pte) &&  in is_pte_pages_stable()
1131 						 pte_t *src_pte, pte_t *dst_pte)  in check_ptes_for_batched_move()  argument
1136 	orig_dst_pte = ptep_get(dst_pte);  in check_ptes_for_batched_move()
1162 			      pte_t *dst_pte, pte_t *src_pte,  in move_present_ptes()  argument
1178 	if (!is_pte_pages_stable(dst_pte, src_pte, orig_dst_pte, orig_src_pte,  in move_present_ptes()
1213 		set_pte_at(mm, dst_addr, dst_pte, orig_dst_pte);  in move_present_ptes()
1219 		dst_pte++;  in move_present_ptes()
1224 							src_pte, dst_pte);  in move_present_ptes()
1242 			 pte_t *dst_pte, pte_t *src_pte,  in move_swap_pte()  argument
1260 	if (!is_pte_pages_stable(dst_pte, src_pte, orig_dst_pte, orig_src_pte,  in move_swap_pte()
1294 	set_pte_at(mm, dst_addr, dst_pte, orig_src_pte);  in move_swap_pte()
1304 			     pte_t *dst_pte, pte_t *src_pte,  in move_zeropage_pte()  argument
1312 	if (!is_pte_pages_stable(dst_pte, src_pte, orig_dst_pte, orig_src_pte,  in move_zeropage_pte()
1321 	set_pte_at(mm, dst_addr, dst_pte, zero_pte);  in move_zeropage_pte()
1344 	pte_t *dst_pte = NULL;  in move_pages_ptes()  local
1361 	dst_pte = pte_offset_map_rw_nolock(mm, dst_pmd, dst_addr, &dst_pmdval,  in move_pages_ptes()
1365 	if (unlikely(!dst_pte)) {  in move_pages_ptes()
1397 	orig_dst_pte = ptep_get(dst_pte);  in move_pages_ptes()
1424 					       dst_addr, src_addr, dst_pte, src_pte,  in move_pages_ptes()
1478 				pte_unmap(dst_pte);  in move_pages_ptes()
1479 				src_pte = dst_pte = NULL;  in move_pages_ptes()
1495 			pte_unmap(dst_pte);  in move_pages_ptes()
1496 			src_pte = dst_pte = NULL;  in move_pages_ptes()
1508 					dst_addr, src_addr, dst_pte, src_pte,  in move_pages_ptes()
1518 			pte_unmap(dst_pte);  in move_pages_ptes()
1519 			src_pte = dst_pte = NULL;  in move_pages_ptes()
1563 				pte_unmap(dst_pte);  in move_pages_ptes()
1564 				src_pte = dst_pte = NULL;  in move_pages_ptes()
1572 		ret = move_swap_pte(mm, dst_vma, dst_addr, src_addr, dst_pte, src_pte,  in move_pages_ptes()
1589 	if (dst_pte)  in move_pages_ptes()
1590 		pte_unmap(dst_pte);  in move_pages_ptes()