Lines Matching defs:dst_pte

175 	pte_t _dst_pte, *dst_pte;
193 	dst_pte = pte_offset_map_lock(dst_mm, dst_pmd, dst_addr, &ptl);
194 	if (!dst_pte)
204 	dst_ptep = ptep_get(dst_pte);
230 	set_pte_at(dst_mm, dst_addr, dst_pte, _dst_pte);
233 	update_mmu_cache(dst_vma, dst_addr, dst_pte);
236 	pte_unmap_unlock(dst_pte, ptl);
353 	pte_t _dst_pte, *dst_pte;
363 	dst_pte = pte_offset_map_lock(dst_vma->vm_mm, dst_pmd, dst_addr, &ptl);
364 	if (!dst_pte)
371 	if (!pte_none(ptep_get(dst_pte)))
373 	set_pte_at(dst_vma->vm_mm, dst_addr, dst_pte, _dst_pte);
375 	update_mmu_cache(dst_vma, dst_addr, dst_pte);
378 	pte_unmap_unlock(dst_pte, ptl);
435 	pte_t _dst_pte, *dst_pte;
440 	dst_pte = pte_offset_map_lock(dst_mm, dst_pmd, dst_addr, &ptl);
441 	if (!dst_pte)
451 	if (!pte_none(ptep_get(dst_pte)))
454 	set_pte_at(dst_mm, dst_addr, dst_pte, _dst_pte);
457 	update_mmu_cache(dst_vma, dst_addr, dst_pte);
460 	pte_unmap_unlock(dst_pte, ptl);
502 	pte_t *dst_pte;
572 		 * vma_lock ensures the dst_pte remains valid even
583 		dst_pte = huge_pte_alloc(dst_mm, dst_vma, dst_addr, vma_hpagesize);
584 		if (!dst_pte) {
591 			const pte_t ptep = huge_ptep_get(dst_mm, dst_addr, dst_pte);
601 		err = hugetlb_mfill_atomic_pte(dst_pte, dst_vma, dst_addr,
1027 static inline bool is_pte_pages_stable(pte_t *dst_pte, pte_t *src_pte,
1032 	       pte_same(ptep_get(dst_pte), orig_dst_pte) &&
1045 						 pte_t *src_pte, pte_t *dst_pte)
1050 	orig_dst_pte = ptep_get(dst_pte);
1076 			      pte_t *dst_pte, pte_t *src_pte,
1092 	if (!is_pte_pages_stable(dst_pte, src_pte, orig_dst_pte, orig_src_pte,
1127 		set_pte_at(mm, dst_addr, dst_pte, orig_dst_pte);
1133 		dst_pte++;
1138 							src_pte, dst_pte);
1156 			 pte_t *dst_pte, pte_t *src_pte,
1174 	if (!is_pte_pages_stable(dst_pte, src_pte, orig_dst_pte, orig_src_pte,
1208 	set_pte_at(mm, dst_addr, dst_pte, orig_src_pte);
1218 			     pte_t *dst_pte, pte_t *src_pte,
1226 	if (!is_pte_pages_stable(dst_pte, src_pte, orig_dst_pte, orig_src_pte,
1235 	set_pte_at(mm, dst_addr, dst_pte, zero_pte);
1258 	pte_t *dst_pte = NULL;
1270 	 * Use the maywrite version to indicate that dst_pte will be modified,
1271 	 * since dst_pte needs to be none, the subsequent pte_same() check
1272 	 * cannot prevent the dst_pte page from being freed concurrently, so we
1275 	dst_pte = pte_offset_map_rw_nolock(mm, dst_pmd, dst_addr, &dst_pmdval,
1279 	if (unlikely(!dst_pte)) {
1285 	 * Unlike dst_pte, the subsequent pte_same() check can ensure the
1311 	orig_dst_pte = ptep_get(dst_pte);
1338 					       dst_addr, src_addr, dst_pte, src_pte,
1392 				pte_unmap(dst_pte);
1393 				src_pte = dst_pte = NULL;
1409 			pte_unmap(dst_pte);
1410 			src_pte = dst_pte = NULL;
1422 					dst_addr, src_addr, dst_pte, src_pte,
1432 			pte_unmap(dst_pte);
1433 			src_pte = dst_pte = NULL;
1477 				pte_unmap(dst_pte);
1478 				src_pte = dst_pte = NULL;
1486 		ret = move_swap_pte(mm, dst_vma, dst_addr, src_addr, dst_pte, src_pte,
1498 	 * index ordering when CONFIG_HIGHPTE is enabled. We mapped dst_pte
1499 	 * first, then src_pte, so we must unmap src_pte first, then dst_pte.
1503 	if (dst_pte)
1504 		pte_unmap(dst_pte);