56 	drm_gem_object_put(&obj->gem);  in tegra_bo_put()
63 	struct drm_gem_object *gem = &obj->gem;  in tegra_bo_pin()  local
97 		map->size = gem->size;  in tegra_bo_pin()
117 		err = sg_alloc_table_from_pages(map->sgt, obj->pages, obj->num_pages, 0, gem->size,  in tegra_bo_pin()
127 		err = dma_get_sgtable(dev, map->sgt, obj->vaddr, obj->iova, gem->size);  in tegra_bo_pin()
149 	map->size = gem->size;  in tegra_bo_pin()
221 	drm_gem_object_get(&obj->gem);  in tegra_bo_get()
250 					 bo->mm, bo->gem.size, PAGE_SIZE, 0, 0);  in tegra_bo_iommu_map()
309 	bo->gem.funcs = &tegra_gem_object_funcs;  in tegra_bo_alloc_object()
314 	err = drm_gem_object_init(drm, &bo->gem, size);  in tegra_bo_alloc_object()
318 	err = drm_gem_create_mmap_offset(&bo->gem);  in tegra_bo_alloc_object()
325 	drm_gem_object_release(&bo->gem);  in tegra_bo_alloc_object()
335 		drm_gem_put_pages(&bo->gem, bo->pages, true, true);  in tegra_bo_free()
339 		dma_free_wc(drm->dev, bo->gem.size, bo->vaddr, bo->iova);  in tegra_bo_free()
347 	bo->pages = drm_gem_get_pages(&bo->gem);  in tegra_bo_get_pages()
351 	bo->num_pages = bo->gem.size >> PAGE_SHIFT;  in tegra_bo_get_pages()
353 	bo->sgt = drm_prime_pages_to_sg(bo->gem.dev, bo->pages, bo->num_pages);  in tegra_bo_get_pages()
369 	drm_gem_put_pages(&bo->gem, bo->pages, false, false);  in tegra_bo_get_pages()
389 		size_t size = bo->gem.size;  in tegra_bo_alloc()
427 	drm_gem_object_release(&bo->gem);  in tegra_bo_create()
445 	err = drm_gem_handle_create(file, &bo->gem, handle);  in tegra_bo_create_with_handle()
447 		tegra_bo_free_object(&bo->gem);  in tegra_bo_create_with_handle()
451 	drm_gem_object_put(&bo->gem);  in tegra_bo_create_with_handle()
489 		bo->gem.import_attach = attach;  in tegra_bo_import()
504 	drm_gem_object_release(&bo->gem);  in tegra_bo_import()
509 void tegra_bo_free_object(struct drm_gem_object *gem)  in tegra_bo_free_object()  argument
511 	struct tegra_drm *tegra = gem->dev->dev_private;  in tegra_bo_free_object()
513 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_bo_free_object()
520 			dev_err(gem->dev->dev, "mapping %p stale for device %s\n", mapping,  in tegra_bo_free_object()
527 		if (drm_gem_is_imported(gem)) {  in tegra_bo_free_object()
528 			dma_buf_unmap_attachment_unlocked(gem->import_attach, bo->sgt,  in tegra_bo_free_object()
530 			dma_buf_detach(gem->import_attach->dmabuf, gem->import_attach);  in tegra_bo_free_object()
534 	tegra_bo_free(gem->dev, bo);  in tegra_bo_free_object()
539 	drm_gem_object_release(gem);  in tegra_bo_free_object()
565 	struct drm_gem_object *gem = vma->vm_private_data;  in tegra_bo_fault()  local
566 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_bo_fault()
585 int __tegra_gem_mmap(struct drm_gem_object *gem, struct vm_area_struct *vma)  in __tegra_gem_mmap()  argument
587 	struct tegra_bo *bo = to_tegra_bo(gem);  in __tegra_gem_mmap()
601 		err = dma_mmap_wc(gem->dev->dev, vma, bo->vaddr, bo->iova,  in __tegra_gem_mmap()
602 				  gem->size);  in __tegra_gem_mmap()
622 	struct drm_gem_object *gem;  in tegra_drm_mmap()  local
629 	gem = vma->vm_private_data;  in tegra_drm_mmap()
631 	return __tegra_gem_mmap(gem, vma);  in tegra_drm_mmap()
638 	struct drm_gem_object *gem = attach->dmabuf->priv;  in tegra_gem_prime_map_dma_buf()  local
639 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_gem_prime_map_dma_buf()
648 					      0, gem->size, GFP_KERNEL) < 0)  in tegra_gem_prime_map_dma_buf()
652 				    gem->size) < 0)  in tegra_gem_prime_map_dma_buf()
671 	struct drm_gem_object *gem = attach->dmabuf->priv;  in tegra_gem_prime_unmap_dma_buf()  local
672 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_gem_prime_unmap_dma_buf()
689 	struct drm_gem_object *gem = buf->priv;  in tegra_gem_prime_begin_cpu_access()  local
690 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_gem_prime_begin_cpu_access()
691 	struct drm_device *drm = gem->dev;  in tegra_gem_prime_begin_cpu_access()
702 	struct drm_gem_object *gem = buf->priv;  in tegra_gem_prime_end_cpu_access()  local
703 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_gem_prime_end_cpu_access()
704 	struct drm_device *drm = gem->dev;  in tegra_gem_prime_end_cpu_access()
714 	struct drm_gem_object *gem = buf->priv;  in tegra_gem_prime_mmap()  local
717 	err = drm_gem_mmap_obj(gem, gem->size, vma);  in tegra_gem_prime_mmap()
721 	return __tegra_gem_mmap(gem, vma);  in tegra_gem_prime_mmap()
726 	struct drm_gem_object *gem = buf->priv;  in tegra_gem_prime_vmap()  local
727 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_gem_prime_vmap()
741 	struct drm_gem_object *gem = buf->priv;  in tegra_gem_prime_vunmap()  local
742 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_gem_prime_vunmap()
758 struct dma_buf *tegra_gem_prime_export(struct drm_gem_object *gem,  in tegra_gem_prime_export()  argument
764 	exp_info.owner = gem->dev->driver->fops->owner;  in tegra_gem_prime_export()
766 	exp_info.size = gem->size;  in tegra_gem_prime_export()
768 	exp_info.priv = gem;  in tegra_gem_prime_export()
770 	return drm_gem_dmabuf_export(gem->dev, &exp_info);  in tegra_gem_prime_export()
779 		struct drm_gem_object *gem = buf->priv;  in tegra_gem_prime_import()  local
781 		if (gem->dev == drm) {  in tegra_gem_prime_import()
782 			drm_gem_object_get(gem);  in tegra_gem_prime_import()
783 			return gem;  in tegra_gem_prime_import()
791 	return &bo->gem;  in tegra_gem_prime_import()
796 	struct drm_gem_object *gem;  in tegra_gem_lookup()  local
799 	gem = drm_gem_object_lookup(file, handle);  in tegra_gem_lookup()
800 	if (!gem)  in tegra_gem_lookup()
803 	bo = to_tegra_bo(gem);  in tegra_gem_lookup()