1 // SPDX-License-Identifier: GPL-2.0 2 /* 3 * Copyright (C) 2017-2018 Etnaviv Project 4 */ 5 6 #include <drm/drm_mm.h> 7 8 #include "etnaviv_cmdbuf.h" 9 #include "etnaviv_gpu.h" 10 #include "etnaviv_mmu.h" 11 #include "etnaviv_perfmon.h" 12 13 #define SUBALLOC_SIZE SZ_256K 14 #define SUBALLOC_GRANULE SZ_4K 15 #define SUBALLOC_GRANULES (SUBALLOC_SIZE / SUBALLOC_GRANULE) 16 17 struct etnaviv_cmdbuf_suballoc { 18 /* suballocated dma buffer properties */ 19 struct etnaviv_gpu *gpu; 20 void *vaddr; 21 dma_addr_t paddr; 22 23 /* GPU mapping */ 24 u32 iova; 25 struct drm_mm_node vram_node; /* only used on MMUv2 */ 26 27 /* allocation management */ 28 struct mutex lock; 29 DECLARE_BITMAP(granule_map, SUBALLOC_GRANULES); 30 int free_space; 31 wait_queue_head_t free_event; 32 }; 33 34 struct etnaviv_cmdbuf_suballoc * 35 etnaviv_cmdbuf_suballoc_new(struct etnaviv_gpu * gpu) 36 { 37 struct etnaviv_cmdbuf_suballoc *suballoc; 38 int ret; 39 40 suballoc = kzalloc(sizeof(*suballoc), GFP_KERNEL); 41 if (!suballoc) 42 return ERR_PTR(-ENOMEM); 43 44 suballoc->gpu = gpu; 45 mutex_init(&suballoc->lock); 46 init_waitqueue_head(&suballoc->free_event); 47 48 suballoc->vaddr = dma_alloc_wc(gpu->dev, SUBALLOC_SIZE, 49 &suballoc->paddr, GFP_KERNEL); 50 if (!suballoc->vaddr) 51 goto free_suballoc; 52 53 ret = etnaviv_iommu_get_suballoc_va(gpu, suballoc->paddr, 54 &suballoc->vram_node, SUBALLOC_SIZE, 55 &suballoc->iova); 56 if (ret) 57 goto free_dma; 58 59 return suballoc; 60 61 free_dma: 62 dma_free_wc(gpu->dev, SUBALLOC_SIZE, suballoc->vaddr, suballoc->paddr); 63 free_suballoc: 64 kfree(suballoc); 65 66 return NULL; 67 } 68 69 void etnaviv_cmdbuf_suballoc_destroy(struct etnaviv_cmdbuf_suballoc *suballoc) 70 { 71 etnaviv_iommu_put_suballoc_va(suballoc->gpu, &suballoc->vram_node, 72 SUBALLOC_SIZE, suballoc->iova); 73 dma_free_wc(suballoc->gpu->dev, SUBALLOC_SIZE, suballoc->vaddr, 74 suballoc->paddr); 75 kfree(suballoc); 76 } 77 78 int etnaviv_cmdbuf_init(struct etnaviv_cmdbuf_suballoc *suballoc, 79 struct etnaviv_cmdbuf *cmdbuf, u32 size) 80 { 81 int granule_offs, order, ret; 82 83 cmdbuf->suballoc = suballoc; 84 cmdbuf->size = size; 85 86 order = order_base_2(ALIGN(size, SUBALLOC_GRANULE) / SUBALLOC_GRANULE); 87 retry: 88 mutex_lock(&suballoc->lock); 89 granule_offs = bitmap_find_free_region(suballoc->granule_map, 90 SUBALLOC_GRANULES, order); 91 if (granule_offs < 0) { 92 suballoc->free_space = 0; 93 mutex_unlock(&suballoc->lock); 94 ret = wait_event_interruptible_timeout(suballoc->free_event, 95 suballoc->free_space, 96 msecs_to_jiffies(10 * 1000)); 97 if (!ret) { 98 dev_err(suballoc->gpu->dev, 99 "Timeout waiting for cmdbuf space\n"); 100 return -ETIMEDOUT; 101 } 102 goto retry; 103 } 104 mutex_unlock(&suballoc->lock); 105 cmdbuf->suballoc_offset = granule_offs * SUBALLOC_GRANULE; 106 cmdbuf->vaddr = suballoc->vaddr + cmdbuf->suballoc_offset; 107 108 return 0; 109 } 110 111 void etnaviv_cmdbuf_free(struct etnaviv_cmdbuf *cmdbuf) 112 { 113 struct etnaviv_cmdbuf_suballoc *suballoc = cmdbuf->suballoc; 114 int order = order_base_2(ALIGN(cmdbuf->size, SUBALLOC_GRANULE) / 115 SUBALLOC_GRANULE); 116 117 mutex_lock(&suballoc->lock); 118 bitmap_release_region(suballoc->granule_map, 119 cmdbuf->suballoc_offset / SUBALLOC_GRANULE, 120 order); 121 suballoc->free_space = 1; 122 mutex_unlock(&suballoc->lock); 123 wake_up_all(&suballoc->free_event); 124 } 125 126 u32 etnaviv_cmdbuf_get_va(struct etnaviv_cmdbuf *buf) 127 { 128 return buf->suballoc->iova + buf->suballoc_offset; 129 } 130 131 dma_addr_t etnaviv_cmdbuf_get_pa(struct etnaviv_cmdbuf *buf) 132 { 133 return buf->suballoc->paddr + buf->suballoc_offset; 134 } 135