1 // SPDX-License-Identifier: GPL-2.0
2 /*
3 * Copyright (C) 2017-2018 Etnaviv Project
4 */
5
6 #include <linux/dma-mapping.h>
7
8 #include "etnaviv_cmdbuf.h"
9 #include "etnaviv_gem.h"
10 #include "etnaviv_gpu.h"
11 #include "etnaviv_mmu.h"
12
13 #define SUBALLOC_SIZE SZ_512K
14 #define SUBALLOC_GRANULE SZ_4K
15 #define SUBALLOC_GRANULES (SUBALLOC_SIZE / SUBALLOC_GRANULE)
16
17 struct etnaviv_cmdbuf_suballoc {
18 /* suballocated dma buffer properties */
19 struct device *dev;
20 void *vaddr;
21 dma_addr_t paddr;
22
23 /* allocation management */
24 struct mutex lock;
25 DECLARE_BITMAP(granule_map, SUBALLOC_GRANULES);
26 int free_space;
27 wait_queue_head_t free_event;
28 };
29
30 struct etnaviv_cmdbuf_suballoc *
etnaviv_cmdbuf_suballoc_new(struct device * dev)31 etnaviv_cmdbuf_suballoc_new(struct device *dev)
32 {
33 struct etnaviv_cmdbuf_suballoc *suballoc;
34 int ret;
35
36 suballoc = kzalloc(sizeof(*suballoc), GFP_KERNEL);
37 if (!suballoc)
38 return ERR_PTR(-ENOMEM);
39
40 suballoc->dev = dev;
41 mutex_init(&suballoc->lock);
42 init_waitqueue_head(&suballoc->free_event);
43
44 BUILD_BUG_ON(ETNAVIV_SOFTPIN_START_ADDRESS < SUBALLOC_SIZE);
45 suballoc->vaddr = dma_alloc_wc(dev, SUBALLOC_SIZE,
46 &suballoc->paddr, GFP_KERNEL);
47 if (!suballoc->vaddr) {
48 ret = -ENOMEM;
49 goto free_suballoc;
50 }
51
52 return suballoc;
53
54 free_suballoc:
55 mutex_destroy(&suballoc->lock);
56 kfree(suballoc);
57
58 return ERR_PTR(ret);
59 }
60
etnaviv_cmdbuf_suballoc_map(struct etnaviv_cmdbuf_suballoc * suballoc,struct etnaviv_iommu_context * context,struct etnaviv_vram_mapping * mapping,u32 memory_base)61 int etnaviv_cmdbuf_suballoc_map(struct etnaviv_cmdbuf_suballoc *suballoc,
62 struct etnaviv_iommu_context *context,
63 struct etnaviv_vram_mapping *mapping,
64 u32 memory_base)
65 {
66 return etnaviv_iommu_get_suballoc_va(context, mapping, memory_base,
67 suballoc->paddr, SUBALLOC_SIZE);
68 }
69
etnaviv_cmdbuf_suballoc_unmap(struct etnaviv_iommu_context * context,struct etnaviv_vram_mapping * mapping)70 void etnaviv_cmdbuf_suballoc_unmap(struct etnaviv_iommu_context *context,
71 struct etnaviv_vram_mapping *mapping)
72 {
73 etnaviv_iommu_put_suballoc_va(context, mapping);
74 }
75
etnaviv_cmdbuf_suballoc_destroy(struct etnaviv_cmdbuf_suballoc * suballoc)76 void etnaviv_cmdbuf_suballoc_destroy(struct etnaviv_cmdbuf_suballoc *suballoc)
77 {
78 dma_free_wc(suballoc->dev, SUBALLOC_SIZE, suballoc->vaddr,
79 suballoc->paddr);
80 mutex_destroy(&suballoc->lock);
81 kfree(suballoc);
82 }
83
etnaviv_cmdbuf_init(struct etnaviv_cmdbuf_suballoc * suballoc,struct etnaviv_cmdbuf * cmdbuf,u32 size)84 int etnaviv_cmdbuf_init(struct etnaviv_cmdbuf_suballoc *suballoc,
85 struct etnaviv_cmdbuf *cmdbuf, u32 size)
86 {
87 int granule_offs, order, ret;
88
89 cmdbuf->suballoc = suballoc;
90 cmdbuf->size = size;
91
92 order = order_base_2(ALIGN(size, SUBALLOC_GRANULE) / SUBALLOC_GRANULE);
93 retry:
94 mutex_lock(&suballoc->lock);
95 granule_offs = bitmap_find_free_region(suballoc->granule_map,
96 SUBALLOC_GRANULES, order);
97 if (granule_offs < 0) {
98 suballoc->free_space = 0;
99 mutex_unlock(&suballoc->lock);
100 ret = wait_event_interruptible_timeout(suballoc->free_event,
101 suballoc->free_space,
102 secs_to_jiffies(10));
103 if (!ret) {
104 dev_err(suballoc->dev,
105 "Timeout waiting for cmdbuf space\n");
106 return -ETIMEDOUT;
107 }
108 goto retry;
109 }
110 mutex_unlock(&suballoc->lock);
111 cmdbuf->suballoc_offset = granule_offs * SUBALLOC_GRANULE;
112 cmdbuf->vaddr = suballoc->vaddr + cmdbuf->suballoc_offset;
113
114 return 0;
115 }
116
etnaviv_cmdbuf_free(struct etnaviv_cmdbuf * cmdbuf)117 void etnaviv_cmdbuf_free(struct etnaviv_cmdbuf *cmdbuf)
118 {
119 struct etnaviv_cmdbuf_suballoc *suballoc = cmdbuf->suballoc;
120 int order = order_base_2(ALIGN(cmdbuf->size, SUBALLOC_GRANULE) /
121 SUBALLOC_GRANULE);
122
123 if (!suballoc)
124 return;
125
126 mutex_lock(&suballoc->lock);
127 bitmap_release_region(suballoc->granule_map,
128 cmdbuf->suballoc_offset / SUBALLOC_GRANULE,
129 order);
130 suballoc->free_space = 1;
131 mutex_unlock(&suballoc->lock);
132 wake_up_all(&suballoc->free_event);
133 }
134
etnaviv_cmdbuf_get_va(struct etnaviv_cmdbuf * buf,struct etnaviv_vram_mapping * mapping)135 u32 etnaviv_cmdbuf_get_va(struct etnaviv_cmdbuf *buf,
136 struct etnaviv_vram_mapping *mapping)
137 {
138 return mapping->iova + buf->suballoc_offset;
139 }
140
etnaviv_cmdbuf_get_pa(struct etnaviv_cmdbuf * buf)141 dma_addr_t etnaviv_cmdbuf_get_pa(struct etnaviv_cmdbuf *buf)
142 {
143 return buf->suballoc->paddr + buf->suballoc_offset;
144 }
145