1 /* SPDX-License-Identifier: GPL-2.0 */
2 /*
3 * Synopsys DesignWare PCIe host controller driver
4 *
5 * Copyright (C) 2013 Samsung Electronics Co., Ltd.
6 * https://www.samsung.com
7 *
8 * Author: Jingoo Han <jg1.han@samsung.com>
9 */
10
11 #ifndef _PCIE_DESIGNWARE_H
12 #define _PCIE_DESIGNWARE_H
13
14 #include <linux/bitfield.h>
15 #include <linux/bitops.h>
16 #include <linux/clk.h>
17 #include <linux/dma-mapping.h>
18 #include <linux/dma/edma.h>
19 #include <linux/gpio/consumer.h>
20 #include <linux/irq.h>
21 #include <linux/msi.h>
22 #include <linux/pci.h>
23 #include <linux/reset.h>
24
25 #include <linux/pci-epc.h>
26 #include <linux/pci-epf.h>
27
28 #include "../../pci.h"
29
30 /* DWC PCIe IP-core versions (native support since v4.70a) */
31 #define DW_PCIE_VER_365A 0x3336352a
32 #define DW_PCIE_VER_460A 0x3436302a
33 #define DW_PCIE_VER_470A 0x3437302a
34 #define DW_PCIE_VER_480A 0x3438302a
35 #define DW_PCIE_VER_490A 0x3439302a
36 #define DW_PCIE_VER_520A 0x3532302a
37 #define DW_PCIE_VER_540A 0x3534302a
38
39 #define __dw_pcie_ver_cmp(_pci, _ver, _op) \
40 ((_pci)->version _op DW_PCIE_VER_ ## _ver)
41
42 #define dw_pcie_ver_is(_pci, _ver) __dw_pcie_ver_cmp(_pci, _ver, ==)
43
44 #define dw_pcie_ver_is_ge(_pci, _ver) __dw_pcie_ver_cmp(_pci, _ver, >=)
45
46 #define dw_pcie_ver_type_is(_pci, _ver, _type) \
47 (__dw_pcie_ver_cmp(_pci, _ver, ==) && \
48 __dw_pcie_ver_cmp(_pci, TYPE_ ## _type, ==))
49
50 #define dw_pcie_ver_type_is_ge(_pci, _ver, _type) \
51 (__dw_pcie_ver_cmp(_pci, _ver, ==) && \
52 __dw_pcie_ver_cmp(_pci, TYPE_ ## _type, >=))
53
54 /* DWC PCIe controller capabilities */
55 #define DW_PCIE_CAP_REQ_RES 0
56 #define DW_PCIE_CAP_IATU_UNROLL 1
57 #define DW_PCIE_CAP_CDM_CHECK 2
58
59 #define dw_pcie_cap_is(_pci, _cap) \
60 test_bit(DW_PCIE_CAP_ ## _cap, &(_pci)->caps)
61
62 #define dw_pcie_cap_set(_pci, _cap) \
63 set_bit(DW_PCIE_CAP_ ## _cap, &(_pci)->caps)
64
65 /* Parameters for the waiting for iATU enabled routine */
66 #define LINK_WAIT_MAX_IATU_RETRIES 5
67 #define LINK_WAIT_IATU 9
68
69 /* Synopsys-specific PCIe configuration registers */
70 #define PCIE_PORT_FORCE 0x708
71 #define PORT_FORCE_DO_DESKEW_FOR_SRIS BIT(23)
72
73 #define PCIE_PORT_AFR 0x70C
74 #define PORT_AFR_N_FTS_MASK GENMASK(15, 8)
75 #define PORT_AFR_N_FTS(n) FIELD_PREP(PORT_AFR_N_FTS_MASK, n)
76 #define PORT_AFR_CC_N_FTS_MASK GENMASK(23, 16)
77 #define PORT_AFR_CC_N_FTS(n) FIELD_PREP(PORT_AFR_CC_N_FTS_MASK, n)
78 #define PORT_AFR_ENTER_ASPM BIT(30)
79 #define PORT_AFR_L0S_ENTRANCE_LAT_SHIFT 24
80 #define PORT_AFR_L0S_ENTRANCE_LAT_MASK GENMASK(26, 24)
81 #define PORT_AFR_L1_ENTRANCE_LAT_SHIFT 27
82 #define PORT_AFR_L1_ENTRANCE_LAT_MASK GENMASK(29, 27)
83
84 #define PCIE_PORT_LINK_CONTROL 0x710
85 #define PORT_LINK_DLL_LINK_EN BIT(5)
86 #define PORT_LINK_FAST_LINK_MODE BIT(7)
87 #define PORT_LINK_MODE_MASK GENMASK(21, 16)
88 #define PORT_LINK_MODE(n) FIELD_PREP(PORT_LINK_MODE_MASK, n)
89 #define PORT_LINK_MODE_1_LANES PORT_LINK_MODE(0x1)
90 #define PORT_LINK_MODE_2_LANES PORT_LINK_MODE(0x3)
91 #define PORT_LINK_MODE_4_LANES PORT_LINK_MODE(0x7)
92 #define PORT_LINK_MODE_8_LANES PORT_LINK_MODE(0xf)
93
94 #define PCIE_PORT_LANE_SKEW 0x714
95 #define PORT_LANE_SKEW_INSERT_MASK GENMASK(23, 0)
96
97 #define PCIE_PORT_DEBUG0 0x728
98 #define PORT_LOGIC_LTSSM_STATE_MASK 0x1f
99 #define PORT_LOGIC_LTSSM_STATE_L0 0x11
100 #define PCIE_PORT_DEBUG1 0x72C
101 #define PCIE_PORT_DEBUG1_LINK_UP BIT(4)
102 #define PCIE_PORT_DEBUG1_LINK_IN_TRAINING BIT(29)
103
104 #define PCIE_LINK_WIDTH_SPEED_CONTROL 0x80C
105 #define PORT_LOGIC_N_FTS_MASK GENMASK(7, 0)
106 #define PORT_LOGIC_SPEED_CHANGE BIT(17)
107 #define PORT_LOGIC_LINK_WIDTH_MASK GENMASK(12, 8)
108 #define PORT_LOGIC_LINK_WIDTH(n) FIELD_PREP(PORT_LOGIC_LINK_WIDTH_MASK, n)
109 #define PORT_LOGIC_LINK_WIDTH_1_LANES PORT_LOGIC_LINK_WIDTH(0x1)
110 #define PORT_LOGIC_LINK_WIDTH_2_LANES PORT_LOGIC_LINK_WIDTH(0x2)
111 #define PORT_LOGIC_LINK_WIDTH_4_LANES PORT_LOGIC_LINK_WIDTH(0x4)
112 #define PORT_LOGIC_LINK_WIDTH_8_LANES PORT_LOGIC_LINK_WIDTH(0x8)
113
114 #define PCIE_MSI_ADDR_LO 0x820
115 #define PCIE_MSI_ADDR_HI 0x824
116 #define PCIE_MSI_INTR0_ENABLE 0x828
117 #define PCIE_MSI_INTR0_MASK 0x82C
118 #define PCIE_MSI_INTR0_STATUS 0x830
119
120 #define GEN3_RELATED_OFF 0x890
121 #define GEN3_RELATED_OFF_GEN3_ZRXDC_NONCOMPL BIT(0)
122 #define GEN3_RELATED_OFF_RXEQ_RGRDLESS_RXTS BIT(13)
123 #define GEN3_RELATED_OFF_GEN3_EQ_DISABLE BIT(16)
124 #define GEN3_RELATED_OFF_RATE_SHADOW_SEL_SHIFT 24
125 #define GEN3_RELATED_OFF_RATE_SHADOW_SEL_MASK GENMASK(25, 24)
126 #define GEN3_RELATED_OFF_RATE_SHADOW_SEL_16_0GT 0x1
127
128 #define GEN3_EQ_CONTROL_OFF 0x8A8
129 #define GEN3_EQ_CONTROL_OFF_FB_MODE GENMASK(3, 0)
130 #define GEN3_EQ_CONTROL_OFF_PHASE23_EXIT_MODE BIT(4)
131 #define GEN3_EQ_CONTROL_OFF_PSET_REQ_VEC GENMASK(23, 8)
132 #define GEN3_EQ_CONTROL_OFF_FOM_INC_INITIAL_EVAL BIT(24)
133
134 #define GEN3_EQ_FB_MODE_DIR_CHANGE_OFF 0x8AC
135 #define GEN3_EQ_FMDC_T_MIN_PHASE23 GENMASK(4, 0)
136 #define GEN3_EQ_FMDC_N_EVALS GENMASK(9, 5)
137 #define GEN3_EQ_FMDC_MAX_PRE_CUSROR_DELTA GENMASK(13, 10)
138 #define GEN3_EQ_FMDC_MAX_POST_CUSROR_DELTA GENMASK(17, 14)
139
140 #define PCIE_PORT_MULTI_LANE_CTRL 0x8C0
141 #define PORT_MLTI_UPCFG_SUPPORT BIT(7)
142
143 #define PCIE_VERSION_NUMBER 0x8F8
144 #define PCIE_VERSION_TYPE 0x8FC
145
146 /*
147 * iATU inbound and outbound windows CSRs. Before the IP-core v4.80a each
148 * iATU region CSRs had been indirectly accessible by means of the dedicated
149 * viewport selector. The iATU/eDMA CSRs space was re-designed in DWC PCIe
150 * v4.80a in a way so the viewport was unrolled into the directly accessible
151 * iATU/eDMA CSRs space.
152 */
153 #define PCIE_ATU_VIEWPORT 0x900
154 #define PCIE_ATU_REGION_DIR_IB BIT(31)
155 #define PCIE_ATU_REGION_DIR_OB 0
156 #define PCIE_ATU_VIEWPORT_BASE 0x904
157 #define PCIE_ATU_UNROLL_BASE(dir, index) \
158 (((index) << 9) | ((dir == PCIE_ATU_REGION_DIR_IB) ? BIT(8) : 0))
159 #define PCIE_ATU_VIEWPORT_SIZE 0x2C
160 #define PCIE_ATU_REGION_CTRL1 0x000
161 #define PCIE_ATU_INCREASE_REGION_SIZE BIT(13)
162 #define PCIE_ATU_TYPE_MEM 0x0
163 #define PCIE_ATU_TYPE_IO 0x2
164 #define PCIE_ATU_TYPE_CFG0 0x4
165 #define PCIE_ATU_TYPE_CFG1 0x5
166 #define PCIE_ATU_TYPE_MSG 0x10
167 #define PCIE_ATU_TD BIT(8)
168 #define PCIE_ATU_FUNC_NUM(pf) ((pf) << 20)
169 #define PCIE_ATU_REGION_CTRL2 0x004
170 #define PCIE_ATU_ENABLE BIT(31)
171 #define PCIE_ATU_BAR_MODE_ENABLE BIT(30)
172 #define PCIE_ATU_INHIBIT_PAYLOAD BIT(22)
173 #define PCIE_ATU_FUNC_NUM_MATCH_EN BIT(19)
174 #define PCIE_ATU_LOWER_BASE 0x008
175 #define PCIE_ATU_UPPER_BASE 0x00C
176 #define PCIE_ATU_LIMIT 0x010
177 #define PCIE_ATU_LOWER_TARGET 0x014
178 #define PCIE_ATU_BUS(x) FIELD_PREP(GENMASK(31, 24), x)
179 #define PCIE_ATU_DEV(x) FIELD_PREP(GENMASK(23, 19), x)
180 #define PCIE_ATU_FUNC(x) FIELD_PREP(GENMASK(18, 16), x)
181 #define PCIE_ATU_UPPER_TARGET 0x018
182 #define PCIE_ATU_UPPER_LIMIT 0x020
183
184 #define PCIE_MISC_CONTROL_1_OFF 0x8BC
185 #define PCIE_DBI_RO_WR_EN BIT(0)
186
187 #define PCIE_MSIX_DOORBELL 0x948
188 #define PCIE_MSIX_DOORBELL_PF_SHIFT 24
189
190 /*
191 * eDMA CSRs. DW PCIe IP-core v4.70a and older had the eDMA registers accessible
192 * over the Port Logic registers space. Afterwards the unrolled mapping was
193 * introduced so eDMA and iATU could be accessed via a dedicated registers
194 * space.
195 */
196 #define PCIE_DMA_VIEWPORT_BASE 0x970
197 #define PCIE_DMA_UNROLL_BASE 0x80000
198 #define PCIE_DMA_CTRL 0x008
199 #define PCIE_DMA_NUM_WR_CHAN GENMASK(3, 0)
200 #define PCIE_DMA_NUM_RD_CHAN GENMASK(19, 16)
201
202 #define PCIE_PL_CHK_REG_CONTROL_STATUS 0xB20
203 #define PCIE_PL_CHK_REG_CHK_REG_START BIT(0)
204 #define PCIE_PL_CHK_REG_CHK_REG_CONTINUOUS BIT(1)
205 #define PCIE_PL_CHK_REG_CHK_REG_COMPARISON_ERROR BIT(16)
206 #define PCIE_PL_CHK_REG_CHK_REG_LOGIC_ERROR BIT(17)
207 #define PCIE_PL_CHK_REG_CHK_REG_COMPLETE BIT(18)
208
209 #define PCIE_PL_CHK_REG_ERR_ADDR 0xB28
210
211 /*
212 * 16.0 GT/s (Gen 4) lane margining register definitions
213 */
214 #define GEN4_LANE_MARGINING_1_OFF 0xB80
215 #define MARGINING_MAX_VOLTAGE_OFFSET GENMASK(29, 24)
216 #define MARGINING_NUM_VOLTAGE_STEPS GENMASK(22, 16)
217 #define MARGINING_MAX_TIMING_OFFSET GENMASK(13, 8)
218 #define MARGINING_NUM_TIMING_STEPS GENMASK(5, 0)
219
220 #define GEN4_LANE_MARGINING_2_OFF 0xB84
221 #define MARGINING_IND_ERROR_SAMPLER BIT(28)
222 #define MARGINING_SAMPLE_REPORTING_METHOD BIT(27)
223 #define MARGINING_IND_LEFT_RIGHT_TIMING BIT(26)
224 #define MARGINING_IND_UP_DOWN_VOLTAGE BIT(25)
225 #define MARGINING_VOLTAGE_SUPPORTED BIT(24)
226 #define MARGINING_MAXLANES GENMASK(20, 16)
227 #define MARGINING_SAMPLE_RATE_TIMING GENMASK(13, 8)
228 #define MARGINING_SAMPLE_RATE_VOLTAGE GENMASK(5, 0)
229 /*
230 * iATU Unroll-specific register definitions
231 * From 4.80 core version the address translation will be made by unroll
232 */
233 #define PCIE_ATU_UNR_REGION_CTRL1 0x00
234 #define PCIE_ATU_UNR_REGION_CTRL2 0x04
235 #define PCIE_ATU_UNR_LOWER_BASE 0x08
236 #define PCIE_ATU_UNR_UPPER_BASE 0x0C
237 #define PCIE_ATU_UNR_LOWER_LIMIT 0x10
238 #define PCIE_ATU_UNR_LOWER_TARGET 0x14
239 #define PCIE_ATU_UNR_UPPER_TARGET 0x18
240 #define PCIE_ATU_UNR_UPPER_LIMIT 0x20
241
242 /*
243 * RAS-DES register definitions
244 */
245 #define PCIE_RAS_DES_EVENT_COUNTER_CONTROL 0x8
246 #define EVENT_COUNTER_ALL_CLEAR 0x3
247 #define EVENT_COUNTER_ENABLE_ALL 0x7
248 #define EVENT_COUNTER_ENABLE_SHIFT 2
249 #define EVENT_COUNTER_EVENT_SEL_MASK GENMASK(7, 0)
250 #define EVENT_COUNTER_EVENT_SEL_SHIFT 16
251 #define EVENT_COUNTER_EVENT_Tx_L0S 0x2
252 #define EVENT_COUNTER_EVENT_Rx_L0S 0x3
253 #define EVENT_COUNTER_EVENT_L1 0x5
254 #define EVENT_COUNTER_EVENT_L1_1 0x7
255 #define EVENT_COUNTER_EVENT_L1_2 0x8
256 #define EVENT_COUNTER_GROUP_SEL_SHIFT 24
257 #define EVENT_COUNTER_GROUP_5 0x5
258
259 #define PCIE_RAS_DES_EVENT_COUNTER_DATA 0xc
260
261 /* PTM register definitions */
262 #define PTM_RES_REQ_CTRL 0x8
263 #define PTM_RES_CCONTEXT_VALID BIT(0)
264 #define PTM_REQ_AUTO_UPDATE_ENABLED BIT(0)
265 #define PTM_REQ_START_UPDATE BIT(1)
266
267 #define PTM_LOCAL_LSB 0x10
268 #define PTM_LOCAL_MSB 0x14
269 #define PTM_T1_T2_LSB 0x18
270 #define PTM_T1_T2_MSB 0x1c
271 #define PTM_T3_T4_LSB 0x28
272 #define PTM_T3_T4_MSB 0x2c
273 #define PTM_MASTER_LSB 0x38
274 #define PTM_MASTER_MSB 0x3c
275
276 /*
277 * The default address offset between dbi_base and atu_base. Root controller
278 * drivers are not required to initialize atu_base if the offset matches this
279 * default; the driver core automatically derives atu_base from dbi_base using
280 * this offset, if atu_base not set.
281 */
282 #define DEFAULT_DBI_ATU_OFFSET (0x3 << 20)
283 #define DEFAULT_DBI_DMA_OFFSET PCIE_DMA_UNROLL_BASE
284
285 #define MAX_MSI_IRQS 256
286 #define MAX_MSI_IRQS_PER_CTRL 32
287 #define MAX_MSI_CTRLS (MAX_MSI_IRQS / MAX_MSI_IRQS_PER_CTRL)
288 #define MSI_REG_CTRL_BLOCK_SIZE 12
289 #define MSI_DEF_NUM_VECTORS 32
290
291 /* Maximum number of inbound/outbound iATUs */
292 #define MAX_IATU_IN 256
293 #define MAX_IATU_OUT 256
294
295 /* Default eDMA LLP memory size */
296 #define DMA_LLP_MEM_SIZE PAGE_SIZE
297
298 struct dw_pcie;
299 struct dw_pcie_rp;
300 struct dw_pcie_ep;
301
302 enum dw_pcie_device_mode {
303 DW_PCIE_UNKNOWN_TYPE,
304 DW_PCIE_EP_TYPE,
305 DW_PCIE_LEG_EP_TYPE,
306 DW_PCIE_RC_TYPE,
307 };
308
309 enum dw_pcie_app_clk {
310 DW_PCIE_DBI_CLK,
311 DW_PCIE_MSTR_CLK,
312 DW_PCIE_SLV_CLK,
313 DW_PCIE_NUM_APP_CLKS
314 };
315
316 enum dw_pcie_core_clk {
317 DW_PCIE_PIPE_CLK,
318 DW_PCIE_CORE_CLK,
319 DW_PCIE_AUX_CLK,
320 DW_PCIE_REF_CLK,
321 DW_PCIE_NUM_CORE_CLKS
322 };
323
324 enum dw_pcie_app_rst {
325 DW_PCIE_DBI_RST,
326 DW_PCIE_MSTR_RST,
327 DW_PCIE_SLV_RST,
328 DW_PCIE_NUM_APP_RSTS
329 };
330
331 enum dw_pcie_core_rst {
332 DW_PCIE_NON_STICKY_RST,
333 DW_PCIE_STICKY_RST,
334 DW_PCIE_CORE_RST,
335 DW_PCIE_PIPE_RST,
336 DW_PCIE_PHY_RST,
337 DW_PCIE_HOT_RST,
338 DW_PCIE_PWR_RST,
339 DW_PCIE_NUM_CORE_RSTS
340 };
341
342 enum dw_pcie_ltssm {
343 /* Need to align with PCIE_PORT_DEBUG0 bits 0:5 */
344 DW_PCIE_LTSSM_DETECT_QUIET = 0x0,
345 DW_PCIE_LTSSM_DETECT_ACT = 0x1,
346 DW_PCIE_LTSSM_POLL_ACTIVE = 0x2,
347 DW_PCIE_LTSSM_POLL_COMPLIANCE = 0x3,
348 DW_PCIE_LTSSM_POLL_CONFIG = 0x4,
349 DW_PCIE_LTSSM_PRE_DETECT_QUIET = 0x5,
350 DW_PCIE_LTSSM_DETECT_WAIT = 0x6,
351 DW_PCIE_LTSSM_CFG_LINKWD_START = 0x7,
352 DW_PCIE_LTSSM_CFG_LINKWD_ACEPT = 0x8,
353 DW_PCIE_LTSSM_CFG_LANENUM_WAI = 0x9,
354 DW_PCIE_LTSSM_CFG_LANENUM_ACEPT = 0xa,
355 DW_PCIE_LTSSM_CFG_COMPLETE = 0xb,
356 DW_PCIE_LTSSM_CFG_IDLE = 0xc,
357 DW_PCIE_LTSSM_RCVRY_LOCK = 0xd,
358 DW_PCIE_LTSSM_RCVRY_SPEED = 0xe,
359 DW_PCIE_LTSSM_RCVRY_RCVRCFG = 0xf,
360 DW_PCIE_LTSSM_RCVRY_IDLE = 0x10,
361 DW_PCIE_LTSSM_L0 = 0x11,
362 DW_PCIE_LTSSM_L0S = 0x12,
363 DW_PCIE_LTSSM_L123_SEND_EIDLE = 0x13,
364 DW_PCIE_LTSSM_L1_IDLE = 0x14,
365 DW_PCIE_LTSSM_L2_IDLE = 0x15,
366 DW_PCIE_LTSSM_L2_WAKE = 0x16,
367 DW_PCIE_LTSSM_DISABLED_ENTRY = 0x17,
368 DW_PCIE_LTSSM_DISABLED_IDLE = 0x18,
369 DW_PCIE_LTSSM_DISABLED = 0x19,
370 DW_PCIE_LTSSM_LPBK_ENTRY = 0x1a,
371 DW_PCIE_LTSSM_LPBK_ACTIVE = 0x1b,
372 DW_PCIE_LTSSM_LPBK_EXIT = 0x1c,
373 DW_PCIE_LTSSM_LPBK_EXIT_TIMEOUT = 0x1d,
374 DW_PCIE_LTSSM_HOT_RESET_ENTRY = 0x1e,
375 DW_PCIE_LTSSM_HOT_RESET = 0x1f,
376 DW_PCIE_LTSSM_RCVRY_EQ0 = 0x20,
377 DW_PCIE_LTSSM_RCVRY_EQ1 = 0x21,
378 DW_PCIE_LTSSM_RCVRY_EQ2 = 0x22,
379 DW_PCIE_LTSSM_RCVRY_EQ3 = 0x23,
380
381 DW_PCIE_LTSSM_UNKNOWN = 0xFFFFFFFF,
382 };
383
384 struct dw_pcie_ob_atu_cfg {
385 int index;
386 int type;
387 u8 func_no;
388 u8 code;
389 u8 routing;
390 u64 parent_bus_addr;
391 u64 pci_addr;
392 u64 size;
393 };
394
395 struct dw_pcie_host_ops {
396 int (*init)(struct dw_pcie_rp *pp);
397 void (*deinit)(struct dw_pcie_rp *pp);
398 void (*post_init)(struct dw_pcie_rp *pp);
399 int (*msi_init)(struct dw_pcie_rp *pp);
400 void (*pme_turn_off)(struct dw_pcie_rp *pp);
401 };
402
403 struct dw_pcie_rp {
404 bool has_msi_ctrl:1;
405 bool cfg0_io_shared:1;
406 u64 cfg0_base;
407 void __iomem *va_cfg0_base;
408 u32 cfg0_size;
409 resource_size_t io_base;
410 phys_addr_t io_bus_addr;
411 u32 io_size;
412 int irq;
413 const struct dw_pcie_host_ops *ops;
414 int msi_irq[MAX_MSI_CTRLS];
415 struct irq_domain *irq_domain;
416 dma_addr_t msi_data;
417 struct irq_chip *msi_irq_chip;
418 u32 num_vectors;
419 u32 irq_mask[MAX_MSI_CTRLS];
420 struct pci_host_bridge *bridge;
421 raw_spinlock_t lock;
422 DECLARE_BITMAP(msi_irq_in_use, MAX_MSI_IRQS);
423 bool use_atu_msg;
424 int msg_atu_index;
425 struct resource *msg_res;
426 bool use_linkup_irq;
427 struct pci_eq_presets presets;
428 };
429
430 struct dw_pcie_ep_ops {
431 void (*pre_init)(struct dw_pcie_ep *ep);
432 void (*init)(struct dw_pcie_ep *ep);
433 int (*raise_irq)(struct dw_pcie_ep *ep, u8 func_no,
434 unsigned int type, u16 interrupt_num);
435 const struct pci_epc_features* (*get_features)(struct dw_pcie_ep *ep);
436 /*
437 * Provide a method to implement the different func config space
438 * access for different platform, if different func have different
439 * offset, return the offset of func. if use write a register way
440 * return a 0, and implement code in callback function of platform
441 * driver.
442 */
443 unsigned int (*get_dbi_offset)(struct dw_pcie_ep *ep, u8 func_no);
444 unsigned int (*get_dbi2_offset)(struct dw_pcie_ep *ep, u8 func_no);
445 };
446
447 struct dw_pcie_ep_func {
448 struct list_head list;
449 u8 func_no;
450 u8 msi_cap; /* MSI capability offset */
451 u8 msix_cap; /* MSI-X capability offset */
452 };
453
454 struct dw_pcie_ep {
455 struct pci_epc *epc;
456 struct list_head func_list;
457 const struct dw_pcie_ep_ops *ops;
458 phys_addr_t phys_base;
459 size_t addr_size;
460 size_t page_size;
461 u8 bar_to_atu[PCI_STD_NUM_BARS];
462 phys_addr_t *outbound_addr;
463 unsigned long *ib_window_map;
464 unsigned long *ob_window_map;
465 void __iomem *msi_mem;
466 phys_addr_t msi_mem_phys;
467 struct pci_epf_bar *epf_bar[PCI_STD_NUM_BARS];
468 };
469
470 struct dw_pcie_ops {
471 u64 (*cpu_addr_fixup)(struct dw_pcie *pcie, u64 cpu_addr);
472 u32 (*read_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
473 size_t size);
474 void (*write_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
475 size_t size, u32 val);
476 void (*write_dbi2)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
477 size_t size, u32 val);
478 bool (*link_up)(struct dw_pcie *pcie);
479 enum dw_pcie_ltssm (*get_ltssm)(struct dw_pcie *pcie);
480 int (*start_link)(struct dw_pcie *pcie);
481 void (*stop_link)(struct dw_pcie *pcie);
482 };
483
484 struct debugfs_info {
485 struct dentry *debug_dir;
486 void *rasdes_info;
487 };
488
489 struct dw_pcie {
490 struct device *dev;
491 void __iomem *dbi_base;
492 resource_size_t dbi_phys_addr;
493 void __iomem *dbi_base2;
494 void __iomem *atu_base;
495 resource_size_t atu_phys_addr;
496 size_t atu_size;
497 resource_size_t parent_bus_offset;
498 u32 num_ib_windows;
499 u32 num_ob_windows;
500 u32 region_align;
501 u64 region_limit;
502 struct dw_pcie_rp pp;
503 struct dw_pcie_ep ep;
504 const struct dw_pcie_ops *ops;
505 u32 version;
506 u32 type;
507 unsigned long caps;
508 int num_lanes;
509 int max_link_speed;
510 u8 n_fts[2];
511 struct dw_edma_chip edma;
512 struct clk_bulk_data app_clks[DW_PCIE_NUM_APP_CLKS];
513 struct clk_bulk_data core_clks[DW_PCIE_NUM_CORE_CLKS];
514 struct reset_control_bulk_data app_rsts[DW_PCIE_NUM_APP_RSTS];
515 struct reset_control_bulk_data core_rsts[DW_PCIE_NUM_CORE_RSTS];
516 struct gpio_desc *pe_rst;
517 bool suspended;
518 struct debugfs_info *debugfs;
519 enum dw_pcie_device_mode mode;
520 u16 ptm_vsec_offset;
521 struct pci_ptm_debugfs *ptm_debugfs;
522
523 /*
524 * If iATU input addresses are offset from CPU physical addresses,
525 * we previously required .cpu_addr_fixup() to convert them. We
526 * now rely on the devicetree instead. If .cpu_addr_fixup()
527 * exists, we compare its results with devicetree.
528 *
529 * If .cpu_addr_fixup() does not exist, we assume the offset is
530 * zero and warn if devicetree claims otherwise. If we know all
531 * devicetrees correctly describe the offset, set
532 * use_parent_dt_ranges to true to avoid this warning.
533 */
534 bool use_parent_dt_ranges;
535 };
536
537 #define to_dw_pcie_from_pp(port) container_of((port), struct dw_pcie, pp)
538
539 #define to_dw_pcie_from_ep(endpoint) \
540 container_of((endpoint), struct dw_pcie, ep)
541
542 int dw_pcie_get_resources(struct dw_pcie *pci);
543
544 void dw_pcie_version_detect(struct dw_pcie *pci);
545
546 u8 dw_pcie_find_capability(struct dw_pcie *pci, u8 cap);
547 u16 dw_pcie_find_ext_capability(struct dw_pcie *pci, u8 cap);
548 u16 dw_pcie_find_rasdes_capability(struct dw_pcie *pci);
549 u16 dw_pcie_find_ptm_capability(struct dw_pcie *pci);
550
551 int dw_pcie_read(void __iomem *addr, int size, u32 *val);
552 int dw_pcie_write(void __iomem *addr, int size, u32 val);
553
554 u32 dw_pcie_read_dbi(struct dw_pcie *pci, u32 reg, size_t size);
555 void dw_pcie_write_dbi(struct dw_pcie *pci, u32 reg, size_t size, u32 val);
556 void dw_pcie_write_dbi2(struct dw_pcie *pci, u32 reg, size_t size, u32 val);
557 bool dw_pcie_link_up(struct dw_pcie *pci);
558 void dw_pcie_upconfig_setup(struct dw_pcie *pci);
559 int dw_pcie_wait_for_link(struct dw_pcie *pci);
560 int dw_pcie_link_get_max_link_width(struct dw_pcie *pci);
561 int dw_pcie_prog_outbound_atu(struct dw_pcie *pci,
562 const struct dw_pcie_ob_atu_cfg *atu);
563 int dw_pcie_prog_inbound_atu(struct dw_pcie *pci, int index, int type,
564 u64 parent_bus_addr, u64 pci_addr, u64 size);
565 int dw_pcie_prog_ep_inbound_atu(struct dw_pcie *pci, u8 func_no, int index,
566 int type, u64 parent_bus_addr,
567 u8 bar, size_t size);
568 void dw_pcie_disable_atu(struct dw_pcie *pci, u32 dir, int index);
569 void dw_pcie_setup(struct dw_pcie *pci);
570 void dw_pcie_iatu_detect(struct dw_pcie *pci);
571 int dw_pcie_edma_detect(struct dw_pcie *pci);
572 void dw_pcie_edma_remove(struct dw_pcie *pci);
573 resource_size_t dw_pcie_parent_bus_offset(struct dw_pcie *pci,
574 const char *reg_name,
575 resource_size_t cpu_phy_addr);
576
dw_pcie_writel_dbi(struct dw_pcie * pci,u32 reg,u32 val)577 static inline void dw_pcie_writel_dbi(struct dw_pcie *pci, u32 reg, u32 val)
578 {
579 dw_pcie_write_dbi(pci, reg, 0x4, val);
580 }
581
dw_pcie_readl_dbi(struct dw_pcie * pci,u32 reg)582 static inline u32 dw_pcie_readl_dbi(struct dw_pcie *pci, u32 reg)
583 {
584 return dw_pcie_read_dbi(pci, reg, 0x4);
585 }
586
dw_pcie_writew_dbi(struct dw_pcie * pci,u32 reg,u16 val)587 static inline void dw_pcie_writew_dbi(struct dw_pcie *pci, u32 reg, u16 val)
588 {
589 dw_pcie_write_dbi(pci, reg, 0x2, val);
590 }
591
dw_pcie_readw_dbi(struct dw_pcie * pci,u32 reg)592 static inline u16 dw_pcie_readw_dbi(struct dw_pcie *pci, u32 reg)
593 {
594 return dw_pcie_read_dbi(pci, reg, 0x2);
595 }
596
dw_pcie_writeb_dbi(struct dw_pcie * pci,u32 reg,u8 val)597 static inline void dw_pcie_writeb_dbi(struct dw_pcie *pci, u32 reg, u8 val)
598 {
599 dw_pcie_write_dbi(pci, reg, 0x1, val);
600 }
601
dw_pcie_readb_dbi(struct dw_pcie * pci,u32 reg)602 static inline u8 dw_pcie_readb_dbi(struct dw_pcie *pci, u32 reg)
603 {
604 return dw_pcie_read_dbi(pci, reg, 0x1);
605 }
606
dw_pcie_writel_dbi2(struct dw_pcie * pci,u32 reg,u32 val)607 static inline void dw_pcie_writel_dbi2(struct dw_pcie *pci, u32 reg, u32 val)
608 {
609 dw_pcie_write_dbi2(pci, reg, 0x4, val);
610 }
611
dw_pcie_ep_get_dbi_offset(struct dw_pcie_ep * ep,u8 func_no)612 static inline unsigned int dw_pcie_ep_get_dbi_offset(struct dw_pcie_ep *ep,
613 u8 func_no)
614 {
615 unsigned int dbi_offset = 0;
616
617 if (ep->ops->get_dbi_offset)
618 dbi_offset = ep->ops->get_dbi_offset(ep, func_no);
619
620 return dbi_offset;
621 }
622
dw_pcie_ep_read_dbi(struct dw_pcie_ep * ep,u8 func_no,u32 reg,size_t size)623 static inline u32 dw_pcie_ep_read_dbi(struct dw_pcie_ep *ep, u8 func_no,
624 u32 reg, size_t size)
625 {
626 unsigned int offset = dw_pcie_ep_get_dbi_offset(ep, func_no);
627 struct dw_pcie *pci = to_dw_pcie_from_ep(ep);
628
629 return dw_pcie_read_dbi(pci, offset + reg, size);
630 }
631
dw_pcie_ep_write_dbi(struct dw_pcie_ep * ep,u8 func_no,u32 reg,size_t size,u32 val)632 static inline void dw_pcie_ep_write_dbi(struct dw_pcie_ep *ep, u8 func_no,
633 u32 reg, size_t size, u32 val)
634 {
635 unsigned int offset = dw_pcie_ep_get_dbi_offset(ep, func_no);
636 struct dw_pcie *pci = to_dw_pcie_from_ep(ep);
637
638 dw_pcie_write_dbi(pci, offset + reg, size, val);
639 }
640
dw_pcie_ep_writel_dbi(struct dw_pcie_ep * ep,u8 func_no,u32 reg,u32 val)641 static inline void dw_pcie_ep_writel_dbi(struct dw_pcie_ep *ep, u8 func_no,
642 u32 reg, u32 val)
643 {
644 dw_pcie_ep_write_dbi(ep, func_no, reg, 0x4, val);
645 }
646
dw_pcie_ep_readl_dbi(struct dw_pcie_ep * ep,u8 func_no,u32 reg)647 static inline u32 dw_pcie_ep_readl_dbi(struct dw_pcie_ep *ep, u8 func_no,
648 u32 reg)
649 {
650 return dw_pcie_ep_read_dbi(ep, func_no, reg, 0x4);
651 }
652
dw_pcie_ep_writew_dbi(struct dw_pcie_ep * ep,u8 func_no,u32 reg,u16 val)653 static inline void dw_pcie_ep_writew_dbi(struct dw_pcie_ep *ep, u8 func_no,
654 u32 reg, u16 val)
655 {
656 dw_pcie_ep_write_dbi(ep, func_no, reg, 0x2, val);
657 }
658
dw_pcie_ep_readw_dbi(struct dw_pcie_ep * ep,u8 func_no,u32 reg)659 static inline u16 dw_pcie_ep_readw_dbi(struct dw_pcie_ep *ep, u8 func_no,
660 u32 reg)
661 {
662 return dw_pcie_ep_read_dbi(ep, func_no, reg, 0x2);
663 }
664
dw_pcie_ep_writeb_dbi(struct dw_pcie_ep * ep,u8 func_no,u32 reg,u8 val)665 static inline void dw_pcie_ep_writeb_dbi(struct dw_pcie_ep *ep, u8 func_no,
666 u32 reg, u8 val)
667 {
668 dw_pcie_ep_write_dbi(ep, func_no, reg, 0x1, val);
669 }
670
dw_pcie_ep_readb_dbi(struct dw_pcie_ep * ep,u8 func_no,u32 reg)671 static inline u8 dw_pcie_ep_readb_dbi(struct dw_pcie_ep *ep, u8 func_no,
672 u32 reg)
673 {
674 return dw_pcie_ep_read_dbi(ep, func_no, reg, 0x1);
675 }
676
dw_pcie_ep_get_dbi2_offset(struct dw_pcie_ep * ep,u8 func_no)677 static inline unsigned int dw_pcie_ep_get_dbi2_offset(struct dw_pcie_ep *ep,
678 u8 func_no)
679 {
680 unsigned int dbi2_offset = 0;
681
682 if (ep->ops->get_dbi2_offset)
683 dbi2_offset = ep->ops->get_dbi2_offset(ep, func_no);
684 else if (ep->ops->get_dbi_offset) /* for backward compatibility */
685 dbi2_offset = ep->ops->get_dbi_offset(ep, func_no);
686
687 return dbi2_offset;
688 }
689
dw_pcie_ep_write_dbi2(struct dw_pcie_ep * ep,u8 func_no,u32 reg,size_t size,u32 val)690 static inline void dw_pcie_ep_write_dbi2(struct dw_pcie_ep *ep, u8 func_no,
691 u32 reg, size_t size, u32 val)
692 {
693 unsigned int offset = dw_pcie_ep_get_dbi2_offset(ep, func_no);
694 struct dw_pcie *pci = to_dw_pcie_from_ep(ep);
695
696 dw_pcie_write_dbi2(pci, offset + reg, size, val);
697 }
698
dw_pcie_ep_writel_dbi2(struct dw_pcie_ep * ep,u8 func_no,u32 reg,u32 val)699 static inline void dw_pcie_ep_writel_dbi2(struct dw_pcie_ep *ep, u8 func_no,
700 u32 reg, u32 val)
701 {
702 dw_pcie_ep_write_dbi2(ep, func_no, reg, 0x4, val);
703 }
704
dw_pcie_dbi_ro_wr_en(struct dw_pcie * pci)705 static inline void dw_pcie_dbi_ro_wr_en(struct dw_pcie *pci)
706 {
707 u32 reg;
708 u32 val;
709
710 reg = PCIE_MISC_CONTROL_1_OFF;
711 val = dw_pcie_readl_dbi(pci, reg);
712 val |= PCIE_DBI_RO_WR_EN;
713 dw_pcie_writel_dbi(pci, reg, val);
714 }
715
dw_pcie_dbi_ro_wr_dis(struct dw_pcie * pci)716 static inline void dw_pcie_dbi_ro_wr_dis(struct dw_pcie *pci)
717 {
718 u32 reg;
719 u32 val;
720
721 reg = PCIE_MISC_CONTROL_1_OFF;
722 val = dw_pcie_readl_dbi(pci, reg);
723 val &= ~PCIE_DBI_RO_WR_EN;
724 dw_pcie_writel_dbi(pci, reg, val);
725 }
726
dw_pcie_start_link(struct dw_pcie * pci)727 static inline int dw_pcie_start_link(struct dw_pcie *pci)
728 {
729 if (pci->ops && pci->ops->start_link)
730 return pci->ops->start_link(pci);
731
732 return 0;
733 }
734
dw_pcie_stop_link(struct dw_pcie * pci)735 static inline void dw_pcie_stop_link(struct dw_pcie *pci)
736 {
737 if (pci->ops && pci->ops->stop_link)
738 pci->ops->stop_link(pci);
739 }
740
dw_pcie_get_ltssm(struct dw_pcie * pci)741 static inline enum dw_pcie_ltssm dw_pcie_get_ltssm(struct dw_pcie *pci)
742 {
743 u32 val;
744
745 if (pci->ops && pci->ops->get_ltssm)
746 return pci->ops->get_ltssm(pci);
747
748 val = dw_pcie_readl_dbi(pci, PCIE_PORT_DEBUG0);
749
750 return (enum dw_pcie_ltssm)FIELD_GET(PORT_LOGIC_LTSSM_STATE_MASK, val);
751 }
752
753 #ifdef CONFIG_PCIE_DW_HOST
754 int dw_pcie_suspend_noirq(struct dw_pcie *pci);
755 int dw_pcie_resume_noirq(struct dw_pcie *pci);
756 irqreturn_t dw_handle_msi_irq(struct dw_pcie_rp *pp);
757 void dw_pcie_msi_init(struct dw_pcie_rp *pp);
758 int dw_pcie_msi_host_init(struct dw_pcie_rp *pp);
759 void dw_pcie_free_msi(struct dw_pcie_rp *pp);
760 int dw_pcie_setup_rc(struct dw_pcie_rp *pp);
761 int dw_pcie_host_init(struct dw_pcie_rp *pp);
762 void dw_pcie_host_deinit(struct dw_pcie_rp *pp);
763 int dw_pcie_allocate_domains(struct dw_pcie_rp *pp);
764 void __iomem *dw_pcie_own_conf_map_bus(struct pci_bus *bus, unsigned int devfn,
765 int where);
766 #else
dw_pcie_suspend_noirq(struct dw_pcie * pci)767 static inline int dw_pcie_suspend_noirq(struct dw_pcie *pci)
768 {
769 return 0;
770 }
771
dw_pcie_resume_noirq(struct dw_pcie * pci)772 static inline int dw_pcie_resume_noirq(struct dw_pcie *pci)
773 {
774 return 0;
775 }
776
dw_handle_msi_irq(struct dw_pcie_rp * pp)777 static inline irqreturn_t dw_handle_msi_irq(struct dw_pcie_rp *pp)
778 {
779 return IRQ_NONE;
780 }
781
dw_pcie_msi_init(struct dw_pcie_rp * pp)782 static inline void dw_pcie_msi_init(struct dw_pcie_rp *pp)
783 { }
784
dw_pcie_msi_host_init(struct dw_pcie_rp * pp)785 static inline int dw_pcie_msi_host_init(struct dw_pcie_rp *pp)
786 {
787 return -ENODEV;
788 }
789
dw_pcie_free_msi(struct dw_pcie_rp * pp)790 static inline void dw_pcie_free_msi(struct dw_pcie_rp *pp)
791 { }
792
dw_pcie_setup_rc(struct dw_pcie_rp * pp)793 static inline int dw_pcie_setup_rc(struct dw_pcie_rp *pp)
794 {
795 return 0;
796 }
797
dw_pcie_host_init(struct dw_pcie_rp * pp)798 static inline int dw_pcie_host_init(struct dw_pcie_rp *pp)
799 {
800 return 0;
801 }
802
dw_pcie_host_deinit(struct dw_pcie_rp * pp)803 static inline void dw_pcie_host_deinit(struct dw_pcie_rp *pp)
804 {
805 }
806
dw_pcie_allocate_domains(struct dw_pcie_rp * pp)807 static inline int dw_pcie_allocate_domains(struct dw_pcie_rp *pp)
808 {
809 return 0;
810 }
dw_pcie_own_conf_map_bus(struct pci_bus * bus,unsigned int devfn,int where)811 static inline void __iomem *dw_pcie_own_conf_map_bus(struct pci_bus *bus,
812 unsigned int devfn,
813 int where)
814 {
815 return NULL;
816 }
817 #endif
818
819 #ifdef CONFIG_PCIE_DW_EP
820 void dw_pcie_ep_linkup(struct dw_pcie_ep *ep);
821 void dw_pcie_ep_linkdown(struct dw_pcie_ep *ep);
822 int dw_pcie_ep_init(struct dw_pcie_ep *ep);
823 int dw_pcie_ep_init_registers(struct dw_pcie_ep *ep);
824 void dw_pcie_ep_deinit(struct dw_pcie_ep *ep);
825 void dw_pcie_ep_cleanup(struct dw_pcie_ep *ep);
826 int dw_pcie_ep_raise_intx_irq(struct dw_pcie_ep *ep, u8 func_no);
827 int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
828 u8 interrupt_num);
829 int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no,
830 u16 interrupt_num);
831 int dw_pcie_ep_raise_msix_irq_doorbell(struct dw_pcie_ep *ep, u8 func_no,
832 u16 interrupt_num);
833 void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar);
834 int dw_pcie_ep_hide_ext_capability(struct dw_pcie *pci, u8 prev_cap, u8 cap);
835 struct dw_pcie_ep_func *
836 dw_pcie_ep_get_func_from_ep(struct dw_pcie_ep *ep, u8 func_no);
837 #else
dw_pcie_ep_linkup(struct dw_pcie_ep * ep)838 static inline void dw_pcie_ep_linkup(struct dw_pcie_ep *ep)
839 {
840 }
841
dw_pcie_ep_linkdown(struct dw_pcie_ep * ep)842 static inline void dw_pcie_ep_linkdown(struct dw_pcie_ep *ep)
843 {
844 }
845
dw_pcie_ep_init(struct dw_pcie_ep * ep)846 static inline int dw_pcie_ep_init(struct dw_pcie_ep *ep)
847 {
848 return 0;
849 }
850
dw_pcie_ep_init_registers(struct dw_pcie_ep * ep)851 static inline int dw_pcie_ep_init_registers(struct dw_pcie_ep *ep)
852 {
853 return 0;
854 }
855
dw_pcie_ep_deinit(struct dw_pcie_ep * ep)856 static inline void dw_pcie_ep_deinit(struct dw_pcie_ep *ep)
857 {
858 }
859
dw_pcie_ep_cleanup(struct dw_pcie_ep * ep)860 static inline void dw_pcie_ep_cleanup(struct dw_pcie_ep *ep)
861 {
862 }
863
dw_pcie_ep_raise_intx_irq(struct dw_pcie_ep * ep,u8 func_no)864 static inline int dw_pcie_ep_raise_intx_irq(struct dw_pcie_ep *ep, u8 func_no)
865 {
866 return 0;
867 }
868
dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep * ep,u8 func_no,u8 interrupt_num)869 static inline int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
870 u8 interrupt_num)
871 {
872 return 0;
873 }
874
dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep * ep,u8 func_no,u16 interrupt_num)875 static inline int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no,
876 u16 interrupt_num)
877 {
878 return 0;
879 }
880
dw_pcie_ep_raise_msix_irq_doorbell(struct dw_pcie_ep * ep,u8 func_no,u16 interrupt_num)881 static inline int dw_pcie_ep_raise_msix_irq_doorbell(struct dw_pcie_ep *ep,
882 u8 func_no,
883 u16 interrupt_num)
884 {
885 return 0;
886 }
887
dw_pcie_ep_reset_bar(struct dw_pcie * pci,enum pci_barno bar)888 static inline void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar)
889 {
890 }
891
dw_pcie_ep_hide_ext_capability(struct dw_pcie * pci,u8 prev_cap,u8 cap)892 static inline int dw_pcie_ep_hide_ext_capability(struct dw_pcie *pci,
893 u8 prev_cap, u8 cap)
894 {
895 return 0;
896 }
897
898 static inline struct dw_pcie_ep_func *
dw_pcie_ep_get_func_from_ep(struct dw_pcie_ep * ep,u8 func_no)899 dw_pcie_ep_get_func_from_ep(struct dw_pcie_ep *ep, u8 func_no)
900 {
901 return NULL;
902 }
903 #endif
904
905 #ifdef CONFIG_PCIE_DW_DEBUGFS
906 void dwc_pcie_debugfs_init(struct dw_pcie *pci, enum dw_pcie_device_mode mode);
907 void dwc_pcie_debugfs_deinit(struct dw_pcie *pci);
908 #else
dwc_pcie_debugfs_init(struct dw_pcie * pci,enum dw_pcie_device_mode mode)909 static inline void dwc_pcie_debugfs_init(struct dw_pcie *pci,
910 enum dw_pcie_device_mode mode)
911 {
912 }
dwc_pcie_debugfs_deinit(struct dw_pcie * pci)913 static inline void dwc_pcie_debugfs_deinit(struct dw_pcie *pci)
914 {
915 }
916 #endif
917
918 #endif /* _PCIE_DESIGNWARE_H */
919