1 /* SPDX-License-Identifier: GPL-2.0 */ 2 /* 3 * Synopsys DesignWare PCIe host controller driver 4 * 5 * Copyright (C) 2013 Samsung Electronics Co., Ltd. 6 * https://www.samsung.com 7 * 8 * Author: Jingoo Han <jg1.han@samsung.com> 9 */ 10 11 #ifndef _PCIE_DESIGNWARE_H 12 #define _PCIE_DESIGNWARE_H 13 14 #include <linux/bitfield.h> 15 #include <linux/bitops.h> 16 #include <linux/clk.h> 17 #include <linux/dma-mapping.h> 18 #include <linux/dma/edma.h> 19 #include <linux/gpio/consumer.h> 20 #include <linux/irq.h> 21 #include <linux/msi.h> 22 #include <linux/pci.h> 23 #include <linux/reset.h> 24 25 #include <linux/pci-epc.h> 26 #include <linux/pci-epf.h> 27 28 #include "../../pci.h" 29 30 /* DWC PCIe IP-core versions (native support since v4.70a) */ 31 #define DW_PCIE_VER_365A 0x3336352a 32 #define DW_PCIE_VER_460A 0x3436302a 33 #define DW_PCIE_VER_470A 0x3437302a 34 #define DW_PCIE_VER_480A 0x3438302a 35 #define DW_PCIE_VER_490A 0x3439302a 36 #define DW_PCIE_VER_520A 0x3532302a 37 #define DW_PCIE_VER_540A 0x3534302a 38 39 #define __dw_pcie_ver_cmp(_pci, _ver, _op) \ 40 ((_pci)->version _op DW_PCIE_VER_ ## _ver) 41 42 #define dw_pcie_ver_is(_pci, _ver) __dw_pcie_ver_cmp(_pci, _ver, ==) 43 44 #define dw_pcie_ver_is_ge(_pci, _ver) __dw_pcie_ver_cmp(_pci, _ver, >=) 45 46 #define dw_pcie_ver_type_is(_pci, _ver, _type) \ 47 (__dw_pcie_ver_cmp(_pci, _ver, ==) && \ 48 __dw_pcie_ver_cmp(_pci, TYPE_ ## _type, ==)) 49 50 #define dw_pcie_ver_type_is_ge(_pci, _ver, _type) \ 51 (__dw_pcie_ver_cmp(_pci, _ver, ==) && \ 52 __dw_pcie_ver_cmp(_pci, TYPE_ ## _type, >=)) 53 54 /* DWC PCIe controller capabilities */ 55 #define DW_PCIE_CAP_REQ_RES 0 56 #define DW_PCIE_CAP_IATU_UNROLL 1 57 #define DW_PCIE_CAP_CDM_CHECK 2 58 59 #define dw_pcie_cap_is(_pci, _cap) \ 60 test_bit(DW_PCIE_CAP_ ## _cap, &(_pci)->caps) 61 62 #define dw_pcie_cap_set(_pci, _cap) \ 63 set_bit(DW_PCIE_CAP_ ## _cap, &(_pci)->caps) 64 65 /* Parameters for the waiting for iATU enabled routine */ 66 #define LINK_WAIT_MAX_IATU_RETRIES 5 67 #define LINK_WAIT_IATU 9 68 69 /* Synopsys-specific PCIe configuration registers */ 70 #define PCIE_PORT_FORCE 0x708 71 #define PORT_FORCE_DO_DESKEW_FOR_SRIS BIT(23) 72 73 #define PCIE_PORT_AFR 0x70C 74 #define PORT_AFR_N_FTS_MASK GENMASK(15, 8) 75 #define PORT_AFR_N_FTS(n) FIELD_PREP(PORT_AFR_N_FTS_MASK, n) 76 #define PORT_AFR_CC_N_FTS_MASK GENMASK(23, 16) 77 #define PORT_AFR_CC_N_FTS(n) FIELD_PREP(PORT_AFR_CC_N_FTS_MASK, n) 78 #define PORT_AFR_ENTER_ASPM BIT(30) 79 #define PORT_AFR_L0S_ENTRANCE_LAT_SHIFT 24 80 #define PORT_AFR_L0S_ENTRANCE_LAT_MASK GENMASK(26, 24) 81 #define PORT_AFR_L1_ENTRANCE_LAT_SHIFT 27 82 #define PORT_AFR_L1_ENTRANCE_LAT_MASK GENMASK(29, 27) 83 84 #define PCIE_PORT_LINK_CONTROL 0x710 85 #define PORT_LINK_DLL_LINK_EN BIT(5) 86 #define PORT_LINK_FAST_LINK_MODE BIT(7) 87 #define PORT_LINK_MODE_MASK GENMASK(21, 16) 88 #define PORT_LINK_MODE(n) FIELD_PREP(PORT_LINK_MODE_MASK, n) 89 #define PORT_LINK_MODE_1_LANES PORT_LINK_MODE(0x1) 90 #define PORT_LINK_MODE_2_LANES PORT_LINK_MODE(0x3) 91 #define PORT_LINK_MODE_4_LANES PORT_LINK_MODE(0x7) 92 #define PORT_LINK_MODE_8_LANES PORT_LINK_MODE(0xf) 93 94 #define PCIE_PORT_LANE_SKEW 0x714 95 #define PORT_LANE_SKEW_INSERT_MASK GENMASK(23, 0) 96 97 #define PCIE_PORT_DEBUG0 0x728 98 #define PORT_LOGIC_LTSSM_STATE_MASK 0x1f 99 #define PORT_LOGIC_LTSSM_STATE_L0 0x11 100 #define PCIE_PORT_DEBUG1 0x72C 101 #define PCIE_PORT_DEBUG1_LINK_UP BIT(4) 102 #define PCIE_PORT_DEBUG1_LINK_IN_TRAINING BIT(29) 103 104 #define PCIE_LINK_WIDTH_SPEED_CONTROL 0x80C 105 #define PORT_LOGIC_N_FTS_MASK GENMASK(7, 0) 106 #define PORT_LOGIC_SPEED_CHANGE BIT(17) 107 #define PORT_LOGIC_LINK_WIDTH_MASK GENMASK(12, 8) 108 #define PORT_LOGIC_LINK_WIDTH(n) FIELD_PREP(PORT_LOGIC_LINK_WIDTH_MASK, n) 109 #define PORT_LOGIC_LINK_WIDTH_1_LANES PORT_LOGIC_LINK_WIDTH(0x1) 110 #define PORT_LOGIC_LINK_WIDTH_2_LANES PORT_LOGIC_LINK_WIDTH(0x2) 111 #define PORT_LOGIC_LINK_WIDTH_4_LANES PORT_LOGIC_LINK_WIDTH(0x4) 112 #define PORT_LOGIC_LINK_WIDTH_8_LANES PORT_LOGIC_LINK_WIDTH(0x8) 113 114 #define PCIE_MSI_ADDR_LO 0x820 115 #define PCIE_MSI_ADDR_HI 0x824 116 #define PCIE_MSI_INTR0_ENABLE 0x828 117 #define PCIE_MSI_INTR0_MASK 0x82C 118 #define PCIE_MSI_INTR0_STATUS 0x830 119 120 #define GEN3_RELATED_OFF 0x890 121 #define GEN3_RELATED_OFF_GEN3_ZRXDC_NONCOMPL BIT(0) 122 #define GEN3_RELATED_OFF_RXEQ_RGRDLESS_RXTS BIT(13) 123 #define GEN3_RELATED_OFF_GEN3_EQ_DISABLE BIT(16) 124 #define GEN3_RELATED_OFF_RATE_SHADOW_SEL_SHIFT 24 125 #define GEN3_RELATED_OFF_RATE_SHADOW_SEL_MASK GENMASK(25, 24) 126 #define GEN3_RELATED_OFF_RATE_SHADOW_SEL_16_0GT 0x1 127 128 #define GEN3_EQ_CONTROL_OFF 0x8A8 129 #define GEN3_EQ_CONTROL_OFF_FB_MODE GENMASK(3, 0) 130 #define GEN3_EQ_CONTROL_OFF_PHASE23_EXIT_MODE BIT(4) 131 #define GEN3_EQ_CONTROL_OFF_PSET_REQ_VEC GENMASK(23, 8) 132 #define GEN3_EQ_CONTROL_OFF_FOM_INC_INITIAL_EVAL BIT(24) 133 134 #define GEN3_EQ_FB_MODE_DIR_CHANGE_OFF 0x8AC 135 #define GEN3_EQ_FMDC_T_MIN_PHASE23 GENMASK(4, 0) 136 #define GEN3_EQ_FMDC_N_EVALS GENMASK(9, 5) 137 #define GEN3_EQ_FMDC_MAX_PRE_CUSROR_DELTA GENMASK(13, 10) 138 #define GEN3_EQ_FMDC_MAX_POST_CUSROR_DELTA GENMASK(17, 14) 139 140 #define PCIE_PORT_MULTI_LANE_CTRL 0x8C0 141 #define PORT_MLTI_UPCFG_SUPPORT BIT(7) 142 143 #define PCIE_VERSION_NUMBER 0x8F8 144 #define PCIE_VERSION_TYPE 0x8FC 145 146 /* 147 * iATU inbound and outbound windows CSRs. Before the IP-core v4.80a each 148 * iATU region CSRs had been indirectly accessible by means of the dedicated 149 * viewport selector. The iATU/eDMA CSRs space was re-designed in DWC PCIe 150 * v4.80a in a way so the viewport was unrolled into the directly accessible 151 * iATU/eDMA CSRs space. 152 */ 153 #define PCIE_ATU_VIEWPORT 0x900 154 #define PCIE_ATU_REGION_DIR_IB BIT(31) 155 #define PCIE_ATU_REGION_DIR_OB 0 156 #define PCIE_ATU_VIEWPORT_BASE 0x904 157 #define PCIE_ATU_UNROLL_BASE(dir, index) \ 158 (((index) << 9) | ((dir == PCIE_ATU_REGION_DIR_IB) ? BIT(8) : 0)) 159 #define PCIE_ATU_VIEWPORT_SIZE 0x2C 160 #define PCIE_ATU_REGION_CTRL1 0x000 161 #define PCIE_ATU_INCREASE_REGION_SIZE BIT(13) 162 #define PCIE_ATU_TYPE_MEM 0x0 163 #define PCIE_ATU_TYPE_IO 0x2 164 #define PCIE_ATU_TYPE_CFG0 0x4 165 #define PCIE_ATU_TYPE_CFG1 0x5 166 #define PCIE_ATU_TYPE_MSG 0x10 167 #define PCIE_ATU_TD BIT(8) 168 #define PCIE_ATU_FUNC_NUM(pf) ((pf) << 20) 169 #define PCIE_ATU_REGION_CTRL2 0x004 170 #define PCIE_ATU_ENABLE BIT(31) 171 #define PCIE_ATU_BAR_MODE_ENABLE BIT(30) 172 #define PCIE_ATU_INHIBIT_PAYLOAD BIT(22) 173 #define PCIE_ATU_FUNC_NUM_MATCH_EN BIT(19) 174 #define PCIE_ATU_LOWER_BASE 0x008 175 #define PCIE_ATU_UPPER_BASE 0x00C 176 #define PCIE_ATU_LIMIT 0x010 177 #define PCIE_ATU_LOWER_TARGET 0x014 178 #define PCIE_ATU_BUS(x) FIELD_PREP(GENMASK(31, 24), x) 179 #define PCIE_ATU_DEV(x) FIELD_PREP(GENMASK(23, 19), x) 180 #define PCIE_ATU_FUNC(x) FIELD_PREP(GENMASK(18, 16), x) 181 #define PCIE_ATU_UPPER_TARGET 0x018 182 #define PCIE_ATU_UPPER_LIMIT 0x020 183 184 #define PCIE_MISC_CONTROL_1_OFF 0x8BC 185 #define PCIE_DBI_RO_WR_EN BIT(0) 186 187 #define PCIE_MSIX_DOORBELL 0x948 188 #define PCIE_MSIX_DOORBELL_PF_SHIFT 24 189 190 /* 191 * eDMA CSRs. DW PCIe IP-core v4.70a and older had the eDMA registers accessible 192 * over the Port Logic registers space. Afterwards the unrolled mapping was 193 * introduced so eDMA and iATU could be accessed via a dedicated registers 194 * space. 195 */ 196 #define PCIE_DMA_VIEWPORT_BASE 0x970 197 #define PCIE_DMA_UNROLL_BASE 0x80000 198 #define PCIE_DMA_CTRL 0x008 199 #define PCIE_DMA_NUM_WR_CHAN GENMASK(3, 0) 200 #define PCIE_DMA_NUM_RD_CHAN GENMASK(19, 16) 201 202 #define PCIE_PL_CHK_REG_CONTROL_STATUS 0xB20 203 #define PCIE_PL_CHK_REG_CHK_REG_START BIT(0) 204 #define PCIE_PL_CHK_REG_CHK_REG_CONTINUOUS BIT(1) 205 #define PCIE_PL_CHK_REG_CHK_REG_COMPARISON_ERROR BIT(16) 206 #define PCIE_PL_CHK_REG_CHK_REG_LOGIC_ERROR BIT(17) 207 #define PCIE_PL_CHK_REG_CHK_REG_COMPLETE BIT(18) 208 209 #define PCIE_PL_CHK_REG_ERR_ADDR 0xB28 210 211 /* 212 * 16.0 GT/s (Gen 4) lane margining register definitions 213 */ 214 #define GEN4_LANE_MARGINING_1_OFF 0xB80 215 #define MARGINING_MAX_VOLTAGE_OFFSET GENMASK(29, 24) 216 #define MARGINING_NUM_VOLTAGE_STEPS GENMASK(22, 16) 217 #define MARGINING_MAX_TIMING_OFFSET GENMASK(13, 8) 218 #define MARGINING_NUM_TIMING_STEPS GENMASK(5, 0) 219 220 #define GEN4_LANE_MARGINING_2_OFF 0xB84 221 #define MARGINING_IND_ERROR_SAMPLER BIT(28) 222 #define MARGINING_SAMPLE_REPORTING_METHOD BIT(27) 223 #define MARGINING_IND_LEFT_RIGHT_TIMING BIT(26) 224 #define MARGINING_IND_UP_DOWN_VOLTAGE BIT(25) 225 #define MARGINING_VOLTAGE_SUPPORTED BIT(24) 226 #define MARGINING_MAXLANES GENMASK(20, 16) 227 #define MARGINING_SAMPLE_RATE_TIMING GENMASK(13, 8) 228 #define MARGINING_SAMPLE_RATE_VOLTAGE GENMASK(5, 0) 229 /* 230 * iATU Unroll-specific register definitions 231 * From 4.80 core version the address translation will be made by unroll 232 */ 233 #define PCIE_ATU_UNR_REGION_CTRL1 0x00 234 #define PCIE_ATU_UNR_REGION_CTRL2 0x04 235 #define PCIE_ATU_UNR_LOWER_BASE 0x08 236 #define PCIE_ATU_UNR_UPPER_BASE 0x0C 237 #define PCIE_ATU_UNR_LOWER_LIMIT 0x10 238 #define PCIE_ATU_UNR_LOWER_TARGET 0x14 239 #define PCIE_ATU_UNR_UPPER_TARGET 0x18 240 #define PCIE_ATU_UNR_UPPER_LIMIT 0x20 241 242 /* 243 * RAS-DES register definitions 244 */ 245 #define PCIE_RAS_DES_EVENT_COUNTER_CONTROL 0x8 246 #define EVENT_COUNTER_ALL_CLEAR 0x3 247 #define EVENT_COUNTER_ENABLE_ALL 0x7 248 #define EVENT_COUNTER_ENABLE_SHIFT 2 249 #define EVENT_COUNTER_EVENT_SEL_MASK GENMASK(7, 0) 250 #define EVENT_COUNTER_EVENT_SEL_SHIFT 16 251 #define EVENT_COUNTER_EVENT_Tx_L0S 0x2 252 #define EVENT_COUNTER_EVENT_Rx_L0S 0x3 253 #define EVENT_COUNTER_EVENT_L1 0x5 254 #define EVENT_COUNTER_EVENT_L1_1 0x7 255 #define EVENT_COUNTER_EVENT_L1_2 0x8 256 #define EVENT_COUNTER_GROUP_SEL_SHIFT 24 257 #define EVENT_COUNTER_GROUP_5 0x5 258 259 #define PCIE_RAS_DES_EVENT_COUNTER_DATA 0xc 260 261 /* PTM register definitions */ 262 #define PTM_RES_REQ_CTRL 0x8 263 #define PTM_RES_CCONTEXT_VALID BIT(0) 264 #define PTM_REQ_AUTO_UPDATE_ENABLED BIT(0) 265 #define PTM_REQ_START_UPDATE BIT(1) 266 267 #define PTM_LOCAL_LSB 0x10 268 #define PTM_LOCAL_MSB 0x14 269 #define PTM_T1_T2_LSB 0x18 270 #define PTM_T1_T2_MSB 0x1c 271 #define PTM_T3_T4_LSB 0x28 272 #define PTM_T3_T4_MSB 0x2c 273 #define PTM_MASTER_LSB 0x38 274 #define PTM_MASTER_MSB 0x3c 275 276 /* 277 * The default address offset between dbi_base and atu_base. Root controller 278 * drivers are not required to initialize atu_base if the offset matches this 279 * default; the driver core automatically derives atu_base from dbi_base using 280 * this offset, if atu_base not set. 281 */ 282 #define DEFAULT_DBI_ATU_OFFSET (0x3 << 20) 283 #define DEFAULT_DBI_DMA_OFFSET PCIE_DMA_UNROLL_BASE 284 285 #define MAX_MSI_IRQS 256 286 #define MAX_MSI_IRQS_PER_CTRL 32 287 #define MAX_MSI_CTRLS (MAX_MSI_IRQS / MAX_MSI_IRQS_PER_CTRL) 288 #define MSI_REG_CTRL_BLOCK_SIZE 12 289 #define MSI_DEF_NUM_VECTORS 32 290 291 /* Maximum number of inbound/outbound iATUs */ 292 #define MAX_IATU_IN 256 293 #define MAX_IATU_OUT 256 294 295 /* Default eDMA LLP memory size */ 296 #define DMA_LLP_MEM_SIZE PAGE_SIZE 297 298 struct dw_pcie; 299 struct dw_pcie_rp; 300 struct dw_pcie_ep; 301 302 enum dw_pcie_device_mode { 303 DW_PCIE_UNKNOWN_TYPE, 304 DW_PCIE_EP_TYPE, 305 DW_PCIE_LEG_EP_TYPE, 306 DW_PCIE_RC_TYPE, 307 }; 308 309 enum dw_pcie_app_clk { 310 DW_PCIE_DBI_CLK, 311 DW_PCIE_MSTR_CLK, 312 DW_PCIE_SLV_CLK, 313 DW_PCIE_NUM_APP_CLKS 314 }; 315 316 enum dw_pcie_core_clk { 317 DW_PCIE_PIPE_CLK, 318 DW_PCIE_CORE_CLK, 319 DW_PCIE_AUX_CLK, 320 DW_PCIE_REF_CLK, 321 DW_PCIE_NUM_CORE_CLKS 322 }; 323 324 enum dw_pcie_app_rst { 325 DW_PCIE_DBI_RST, 326 DW_PCIE_MSTR_RST, 327 DW_PCIE_SLV_RST, 328 DW_PCIE_NUM_APP_RSTS 329 }; 330 331 enum dw_pcie_core_rst { 332 DW_PCIE_NON_STICKY_RST, 333 DW_PCIE_STICKY_RST, 334 DW_PCIE_CORE_RST, 335 DW_PCIE_PIPE_RST, 336 DW_PCIE_PHY_RST, 337 DW_PCIE_HOT_RST, 338 DW_PCIE_PWR_RST, 339 DW_PCIE_NUM_CORE_RSTS 340 }; 341 342 enum dw_pcie_ltssm { 343 /* Need to align with PCIE_PORT_DEBUG0 bits 0:5 */ 344 DW_PCIE_LTSSM_DETECT_QUIET = 0x0, 345 DW_PCIE_LTSSM_DETECT_ACT = 0x1, 346 DW_PCIE_LTSSM_POLL_ACTIVE = 0x2, 347 DW_PCIE_LTSSM_POLL_COMPLIANCE = 0x3, 348 DW_PCIE_LTSSM_POLL_CONFIG = 0x4, 349 DW_PCIE_LTSSM_PRE_DETECT_QUIET = 0x5, 350 DW_PCIE_LTSSM_DETECT_WAIT = 0x6, 351 DW_PCIE_LTSSM_CFG_LINKWD_START = 0x7, 352 DW_PCIE_LTSSM_CFG_LINKWD_ACEPT = 0x8, 353 DW_PCIE_LTSSM_CFG_LANENUM_WAI = 0x9, 354 DW_PCIE_LTSSM_CFG_LANENUM_ACEPT = 0xa, 355 DW_PCIE_LTSSM_CFG_COMPLETE = 0xb, 356 DW_PCIE_LTSSM_CFG_IDLE = 0xc, 357 DW_PCIE_LTSSM_RCVRY_LOCK = 0xd, 358 DW_PCIE_LTSSM_RCVRY_SPEED = 0xe, 359 DW_PCIE_LTSSM_RCVRY_RCVRCFG = 0xf, 360 DW_PCIE_LTSSM_RCVRY_IDLE = 0x10, 361 DW_PCIE_LTSSM_L0 = 0x11, 362 DW_PCIE_LTSSM_L0S = 0x12, 363 DW_PCIE_LTSSM_L123_SEND_EIDLE = 0x13, 364 DW_PCIE_LTSSM_L1_IDLE = 0x14, 365 DW_PCIE_LTSSM_L2_IDLE = 0x15, 366 DW_PCIE_LTSSM_L2_WAKE = 0x16, 367 DW_PCIE_LTSSM_DISABLED_ENTRY = 0x17, 368 DW_PCIE_LTSSM_DISABLED_IDLE = 0x18, 369 DW_PCIE_LTSSM_DISABLED = 0x19, 370 DW_PCIE_LTSSM_LPBK_ENTRY = 0x1a, 371 DW_PCIE_LTSSM_LPBK_ACTIVE = 0x1b, 372 DW_PCIE_LTSSM_LPBK_EXIT = 0x1c, 373 DW_PCIE_LTSSM_LPBK_EXIT_TIMEOUT = 0x1d, 374 DW_PCIE_LTSSM_HOT_RESET_ENTRY = 0x1e, 375 DW_PCIE_LTSSM_HOT_RESET = 0x1f, 376 DW_PCIE_LTSSM_RCVRY_EQ0 = 0x20, 377 DW_PCIE_LTSSM_RCVRY_EQ1 = 0x21, 378 DW_PCIE_LTSSM_RCVRY_EQ2 = 0x22, 379 DW_PCIE_LTSSM_RCVRY_EQ3 = 0x23, 380 381 DW_PCIE_LTSSM_UNKNOWN = 0xFFFFFFFF, 382 }; 383 384 struct dw_pcie_ob_atu_cfg { 385 int index; 386 int type; 387 u8 func_no; 388 u8 code; 389 u8 routing; 390 u64 parent_bus_addr; 391 u64 pci_addr; 392 u64 size; 393 }; 394 395 struct dw_pcie_host_ops { 396 int (*init)(struct dw_pcie_rp *pp); 397 void (*deinit)(struct dw_pcie_rp *pp); 398 void (*post_init)(struct dw_pcie_rp *pp); 399 int (*msi_init)(struct dw_pcie_rp *pp); 400 void (*pme_turn_off)(struct dw_pcie_rp *pp); 401 }; 402 403 struct dw_pcie_rp { 404 bool has_msi_ctrl:1; 405 bool cfg0_io_shared:1; 406 u64 cfg0_base; 407 void __iomem *va_cfg0_base; 408 u32 cfg0_size; 409 resource_size_t io_base; 410 phys_addr_t io_bus_addr; 411 u32 io_size; 412 int irq; 413 const struct dw_pcie_host_ops *ops; 414 int msi_irq[MAX_MSI_CTRLS]; 415 struct irq_domain *irq_domain; 416 dma_addr_t msi_data; 417 struct irq_chip *msi_irq_chip; 418 u32 num_vectors; 419 u32 irq_mask[MAX_MSI_CTRLS]; 420 struct pci_host_bridge *bridge; 421 raw_spinlock_t lock; 422 DECLARE_BITMAP(msi_irq_in_use, MAX_MSI_IRQS); 423 bool use_atu_msg; 424 int msg_atu_index; 425 struct resource *msg_res; 426 bool use_linkup_irq; 427 struct pci_eq_presets presets; 428 }; 429 430 struct dw_pcie_ep_ops { 431 void (*pre_init)(struct dw_pcie_ep *ep); 432 void (*init)(struct dw_pcie_ep *ep); 433 int (*raise_irq)(struct dw_pcie_ep *ep, u8 func_no, 434 unsigned int type, u16 interrupt_num); 435 const struct pci_epc_features* (*get_features)(struct dw_pcie_ep *ep); 436 /* 437 * Provide a method to implement the different func config space 438 * access for different platform, if different func have different 439 * offset, return the offset of func. if use write a register way 440 * return a 0, and implement code in callback function of platform 441 * driver. 442 */ 443 unsigned int (*get_dbi_offset)(struct dw_pcie_ep *ep, u8 func_no); 444 unsigned int (*get_dbi2_offset)(struct dw_pcie_ep *ep, u8 func_no); 445 }; 446 447 struct dw_pcie_ep_func { 448 struct list_head list; 449 u8 func_no; 450 u8 msi_cap; /* MSI capability offset */ 451 u8 msix_cap; /* MSI-X capability offset */ 452 }; 453 454 struct dw_pcie_ep { 455 struct pci_epc *epc; 456 struct list_head func_list; 457 const struct dw_pcie_ep_ops *ops; 458 phys_addr_t phys_base; 459 size_t addr_size; 460 size_t page_size; 461 u8 bar_to_atu[PCI_STD_NUM_BARS]; 462 phys_addr_t *outbound_addr; 463 unsigned long *ib_window_map; 464 unsigned long *ob_window_map; 465 void __iomem *msi_mem; 466 phys_addr_t msi_mem_phys; 467 struct pci_epf_bar *epf_bar[PCI_STD_NUM_BARS]; 468 }; 469 470 struct dw_pcie_ops { 471 u64 (*cpu_addr_fixup)(struct dw_pcie *pcie, u64 cpu_addr); 472 u32 (*read_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg, 473 size_t size); 474 void (*write_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg, 475 size_t size, u32 val); 476 void (*write_dbi2)(struct dw_pcie *pcie, void __iomem *base, u32 reg, 477 size_t size, u32 val); 478 bool (*link_up)(struct dw_pcie *pcie); 479 enum dw_pcie_ltssm (*get_ltssm)(struct dw_pcie *pcie); 480 int (*start_link)(struct dw_pcie *pcie); 481 void (*stop_link)(struct dw_pcie *pcie); 482 }; 483 484 struct debugfs_info { 485 struct dentry *debug_dir; 486 void *rasdes_info; 487 }; 488 489 struct dw_pcie { 490 struct device *dev; 491 void __iomem *dbi_base; 492 resource_size_t dbi_phys_addr; 493 void __iomem *dbi_base2; 494 void __iomem *atu_base; 495 resource_size_t atu_phys_addr; 496 size_t atu_size; 497 resource_size_t parent_bus_offset; 498 u32 num_ib_windows; 499 u32 num_ob_windows; 500 u32 region_align; 501 u64 region_limit; 502 struct dw_pcie_rp pp; 503 struct dw_pcie_ep ep; 504 const struct dw_pcie_ops *ops; 505 u32 version; 506 u32 type; 507 unsigned long caps; 508 int num_lanes; 509 int max_link_speed; 510 u8 n_fts[2]; 511 struct dw_edma_chip edma; 512 struct clk_bulk_data app_clks[DW_PCIE_NUM_APP_CLKS]; 513 struct clk_bulk_data core_clks[DW_PCIE_NUM_CORE_CLKS]; 514 struct reset_control_bulk_data app_rsts[DW_PCIE_NUM_APP_RSTS]; 515 struct reset_control_bulk_data core_rsts[DW_PCIE_NUM_CORE_RSTS]; 516 struct gpio_desc *pe_rst; 517 bool suspended; 518 struct debugfs_info *debugfs; 519 enum dw_pcie_device_mode mode; 520 u16 ptm_vsec_offset; 521 struct pci_ptm_debugfs *ptm_debugfs; 522 523 /* 524 * If iATU input addresses are offset from CPU physical addresses, 525 * we previously required .cpu_addr_fixup() to convert them. We 526 * now rely on the devicetree instead. If .cpu_addr_fixup() 527 * exists, we compare its results with devicetree. 528 * 529 * If .cpu_addr_fixup() does not exist, we assume the offset is 530 * zero and warn if devicetree claims otherwise. If we know all 531 * devicetrees correctly describe the offset, set 532 * use_parent_dt_ranges to true to avoid this warning. 533 */ 534 bool use_parent_dt_ranges; 535 }; 536 537 #define to_dw_pcie_from_pp(port) container_of((port), struct dw_pcie, pp) 538 539 #define to_dw_pcie_from_ep(endpoint) \ 540 container_of((endpoint), struct dw_pcie, ep) 541 542 int dw_pcie_get_resources(struct dw_pcie *pci); 543 544 void dw_pcie_version_detect(struct dw_pcie *pci); 545 546 u8 dw_pcie_find_capability(struct dw_pcie *pci, u8 cap); 547 u16 dw_pcie_find_ext_capability(struct dw_pcie *pci, u8 cap); 548 u16 dw_pcie_find_rasdes_capability(struct dw_pcie *pci); 549 u16 dw_pcie_find_ptm_capability(struct dw_pcie *pci); 550 551 int dw_pcie_read(void __iomem *addr, int size, u32 *val); 552 int dw_pcie_write(void __iomem *addr, int size, u32 val); 553 554 u32 dw_pcie_read_dbi(struct dw_pcie *pci, u32 reg, size_t size); 555 void dw_pcie_write_dbi(struct dw_pcie *pci, u32 reg, size_t size, u32 val); 556 void dw_pcie_write_dbi2(struct dw_pcie *pci, u32 reg, size_t size, u32 val); 557 bool dw_pcie_link_up(struct dw_pcie *pci); 558 void dw_pcie_upconfig_setup(struct dw_pcie *pci); 559 int dw_pcie_wait_for_link(struct dw_pcie *pci); 560 int dw_pcie_link_get_max_link_width(struct dw_pcie *pci); 561 int dw_pcie_prog_outbound_atu(struct dw_pcie *pci, 562 const struct dw_pcie_ob_atu_cfg *atu); 563 int dw_pcie_prog_inbound_atu(struct dw_pcie *pci, int index, int type, 564 u64 parent_bus_addr, u64 pci_addr, u64 size); 565 int dw_pcie_prog_ep_inbound_atu(struct dw_pcie *pci, u8 func_no, int index, 566 int type, u64 parent_bus_addr, 567 u8 bar, size_t size); 568 void dw_pcie_disable_atu(struct dw_pcie *pci, u32 dir, int index); 569 void dw_pcie_setup(struct dw_pcie *pci); 570 void dw_pcie_iatu_detect(struct dw_pcie *pci); 571 int dw_pcie_edma_detect(struct dw_pcie *pci); 572 void dw_pcie_edma_remove(struct dw_pcie *pci); 573 resource_size_t dw_pcie_parent_bus_offset(struct dw_pcie *pci, 574 const char *reg_name, 575 resource_size_t cpu_phy_addr); 576 577 static inline void dw_pcie_writel_dbi(struct dw_pcie *pci, u32 reg, u32 val) 578 { 579 dw_pcie_write_dbi(pci, reg, 0x4, val); 580 } 581 582 static inline u32 dw_pcie_readl_dbi(struct dw_pcie *pci, u32 reg) 583 { 584 return dw_pcie_read_dbi(pci, reg, 0x4); 585 } 586 587 static inline void dw_pcie_writew_dbi(struct dw_pcie *pci, u32 reg, u16 val) 588 { 589 dw_pcie_write_dbi(pci, reg, 0x2, val); 590 } 591 592 static inline u16 dw_pcie_readw_dbi(struct dw_pcie *pci, u32 reg) 593 { 594 return dw_pcie_read_dbi(pci, reg, 0x2); 595 } 596 597 static inline void dw_pcie_writeb_dbi(struct dw_pcie *pci, u32 reg, u8 val) 598 { 599 dw_pcie_write_dbi(pci, reg, 0x1, val); 600 } 601 602 static inline u8 dw_pcie_readb_dbi(struct dw_pcie *pci, u32 reg) 603 { 604 return dw_pcie_read_dbi(pci, reg, 0x1); 605 } 606 607 static inline void dw_pcie_writel_dbi2(struct dw_pcie *pci, u32 reg, u32 val) 608 { 609 dw_pcie_write_dbi2(pci, reg, 0x4, val); 610 } 611 612 static inline unsigned int dw_pcie_ep_get_dbi_offset(struct dw_pcie_ep *ep, 613 u8 func_no) 614 { 615 unsigned int dbi_offset = 0; 616 617 if (ep->ops->get_dbi_offset) 618 dbi_offset = ep->ops->get_dbi_offset(ep, func_no); 619 620 return dbi_offset; 621 } 622 623 static inline u32 dw_pcie_ep_read_dbi(struct dw_pcie_ep *ep, u8 func_no, 624 u32 reg, size_t size) 625 { 626 unsigned int offset = dw_pcie_ep_get_dbi_offset(ep, func_no); 627 struct dw_pcie *pci = to_dw_pcie_from_ep(ep); 628 629 return dw_pcie_read_dbi(pci, offset + reg, size); 630 } 631 632 static inline void dw_pcie_ep_write_dbi(struct dw_pcie_ep *ep, u8 func_no, 633 u32 reg, size_t size, u32 val) 634 { 635 unsigned int offset = dw_pcie_ep_get_dbi_offset(ep, func_no); 636 struct dw_pcie *pci = to_dw_pcie_from_ep(ep); 637 638 dw_pcie_write_dbi(pci, offset + reg, size, val); 639 } 640 641 static inline void dw_pcie_ep_writel_dbi(struct dw_pcie_ep *ep, u8 func_no, 642 u32 reg, u32 val) 643 { 644 dw_pcie_ep_write_dbi(ep, func_no, reg, 0x4, val); 645 } 646 647 static inline u32 dw_pcie_ep_readl_dbi(struct dw_pcie_ep *ep, u8 func_no, 648 u32 reg) 649 { 650 return dw_pcie_ep_read_dbi(ep, func_no, reg, 0x4); 651 } 652 653 static inline void dw_pcie_ep_writew_dbi(struct dw_pcie_ep *ep, u8 func_no, 654 u32 reg, u16 val) 655 { 656 dw_pcie_ep_write_dbi(ep, func_no, reg, 0x2, val); 657 } 658 659 static inline u16 dw_pcie_ep_readw_dbi(struct dw_pcie_ep *ep, u8 func_no, 660 u32 reg) 661 { 662 return dw_pcie_ep_read_dbi(ep, func_no, reg, 0x2); 663 } 664 665 static inline void dw_pcie_ep_writeb_dbi(struct dw_pcie_ep *ep, u8 func_no, 666 u32 reg, u8 val) 667 { 668 dw_pcie_ep_write_dbi(ep, func_no, reg, 0x1, val); 669 } 670 671 static inline u8 dw_pcie_ep_readb_dbi(struct dw_pcie_ep *ep, u8 func_no, 672 u32 reg) 673 { 674 return dw_pcie_ep_read_dbi(ep, func_no, reg, 0x1); 675 } 676 677 static inline unsigned int dw_pcie_ep_get_dbi2_offset(struct dw_pcie_ep *ep, 678 u8 func_no) 679 { 680 unsigned int dbi2_offset = 0; 681 682 if (ep->ops->get_dbi2_offset) 683 dbi2_offset = ep->ops->get_dbi2_offset(ep, func_no); 684 else if (ep->ops->get_dbi_offset) /* for backward compatibility */ 685 dbi2_offset = ep->ops->get_dbi_offset(ep, func_no); 686 687 return dbi2_offset; 688 } 689 690 static inline void dw_pcie_ep_write_dbi2(struct dw_pcie_ep *ep, u8 func_no, 691 u32 reg, size_t size, u32 val) 692 { 693 unsigned int offset = dw_pcie_ep_get_dbi2_offset(ep, func_no); 694 struct dw_pcie *pci = to_dw_pcie_from_ep(ep); 695 696 dw_pcie_write_dbi2(pci, offset + reg, size, val); 697 } 698 699 static inline void dw_pcie_ep_writel_dbi2(struct dw_pcie_ep *ep, u8 func_no, 700 u32 reg, u32 val) 701 { 702 dw_pcie_ep_write_dbi2(ep, func_no, reg, 0x4, val); 703 } 704 705 static inline void dw_pcie_dbi_ro_wr_en(struct dw_pcie *pci) 706 { 707 u32 reg; 708 u32 val; 709 710 reg = PCIE_MISC_CONTROL_1_OFF; 711 val = dw_pcie_readl_dbi(pci, reg); 712 val |= PCIE_DBI_RO_WR_EN; 713 dw_pcie_writel_dbi(pci, reg, val); 714 } 715 716 static inline void dw_pcie_dbi_ro_wr_dis(struct dw_pcie *pci) 717 { 718 u32 reg; 719 u32 val; 720 721 reg = PCIE_MISC_CONTROL_1_OFF; 722 val = dw_pcie_readl_dbi(pci, reg); 723 val &= ~PCIE_DBI_RO_WR_EN; 724 dw_pcie_writel_dbi(pci, reg, val); 725 } 726 727 static inline int dw_pcie_start_link(struct dw_pcie *pci) 728 { 729 if (pci->ops && pci->ops->start_link) 730 return pci->ops->start_link(pci); 731 732 return 0; 733 } 734 735 static inline void dw_pcie_stop_link(struct dw_pcie *pci) 736 { 737 if (pci->ops && pci->ops->stop_link) 738 pci->ops->stop_link(pci); 739 } 740 741 static inline enum dw_pcie_ltssm dw_pcie_get_ltssm(struct dw_pcie *pci) 742 { 743 u32 val; 744 745 if (pci->ops && pci->ops->get_ltssm) 746 return pci->ops->get_ltssm(pci); 747 748 val = dw_pcie_readl_dbi(pci, PCIE_PORT_DEBUG0); 749 750 return (enum dw_pcie_ltssm)FIELD_GET(PORT_LOGIC_LTSSM_STATE_MASK, val); 751 } 752 753 #ifdef CONFIG_PCIE_DW_HOST 754 int dw_pcie_suspend_noirq(struct dw_pcie *pci); 755 int dw_pcie_resume_noirq(struct dw_pcie *pci); 756 irqreturn_t dw_handle_msi_irq(struct dw_pcie_rp *pp); 757 void dw_pcie_msi_init(struct dw_pcie_rp *pp); 758 int dw_pcie_msi_host_init(struct dw_pcie_rp *pp); 759 void dw_pcie_free_msi(struct dw_pcie_rp *pp); 760 int dw_pcie_setup_rc(struct dw_pcie_rp *pp); 761 int dw_pcie_host_init(struct dw_pcie_rp *pp); 762 void dw_pcie_host_deinit(struct dw_pcie_rp *pp); 763 int dw_pcie_allocate_domains(struct dw_pcie_rp *pp); 764 void __iomem *dw_pcie_own_conf_map_bus(struct pci_bus *bus, unsigned int devfn, 765 int where); 766 #else 767 static inline int dw_pcie_suspend_noirq(struct dw_pcie *pci) 768 { 769 return 0; 770 } 771 772 static inline int dw_pcie_resume_noirq(struct dw_pcie *pci) 773 { 774 return 0; 775 } 776 777 static inline irqreturn_t dw_handle_msi_irq(struct dw_pcie_rp *pp) 778 { 779 return IRQ_NONE; 780 } 781 782 static inline void dw_pcie_msi_init(struct dw_pcie_rp *pp) 783 { } 784 785 static inline int dw_pcie_msi_host_init(struct dw_pcie_rp *pp) 786 { 787 return -ENODEV; 788 } 789 790 static inline void dw_pcie_free_msi(struct dw_pcie_rp *pp) 791 { } 792 793 static inline int dw_pcie_setup_rc(struct dw_pcie_rp *pp) 794 { 795 return 0; 796 } 797 798 static inline int dw_pcie_host_init(struct dw_pcie_rp *pp) 799 { 800 return 0; 801 } 802 803 static inline void dw_pcie_host_deinit(struct dw_pcie_rp *pp) 804 { 805 } 806 807 static inline int dw_pcie_allocate_domains(struct dw_pcie_rp *pp) 808 { 809 return 0; 810 } 811 static inline void __iomem *dw_pcie_own_conf_map_bus(struct pci_bus *bus, 812 unsigned int devfn, 813 int where) 814 { 815 return NULL; 816 } 817 #endif 818 819 #ifdef CONFIG_PCIE_DW_EP 820 void dw_pcie_ep_linkup(struct dw_pcie_ep *ep); 821 void dw_pcie_ep_linkdown(struct dw_pcie_ep *ep); 822 int dw_pcie_ep_init(struct dw_pcie_ep *ep); 823 int dw_pcie_ep_init_registers(struct dw_pcie_ep *ep); 824 void dw_pcie_ep_deinit(struct dw_pcie_ep *ep); 825 void dw_pcie_ep_cleanup(struct dw_pcie_ep *ep); 826 int dw_pcie_ep_raise_intx_irq(struct dw_pcie_ep *ep, u8 func_no); 827 int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no, 828 u8 interrupt_num); 829 int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no, 830 u16 interrupt_num); 831 int dw_pcie_ep_raise_msix_irq_doorbell(struct dw_pcie_ep *ep, u8 func_no, 832 u16 interrupt_num); 833 void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar); 834 int dw_pcie_ep_hide_ext_capability(struct dw_pcie *pci, u8 prev_cap, u8 cap); 835 struct dw_pcie_ep_func * 836 dw_pcie_ep_get_func_from_ep(struct dw_pcie_ep *ep, u8 func_no); 837 #else 838 static inline void dw_pcie_ep_linkup(struct dw_pcie_ep *ep) 839 { 840 } 841 842 static inline void dw_pcie_ep_linkdown(struct dw_pcie_ep *ep) 843 { 844 } 845 846 static inline int dw_pcie_ep_init(struct dw_pcie_ep *ep) 847 { 848 return 0; 849 } 850 851 static inline int dw_pcie_ep_init_registers(struct dw_pcie_ep *ep) 852 { 853 return 0; 854 } 855 856 static inline void dw_pcie_ep_deinit(struct dw_pcie_ep *ep) 857 { 858 } 859 860 static inline void dw_pcie_ep_cleanup(struct dw_pcie_ep *ep) 861 { 862 } 863 864 static inline int dw_pcie_ep_raise_intx_irq(struct dw_pcie_ep *ep, u8 func_no) 865 { 866 return 0; 867 } 868 869 static inline int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no, 870 u8 interrupt_num) 871 { 872 return 0; 873 } 874 875 static inline int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no, 876 u16 interrupt_num) 877 { 878 return 0; 879 } 880 881 static inline int dw_pcie_ep_raise_msix_irq_doorbell(struct dw_pcie_ep *ep, 882 u8 func_no, 883 u16 interrupt_num) 884 { 885 return 0; 886 } 887 888 static inline void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar) 889 { 890 } 891 892 static inline int dw_pcie_ep_hide_ext_capability(struct dw_pcie *pci, 893 u8 prev_cap, u8 cap) 894 { 895 return 0; 896 } 897 898 static inline struct dw_pcie_ep_func * 899 dw_pcie_ep_get_func_from_ep(struct dw_pcie_ep *ep, u8 func_no) 900 { 901 return NULL; 902 } 903 #endif 904 905 #ifdef CONFIG_PCIE_DW_DEBUGFS 906 void dwc_pcie_debugfs_init(struct dw_pcie *pci, enum dw_pcie_device_mode mode); 907 void dwc_pcie_debugfs_deinit(struct dw_pcie *pci); 908 #else 909 static inline void dwc_pcie_debugfs_init(struct dw_pcie *pci, 910 enum dw_pcie_device_mode mode) 911 { 912 } 913 static inline void dwc_pcie_debugfs_deinit(struct dw_pcie *pci) 914 { 915 } 916 #endif 917 918 #endif /* _PCIE_DESIGNWARE_H */ 919