1 // SPDX-License-Identifier: GPL-2.0-only 2 /* 3 * PCIe controller driver for Renesas R-Car Gen4 Series SoCs 4 * Copyright (C) 2022-2023 Renesas Electronics Corporation 5 */ 6 7 #include <linux/delay.h> 8 #include <linux/interrupt.h> 9 #include <linux/io.h> 10 #include <linux/module.h> 11 #include <linux/of.h> 12 #include <linux/pci.h> 13 #include <linux/platform_device.h> 14 #include <linux/pm_runtime.h> 15 #include <linux/reset.h> 16 17 #include "../../pci.h" 18 #include "pcie-designware.h" 19 20 /* Renesas-specific */ 21 /* PCIe Mode Setting Register 0 */ 22 #define PCIEMSR0 0x0000 23 #define BIFUR_MOD_SET_ON BIT(0) 24 #define DEVICE_TYPE_EP 0 25 #define DEVICE_TYPE_RC BIT(4) 26 27 /* PCIe Interrupt Status 0 */ 28 #define PCIEINTSTS0 0x0084 29 30 /* PCIe Interrupt Status 0 Enable */ 31 #define PCIEINTSTS0EN 0x0310 32 #define MSI_CTRL_INT BIT(26) 33 #define SMLH_LINK_UP BIT(7) 34 #define RDLH_LINK_UP BIT(6) 35 36 /* PCIe DMA Interrupt Status Enable */ 37 #define PCIEDMAINTSTSEN 0x0314 38 #define PCIEDMAINTSTSEN_INIT GENMASK(15, 0) 39 40 /* PCIe Reset Control Register 1 */ 41 #define PCIERSTCTRL1 0x0014 42 #define APP_HOLD_PHY_RST BIT(16) 43 #define APP_LTSSM_ENABLE BIT(0) 44 45 #define RCAR_NUM_SPEED_CHANGE_RETRIES 10 46 #define RCAR_MAX_LINK_SPEED 4 47 48 #define RCAR_GEN4_PCIE_EP_FUNC_DBI_OFFSET 0x1000 49 #define RCAR_GEN4_PCIE_EP_FUNC_DBI2_OFFSET 0x800 50 51 struct rcar_gen4_pcie { 52 struct dw_pcie dw; 53 void __iomem *base; 54 struct platform_device *pdev; 55 enum dw_pcie_device_mode mode; 56 }; 57 #define to_rcar_gen4_pcie(_dw) container_of(_dw, struct rcar_gen4_pcie, dw) 58 59 /* Common */ 60 static void rcar_gen4_pcie_ltssm_enable(struct rcar_gen4_pcie *rcar, 61 bool enable) 62 { 63 u32 val; 64 65 val = readl(rcar->base + PCIERSTCTRL1); 66 if (enable) { 67 val |= APP_LTSSM_ENABLE; 68 val &= ~APP_HOLD_PHY_RST; 69 } else { 70 /* 71 * Since the datasheet of R-Car doesn't mention how to assert 72 * the APP_HOLD_PHY_RST, don't assert it again. Otherwise, 73 * hang-up issue happened in the dw_edma_core_off() when 74 * the controller didn't detect a PCI device. 75 */ 76 val &= ~APP_LTSSM_ENABLE; 77 } 78 writel(val, rcar->base + PCIERSTCTRL1); 79 } 80 81 static int rcar_gen4_pcie_link_up(struct dw_pcie *dw) 82 { 83 struct rcar_gen4_pcie *rcar = to_rcar_gen4_pcie(dw); 84 u32 val, mask; 85 86 val = readl(rcar->base + PCIEINTSTS0); 87 mask = RDLH_LINK_UP | SMLH_LINK_UP; 88 89 return (val & mask) == mask; 90 } 91 92 /* 93 * Manually initiate the speed change. Return 0 if change succeeded; otherwise 94 * -ETIMEDOUT. 95 */ 96 static int rcar_gen4_pcie_speed_change(struct dw_pcie *dw) 97 { 98 u32 val; 99 int i; 100 101 val = dw_pcie_readl_dbi(dw, PCIE_LINK_WIDTH_SPEED_CONTROL); 102 val &= ~PORT_LOGIC_SPEED_CHANGE; 103 dw_pcie_writel_dbi(dw, PCIE_LINK_WIDTH_SPEED_CONTROL, val); 104 105 val = dw_pcie_readl_dbi(dw, PCIE_LINK_WIDTH_SPEED_CONTROL); 106 val |= PORT_LOGIC_SPEED_CHANGE; 107 dw_pcie_writel_dbi(dw, PCIE_LINK_WIDTH_SPEED_CONTROL, val); 108 109 for (i = 0; i < RCAR_NUM_SPEED_CHANGE_RETRIES; i++) { 110 val = dw_pcie_readl_dbi(dw, PCIE_LINK_WIDTH_SPEED_CONTROL); 111 if (!(val & PORT_LOGIC_SPEED_CHANGE)) 112 return 0; 113 usleep_range(10000, 11000); 114 } 115 116 return -ETIMEDOUT; 117 } 118 119 /* 120 * Enable LTSSM of this controller and manually initiate the speed change. 121 * Always return 0. 122 */ 123 static int rcar_gen4_pcie_start_link(struct dw_pcie *dw) 124 { 125 struct rcar_gen4_pcie *rcar = to_rcar_gen4_pcie(dw); 126 int i, changes; 127 128 rcar_gen4_pcie_ltssm_enable(rcar, true); 129 130 /* 131 * Require direct speed change with retrying here if the link_gen is 132 * PCIe Gen2 or higher. 133 */ 134 changes = min_not_zero(dw->link_gen, RCAR_MAX_LINK_SPEED) - 1; 135 136 /* 137 * Since dw_pcie_setup_rc() sets it once, PCIe Gen2 will be trained. 138 * So, this needs remaining times for up to PCIe Gen4 if RC mode. 139 */ 140 if (changes && rcar->mode == DW_PCIE_RC_TYPE) 141 changes--; 142 143 for (i = 0; i < changes; i++) { 144 /* It may not be connected in EP mode yet. So, break the loop */ 145 if (rcar_gen4_pcie_speed_change(dw)) 146 break; 147 } 148 149 return 0; 150 } 151 152 static void rcar_gen4_pcie_stop_link(struct dw_pcie *dw) 153 { 154 struct rcar_gen4_pcie *rcar = to_rcar_gen4_pcie(dw); 155 156 rcar_gen4_pcie_ltssm_enable(rcar, false); 157 } 158 159 static int rcar_gen4_pcie_common_init(struct rcar_gen4_pcie *rcar) 160 { 161 struct dw_pcie *dw = &rcar->dw; 162 u32 val; 163 int ret; 164 165 ret = clk_bulk_prepare_enable(DW_PCIE_NUM_CORE_CLKS, dw->core_clks); 166 if (ret) { 167 dev_err(dw->dev, "Enabling core clocks failed\n"); 168 return ret; 169 } 170 171 if (!reset_control_status(dw->core_rsts[DW_PCIE_PWR_RST].rstc)) 172 reset_control_assert(dw->core_rsts[DW_PCIE_PWR_RST].rstc); 173 174 val = readl(rcar->base + PCIEMSR0); 175 if (rcar->mode == DW_PCIE_RC_TYPE) { 176 val |= DEVICE_TYPE_RC; 177 } else if (rcar->mode == DW_PCIE_EP_TYPE) { 178 val |= DEVICE_TYPE_EP; 179 } else { 180 ret = -EINVAL; 181 goto err_unprepare; 182 } 183 184 if (dw->num_lanes < 4) 185 val |= BIFUR_MOD_SET_ON; 186 187 writel(val, rcar->base + PCIEMSR0); 188 189 ret = reset_control_deassert(dw->core_rsts[DW_PCIE_PWR_RST].rstc); 190 if (ret) 191 goto err_unprepare; 192 193 return 0; 194 195 err_unprepare: 196 clk_bulk_disable_unprepare(DW_PCIE_NUM_CORE_CLKS, dw->core_clks); 197 198 return ret; 199 } 200 201 static void rcar_gen4_pcie_common_deinit(struct rcar_gen4_pcie *rcar) 202 { 203 struct dw_pcie *dw = &rcar->dw; 204 205 reset_control_assert(dw->core_rsts[DW_PCIE_PWR_RST].rstc); 206 clk_bulk_disable_unprepare(DW_PCIE_NUM_CORE_CLKS, dw->core_clks); 207 } 208 209 static int rcar_gen4_pcie_prepare(struct rcar_gen4_pcie *rcar) 210 { 211 struct device *dev = rcar->dw.dev; 212 int err; 213 214 pm_runtime_enable(dev); 215 err = pm_runtime_resume_and_get(dev); 216 if (err < 0) { 217 dev_err(dev, "Runtime resume failed\n"); 218 pm_runtime_disable(dev); 219 } 220 221 return err; 222 } 223 224 static void rcar_gen4_pcie_unprepare(struct rcar_gen4_pcie *rcar) 225 { 226 struct device *dev = rcar->dw.dev; 227 228 pm_runtime_put(dev); 229 pm_runtime_disable(dev); 230 } 231 232 static int rcar_gen4_pcie_get_resources(struct rcar_gen4_pcie *rcar) 233 { 234 /* Renesas-specific registers */ 235 rcar->base = devm_platform_ioremap_resource_byname(rcar->pdev, "app"); 236 237 return PTR_ERR_OR_ZERO(rcar->base); 238 } 239 240 static const struct dw_pcie_ops dw_pcie_ops = { 241 .start_link = rcar_gen4_pcie_start_link, 242 .stop_link = rcar_gen4_pcie_stop_link, 243 .link_up = rcar_gen4_pcie_link_up, 244 }; 245 246 static struct rcar_gen4_pcie *rcar_gen4_pcie_alloc(struct platform_device *pdev) 247 { 248 struct device *dev = &pdev->dev; 249 struct rcar_gen4_pcie *rcar; 250 251 rcar = devm_kzalloc(dev, sizeof(*rcar), GFP_KERNEL); 252 if (!rcar) 253 return ERR_PTR(-ENOMEM); 254 255 rcar->dw.ops = &dw_pcie_ops; 256 rcar->dw.dev = dev; 257 rcar->pdev = pdev; 258 dw_pcie_cap_set(&rcar->dw, EDMA_UNROLL); 259 dw_pcie_cap_set(&rcar->dw, REQ_RES); 260 platform_set_drvdata(pdev, rcar); 261 262 return rcar; 263 } 264 265 /* Host mode */ 266 static int rcar_gen4_pcie_host_init(struct dw_pcie_rp *pp) 267 { 268 struct dw_pcie *dw = to_dw_pcie_from_pp(pp); 269 struct rcar_gen4_pcie *rcar = to_rcar_gen4_pcie(dw); 270 int ret; 271 u32 val; 272 273 gpiod_set_value_cansleep(dw->pe_rst, 1); 274 275 ret = rcar_gen4_pcie_common_init(rcar); 276 if (ret) 277 return ret; 278 279 /* 280 * According to the section 3.5.7.2 "RC Mode" in DWC PCIe Dual Mode 281 * Rev.5.20a and 3.5.6.1 "RC mode" in DWC PCIe RC databook v5.20a, we 282 * should disable two BARs to avoid unnecessary memory assignment 283 * during device enumeration. 284 */ 285 dw_pcie_writel_dbi2(dw, PCI_BASE_ADDRESS_0, 0x0); 286 dw_pcie_writel_dbi2(dw, PCI_BASE_ADDRESS_1, 0x0); 287 288 /* Enable MSI interrupt signal */ 289 val = readl(rcar->base + PCIEINTSTS0EN); 290 val |= MSI_CTRL_INT; 291 writel(val, rcar->base + PCIEINTSTS0EN); 292 293 msleep(PCIE_T_PVPERL_MS); /* pe_rst requires 100msec delay */ 294 295 gpiod_set_value_cansleep(dw->pe_rst, 0); 296 297 return 0; 298 } 299 300 static void rcar_gen4_pcie_host_deinit(struct dw_pcie_rp *pp) 301 { 302 struct dw_pcie *dw = to_dw_pcie_from_pp(pp); 303 struct rcar_gen4_pcie *rcar = to_rcar_gen4_pcie(dw); 304 305 gpiod_set_value_cansleep(dw->pe_rst, 1); 306 rcar_gen4_pcie_common_deinit(rcar); 307 } 308 309 static const struct dw_pcie_host_ops rcar_gen4_pcie_host_ops = { 310 .init = rcar_gen4_pcie_host_init, 311 .deinit = rcar_gen4_pcie_host_deinit, 312 }; 313 314 static int rcar_gen4_add_dw_pcie_rp(struct rcar_gen4_pcie *rcar) 315 { 316 struct dw_pcie_rp *pp = &rcar->dw.pp; 317 318 if (!IS_ENABLED(CONFIG_PCIE_RCAR_GEN4_HOST)) 319 return -ENODEV; 320 321 pp->num_vectors = MAX_MSI_IRQS; 322 pp->ops = &rcar_gen4_pcie_host_ops; 323 324 return dw_pcie_host_init(pp); 325 } 326 327 static void rcar_gen4_remove_dw_pcie_rp(struct rcar_gen4_pcie *rcar) 328 { 329 dw_pcie_host_deinit(&rcar->dw.pp); 330 } 331 332 /* Endpoint mode */ 333 static void rcar_gen4_pcie_ep_pre_init(struct dw_pcie_ep *ep) 334 { 335 struct dw_pcie *dw = to_dw_pcie_from_ep(ep); 336 struct rcar_gen4_pcie *rcar = to_rcar_gen4_pcie(dw); 337 int ret; 338 339 ret = rcar_gen4_pcie_common_init(rcar); 340 if (ret) 341 return; 342 343 writel(PCIEDMAINTSTSEN_INIT, rcar->base + PCIEDMAINTSTSEN); 344 } 345 346 static void rcar_gen4_pcie_ep_init(struct dw_pcie_ep *ep) 347 { 348 struct dw_pcie *pci = to_dw_pcie_from_ep(ep); 349 enum pci_barno bar; 350 351 for (bar = 0; bar < PCI_STD_NUM_BARS; bar++) 352 dw_pcie_ep_reset_bar(pci, bar); 353 } 354 355 static void rcar_gen4_pcie_ep_deinit(struct dw_pcie_ep *ep) 356 { 357 struct dw_pcie *dw = to_dw_pcie_from_ep(ep); 358 struct rcar_gen4_pcie *rcar = to_rcar_gen4_pcie(dw); 359 360 writel(0, rcar->base + PCIEDMAINTSTSEN); 361 rcar_gen4_pcie_common_deinit(rcar); 362 } 363 364 static int rcar_gen4_pcie_ep_raise_irq(struct dw_pcie_ep *ep, u8 func_no, 365 unsigned int type, u16 interrupt_num) 366 { 367 struct dw_pcie *dw = to_dw_pcie_from_ep(ep); 368 369 switch (type) { 370 case PCI_IRQ_INTX: 371 return dw_pcie_ep_raise_intx_irq(ep, func_no); 372 case PCI_IRQ_MSI: 373 return dw_pcie_ep_raise_msi_irq(ep, func_no, interrupt_num); 374 default: 375 dev_err(dw->dev, "Unknown IRQ type\n"); 376 return -EINVAL; 377 } 378 379 return 0; 380 } 381 382 static const struct pci_epc_features rcar_gen4_pcie_epc_features = { 383 .linkup_notifier = false, 384 .msi_capable = true, 385 .msix_capable = false, 386 .bar[BAR_1] = { .type = BAR_RESERVED, }, 387 .bar[BAR_3] = { .type = BAR_RESERVED, }, 388 .bar[BAR_5] = { .type = BAR_RESERVED, }, 389 .align = SZ_1M, 390 }; 391 392 static const struct pci_epc_features* 393 rcar_gen4_pcie_ep_get_features(struct dw_pcie_ep *ep) 394 { 395 return &rcar_gen4_pcie_epc_features; 396 } 397 398 static unsigned int rcar_gen4_pcie_ep_get_dbi_offset(struct dw_pcie_ep *ep, 399 u8 func_no) 400 { 401 return func_no * RCAR_GEN4_PCIE_EP_FUNC_DBI_OFFSET; 402 } 403 404 static unsigned int rcar_gen4_pcie_ep_get_dbi2_offset(struct dw_pcie_ep *ep, 405 u8 func_no) 406 { 407 return func_no * RCAR_GEN4_PCIE_EP_FUNC_DBI2_OFFSET; 408 } 409 410 static const struct dw_pcie_ep_ops pcie_ep_ops = { 411 .pre_init = rcar_gen4_pcie_ep_pre_init, 412 .init = rcar_gen4_pcie_ep_init, 413 .deinit = rcar_gen4_pcie_ep_deinit, 414 .raise_irq = rcar_gen4_pcie_ep_raise_irq, 415 .get_features = rcar_gen4_pcie_ep_get_features, 416 .get_dbi_offset = rcar_gen4_pcie_ep_get_dbi_offset, 417 .get_dbi2_offset = rcar_gen4_pcie_ep_get_dbi2_offset, 418 }; 419 420 static int rcar_gen4_add_dw_pcie_ep(struct rcar_gen4_pcie *rcar) 421 { 422 struct dw_pcie_ep *ep = &rcar->dw.ep; 423 424 if (!IS_ENABLED(CONFIG_PCIE_RCAR_GEN4_EP)) 425 return -ENODEV; 426 427 ep->ops = &pcie_ep_ops; 428 429 return dw_pcie_ep_init(ep); 430 } 431 432 static void rcar_gen4_remove_dw_pcie_ep(struct rcar_gen4_pcie *rcar) 433 { 434 dw_pcie_ep_exit(&rcar->dw.ep); 435 } 436 437 /* Common */ 438 static int rcar_gen4_add_dw_pcie(struct rcar_gen4_pcie *rcar) 439 { 440 rcar->mode = (uintptr_t)of_device_get_match_data(&rcar->pdev->dev); 441 442 switch (rcar->mode) { 443 case DW_PCIE_RC_TYPE: 444 return rcar_gen4_add_dw_pcie_rp(rcar); 445 case DW_PCIE_EP_TYPE: 446 return rcar_gen4_add_dw_pcie_ep(rcar); 447 default: 448 return -EINVAL; 449 } 450 } 451 452 static int rcar_gen4_pcie_probe(struct platform_device *pdev) 453 { 454 struct rcar_gen4_pcie *rcar; 455 int err; 456 457 rcar = rcar_gen4_pcie_alloc(pdev); 458 if (IS_ERR(rcar)) 459 return PTR_ERR(rcar); 460 461 err = rcar_gen4_pcie_get_resources(rcar); 462 if (err) 463 return err; 464 465 err = rcar_gen4_pcie_prepare(rcar); 466 if (err) 467 return err; 468 469 err = rcar_gen4_add_dw_pcie(rcar); 470 if (err) 471 goto err_unprepare; 472 473 return 0; 474 475 err_unprepare: 476 rcar_gen4_pcie_unprepare(rcar); 477 478 return err; 479 } 480 481 static void rcar_gen4_remove_dw_pcie(struct rcar_gen4_pcie *rcar) 482 { 483 switch (rcar->mode) { 484 case DW_PCIE_RC_TYPE: 485 rcar_gen4_remove_dw_pcie_rp(rcar); 486 break; 487 case DW_PCIE_EP_TYPE: 488 rcar_gen4_remove_dw_pcie_ep(rcar); 489 break; 490 default: 491 break; 492 } 493 } 494 495 static void rcar_gen4_pcie_remove(struct platform_device *pdev) 496 { 497 struct rcar_gen4_pcie *rcar = platform_get_drvdata(pdev); 498 499 rcar_gen4_remove_dw_pcie(rcar); 500 rcar_gen4_pcie_unprepare(rcar); 501 } 502 503 static const struct of_device_id rcar_gen4_pcie_of_match[] = { 504 { 505 .compatible = "renesas,rcar-gen4-pcie", 506 .data = (void *)DW_PCIE_RC_TYPE, 507 }, 508 { 509 .compatible = "renesas,rcar-gen4-pcie-ep", 510 .data = (void *)DW_PCIE_EP_TYPE, 511 }, 512 {}, 513 }; 514 MODULE_DEVICE_TABLE(of, rcar_gen4_pcie_of_match); 515 516 static struct platform_driver rcar_gen4_pcie_driver = { 517 .driver = { 518 .name = "pcie-rcar-gen4", 519 .of_match_table = rcar_gen4_pcie_of_match, 520 .probe_type = PROBE_PREFER_ASYNCHRONOUS, 521 }, 522 .probe = rcar_gen4_pcie_probe, 523 .remove_new = rcar_gen4_pcie_remove, 524 }; 525 module_platform_driver(rcar_gen4_pcie_driver); 526 527 MODULE_DESCRIPTION("Renesas R-Car Gen4 PCIe controller driver"); 528 MODULE_LICENSE("GPL"); 529