Lines Matching +full:rcar +full:- +full:gen4 +full:- +full:pcie
1 // SPDX-License-Identifier: GPL-2.0-only
3 * PCIe controller driver for Renesas R-Car Gen4 Series SoCs
4 * Copyright (C) 2022-2023 Renesas Electronics Corporation
6 * The r8a779g0 (R-Car V4H) controller requires a specific firmware to be
7 * provided, to initialize the PHY. Otherwise, the PCIe controller will not
24 #include "pcie-designware.h"
26 /* Renesas-specific */
27 /* PCIe Mode Setting Register 0 */
34 /* PCIe Interrupt Status 0 */
37 /* PCIe Interrupt Status 0 Enable */
43 /* PCIe DMA Interrupt Status Enable */
53 /* PCIe Reset Control Register 1 */
58 /* PCIe Power Management Control */
75 void (*additional_common_init)(struct rcar_gen4_pcie *rcar);
76 int (*ltssm_control)(struct rcar_gen4_pcie *rcar, bool enable);
92 struct rcar_gen4_pcie *rcar = to_rcar_gen4_pcie(dw); in rcar_gen4_pcie_link_up() local
95 val = readl(rcar->base + PCIEINTSTS0); in rcar_gen4_pcie_link_up()
103 * -ETIMEDOUT.
125 return -ETIMEDOUT; in rcar_gen4_pcie_speed_change()
134 struct rcar_gen4_pcie *rcar = to_rcar_gen4_pcie(dw); in rcar_gen4_pcie_start_link() local
137 if (rcar->drvdata->ltssm_control) { in rcar_gen4_pcie_start_link()
138 ret = rcar->drvdata->ltssm_control(rcar, true); in rcar_gen4_pcie_start_link()
145 * is PCIe Gen2 or higher. in rcar_gen4_pcie_start_link()
147 changes = min_not_zero(dw->max_link_speed, RCAR_MAX_LINK_SPEED) - 1; in rcar_gen4_pcie_start_link()
150 * Since dw_pcie_setup_rc() sets it once, PCIe Gen2 will be trained. in rcar_gen4_pcie_start_link()
151 * So, this needs remaining times for up to PCIe Gen4 if RC mode. in rcar_gen4_pcie_start_link()
153 if (changes && rcar->drvdata->mode == DW_PCIE_RC_TYPE) in rcar_gen4_pcie_start_link()
154 changes--; in rcar_gen4_pcie_start_link()
167 struct rcar_gen4_pcie *rcar = to_rcar_gen4_pcie(dw); in rcar_gen4_pcie_stop_link() local
169 if (rcar->drvdata->ltssm_control) in rcar_gen4_pcie_stop_link()
170 rcar->drvdata->ltssm_control(rcar, false); in rcar_gen4_pcie_stop_link()
173 static int rcar_gen4_pcie_common_init(struct rcar_gen4_pcie *rcar) in rcar_gen4_pcie_common_init() argument
175 struct dw_pcie *dw = &rcar->dw; in rcar_gen4_pcie_common_init()
179 ret = clk_bulk_prepare_enable(DW_PCIE_NUM_CORE_CLKS, dw->core_clks); in rcar_gen4_pcie_common_init()
181 dev_err(dw->dev, "Enabling core clocks failed\n"); in rcar_gen4_pcie_common_init()
185 if (!reset_control_status(dw->core_rsts[DW_PCIE_PWR_RST].rstc)) { in rcar_gen4_pcie_common_init()
186 reset_control_assert(dw->core_rsts[DW_PCIE_PWR_RST].rstc); in rcar_gen4_pcie_common_init()
188 * R-Car V4H Reference Manual R19UH0186EJ0130 Rev.1.30 Apr. in rcar_gen4_pcie_common_init()
197 val = readl(rcar->base + PCIEMSR0); in rcar_gen4_pcie_common_init()
198 if (rcar->drvdata->mode == DW_PCIE_RC_TYPE) { in rcar_gen4_pcie_common_init()
200 } else if (rcar->drvdata->mode == DW_PCIE_EP_TYPE) { in rcar_gen4_pcie_common_init()
203 ret = -EINVAL; in rcar_gen4_pcie_common_init()
207 if (dw->num_lanes < 4) in rcar_gen4_pcie_common_init()
210 writel(val, rcar->base + PCIEMSR0); in rcar_gen4_pcie_common_init()
212 ret = reset_control_deassert(dw->core_rsts[DW_PCIE_PWR_RST].rstc); in rcar_gen4_pcie_common_init()
218 * On R-Car V4H, the PCIe reset is asynchronous and does not take in rcar_gen4_pcie_common_init()
226 reset_control_status(dw->core_rsts[DW_PCIE_PWR_RST].rstc); in rcar_gen4_pcie_common_init()
229 if (rcar->drvdata->additional_common_init) in rcar_gen4_pcie_common_init()
230 rcar->drvdata->additional_common_init(rcar); in rcar_gen4_pcie_common_init()
235 clk_bulk_disable_unprepare(DW_PCIE_NUM_CORE_CLKS, dw->core_clks); in rcar_gen4_pcie_common_init()
240 static void rcar_gen4_pcie_common_deinit(struct rcar_gen4_pcie *rcar) in rcar_gen4_pcie_common_deinit() argument
242 struct dw_pcie *dw = &rcar->dw; in rcar_gen4_pcie_common_deinit()
244 reset_control_assert(dw->core_rsts[DW_PCIE_PWR_RST].rstc); in rcar_gen4_pcie_common_deinit()
245 clk_bulk_disable_unprepare(DW_PCIE_NUM_CORE_CLKS, dw->core_clks); in rcar_gen4_pcie_common_deinit()
248 static int rcar_gen4_pcie_prepare(struct rcar_gen4_pcie *rcar) in rcar_gen4_pcie_prepare() argument
250 struct device *dev = rcar->dw.dev; in rcar_gen4_pcie_prepare()
263 static void rcar_gen4_pcie_unprepare(struct rcar_gen4_pcie *rcar) in rcar_gen4_pcie_unprepare() argument
265 struct device *dev = rcar->dw.dev; in rcar_gen4_pcie_unprepare()
271 static int rcar_gen4_pcie_get_resources(struct rcar_gen4_pcie *rcar) in rcar_gen4_pcie_get_resources() argument
273 rcar->phy_base = devm_platform_ioremap_resource_byname(rcar->pdev, "phy"); in rcar_gen4_pcie_get_resources()
274 if (IS_ERR(rcar->phy_base)) in rcar_gen4_pcie_get_resources()
275 return PTR_ERR(rcar->phy_base); in rcar_gen4_pcie_get_resources()
277 /* Renesas-specific registers */ in rcar_gen4_pcie_get_resources()
278 rcar->base = devm_platform_ioremap_resource_byname(rcar->pdev, "app"); in rcar_gen4_pcie_get_resources()
280 return PTR_ERR_OR_ZERO(rcar->base); in rcar_gen4_pcie_get_resources()
291 struct device *dev = &pdev->dev; in rcar_gen4_pcie_alloc()
292 struct rcar_gen4_pcie *rcar; in rcar_gen4_pcie_alloc() local
294 rcar = devm_kzalloc(dev, sizeof(*rcar), GFP_KERNEL); in rcar_gen4_pcie_alloc()
295 if (!rcar) in rcar_gen4_pcie_alloc()
296 return ERR_PTR(-ENOMEM); in rcar_gen4_pcie_alloc()
298 rcar->dw.ops = &dw_pcie_ops; in rcar_gen4_pcie_alloc()
299 rcar->dw.dev = dev; in rcar_gen4_pcie_alloc()
300 rcar->pdev = pdev; in rcar_gen4_pcie_alloc()
301 rcar->dw.edma.mf = EDMA_MF_EDMA_UNROLL; in rcar_gen4_pcie_alloc()
302 dw_pcie_cap_set(&rcar->dw, REQ_RES); in rcar_gen4_pcie_alloc()
303 platform_set_drvdata(pdev, rcar); in rcar_gen4_pcie_alloc()
305 return rcar; in rcar_gen4_pcie_alloc()
312 struct rcar_gen4_pcie *rcar = to_rcar_gen4_pcie(dw); in rcar_gen4_pcie_host_init() local
316 gpiod_set_value_cansleep(dw->pe_rst, 1); in rcar_gen4_pcie_host_init()
318 ret = rcar_gen4_pcie_common_init(rcar); in rcar_gen4_pcie_host_init()
323 * According to the section 3.5.7.2 "RC Mode" in DWC PCIe Dual Mode in rcar_gen4_pcie_host_init()
324 * Rev.5.20a and 3.5.6.1 "RC mode" in DWC PCIe RC databook v5.20a, we in rcar_gen4_pcie_host_init()
332 val = readl(rcar->base + PCIEINTSTS0EN); in rcar_gen4_pcie_host_init()
334 writel(val, rcar->base + PCIEINTSTS0EN); in rcar_gen4_pcie_host_init()
338 gpiod_set_value_cansleep(dw->pe_rst, 0); in rcar_gen4_pcie_host_init()
346 struct rcar_gen4_pcie *rcar = to_rcar_gen4_pcie(dw); in rcar_gen4_pcie_host_deinit() local
348 gpiod_set_value_cansleep(dw->pe_rst, 1); in rcar_gen4_pcie_host_deinit()
349 rcar_gen4_pcie_common_deinit(rcar); in rcar_gen4_pcie_host_deinit()
357 static int rcar_gen4_add_dw_pcie_rp(struct rcar_gen4_pcie *rcar) in rcar_gen4_add_dw_pcie_rp() argument
359 struct dw_pcie_rp *pp = &rcar->dw.pp; in rcar_gen4_add_dw_pcie_rp()
362 return -ENODEV; in rcar_gen4_add_dw_pcie_rp()
364 pp->num_vectors = MAX_MSI_IRQS; in rcar_gen4_add_dw_pcie_rp()
365 pp->ops = &rcar_gen4_pcie_host_ops; in rcar_gen4_add_dw_pcie_rp()
370 static void rcar_gen4_remove_dw_pcie_rp(struct rcar_gen4_pcie *rcar) in rcar_gen4_remove_dw_pcie_rp() argument
372 dw_pcie_host_deinit(&rcar->dw.pp); in rcar_gen4_remove_dw_pcie_rp()
379 struct rcar_gen4_pcie *rcar = to_rcar_gen4_pcie(dw); in rcar_gen4_pcie_ep_pre_init() local
382 ret = rcar_gen4_pcie_common_init(rcar); in rcar_gen4_pcie_ep_pre_init()
386 writel(PCIEDMAINTSTSEN_INIT, rcar->base + PCIEDMAINTSTSEN); in rcar_gen4_pcie_ep_pre_init()
398 static void rcar_gen4_pcie_ep_deinit(struct rcar_gen4_pcie *rcar) in rcar_gen4_pcie_ep_deinit() argument
400 writel(0, rcar->base + PCIEDMAINTSTSEN); in rcar_gen4_pcie_ep_deinit()
401 rcar_gen4_pcie_common_deinit(rcar); in rcar_gen4_pcie_ep_deinit()
415 dev_err(dw->dev, "Unknown IRQ type\n"); in rcar_gen4_pcie_ep_raise_irq()
416 return -EINVAL; in rcar_gen4_pcie_ep_raise_irq()
458 static int rcar_gen4_add_dw_pcie_ep(struct rcar_gen4_pcie *rcar) in rcar_gen4_add_dw_pcie_ep() argument
460 struct dw_pcie_ep *ep = &rcar->dw.ep; in rcar_gen4_add_dw_pcie_ep()
461 struct device *dev = rcar->dw.dev; in rcar_gen4_add_dw_pcie_ep()
465 return -ENODEV; in rcar_gen4_add_dw_pcie_ep()
467 ep->ops = &pcie_ep_ops; in rcar_gen4_add_dw_pcie_ep()
471 rcar_gen4_pcie_ep_deinit(rcar); in rcar_gen4_add_dw_pcie_ep()
479 rcar_gen4_pcie_ep_deinit(rcar); in rcar_gen4_add_dw_pcie_ep()
482 pci_epc_init_notify(ep->epc); in rcar_gen4_add_dw_pcie_ep()
487 static void rcar_gen4_remove_dw_pcie_ep(struct rcar_gen4_pcie *rcar) in rcar_gen4_remove_dw_pcie_ep() argument
489 dw_pcie_ep_deinit(&rcar->dw.ep); in rcar_gen4_remove_dw_pcie_ep()
490 rcar_gen4_pcie_ep_deinit(rcar); in rcar_gen4_remove_dw_pcie_ep()
494 static int rcar_gen4_add_dw_pcie(struct rcar_gen4_pcie *rcar) in rcar_gen4_add_dw_pcie() argument
496 rcar->drvdata = of_device_get_match_data(&rcar->pdev->dev); in rcar_gen4_add_dw_pcie()
497 if (!rcar->drvdata) in rcar_gen4_add_dw_pcie()
498 return -EINVAL; in rcar_gen4_add_dw_pcie()
500 switch (rcar->drvdata->mode) { in rcar_gen4_add_dw_pcie()
502 return rcar_gen4_add_dw_pcie_rp(rcar); in rcar_gen4_add_dw_pcie()
504 return rcar_gen4_add_dw_pcie_ep(rcar); in rcar_gen4_add_dw_pcie()
506 return -EINVAL; in rcar_gen4_add_dw_pcie()
512 struct rcar_gen4_pcie *rcar; in rcar_gen4_pcie_probe() local
515 rcar = rcar_gen4_pcie_alloc(pdev); in rcar_gen4_pcie_probe()
516 if (IS_ERR(rcar)) in rcar_gen4_pcie_probe()
517 return PTR_ERR(rcar); in rcar_gen4_pcie_probe()
519 err = rcar_gen4_pcie_get_resources(rcar); in rcar_gen4_pcie_probe()
523 err = rcar_gen4_pcie_prepare(rcar); in rcar_gen4_pcie_probe()
527 err = rcar_gen4_add_dw_pcie(rcar); in rcar_gen4_pcie_probe()
534 rcar_gen4_pcie_unprepare(rcar); in rcar_gen4_pcie_probe()
539 static void rcar_gen4_remove_dw_pcie(struct rcar_gen4_pcie *rcar) in rcar_gen4_remove_dw_pcie() argument
541 switch (rcar->drvdata->mode) { in rcar_gen4_remove_dw_pcie()
543 rcar_gen4_remove_dw_pcie_rp(rcar); in rcar_gen4_remove_dw_pcie()
546 rcar_gen4_remove_dw_pcie_ep(rcar); in rcar_gen4_remove_dw_pcie()
555 struct rcar_gen4_pcie *rcar = platform_get_drvdata(pdev); in rcar_gen4_pcie_remove() local
557 rcar_gen4_remove_dw_pcie(rcar); in rcar_gen4_pcie_remove()
558 rcar_gen4_pcie_unprepare(rcar); in rcar_gen4_pcie_remove()
561 static int r8a779f0_pcie_ltssm_control(struct rcar_gen4_pcie *rcar, bool enable) in r8a779f0_pcie_ltssm_control() argument
565 val = readl(rcar->base + PCIERSTCTRL1); in r8a779f0_pcie_ltssm_control()
571 * Since the datasheet of R-Car doesn't mention how to assert in r8a779f0_pcie_ltssm_control()
573 * hang-up issue happened in the dw_edma_core_off() when in r8a779f0_pcie_ltssm_control()
578 writel(val, rcar->base + PCIERSTCTRL1); in r8a779f0_pcie_ltssm_control()
583 static void rcar_gen4_pcie_additional_common_init(struct rcar_gen4_pcie *rcar) in rcar_gen4_pcie_additional_common_init() argument
585 struct dw_pcie *dw = &rcar->dw; in rcar_gen4_pcie_additional_common_init()
590 if (dw->num_lanes < 4) in rcar_gen4_pcie_additional_common_init()
594 val = readl(rcar->base + PCIEPWRMNGCTRL); in rcar_gen4_pcie_additional_common_init()
596 writel(val, rcar->base + PCIEPWRMNGCTRL); in rcar_gen4_pcie_additional_common_init()
599 static void rcar_gen4_pcie_phy_reg_update_bits(struct rcar_gen4_pcie *rcar, in rcar_gen4_pcie_phy_reg_update_bits() argument
604 tmp = readl(rcar->phy_base + offset); in rcar_gen4_pcie_phy_reg_update_bits()
607 writel(tmp, rcar->phy_base + offset); in rcar_gen4_pcie_phy_reg_update_bits()
612 * write. If read returns non-zero value, then this function returns -EAGAIN
616 static int rcar_gen4_pcie_reg_test_bit(struct rcar_gen4_pcie *rcar, in rcar_gen4_pcie_reg_test_bit() argument
619 struct dw_pcie *dw = &rcar->dw; in rcar_gen4_pcie_reg_test_bit()
622 return -EAGAIN; in rcar_gen4_pcie_reg_test_bit()
627 static int rcar_gen4_pcie_download_phy_firmware(struct rcar_gen4_pcie *rcar) in rcar_gen4_pcie_download_phy_firmware() argument
636 struct dw_pcie *dw = &rcar->dw; in rcar_gen4_pcie_download_phy_firmware()
642 ret = request_firmware(&fw, RCAR_GEN4_PCIE_FIRMWARE_NAME, dw->dev); in rcar_gen4_pcie_download_phy_firmware()
644 dev_err(dw->dev, "Failed to load firmware (%s): %d\n", in rcar_gen4_pcie_download_phy_firmware()
649 for (i = 0; i < (fw->size / 2); i++) { in rcar_gen4_pcie_download_phy_firmware()
650 data = fw->data[(i * 2) + 1] << 8 | fw->data[i * 2]; in rcar_gen4_pcie_download_phy_firmware()
655 if (!rcar_gen4_pcie_reg_test_bit(rcar, PRTLGC89, BIT(30))) in rcar_gen4_pcie_download_phy_firmware()
657 if (!(--timeout)) { in rcar_gen4_pcie_download_phy_firmware()
658 ret = -ETIMEDOUT; in rcar_gen4_pcie_download_phy_firmware()
665 rcar_gen4_pcie_phy_reg_update_bits(rcar, 0x0f8, BIT(17), BIT(17)); in rcar_gen4_pcie_download_phy_firmware()
671 ret = rcar_gen4_pcie_reg_test_bit(rcar, PRTLGC89, BIT(30)); in rcar_gen4_pcie_download_phy_firmware()
672 ret |= rcar_gen4_pcie_reg_test_bit(rcar, PRTLGC90, BIT(0)); in rcar_gen4_pcie_download_phy_firmware()
675 if (!(--timeout)) { in rcar_gen4_pcie_download_phy_firmware()
676 ret = -ETIMEDOUT; in rcar_gen4_pcie_download_phy_firmware()
689 static int rcar_gen4_pcie_ltssm_control(struct rcar_gen4_pcie *rcar, bool enable) in rcar_gen4_pcie_ltssm_control() argument
691 struct dw_pcie *dw = &rcar->dw; in rcar_gen4_pcie_ltssm_control()
696 val = readl(rcar->base + PCIERSTCTRL1); in rcar_gen4_pcie_ltssm_control()
698 writel(val, rcar->base + PCIERSTCTRL1); in rcar_gen4_pcie_ltssm_control()
707 val = readl(rcar->base + PCIEMSR0); in rcar_gen4_pcie_ltssm_control()
709 writel(val, rcar->base + PCIEMSR0); in rcar_gen4_pcie_ltssm_control()
712 * The R-Car Gen4 datasheet doesn't describe the PHY registers' name. in rcar_gen4_pcie_ltssm_control()
716 rcar_gen4_pcie_phy_reg_update_bits(rcar, 0x700, BIT(28), 0); in rcar_gen4_pcie_ltssm_control()
717 rcar_gen4_pcie_phy_reg_update_bits(rcar, 0x700, BIT(20), 0); in rcar_gen4_pcie_ltssm_control()
718 rcar_gen4_pcie_phy_reg_update_bits(rcar, 0x700, BIT(12), 0); in rcar_gen4_pcie_ltssm_control()
719 rcar_gen4_pcie_phy_reg_update_bits(rcar, 0x700, BIT(4), 0); in rcar_gen4_pcie_ltssm_control()
721 rcar_gen4_pcie_phy_reg_update_bits(rcar, 0x148, GENMASK(23, 22), BIT(22)); in rcar_gen4_pcie_ltssm_control()
722 rcar_gen4_pcie_phy_reg_update_bits(rcar, 0x148, GENMASK(18, 16), GENMASK(17, 16)); in rcar_gen4_pcie_ltssm_control()
723 rcar_gen4_pcie_phy_reg_update_bits(rcar, 0x148, GENMASK(7, 6), BIT(6)); in rcar_gen4_pcie_ltssm_control()
724 rcar_gen4_pcie_phy_reg_update_bits(rcar, 0x148, GENMASK(2, 0), GENMASK(1, 0)); in rcar_gen4_pcie_ltssm_control()
725 rcar_gen4_pcie_phy_reg_update_bits(rcar, 0x1d4, GENMASK(16, 15), GENMASK(16, 15)); in rcar_gen4_pcie_ltssm_control()
726 rcar_gen4_pcie_phy_reg_update_bits(rcar, 0x514, BIT(26), BIT(26)); in rcar_gen4_pcie_ltssm_control()
727 rcar_gen4_pcie_phy_reg_update_bits(rcar, 0x0f8, BIT(16), 0); in rcar_gen4_pcie_ltssm_control()
728 rcar_gen4_pcie_phy_reg_update_bits(rcar, 0x0f8, BIT(19), BIT(19)); in rcar_gen4_pcie_ltssm_control()
730 val = readl(rcar->base + PCIERSTCTRL1); in rcar_gen4_pcie_ltssm_control()
732 writel(val, rcar->base + PCIERSTCTRL1); in rcar_gen4_pcie_ltssm_control()
734 ret = readl_poll_timeout(rcar->phy_base + 0x0f8, val, val & BIT(18), 100, 10000); in rcar_gen4_pcie_ltssm_control()
738 ret = rcar_gen4_pcie_download_phy_firmware(rcar); in rcar_gen4_pcie_ltssm_control()
742 val = readl(rcar->base + PCIERSTCTRL1); in rcar_gen4_pcie_ltssm_control()
744 writel(val, rcar->base + PCIERSTCTRL1); in rcar_gen4_pcie_ltssm_control()
773 .compatible = "renesas,r8a779f0-pcie",
777 .compatible = "renesas,r8a779f0-pcie-ep",
781 .compatible = "renesas,rcar-gen4-pcie",
785 .compatible = "renesas,rcar-gen4-pcie-ep",
794 .name = "pcie-rcar-gen4",
803 MODULE_DESCRIPTION("Renesas R-Car Gen4 PCIe controller driver");