16e0832faSShawn Lin // SPDX-License-Identifier: GPL-2.0
26e0832faSShawn Lin /*
36e0832faSShawn Lin * PCIe host controller driver for Marvell Armada-8K SoCs
46e0832faSShawn Lin *
56e0832faSShawn Lin * Armada-8K PCIe Glue Layer Source Code
66e0832faSShawn Lin *
76e0832faSShawn Lin * Copyright (C) 2016 Marvell Technology Group Ltd.
86e0832faSShawn Lin *
96e0832faSShawn Lin * Author: Yehuda Yitshak <yehuday@marvell.com>
106e0832faSShawn Lin * Author: Shadi Ammouri <shadi@marvell.com>
116e0832faSShawn Lin */
126e0832faSShawn Lin
136e0832faSShawn Lin #include <linux/clk.h>
146e0832faSShawn Lin #include <linux/delay.h>
156e0832faSShawn Lin #include <linux/interrupt.h>
166e0832faSShawn Lin #include <linux/kernel.h>
176e0832faSShawn Lin #include <linux/init.h>
186e0832faSShawn Lin #include <linux/of.h>
196e0832faSShawn Lin #include <linux/pci.h>
206e0832faSShawn Lin #include <linux/phy/phy.h>
216e0832faSShawn Lin #include <linux/platform_device.h>
226e0832faSShawn Lin #include <linux/resource.h>
236e0832faSShawn Lin #include <linux/of_pci.h>
246e0832faSShawn Lin
256e0832faSShawn Lin #include "pcie-designware.h"
266e0832faSShawn Lin
27c369b536SMiquel Raynal #define ARMADA8K_PCIE_MAX_LANES PCIE_LNK_X4
28c369b536SMiquel Raynal
296e0832faSShawn Lin struct armada8k_pcie {
306e0832faSShawn Lin struct dw_pcie *pci;
316e0832faSShawn Lin struct clk *clk;
326e0832faSShawn Lin struct clk *clk_reg;
33c369b536SMiquel Raynal struct phy *phy[ARMADA8K_PCIE_MAX_LANES];
34c369b536SMiquel Raynal unsigned int phy_count;
356e0832faSShawn Lin };
366e0832faSShawn Lin
376e0832faSShawn Lin #define PCIE_VENDOR_REGS_OFFSET 0x8000
386e0832faSShawn Lin
396e0832faSShawn Lin #define PCIE_GLOBAL_CONTROL_REG (PCIE_VENDOR_REGS_OFFSET + 0x0)
406e0832faSShawn Lin #define PCIE_APP_LTSSM_EN BIT(2)
416e0832faSShawn Lin #define PCIE_DEVICE_TYPE_SHIFT 4
426e0832faSShawn Lin #define PCIE_DEVICE_TYPE_MASK 0xF
436e0832faSShawn Lin #define PCIE_DEVICE_TYPE_RC 0x4 /* Root complex */
446e0832faSShawn Lin
456e0832faSShawn Lin #define PCIE_GLOBAL_STATUS_REG (PCIE_VENDOR_REGS_OFFSET + 0x8)
466e0832faSShawn Lin #define PCIE_GLB_STS_RDLH_LINK_UP BIT(1)
476e0832faSShawn Lin #define PCIE_GLB_STS_PHY_LINK_UP BIT(9)
486e0832faSShawn Lin
496e0832faSShawn Lin #define PCIE_GLOBAL_INT_CAUSE1_REG (PCIE_VENDOR_REGS_OFFSET + 0x1C)
506e0832faSShawn Lin #define PCIE_GLOBAL_INT_MASK1_REG (PCIE_VENDOR_REGS_OFFSET + 0x20)
516e0832faSShawn Lin #define PCIE_INT_A_ASSERT_MASK BIT(9)
526e0832faSShawn Lin #define PCIE_INT_B_ASSERT_MASK BIT(10)
536e0832faSShawn Lin #define PCIE_INT_C_ASSERT_MASK BIT(11)
546e0832faSShawn Lin #define PCIE_INT_D_ASSERT_MASK BIT(12)
556e0832faSShawn Lin
566e0832faSShawn Lin #define PCIE_ARCACHE_TRC_REG (PCIE_VENDOR_REGS_OFFSET + 0x50)
576e0832faSShawn Lin #define PCIE_AWCACHE_TRC_REG (PCIE_VENDOR_REGS_OFFSET + 0x54)
586e0832faSShawn Lin #define PCIE_ARUSER_REG (PCIE_VENDOR_REGS_OFFSET + 0x5C)
596e0832faSShawn Lin #define PCIE_AWUSER_REG (PCIE_VENDOR_REGS_OFFSET + 0x60)
606e0832faSShawn Lin /*
61f6b6aefeSBjorn Helgaas * AR/AW Cache defaults: Normal memory, Write-Back, Read / Write
626e0832faSShawn Lin * allocate
636e0832faSShawn Lin */
646e0832faSShawn Lin #define ARCACHE_DEFAULT_VALUE 0x3511
656e0832faSShawn Lin #define AWCACHE_DEFAULT_VALUE 0x5311
666e0832faSShawn Lin
676e0832faSShawn Lin #define DOMAIN_OUTER_SHAREABLE 0x2
686e0832faSShawn Lin #define AX_USER_DOMAIN_MASK 0x3
696e0832faSShawn Lin #define AX_USER_DOMAIN_SHIFT 4
706e0832faSShawn Lin
716e0832faSShawn Lin #define to_armada8k_pcie(x) dev_get_drvdata((x)->dev)
726e0832faSShawn Lin
armada8k_pcie_disable_phys(struct armada8k_pcie * pcie)73c369b536SMiquel Raynal static void armada8k_pcie_disable_phys(struct armada8k_pcie *pcie)
74c369b536SMiquel Raynal {
75c369b536SMiquel Raynal int i;
76c369b536SMiquel Raynal
77c369b536SMiquel Raynal for (i = 0; i < ARMADA8K_PCIE_MAX_LANES; i++) {
78c369b536SMiquel Raynal phy_power_off(pcie->phy[i]);
79c369b536SMiquel Raynal phy_exit(pcie->phy[i]);
80c369b536SMiquel Raynal }
81c369b536SMiquel Raynal }
82c369b536SMiquel Raynal
armada8k_pcie_enable_phys(struct armada8k_pcie * pcie)83c369b536SMiquel Raynal static int armada8k_pcie_enable_phys(struct armada8k_pcie *pcie)
84c369b536SMiquel Raynal {
85c369b536SMiquel Raynal int ret;
86c369b536SMiquel Raynal int i;
87c369b536SMiquel Raynal
88c369b536SMiquel Raynal for (i = 0; i < ARMADA8K_PCIE_MAX_LANES; i++) {
89c369b536SMiquel Raynal ret = phy_init(pcie->phy[i]);
90c369b536SMiquel Raynal if (ret)
91c369b536SMiquel Raynal return ret;
92c369b536SMiquel Raynal
93c369b536SMiquel Raynal ret = phy_set_mode_ext(pcie->phy[i], PHY_MODE_PCIE,
94c369b536SMiquel Raynal pcie->phy_count);
95c369b536SMiquel Raynal if (ret) {
96c369b536SMiquel Raynal phy_exit(pcie->phy[i]);
97c369b536SMiquel Raynal return ret;
98c369b536SMiquel Raynal }
99c369b536SMiquel Raynal
100c369b536SMiquel Raynal ret = phy_power_on(pcie->phy[i]);
101c369b536SMiquel Raynal if (ret) {
102c369b536SMiquel Raynal phy_exit(pcie->phy[i]);
103c369b536SMiquel Raynal return ret;
104c369b536SMiquel Raynal }
105c369b536SMiquel Raynal }
106c369b536SMiquel Raynal
107c369b536SMiquel Raynal return 0;
108c369b536SMiquel Raynal }
109c369b536SMiquel Raynal
armada8k_pcie_setup_phys(struct armada8k_pcie * pcie)110c369b536SMiquel Raynal static int armada8k_pcie_setup_phys(struct armada8k_pcie *pcie)
111c369b536SMiquel Raynal {
112c369b536SMiquel Raynal struct dw_pcie *pci = pcie->pci;
113c369b536SMiquel Raynal struct device *dev = pci->dev;
114c369b536SMiquel Raynal struct device_node *node = dev->of_node;
115c369b536SMiquel Raynal int ret = 0;
116c369b536SMiquel Raynal int i;
117c369b536SMiquel Raynal
118c369b536SMiquel Raynal for (i = 0; i < ARMADA8K_PCIE_MAX_LANES; i++) {
119c369b536SMiquel Raynal pcie->phy[i] = devm_of_phy_get_by_index(dev, node, i);
120e7a877b2SThierry Reding if (IS_ERR(pcie->phy[i])) {
121e7a877b2SThierry Reding if (PTR_ERR(pcie->phy[i]) != -ENODEV)
122c369b536SMiquel Raynal return PTR_ERR(pcie->phy[i]);
123c369b536SMiquel Raynal
124c369b536SMiquel Raynal pcie->phy[i] = NULL;
125c369b536SMiquel Raynal continue;
126c369b536SMiquel Raynal }
127c369b536SMiquel Raynal
128c369b536SMiquel Raynal pcie->phy_count++;
129c369b536SMiquel Raynal }
130c369b536SMiquel Raynal
131c369b536SMiquel Raynal /* Old bindings miss the PHY handle, so just warn if there is no PHY */
132c369b536SMiquel Raynal if (!pcie->phy_count)
133c369b536SMiquel Raynal dev_warn(dev, "No available PHY\n");
134c369b536SMiquel Raynal
135c369b536SMiquel Raynal ret = armada8k_pcie_enable_phys(pcie);
136c369b536SMiquel Raynal if (ret)
137c369b536SMiquel Raynal dev_err(dev, "Failed to initialize PHY(s) (%d)\n", ret);
138c369b536SMiquel Raynal
139c369b536SMiquel Raynal return ret;
140c369b536SMiquel Raynal }
141c369b536SMiquel Raynal
armada8k_pcie_link_up(struct dw_pcie * pci)1426e0832faSShawn Lin static int armada8k_pcie_link_up(struct dw_pcie *pci)
1436e0832faSShawn Lin {
1446e0832faSShawn Lin u32 reg;
1456e0832faSShawn Lin u32 mask = PCIE_GLB_STS_RDLH_LINK_UP | PCIE_GLB_STS_PHY_LINK_UP;
1466e0832faSShawn Lin
1476e0832faSShawn Lin reg = dw_pcie_readl_dbi(pci, PCIE_GLOBAL_STATUS_REG);
1486e0832faSShawn Lin
1496e0832faSShawn Lin if ((reg & mask) == mask)
1506e0832faSShawn Lin return 1;
1516e0832faSShawn Lin
1526e0832faSShawn Lin dev_dbg(pci->dev, "No link detected (Global-Status: 0x%08x).\n", reg);
1536e0832faSShawn Lin return 0;
1546e0832faSShawn Lin }
1556e0832faSShawn Lin
armada8k_pcie_start_link(struct dw_pcie * pci)156886a9c13SRob Herring static int armada8k_pcie_start_link(struct dw_pcie *pci)
1576e0832faSShawn Lin {
1586e0832faSShawn Lin u32 reg;
1596e0832faSShawn Lin
160886a9c13SRob Herring /* Start LTSSM */
161886a9c13SRob Herring reg = dw_pcie_readl_dbi(pci, PCIE_GLOBAL_CONTROL_REG);
162886a9c13SRob Herring reg |= PCIE_APP_LTSSM_EN;
163886a9c13SRob Herring dw_pcie_writel_dbi(pci, PCIE_GLOBAL_CONTROL_REG, reg);
164886a9c13SRob Herring
165886a9c13SRob Herring return 0;
166886a9c13SRob Herring }
167886a9c13SRob Herring
armada8k_pcie_host_init(struct dw_pcie_rp * pp)16860b3c27fSSerge Semin static int armada8k_pcie_host_init(struct dw_pcie_rp *pp)
169886a9c13SRob Herring {
170886a9c13SRob Herring u32 reg;
171886a9c13SRob Herring struct dw_pcie *pci = to_dw_pcie_from_pp(pp);
172886a9c13SRob Herring
1736e0832faSShawn Lin if (!dw_pcie_link_up(pci)) {
1746e0832faSShawn Lin /* Disable LTSSM state machine to enable configuration */
1756e0832faSShawn Lin reg = dw_pcie_readl_dbi(pci, PCIE_GLOBAL_CONTROL_REG);
1766e0832faSShawn Lin reg &= ~(PCIE_APP_LTSSM_EN);
1776e0832faSShawn Lin dw_pcie_writel_dbi(pci, PCIE_GLOBAL_CONTROL_REG, reg);
1786e0832faSShawn Lin }
1796e0832faSShawn Lin
1806e0832faSShawn Lin /* Set the device to root complex mode */
1816e0832faSShawn Lin reg = dw_pcie_readl_dbi(pci, PCIE_GLOBAL_CONTROL_REG);
1826e0832faSShawn Lin reg &= ~(PCIE_DEVICE_TYPE_MASK << PCIE_DEVICE_TYPE_SHIFT);
1836e0832faSShawn Lin reg |= PCIE_DEVICE_TYPE_RC << PCIE_DEVICE_TYPE_SHIFT;
1846e0832faSShawn Lin dw_pcie_writel_dbi(pci, PCIE_GLOBAL_CONTROL_REG, reg);
1856e0832faSShawn Lin
1866e0832faSShawn Lin /* Set the PCIe master AxCache attributes */
1876e0832faSShawn Lin dw_pcie_writel_dbi(pci, PCIE_ARCACHE_TRC_REG, ARCACHE_DEFAULT_VALUE);
1886e0832faSShawn Lin dw_pcie_writel_dbi(pci, PCIE_AWCACHE_TRC_REG, AWCACHE_DEFAULT_VALUE);
1896e0832faSShawn Lin
1906e0832faSShawn Lin /* Set the PCIe master AxDomain attributes */
1916e0832faSShawn Lin reg = dw_pcie_readl_dbi(pci, PCIE_ARUSER_REG);
1926e0832faSShawn Lin reg &= ~(AX_USER_DOMAIN_MASK << AX_USER_DOMAIN_SHIFT);
1936e0832faSShawn Lin reg |= DOMAIN_OUTER_SHAREABLE << AX_USER_DOMAIN_SHIFT;
1946e0832faSShawn Lin dw_pcie_writel_dbi(pci, PCIE_ARUSER_REG, reg);
1956e0832faSShawn Lin
1966e0832faSShawn Lin reg = dw_pcie_readl_dbi(pci, PCIE_AWUSER_REG);
1976e0832faSShawn Lin reg &= ~(AX_USER_DOMAIN_MASK << AX_USER_DOMAIN_SHIFT);
1986e0832faSShawn Lin reg |= DOMAIN_OUTER_SHAREABLE << AX_USER_DOMAIN_SHIFT;
1996e0832faSShawn Lin dw_pcie_writel_dbi(pci, PCIE_AWUSER_REG, reg);
2006e0832faSShawn Lin
2016e0832faSShawn Lin /* Enable INT A-D interrupts */
2026e0832faSShawn Lin reg = dw_pcie_readl_dbi(pci, PCIE_GLOBAL_INT_MASK1_REG);
2036e0832faSShawn Lin reg |= PCIE_INT_A_ASSERT_MASK | PCIE_INT_B_ASSERT_MASK |
2046e0832faSShawn Lin PCIE_INT_C_ASSERT_MASK | PCIE_INT_D_ASSERT_MASK;
2056e0832faSShawn Lin dw_pcie_writel_dbi(pci, PCIE_GLOBAL_INT_MASK1_REG, reg);
2066e0832faSShawn Lin
2076e0832faSShawn Lin return 0;
2086e0832faSShawn Lin }
2096e0832faSShawn Lin
armada8k_pcie_irq_handler(int irq,void * arg)2106e0832faSShawn Lin static irqreturn_t armada8k_pcie_irq_handler(int irq, void *arg)
2116e0832faSShawn Lin {
2126e0832faSShawn Lin struct armada8k_pcie *pcie = arg;
2136e0832faSShawn Lin struct dw_pcie *pci = pcie->pci;
2146e0832faSShawn Lin u32 val;
2156e0832faSShawn Lin
2166e0832faSShawn Lin /*
2176e0832faSShawn Lin * Interrupts are directly handled by the device driver of the
2186e0832faSShawn Lin * PCI device. However, they are also latched into the PCIe
2196e0832faSShawn Lin * controller, so we simply discard them.
2206e0832faSShawn Lin */
2216e0832faSShawn Lin val = dw_pcie_readl_dbi(pci, PCIE_GLOBAL_INT_CAUSE1_REG);
2226e0832faSShawn Lin dw_pcie_writel_dbi(pci, PCIE_GLOBAL_INT_CAUSE1_REG, val);
2236e0832faSShawn Lin
2246e0832faSShawn Lin return IRQ_HANDLED;
2256e0832faSShawn Lin }
2266e0832faSShawn Lin
2276e0832faSShawn Lin static const struct dw_pcie_host_ops armada8k_pcie_host_ops = {
228*aea370b2SYoshihiro Shimoda .init = armada8k_pcie_host_init,
2296e0832faSShawn Lin };
2306e0832faSShawn Lin
armada8k_add_pcie_port(struct armada8k_pcie * pcie,struct platform_device * pdev)2316e0832faSShawn Lin static int armada8k_add_pcie_port(struct armada8k_pcie *pcie,
2326e0832faSShawn Lin struct platform_device *pdev)
2336e0832faSShawn Lin {
2346e0832faSShawn Lin struct dw_pcie *pci = pcie->pci;
23560b3c27fSSerge Semin struct dw_pcie_rp *pp = &pci->pp;
2366e0832faSShawn Lin struct device *dev = &pdev->dev;
2376e0832faSShawn Lin int ret;
2386e0832faSShawn Lin
2396e0832faSShawn Lin pp->ops = &armada8k_pcie_host_ops;
2406e0832faSShawn Lin
2416e0832faSShawn Lin pp->irq = platform_get_irq(pdev, 0);
242caecb05cSKrzysztof Wilczyński if (pp->irq < 0)
2436e0832faSShawn Lin return pp->irq;
2446e0832faSShawn Lin
2456e0832faSShawn Lin ret = devm_request_irq(dev, pp->irq, armada8k_pcie_irq_handler,
2466e0832faSShawn Lin IRQF_SHARED, "armada8k-pcie", pcie);
2476e0832faSShawn Lin if (ret) {
2486e0832faSShawn Lin dev_err(dev, "failed to request irq %d\n", pp->irq);
2496e0832faSShawn Lin return ret;
2506e0832faSShawn Lin }
2516e0832faSShawn Lin
2526e0832faSShawn Lin ret = dw_pcie_host_init(pp);
2536e0832faSShawn Lin if (ret) {
2546e0832faSShawn Lin dev_err(dev, "failed to initialize host: %d\n", ret);
2556e0832faSShawn Lin return ret;
2566e0832faSShawn Lin }
2576e0832faSShawn Lin
2586e0832faSShawn Lin return 0;
2596e0832faSShawn Lin }
2606e0832faSShawn Lin
2616e0832faSShawn Lin static const struct dw_pcie_ops dw_pcie_ops = {
2626e0832faSShawn Lin .link_up = armada8k_pcie_link_up,
263886a9c13SRob Herring .start_link = armada8k_pcie_start_link,
2646e0832faSShawn Lin };
2656e0832faSShawn Lin
armada8k_pcie_probe(struct platform_device * pdev)2666e0832faSShawn Lin static int armada8k_pcie_probe(struct platform_device *pdev)
2676e0832faSShawn Lin {
2686e0832faSShawn Lin struct dw_pcie *pci;
2696e0832faSShawn Lin struct armada8k_pcie *pcie;
2706e0832faSShawn Lin struct device *dev = &pdev->dev;
2716e0832faSShawn Lin struct resource *base;
2726e0832faSShawn Lin int ret;
2736e0832faSShawn Lin
2746e0832faSShawn Lin pcie = devm_kzalloc(dev, sizeof(*pcie), GFP_KERNEL);
2756e0832faSShawn Lin if (!pcie)
2766e0832faSShawn Lin return -ENOMEM;
2776e0832faSShawn Lin
2786e0832faSShawn Lin pci = devm_kzalloc(dev, sizeof(*pci), GFP_KERNEL);
2796e0832faSShawn Lin if (!pci)
2806e0832faSShawn Lin return -ENOMEM;
2816e0832faSShawn Lin
2826e0832faSShawn Lin pci->dev = dev;
2836e0832faSShawn Lin pci->ops = &dw_pcie_ops;
2846e0832faSShawn Lin
2856e0832faSShawn Lin pcie->pci = pci;
2866e0832faSShawn Lin
2876e0832faSShawn Lin pcie->clk = devm_clk_get(dev, NULL);
2886e0832faSShawn Lin if (IS_ERR(pcie->clk))
2896e0832faSShawn Lin return PTR_ERR(pcie->clk);
2906e0832faSShawn Lin
2916e0832faSShawn Lin ret = clk_prepare_enable(pcie->clk);
2926e0832faSShawn Lin if (ret)
2936e0832faSShawn Lin return ret;
2946e0832faSShawn Lin
2956e0832faSShawn Lin pcie->clk_reg = devm_clk_get(dev, "reg");
2966e0832faSShawn Lin if (pcie->clk_reg == ERR_PTR(-EPROBE_DEFER)) {
2976e0832faSShawn Lin ret = -EPROBE_DEFER;
2986e0832faSShawn Lin goto fail;
2996e0832faSShawn Lin }
3006e0832faSShawn Lin if (!IS_ERR(pcie->clk_reg)) {
3016e0832faSShawn Lin ret = clk_prepare_enable(pcie->clk_reg);
3026e0832faSShawn Lin if (ret)
3036e0832faSShawn Lin goto fail_clkreg;
3046e0832faSShawn Lin }
3056e0832faSShawn Lin
3066e0832faSShawn Lin /* Get the dw-pcie unit configuration/control registers base. */
3076e0832faSShawn Lin base = platform_get_resource_byname(pdev, IORESOURCE_MEM, "ctrl");
3086e0832faSShawn Lin pci->dbi_base = devm_pci_remap_cfg_resource(dev, base);
3096e0832faSShawn Lin if (IS_ERR(pci->dbi_base)) {
3106e0832faSShawn Lin ret = PTR_ERR(pci->dbi_base);
3116e0832faSShawn Lin goto fail_clkreg;
3126e0832faSShawn Lin }
3136e0832faSShawn Lin
314c369b536SMiquel Raynal ret = armada8k_pcie_setup_phys(pcie);
315c369b536SMiquel Raynal if (ret)
316c369b536SMiquel Raynal goto fail_clkreg;
317c369b536SMiquel Raynal
3186e0832faSShawn Lin platform_set_drvdata(pdev, pcie);
3196e0832faSShawn Lin
3206e0832faSShawn Lin ret = armada8k_add_pcie_port(pcie, pdev);
3216e0832faSShawn Lin if (ret)
322c369b536SMiquel Raynal goto disable_phy;
3236e0832faSShawn Lin
3246e0832faSShawn Lin return 0;
3256e0832faSShawn Lin
326c369b536SMiquel Raynal disable_phy:
327c369b536SMiquel Raynal armada8k_pcie_disable_phys(pcie);
3286e0832faSShawn Lin fail_clkreg:
3296e0832faSShawn Lin clk_disable_unprepare(pcie->clk_reg);
3306e0832faSShawn Lin fail:
3316e0832faSShawn Lin clk_disable_unprepare(pcie->clk);
3326e0832faSShawn Lin
3336e0832faSShawn Lin return ret;
3346e0832faSShawn Lin }
3356e0832faSShawn Lin
3366e0832faSShawn Lin static const struct of_device_id armada8k_pcie_of_match[] = {
3376e0832faSShawn Lin { .compatible = "marvell,armada8k-pcie", },
3386e0832faSShawn Lin {},
3396e0832faSShawn Lin };
3406e0832faSShawn Lin
3416e0832faSShawn Lin static struct platform_driver armada8k_pcie_driver = {
3426e0832faSShawn Lin .probe = armada8k_pcie_probe,
3436e0832faSShawn Lin .driver = {
3446e0832faSShawn Lin .name = "armada8k-pcie",
3451dff012fSBjorn Helgaas .of_match_table = armada8k_pcie_of_match,
3466e0832faSShawn Lin .suppress_bind_attrs = true,
3476e0832faSShawn Lin },
3486e0832faSShawn Lin };
3496e0832faSShawn Lin builtin_platform_driver(armada8k_pcie_driver);
350