Lines Matching +full:disable +full:- +full:hibernation +full:- +full:mode
1 // SPDX-License-Identifier: GPL-2.0
27 #include "pcie-designware.h"
28 #include "pcie-qcom-common.h"
157 #define to_pcie_ep(x) dev_get_drvdata((x)->dev)
167 * struct qcom_pcie_ep_cfg - Per SoC config struct
170 * @disable_mhi_ram_parity_check: Disable MHI RAM data parity error check
179 * struct qcom_pcie_ep - Qualcomm PCIe Endpoint Controller
230 struct dw_pcie *pci = &pcie_ep->pci; in qcom_pcie_ep_core_reset()
231 struct device *dev = pci->dev; in qcom_pcie_ep_core_reset()
234 ret = reset_control_assert(pcie_ep->core_reset); in qcom_pcie_ep_core_reset()
242 ret = reset_control_deassert(pcie_ep->core_reset); in qcom_pcie_ep_core_reset()
244 dev_err(dev, "Cannot de-assert core reset\n"); in qcom_pcie_ep_core_reset()
255 * device reset during host reboot and hibernation. The driver is
260 if (pcie_ep->perst_map) { in qcom_pcie_ep_configure_tcsr()
261 regmap_write(pcie_ep->perst_map, pcie_ep->perst_en, 0); in qcom_pcie_ep_configure_tcsr()
262 regmap_write(pcie_ep->perst_map, pcie_ep->perst_sep_en, 0); in qcom_pcie_ep_configure_tcsr()
270 reg = readl_relaxed(pci->elbi_base + ELBI_SYS_STTS); in qcom_pcie_dw_link_up()
279 enable_irq(pcie_ep->perst_irq); in qcom_pcie_dw_start_link()
288 disable_irq(pcie_ep->perst_irq); in qcom_pcie_dw_stop_link()
296 writel(1, pci->elbi_base + ELBI_CS2_ENABLE); in qcom_pcie_dw_write_dbi2()
298 ret = dw_pcie_write(pci->dbi_base2 + reg, size, val); in qcom_pcie_dw_write_dbi2()
300 dev_err(pci->dev, "Failed to write DBI2 register (0x%x): %d\n", reg, ret); in qcom_pcie_dw_write_dbi2()
302 writel(0, pci->elbi_base + ELBI_CS2_ENABLE); in qcom_pcie_dw_write_dbi2()
307 struct dw_pcie *pci = &pcie_ep->pci; in qcom_pcie_ep_icc_update()
312 if (!pcie_ep->icc_mem) in qcom_pcie_ep_icc_update()
316 status = readw(pci->dbi_base + offset + PCI_EXP_LNKSTA); in qcom_pcie_ep_icc_update()
321 ret = icc_set_bw(pcie_ep->icc_mem, 0, width * QCOM_PCIE_LINK_SPEED_TO_BW(speed)); in qcom_pcie_ep_icc_update()
323 dev_err(pci->dev, "failed to set interconnect bandwidth: %d\n", in qcom_pcie_ep_icc_update()
329 struct dw_pcie *pci = &pcie_ep->pci; in qcom_pcie_enable_resources()
332 ret = clk_bulk_prepare_enable(pcie_ep->num_clks, pcie_ep->clks); in qcom_pcie_enable_resources()
340 ret = phy_init(pcie_ep->phy); in qcom_pcie_enable_resources()
344 ret = phy_set_mode_ext(pcie_ep->phy, PHY_MODE_PCIE, PHY_MODE_PCIE_EP); in qcom_pcie_enable_resources()
348 ret = phy_power_on(pcie_ep->phy); in qcom_pcie_enable_resources()
356 * Set an initial peak bandwidth corresponding to single-lane Gen 1 in qcom_pcie_enable_resources()
357 * for the pcie-mem path. in qcom_pcie_enable_resources()
359 ret = icc_set_bw(pcie_ep->icc_mem, 0, QCOM_PCIE_LINK_SPEED_TO_BW(1)); in qcom_pcie_enable_resources()
361 dev_err(pci->dev, "failed to set interconnect bandwidth: %d\n", in qcom_pcie_enable_resources()
369 phy_power_off(pcie_ep->phy); in qcom_pcie_enable_resources()
371 phy_exit(pcie_ep->phy); in qcom_pcie_enable_resources()
373 clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks); in qcom_pcie_enable_resources()
380 icc_set_bw(pcie_ep->icc_mem, 0, 0); in qcom_pcie_disable_resources()
381 phy_power_off(pcie_ep->phy); in qcom_pcie_disable_resources()
382 phy_exit(pcie_ep->phy); in qcom_pcie_disable_resources()
383 clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks); in qcom_pcie_disable_resources()
389 struct device *dev = pci->dev; in qcom_pcie_perst_deassert()
400 pci_epc_deinit_notify(pci->ep.epc); in qcom_pcie_perst_deassert()
401 dw_pcie_ep_cleanup(&pci->ep); in qcom_pcie_perst_deassert()
404 gpiod_set_value_cansleep(pcie_ep->wake, 1); in qcom_pcie_perst_deassert()
406 gpiod_set_value_cansleep(pcie_ep->wake, 0); in qcom_pcie_perst_deassert()
410 /* Disable BDF to SID mapping */ in qcom_pcie_perst_deassert()
411 val = readl_relaxed(pcie_ep->parf + PARF_BDF_TO_SID_CFG); in qcom_pcie_perst_deassert()
413 writel_relaxed(val, pcie_ep->parf + PARF_BDF_TO_SID_CFG); in qcom_pcie_perst_deassert()
416 val = readl_relaxed(pcie_ep->parf + PARF_DEBUG_INT_EN); in qcom_pcie_perst_deassert()
420 writel_relaxed(val, pcie_ep->parf + PARF_DEBUG_INT_EN); in qcom_pcie_perst_deassert()
422 /* Configure PCIe to endpoint mode */ in qcom_pcie_perst_deassert()
423 writel_relaxed(PARF_DEVICE_TYPE_EP, pcie_ep->parf + PARF_DEVICE_TYPE); in qcom_pcie_perst_deassert()
426 val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL); in qcom_pcie_perst_deassert()
428 writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL); in qcom_pcie_perst_deassert()
431 val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES); in qcom_pcie_perst_deassert()
433 writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES); in qcom_pcie_perst_deassert()
436 val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT); in qcom_pcie_perst_deassert()
438 writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT); in qcom_pcie_perst_deassert()
440 /* Q2A flush disable */ in qcom_pcie_perst_deassert()
441 val = readl_relaxed(pcie_ep->parf + PARF_Q2A_FLUSH); in qcom_pcie_perst_deassert()
443 writel_relaxed(val, pcie_ep->parf + PARF_Q2A_FLUSH); in qcom_pcie_perst_deassert()
446 * Disable Master AXI clock during idle. Do not allow DBI access in qcom_pcie_perst_deassert()
447 * to take the core out of L1. Disable core clock gating that in qcom_pcie_perst_deassert()
451 val = readl_relaxed(pcie_ep->parf + PARF_SYS_CTRL); in qcom_pcie_perst_deassert()
456 writel_relaxed(val, pcie_ep->parf + PARF_SYS_CTRL); in qcom_pcie_perst_deassert()
458 /* Disable the debouncers */ in qcom_pcie_perst_deassert()
459 val = readl_relaxed(pcie_ep->parf + PARF_DB_CTRL); in qcom_pcie_perst_deassert()
463 writel_relaxed(val, pcie_ep->parf + PARF_DB_CTRL); in qcom_pcie_perst_deassert()
466 val = readl_relaxed(pcie_ep->parf + PARF_CFG_BITS); in qcom_pcie_perst_deassert()
468 writel_relaxed(val, pcie_ep->parf + PARF_CFG_BITS); in qcom_pcie_perst_deassert()
472 /* Set the L0s Exit Latency to 2us-4us = 0x6 */ in qcom_pcie_perst_deassert()
479 /* Set the L1 Exit Latency to be 32us-64 us = 0x6 */ in qcom_pcie_perst_deassert()
488 writel_relaxed(0, pcie_ep->parf + PARF_INT_ALL_MASK); in qcom_pcie_perst_deassert()
492 writel_relaxed(val, pcie_ep->parf + PARF_INT_ALL_MASK); in qcom_pcie_perst_deassert()
494 if (pcie_ep->cfg && pcie_ep->cfg->disable_mhi_ram_parity_check) { in qcom_pcie_perst_deassert()
495 val = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_5_MASK); in qcom_pcie_perst_deassert()
497 writel_relaxed(val, pcie_ep->parf + PARF_INT_ALL_5_MASK); in qcom_pcie_perst_deassert()
500 val = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_3_MASK); in qcom_pcie_perst_deassert()
502 writel_relaxed(val, pcie_ep->parf + PARF_INT_ALL_3_MASK); in qcom_pcie_perst_deassert()
504 ret = dw_pcie_ep_init_registers(&pcie_ep->pci.ep); in qcom_pcie_perst_deassert()
512 if (pcie_link_speed[pci->max_link_speed] == PCIE_SPEED_16_0GT) in qcom_pcie_perst_deassert()
519 writel_relaxed(pcie_ep->mmio_res->start, in qcom_pcie_perst_deassert()
520 pcie_ep->parf + PARF_MHI_BASE_ADDR_LOWER); in qcom_pcie_perst_deassert()
521 writel_relaxed(0, pcie_ep->parf + PARF_MHI_BASE_ADDR_UPPER); in qcom_pcie_perst_deassert()
524 val = readl_relaxed(pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL); in qcom_pcie_perst_deassert()
526 writel_relaxed(val, pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL); in qcom_pcie_perst_deassert()
528 pci_epc_init_notify(pcie_ep->pci.ep.epc); in qcom_pcie_perst_deassert()
531 val = readl_relaxed(pcie_ep->parf + PARF_LTSSM); in qcom_pcie_perst_deassert()
533 writel_relaxed(val, pcie_ep->parf + PARF_LTSSM); in qcom_pcie_perst_deassert()
535 if (pcie_ep->cfg && pcie_ep->cfg->override_no_snoop) in qcom_pcie_perst_deassert()
537 pcie_ep->parf + PARF_NO_SNOOP_OVERRIDE); in qcom_pcie_perst_deassert()
552 pcie_ep->link_status = QCOM_PCIE_EP_LINK_DISABLED; in qcom_pcie_perst_assert()
566 struct device *dev = &pdev->dev; in qcom_pcie_ep_get_io_resources()
567 struct dw_pcie *pci = &pcie_ep->pci; in qcom_pcie_ep_get_io_resources()
572 pcie_ep->parf = devm_platform_ioremap_resource_byname(pdev, "parf"); in qcom_pcie_ep_get_io_resources()
573 if (IS_ERR(pcie_ep->parf)) in qcom_pcie_ep_get_io_resources()
574 return PTR_ERR(pcie_ep->parf); in qcom_pcie_ep_get_io_resources()
577 pci->dbi_base = devm_pci_remap_cfg_resource(dev, res); in qcom_pcie_ep_get_io_resources()
578 if (IS_ERR(pci->dbi_base)) in qcom_pcie_ep_get_io_resources()
579 return PTR_ERR(pci->dbi_base); in qcom_pcie_ep_get_io_resources()
580 pci->dbi_base2 = pci->dbi_base; in qcom_pcie_ep_get_io_resources()
582 pcie_ep->mmio_res = platform_get_resource_byname(pdev, IORESOURCE_MEM, in qcom_pcie_ep_get_io_resources()
584 if (!pcie_ep->mmio_res) { in qcom_pcie_ep_get_io_resources()
586 return -EINVAL; in qcom_pcie_ep_get_io_resources()
589 pcie_ep->mmio = devm_pci_remap_cfg_resource(dev, pcie_ep->mmio_res); in qcom_pcie_ep_get_io_resources()
590 if (IS_ERR(pcie_ep->mmio)) in qcom_pcie_ep_get_io_resources()
591 return PTR_ERR(pcie_ep->mmio); in qcom_pcie_ep_get_io_resources()
593 syscon = of_parse_phandle(dev->of_node, "qcom,perst-regs", 0); in qcom_pcie_ep_get_io_resources()
599 pcie_ep->perst_map = syscon_node_to_regmap(syscon); in qcom_pcie_ep_get_io_resources()
601 if (IS_ERR(pcie_ep->perst_map)) in qcom_pcie_ep_get_io_resources()
602 return PTR_ERR(pcie_ep->perst_map); in qcom_pcie_ep_get_io_resources()
604 ret = of_property_read_u32_index(dev->of_node, "qcom,perst-regs", in qcom_pcie_ep_get_io_resources()
605 1, &pcie_ep->perst_en); in qcom_pcie_ep_get_io_resources()
611 ret = of_property_read_u32_index(dev->of_node, "qcom,perst-regs", in qcom_pcie_ep_get_io_resources()
612 2, &pcie_ep->perst_sep_en); in qcom_pcie_ep_get_io_resources()
624 struct device *dev = &pdev->dev; in qcom_pcie_ep_get_resources()
633 pcie_ep->num_clks = devm_clk_bulk_get_all(dev, &pcie_ep->clks); in qcom_pcie_ep_get_resources()
634 if (pcie_ep->num_clks < 0) { in qcom_pcie_ep_get_resources()
636 return pcie_ep->num_clks; in qcom_pcie_ep_get_resources()
639 pcie_ep->core_reset = devm_reset_control_get_exclusive(dev, "core"); in qcom_pcie_ep_get_resources()
640 if (IS_ERR(pcie_ep->core_reset)) in qcom_pcie_ep_get_resources()
641 return PTR_ERR(pcie_ep->core_reset); in qcom_pcie_ep_get_resources()
643 pcie_ep->reset = devm_gpiod_get(dev, "reset", GPIOD_IN); in qcom_pcie_ep_get_resources()
644 if (IS_ERR(pcie_ep->reset)) in qcom_pcie_ep_get_resources()
645 return PTR_ERR(pcie_ep->reset); in qcom_pcie_ep_get_resources()
647 pcie_ep->wake = devm_gpiod_get_optional(dev, "wake", GPIOD_OUT_LOW); in qcom_pcie_ep_get_resources()
648 if (IS_ERR(pcie_ep->wake)) in qcom_pcie_ep_get_resources()
649 return PTR_ERR(pcie_ep->wake); in qcom_pcie_ep_get_resources()
651 pcie_ep->phy = devm_phy_optional_get(dev, "pciephy"); in qcom_pcie_ep_get_resources()
652 if (IS_ERR(pcie_ep->phy)) in qcom_pcie_ep_get_resources()
653 ret = PTR_ERR(pcie_ep->phy); in qcom_pcie_ep_get_resources()
655 pcie_ep->icc_mem = devm_of_icc_get(dev, "pcie-mem"); in qcom_pcie_ep_get_resources()
656 if (IS_ERR(pcie_ep->icc_mem)) in qcom_pcie_ep_get_resources()
657 ret = PTR_ERR(pcie_ep->icc_mem); in qcom_pcie_ep_get_resources()
666 struct dw_pcie *pci = &pcie_ep->pci; in qcom_pcie_ep_global_irq_thread()
667 struct device *dev = pci->dev; in qcom_pcie_ep_global_irq_thread()
668 u32 status = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_STATUS); in qcom_pcie_ep_global_irq_thread()
671 writel_relaxed(status, pcie_ep->parf + PARF_INT_ALL_CLEAR); in qcom_pcie_ep_global_irq_thread()
675 pcie_ep->link_status = QCOM_PCIE_EP_LINK_DOWN; in qcom_pcie_ep_global_irq_thread()
676 dw_pcie_ep_linkdown(&pci->ep); in qcom_pcie_ep_global_irq_thread()
679 pcie_ep->link_status = QCOM_PCIE_EP_LINK_ENABLED; in qcom_pcie_ep_global_irq_thread()
681 pci_epc_bus_master_enable_notify(pci->ep.epc); in qcom_pcie_ep_global_irq_thread()
683 dev_dbg(dev, "Received PM Turn-off event! Entering L23\n"); in qcom_pcie_ep_global_irq_thread()
684 val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL); in qcom_pcie_ep_global_irq_thread()
686 writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL); in qcom_pcie_ep_global_irq_thread()
692 val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL); in qcom_pcie_ep_global_irq_thread()
694 writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL); in qcom_pcie_ep_global_irq_thread()
698 dw_pcie_ep_linkup(&pci->ep); in qcom_pcie_ep_global_irq_thread()
699 pcie_ep->link_status = QCOM_PCIE_EP_LINK_UP; in qcom_pcie_ep_global_irq_thread()
711 struct dw_pcie *pci = &pcie_ep->pci; in qcom_pcie_ep_perst_irq_thread()
712 struct device *dev = pci->dev; in qcom_pcie_ep_perst_irq_thread()
715 perst = gpiod_get_value(pcie_ep->reset); in qcom_pcie_ep_perst_irq_thread()
720 dev_dbg(dev, "PERST de-asserted by host. Starting link training!\n"); in qcom_pcie_ep_perst_irq_thread()
724 irq_set_irq_type(gpiod_to_irq(pcie_ep->reset), in qcom_pcie_ep_perst_irq_thread()
733 struct device *dev = pcie_ep->pci.dev; in qcom_pcie_ep_enable_irq_resources()
738 pcie_ep->pci.ep.epc->domain_nr); in qcom_pcie_ep_enable_irq_resources()
740 return -ENOMEM; in qcom_pcie_ep_enable_irq_resources()
742 pcie_ep->global_irq = platform_get_irq_byname(pdev, "global"); in qcom_pcie_ep_enable_irq_resources()
743 if (pcie_ep->global_irq < 0) in qcom_pcie_ep_enable_irq_resources()
744 return pcie_ep->global_irq; in qcom_pcie_ep_enable_irq_resources()
746 ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->global_irq, NULL, in qcom_pcie_ep_enable_irq_resources()
751 dev_err(&pdev->dev, "Failed to request Global IRQ\n"); in qcom_pcie_ep_enable_irq_resources()
756 pcie_ep->pci.ep.epc->domain_nr); in qcom_pcie_ep_enable_irq_resources()
758 return -ENOMEM; in qcom_pcie_ep_enable_irq_resources()
760 pcie_ep->perst_irq = gpiod_to_irq(pcie_ep->reset); in qcom_pcie_ep_enable_irq_resources()
761 irq_set_status_flags(pcie_ep->perst_irq, IRQ_NOAUTOEN); in qcom_pcie_ep_enable_irq_resources()
762 ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->perst_irq, NULL, in qcom_pcie_ep_enable_irq_resources()
767 dev_err(&pdev->dev, "Failed to request PERST IRQ\n"); in qcom_pcie_ep_enable_irq_resources()
768 disable_irq(pcie_ep->global_irq); in qcom_pcie_ep_enable_irq_resources()
786 dev_err(pci->dev, "Unknown IRQ type\n"); in qcom_pcie_ep_raise_irq()
787 return -EINVAL; in qcom_pcie_ep_raise_irq()
794 dev_get_drvdata(s->private); in qcom_pcie_ep_link_transition_count()
797 readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L0S)); in qcom_pcie_ep_link_transition_count()
800 readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L1)); in qcom_pcie_ep_link_transition_count()
803 readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L1)); in qcom_pcie_ep_link_transition_count()
806 readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L2)); in qcom_pcie_ep_link_transition_count()
809 readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L2)); in qcom_pcie_ep_link_transition_count()
816 struct dw_pcie *pci = &pcie_ep->pci; in qcom_pcie_ep_init_debugfs()
818 debugfs_create_devm_seqfile(pci->dev, "link_transition_count", pcie_ep->debugfs, in qcom_pcie_ep_init_debugfs()
855 struct device *dev = &pdev->dev; in qcom_pcie_ep_probe()
862 return -ENOMEM; in qcom_pcie_ep_probe()
864 pcie_ep->pci.dev = dev; in qcom_pcie_ep_probe()
865 pcie_ep->pci.ops = &pci_ops; in qcom_pcie_ep_probe()
866 pcie_ep->pci.ep.ops = &pci_ep_ops; in qcom_pcie_ep_probe()
868 pcie_ep->cfg = of_device_get_match_data(dev); in qcom_pcie_ep_probe()
869 if (pcie_ep->cfg && pcie_ep->cfg->hdma_support) { in qcom_pcie_ep_probe()
870 pcie_ep->pci.edma.ll_wr_cnt = 8; in qcom_pcie_ep_probe()
871 pcie_ep->pci.edma.ll_rd_cnt = 8; in qcom_pcie_ep_probe()
872 pcie_ep->pci.edma.mf = EDMA_MF_HDMA_NATIVE; in qcom_pcie_ep_probe()
881 ret = dw_pcie_ep_init(&pcie_ep->pci.ep); in qcom_pcie_ep_probe()
891 name = devm_kasprintf(dev, GFP_KERNEL, "%pOFP", dev->of_node); in qcom_pcie_ep_probe()
893 ret = -ENOMEM; in qcom_pcie_ep_probe()
897 pcie_ep->debugfs = debugfs_create_dir(name, NULL); in qcom_pcie_ep_probe()
903 disable_irq(pcie_ep->global_irq); in qcom_pcie_ep_probe()
904 disable_irq(pcie_ep->perst_irq); in qcom_pcie_ep_probe()
907 dw_pcie_ep_deinit(&pcie_ep->pci.ep); in qcom_pcie_ep_probe()
916 disable_irq(pcie_ep->global_irq); in qcom_pcie_ep_remove()
917 disable_irq(pcie_ep->perst_irq); in qcom_pcie_ep_remove()
919 debugfs_remove_recursive(pcie_ep->debugfs); in qcom_pcie_ep_remove()
921 if (pcie_ep->link_status == QCOM_PCIE_EP_LINK_DISABLED) in qcom_pcie_ep_remove()
934 { .compatible = "qcom,sa8775p-pcie-ep", .data = &cfg_1_34_0},
935 { .compatible = "qcom,sdx55-pcie-ep", },
936 { .compatible = "qcom,sm8450-pcie-ep", },
937 { .compatible = "qcom,sar2130p-pcie-ep", },
946 .name = "qcom-pcie-ep",