228 static int qcom_pcie_ep_core_reset(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_core_reset()  argument
230 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_core_reset()
234 	ret = reset_control_assert(pcie_ep->core_reset);  in qcom_pcie_ep_core_reset()
242 	ret = reset_control_deassert(pcie_ep->core_reset);  in qcom_pcie_ep_core_reset()
258 static void qcom_pcie_ep_configure_tcsr(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_configure_tcsr()  argument
260 	if (pcie_ep->perst_map) {  in qcom_pcie_ep_configure_tcsr()
261 		regmap_write(pcie_ep->perst_map, pcie_ep->perst_en, 0);  in qcom_pcie_ep_configure_tcsr()
262 		regmap_write(pcie_ep->perst_map, pcie_ep->perst_sep_en, 0);  in qcom_pcie_ep_configure_tcsr()
277 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_start_link()  local
279 	enable_irq(pcie_ep->perst_irq);  in qcom_pcie_dw_start_link()
286 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_stop_link()  local
288 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_dw_stop_link()
305 static void qcom_pcie_ep_icc_update(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_icc_update()  argument
307 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_icc_update()
312 	if (!pcie_ep->icc_mem)  in qcom_pcie_ep_icc_update()
321 	ret = icc_set_bw(pcie_ep->icc_mem, 0, width * QCOM_PCIE_LINK_SPEED_TO_BW(speed));  in qcom_pcie_ep_icc_update()
327 static int qcom_pcie_enable_resources(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_enable_resources()  argument
329 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_enable_resources()
332 	ret = clk_bulk_prepare_enable(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_enable_resources()
336 	ret = qcom_pcie_ep_core_reset(pcie_ep);  in qcom_pcie_enable_resources()
340 	ret = phy_init(pcie_ep->phy);  in qcom_pcie_enable_resources()
344 	ret = phy_set_mode_ext(pcie_ep->phy, PHY_MODE_PCIE, PHY_MODE_PCIE_EP);  in qcom_pcie_enable_resources()
348 	ret = phy_power_on(pcie_ep->phy);  in qcom_pcie_enable_resources()
359 	ret = icc_set_bw(pcie_ep->icc_mem, 0, QCOM_PCIE_LINK_SPEED_TO_BW(1));  in qcom_pcie_enable_resources()
369 	phy_power_off(pcie_ep->phy);  in qcom_pcie_enable_resources()
371 	phy_exit(pcie_ep->phy);  in qcom_pcie_enable_resources()
373 	clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_enable_resources()
378 static void qcom_pcie_disable_resources(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_disable_resources()  argument
380 	icc_set_bw(pcie_ep->icc_mem, 0, 0);  in qcom_pcie_disable_resources()
381 	phy_power_off(pcie_ep->phy);  in qcom_pcie_disable_resources()
382 	phy_exit(pcie_ep->phy);  in qcom_pcie_disable_resources()
383 	clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_disable_resources()
388 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_perst_deassert()  local
393 	ret = qcom_pcie_enable_resources(pcie_ep);  in qcom_pcie_perst_deassert()
404 	gpiod_set_value_cansleep(pcie_ep->wake, 1);  in qcom_pcie_perst_deassert()
406 	gpiod_set_value_cansleep(pcie_ep->wake, 0);  in qcom_pcie_perst_deassert()
408 	qcom_pcie_ep_configure_tcsr(pcie_ep);  in qcom_pcie_perst_deassert()
411 	val = readl_relaxed(pcie_ep->parf + PARF_BDF_TO_SID_CFG);  in qcom_pcie_perst_deassert()
413 	writel_relaxed(val, pcie_ep->parf + PARF_BDF_TO_SID_CFG);  in qcom_pcie_perst_deassert()
416 	val = readl_relaxed(pcie_ep->parf + PARF_DEBUG_INT_EN);  in qcom_pcie_perst_deassert()
420 	writel_relaxed(val, pcie_ep->parf + PARF_DEBUG_INT_EN);  in qcom_pcie_perst_deassert()
423 	writel_relaxed(PARF_DEVICE_TYPE_EP, pcie_ep->parf + PARF_DEVICE_TYPE);  in qcom_pcie_perst_deassert()
426 	val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_perst_deassert()
428 	writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_perst_deassert()
431 	val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES);  in qcom_pcie_perst_deassert()
433 	writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES);  in qcom_pcie_perst_deassert()
436 	val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT);  in qcom_pcie_perst_deassert()
438 	writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT);  in qcom_pcie_perst_deassert()
441 	val = readl_relaxed(pcie_ep->parf + PARF_Q2A_FLUSH);  in qcom_pcie_perst_deassert()
443 	writel_relaxed(val, pcie_ep->parf + PARF_Q2A_FLUSH);  in qcom_pcie_perst_deassert()
451 	val = readl_relaxed(pcie_ep->parf + PARF_SYS_CTRL);  in qcom_pcie_perst_deassert()
456 	writel_relaxed(val, pcie_ep->parf + PARF_SYS_CTRL);  in qcom_pcie_perst_deassert()
459 	val = readl_relaxed(pcie_ep->parf + PARF_DB_CTRL);  in qcom_pcie_perst_deassert()
463 	writel_relaxed(val, pcie_ep->parf + PARF_DB_CTRL);  in qcom_pcie_perst_deassert()
466 	val = readl_relaxed(pcie_ep->parf + PARF_CFG_BITS);  in qcom_pcie_perst_deassert()
468 	writel_relaxed(val, pcie_ep->parf + PARF_CFG_BITS);  in qcom_pcie_perst_deassert()
488 	writel_relaxed(0, pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_perst_deassert()
492 	writel_relaxed(val, pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_perst_deassert()
494 	if (pcie_ep->cfg && pcie_ep->cfg->disable_mhi_ram_parity_check) {  in qcom_pcie_perst_deassert()
495 		val = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_5_MASK);  in qcom_pcie_perst_deassert()
497 		writel_relaxed(val, pcie_ep->parf + PARF_INT_ALL_5_MASK);  in qcom_pcie_perst_deassert()
500 	val = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_3_MASK);  in qcom_pcie_perst_deassert()
502 	writel_relaxed(val, pcie_ep->parf + PARF_INT_ALL_3_MASK);  in qcom_pcie_perst_deassert()
504 	ret = dw_pcie_ep_init_registers(&pcie_ep->pci.ep);  in qcom_pcie_perst_deassert()
519 	writel_relaxed(pcie_ep->mmio_res->start,  in qcom_pcie_perst_deassert()
520 		       pcie_ep->parf + PARF_MHI_BASE_ADDR_LOWER);  in qcom_pcie_perst_deassert()
521 	writel_relaxed(0, pcie_ep->parf + PARF_MHI_BASE_ADDR_UPPER);  in qcom_pcie_perst_deassert()
524 	val = readl_relaxed(pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL);  in qcom_pcie_perst_deassert()
526 	writel_relaxed(val, pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL);  in qcom_pcie_perst_deassert()
528 	pci_epc_init_notify(pcie_ep->pci.ep.epc);  in qcom_pcie_perst_deassert()
531 	val = readl_relaxed(pcie_ep->parf + PARF_LTSSM);  in qcom_pcie_perst_deassert()
533 	writel_relaxed(val, pcie_ep->parf + PARF_LTSSM);  in qcom_pcie_perst_deassert()
535 	if (pcie_ep->cfg && pcie_ep->cfg->override_no_snoop)  in qcom_pcie_perst_deassert()
537 				pcie_ep->parf + PARF_NO_SNOOP_OVERRIDE);  in qcom_pcie_perst_deassert()
542 	qcom_pcie_disable_resources(pcie_ep);  in qcom_pcie_perst_deassert()
549 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_perst_assert()  local
551 	qcom_pcie_disable_resources(pcie_ep);  in qcom_pcie_perst_assert()
552 	pcie_ep->link_status = QCOM_PCIE_EP_LINK_DISABLED;  in qcom_pcie_perst_assert()
564 					 struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_get_io_resources()  argument
567 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_get_io_resources()
572 	pcie_ep->parf = devm_platform_ioremap_resource_byname(pdev, "parf");  in qcom_pcie_ep_get_io_resources()
573 	if (IS_ERR(pcie_ep->parf))  in qcom_pcie_ep_get_io_resources()
574 		return PTR_ERR(pcie_ep->parf);  in qcom_pcie_ep_get_io_resources()
582 	pcie_ep->mmio_res = platform_get_resource_byname(pdev, IORESOURCE_MEM,  in qcom_pcie_ep_get_io_resources()
584 	if (!pcie_ep->mmio_res) {  in qcom_pcie_ep_get_io_resources()
589 	pcie_ep->mmio = devm_pci_remap_cfg_resource(dev, pcie_ep->mmio_res);  in qcom_pcie_ep_get_io_resources()
590 	if (IS_ERR(pcie_ep->mmio))  in qcom_pcie_ep_get_io_resources()
591 		return PTR_ERR(pcie_ep->mmio);  in qcom_pcie_ep_get_io_resources()
599 	pcie_ep->perst_map = syscon_node_to_regmap(syscon);  in qcom_pcie_ep_get_io_resources()
601 	if (IS_ERR(pcie_ep->perst_map))  in qcom_pcie_ep_get_io_resources()
602 		return PTR_ERR(pcie_ep->perst_map);  in qcom_pcie_ep_get_io_resources()
605 					 1, &pcie_ep->perst_en);  in qcom_pcie_ep_get_io_resources()
612 					 2, &pcie_ep->perst_sep_en);  in qcom_pcie_ep_get_io_resources()
622 				      struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_get_resources()  argument
627 	ret = qcom_pcie_ep_get_io_resources(pdev, pcie_ep);  in qcom_pcie_ep_get_resources()
633 	pcie_ep->num_clks = devm_clk_bulk_get_all(dev, &pcie_ep->clks);  in qcom_pcie_ep_get_resources()
634 	if (pcie_ep->num_clks < 0) {  in qcom_pcie_ep_get_resources()
636 		return pcie_ep->num_clks;  in qcom_pcie_ep_get_resources()
639 	pcie_ep->core_reset = devm_reset_control_get_exclusive(dev, "core");  in qcom_pcie_ep_get_resources()
640 	if (IS_ERR(pcie_ep->core_reset))  in qcom_pcie_ep_get_resources()
641 		return PTR_ERR(pcie_ep->core_reset);  in qcom_pcie_ep_get_resources()
643 	pcie_ep->reset = devm_gpiod_get(dev, "reset", GPIOD_IN);  in qcom_pcie_ep_get_resources()
644 	if (IS_ERR(pcie_ep->reset))  in qcom_pcie_ep_get_resources()
645 		return PTR_ERR(pcie_ep->reset);  in qcom_pcie_ep_get_resources()
647 	pcie_ep->wake = devm_gpiod_get_optional(dev, "wake", GPIOD_OUT_LOW);  in qcom_pcie_ep_get_resources()
648 	if (IS_ERR(pcie_ep->wake))  in qcom_pcie_ep_get_resources()
649 		return PTR_ERR(pcie_ep->wake);  in qcom_pcie_ep_get_resources()
651 	pcie_ep->phy = devm_phy_optional_get(dev, "pciephy");  in qcom_pcie_ep_get_resources()
652 	if (IS_ERR(pcie_ep->phy))  in qcom_pcie_ep_get_resources()
653 		ret = PTR_ERR(pcie_ep->phy);  in qcom_pcie_ep_get_resources()
655 	pcie_ep->icc_mem = devm_of_icc_get(dev, "pcie-mem");  in qcom_pcie_ep_get_resources()
656 	if (IS_ERR(pcie_ep->icc_mem))  in qcom_pcie_ep_get_resources()
657 		ret = PTR_ERR(pcie_ep->icc_mem);  in qcom_pcie_ep_get_resources()
665 	struct qcom_pcie_ep *pcie_ep = data;  in qcom_pcie_ep_global_irq_thread()  local
666 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_global_irq_thread()
668 	u32 status = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_STATUS);  in qcom_pcie_ep_global_irq_thread()
671 	writel_relaxed(status, pcie_ep->parf + PARF_INT_ALL_CLEAR);  in qcom_pcie_ep_global_irq_thread()
675 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_DOWN;  in qcom_pcie_ep_global_irq_thread()
679 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_ENABLED;  in qcom_pcie_ep_global_irq_thread()
680 		qcom_pcie_ep_icc_update(pcie_ep);  in qcom_pcie_ep_global_irq_thread()
684 		val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
686 		writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
692 			val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
694 			writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
699 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_UP;  in qcom_pcie_ep_global_irq_thread()
710 	struct qcom_pcie_ep *pcie_ep = data;  in qcom_pcie_ep_perst_irq_thread()  local
711 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_perst_irq_thread()
715 	perst = gpiod_get_value(pcie_ep->reset);  in qcom_pcie_ep_perst_irq_thread()
724 	irq_set_irq_type(gpiod_to_irq(pcie_ep->reset),  in qcom_pcie_ep_perst_irq_thread()
731 					     struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_enable_irq_resources()  argument
733 	struct device *dev = pcie_ep->pci.dev;  in qcom_pcie_ep_enable_irq_resources()
738 			      pcie_ep->pci.ep.epc->domain_nr);  in qcom_pcie_ep_enable_irq_resources()
742 	pcie_ep->global_irq = platform_get_irq_byname(pdev, "global");  in qcom_pcie_ep_enable_irq_resources()
743 	if (pcie_ep->global_irq < 0)  in qcom_pcie_ep_enable_irq_resources()
744 		return pcie_ep->global_irq;  in qcom_pcie_ep_enable_irq_resources()
746 	ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->global_irq, NULL,  in qcom_pcie_ep_enable_irq_resources()
749 					name, pcie_ep);  in qcom_pcie_ep_enable_irq_resources()
756 			      pcie_ep->pci.ep.epc->domain_nr);  in qcom_pcie_ep_enable_irq_resources()
760 	pcie_ep->perst_irq = gpiod_to_irq(pcie_ep->reset);  in qcom_pcie_ep_enable_irq_resources()
761 	irq_set_status_flags(pcie_ep->perst_irq, IRQ_NOAUTOEN);  in qcom_pcie_ep_enable_irq_resources()
762 	ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->perst_irq, NULL,  in qcom_pcie_ep_enable_irq_resources()
765 					name, pcie_ep);  in qcom_pcie_ep_enable_irq_resources()
768 		disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_enable_irq_resources()
793 	struct qcom_pcie_ep *pcie_ep = (struct qcom_pcie_ep *)  in qcom_pcie_ep_link_transition_count()  local
797 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L0S));  in qcom_pcie_ep_link_transition_count()
800 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L1));  in qcom_pcie_ep_link_transition_count()
803 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L1));  in qcom_pcie_ep_link_transition_count()
806 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L2));  in qcom_pcie_ep_link_transition_count()
809 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L2));  in qcom_pcie_ep_link_transition_count()
814 static void qcom_pcie_ep_init_debugfs(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_init_debugfs()  argument
816 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_init_debugfs()
818 	debugfs_create_devm_seqfile(pci->dev, "link_transition_count", pcie_ep->debugfs,  in qcom_pcie_ep_init_debugfs()
856 	struct qcom_pcie_ep *pcie_ep;  in qcom_pcie_ep_probe()  local
860 	pcie_ep = devm_kzalloc(dev, sizeof(*pcie_ep), GFP_KERNEL);  in qcom_pcie_ep_probe()
861 	if (!pcie_ep)  in qcom_pcie_ep_probe()
864 	pcie_ep->pci.dev = dev;  in qcom_pcie_ep_probe()
865 	pcie_ep->pci.ops = &pci_ops;  in qcom_pcie_ep_probe()
866 	pcie_ep->pci.ep.ops = &pci_ep_ops;  in qcom_pcie_ep_probe()
868 	pcie_ep->cfg = of_device_get_match_data(dev);  in qcom_pcie_ep_probe()
869 	if (pcie_ep->cfg && pcie_ep->cfg->hdma_support) {  in qcom_pcie_ep_probe()
870 		pcie_ep->pci.edma.ll_wr_cnt = 8;  in qcom_pcie_ep_probe()
871 		pcie_ep->pci.edma.ll_rd_cnt = 8;  in qcom_pcie_ep_probe()
872 		pcie_ep->pci.edma.mf = EDMA_MF_HDMA_NATIVE;  in qcom_pcie_ep_probe()
875 	platform_set_drvdata(pdev, pcie_ep);  in qcom_pcie_ep_probe()
877 	ret = qcom_pcie_ep_get_resources(pdev, pcie_ep);  in qcom_pcie_ep_probe()
881 	ret = dw_pcie_ep_init(&pcie_ep->pci.ep);  in qcom_pcie_ep_probe()
887 	ret = qcom_pcie_ep_enable_irq_resources(pdev, pcie_ep);  in qcom_pcie_ep_probe()
897 	pcie_ep->debugfs = debugfs_create_dir(name, NULL);  in qcom_pcie_ep_probe()
898 	qcom_pcie_ep_init_debugfs(pcie_ep);  in qcom_pcie_ep_probe()
903 	disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_probe()
904 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_ep_probe()
907 	dw_pcie_ep_deinit(&pcie_ep->pci.ep);  in qcom_pcie_ep_probe()
914 	struct qcom_pcie_ep *pcie_ep = platform_get_drvdata(pdev);  in qcom_pcie_ep_remove()  local
916 	disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_remove()
917 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_ep_remove()
919 	debugfs_remove_recursive(pcie_ep->debugfs);  in qcom_pcie_ep_remove()
921 	if (pcie_ep->link_status == QCOM_PCIE_EP_LINK_DISABLED)  in qcom_pcie_ep_remove()
924 	qcom_pcie_disable_resources(pcie_ep);  in qcom_pcie_ep_remove()