62 /* Root Port Error Register definitions */
67 /* Root Port Interrupt Register definitions */
70 /* Root Port Status/control Register definitions */
102  * struct pl_dma_pcie - PCIe port information
133 static inline u32 pcie_read(struct pl_dma_pcie *port, u32 reg)  in pcie_read()  argument
135 	if (port->variant->version == QDMA)  in pcie_read()
136 		return readl(port->reg_base + reg + QDMA_BRIDGE_BASE_OFF);  in pcie_read()
138 	return readl(port->reg_base + reg);  in pcie_read()
141 static inline void pcie_write(struct pl_dma_pcie *port, u32 val, u32 reg)  in pcie_write()  argument
143 	if (port->variant->version == QDMA)  in pcie_write()
144 		writel(val, port->reg_base + reg + QDMA_BRIDGE_BASE_OFF);  in pcie_write()
146 		writel(val, port->reg_base + reg);  in pcie_write()
149 static inline bool xilinx_pl_dma_pcie_link_up(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_link_up()  argument
151 	return (pcie_read(port, XILINX_PCIE_DMA_REG_PSCR) &  in xilinx_pl_dma_pcie_link_up()
155 static void xilinx_pl_dma_pcie_clear_err_interrupts(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_clear_err_interrupts()  argument
157 	unsigned long val = pcie_read(port, XILINX_PCIE_DMA_REG_RPEFR);  in xilinx_pl_dma_pcie_clear_err_interrupts()
160 		dev_dbg(port->dev, "Requester ID %lu\n",  in xilinx_pl_dma_pcie_clear_err_interrupts()
162 		pcie_write(port, XILINX_PCIE_DMA_RPEFR_ALL_MASK,  in xilinx_pl_dma_pcie_clear_err_interrupts()
170 	struct pl_dma_pcie *port = bus->sysdata;  in xilinx_pl_dma_pcie_valid_device()  local
183 		if (!xilinx_pl_dma_pcie_link_up(port))  in xilinx_pl_dma_pcie_valid_device()
186 		/* Only one device down on each root port */  in xilinx_pl_dma_pcie_valid_device()
195 	struct pl_dma_pcie *port = bus->sysdata;  in xilinx_pl_dma_pcie_map_bus()  local
200 	if (port->variant->version == QDMA)  in xilinx_pl_dma_pcie_map_bus()
201 		return port->cfg_base + PCIE_ECAM_OFFSET(bus->number, devfn, where);  in xilinx_pl_dma_pcie_map_bus()
203 	return port->reg_base + PCIE_ECAM_OFFSET(bus->number, devfn, where);  in xilinx_pl_dma_pcie_map_bus()
215 static void xilinx_pl_dma_pcie_enable_msi(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_enable_msi()  argument
217 	phys_addr_t msi_addr = port->phys_reg_base;  in xilinx_pl_dma_pcie_enable_msi()
219 	pcie_write(port, upper_32_bits(msi_addr), XILINX_PCIE_DMA_REG_MSIBASE1);  in xilinx_pl_dma_pcie_enable_msi()
220 	pcie_write(port, lower_32_bits(msi_addr), XILINX_PCIE_DMA_REG_MSIBASE2);  in xilinx_pl_dma_pcie_enable_msi()
225 	struct pl_dma_pcie *port = irq_data_get_irq_chip_data(data);  in xilinx_mask_intx_irq()  local
230 	raw_spin_lock_irqsave(&port->lock, flags);  in xilinx_mask_intx_irq()
231 	val = pcie_read(port, XILINX_PCIE_DMA_REG_IDRN_MASK);  in xilinx_mask_intx_irq()
232 	pcie_write(port, (val & (~mask)), XILINX_PCIE_DMA_REG_IDRN_MASK);  in xilinx_mask_intx_irq()
233 	raw_spin_unlock_irqrestore(&port->lock, flags);  in xilinx_mask_intx_irq()
238 	struct pl_dma_pcie *port = irq_data_get_irq_chip_data(data);  in xilinx_unmask_intx_irq()  local
243 	raw_spin_lock_irqsave(&port->lock, flags);  in xilinx_unmask_intx_irq()
244 	val = pcie_read(port, XILINX_PCIE_DMA_REG_IDRN_MASK);  in xilinx_unmask_intx_irq()
245 	pcie_write(port, (val | mask), XILINX_PCIE_DMA_REG_IDRN_MASK);  in xilinx_unmask_intx_irq()
246 	raw_spin_unlock_irqrestore(&port->lock, flags);  in xilinx_unmask_intx_irq()
275 	struct pl_dma_pcie *port = args;  in xilinx_pl_dma_pcie_msi_handler_high()  local
277 	msi = &port->msi;  in xilinx_pl_dma_pcie_msi_handler_high()
279 	while ((status = pcie_read(port, XILINX_PCIE_DMA_REG_MSI_HI)) != 0) {  in xilinx_pl_dma_pcie_msi_handler_high()
281 			pcie_write(port, 1 << bit, XILINX_PCIE_DMA_REG_MSI_HI);  in xilinx_pl_dma_pcie_msi_handler_high()
294 	struct pl_dma_pcie *port = args;  in xilinx_pl_dma_pcie_msi_handler_low()  local
299 	msi = &port->msi;  in xilinx_pl_dma_pcie_msi_handler_low()
301 	while ((status = pcie_read(port, XILINX_PCIE_DMA_REG_MSI_LOW)) != 0) {  in xilinx_pl_dma_pcie_msi_handler_low()
303 			pcie_write(port, 1 << bit, XILINX_PCIE_DMA_REG_MSI_LOW);  in xilinx_pl_dma_pcie_msi_handler_low()
315 	struct pl_dma_pcie *port = args;  in xilinx_pl_dma_pcie_event_flow()  local
319 	val = pcie_read(port, XILINX_PCIE_DMA_REG_IDR);  in xilinx_pl_dma_pcie_event_flow()
320 	val &= pcie_read(port, XILINX_PCIE_DMA_REG_IMR);  in xilinx_pl_dma_pcie_event_flow()
322 		generic_handle_domain_irq(port->pldma_domain, i);  in xilinx_pl_dma_pcie_event_flow()
324 	pcie_write(port, val, XILINX_PCIE_DMA_REG_IDR);  in xilinx_pl_dma_pcie_event_flow()
354 	struct pl_dma_pcie *port = (struct pl_dma_pcie *)dev_id;  in xilinx_pl_dma_pcie_intr_handler()  local
355 	struct device *dev = port->dev;  in xilinx_pl_dma_pcie_intr_handler()
358 	d = irq_domain_get_irq_data(port->pldma_domain, irq);  in xilinx_pl_dma_pcie_intr_handler()
363 		xilinx_pl_dma_pcie_clear_err_interrupts(port);  in xilinx_pl_dma_pcie_intr_handler()
448 static void xilinx_pl_dma_pcie_free_irq_domains(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_free_irq_domains()  argument
450 	struct xilinx_msi *msi = &port->msi;  in xilinx_pl_dma_pcie_free_irq_domains()
452 	if (port->intx_domain) {  in xilinx_pl_dma_pcie_free_irq_domains()
453 		irq_domain_remove(port->intx_domain);  in xilinx_pl_dma_pcie_free_irq_domains()
454 		port->intx_domain = NULL;  in xilinx_pl_dma_pcie_free_irq_domains()
463 static int xilinx_pl_dma_pcie_init_msi_irq_domain(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_init_msi_irq_domain()  argument
465 	struct device *dev = port->dev;  in xilinx_pl_dma_pcie_init_msi_irq_domain()
466 	struct xilinx_msi *msi = &port->msi;  in xilinx_pl_dma_pcie_init_msi_irq_domain()
469 		.fwnode		= dev_fwnode(port->dev),  in xilinx_pl_dma_pcie_init_msi_irq_domain()
471 		.host_data	= port,  in xilinx_pl_dma_pcie_init_msi_irq_domain()
484 	raw_spin_lock_init(&port->lock);  in xilinx_pl_dma_pcie_init_msi_irq_domain()
485 	xilinx_pl_dma_pcie_enable_msi(port);  in xilinx_pl_dma_pcie_init_msi_irq_domain()
490 	xilinx_pl_dma_pcie_free_irq_domains(port);  in xilinx_pl_dma_pcie_init_msi_irq_domain()
506 	struct pl_dma_pcie *port = args;  in xilinx_pl_dma_pcie_intx_flow()  local
509 			pcie_read(port, XILINX_PCIE_DMA_REG_IDRN));  in xilinx_pl_dma_pcie_intx_flow()
512 		generic_handle_domain_irq(port->intx_domain, i);  in xilinx_pl_dma_pcie_intx_flow()
518 	struct pl_dma_pcie *port = irq_data_get_irq_chip_data(d);  in xilinx_pl_dma_pcie_mask_event_irq()  local
521 	raw_spin_lock(&port->lock);  in xilinx_pl_dma_pcie_mask_event_irq()
522 	val = pcie_read(port, XILINX_PCIE_DMA_REG_IMR);  in xilinx_pl_dma_pcie_mask_event_irq()
524 	pcie_write(port, val, XILINX_PCIE_DMA_REG_IMR);  in xilinx_pl_dma_pcie_mask_event_irq()
525 	raw_spin_unlock(&port->lock);  in xilinx_pl_dma_pcie_mask_event_irq()
530 	struct pl_dma_pcie *port = irq_data_get_irq_chip_data(d);  in xilinx_pl_dma_pcie_unmask_event_irq()  local
533 	raw_spin_lock(&port->lock);  in xilinx_pl_dma_pcie_unmask_event_irq()
534 	val = pcie_read(port, XILINX_PCIE_DMA_REG_IMR);  in xilinx_pl_dma_pcie_unmask_event_irq()
536 	pcie_write(port, val, XILINX_PCIE_DMA_REG_IMR);  in xilinx_pl_dma_pcie_unmask_event_irq()
537 	raw_spin_unlock(&port->lock);  in xilinx_pl_dma_pcie_unmask_event_irq()
563  * @port: PCIe port information
567 static int xilinx_pl_dma_pcie_init_irq_domain(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_init_irq_domain()  argument
569 	struct device *dev = port->dev;  in xilinx_pl_dma_pcie_init_irq_domain()
581 	port->pldma_domain = irq_domain_create_linear(of_fwnode_handle(pcie_intc_node), 32,  in xilinx_pl_dma_pcie_init_irq_domain()
582 						      &event_domain_ops, port);  in xilinx_pl_dma_pcie_init_irq_domain()
583 	if (!port->pldma_domain)  in xilinx_pl_dma_pcie_init_irq_domain()
586 	irq_domain_update_bus_token(port->pldma_domain, DOMAIN_BUS_NEXUS);  in xilinx_pl_dma_pcie_init_irq_domain()
588 	port->intx_domain = irq_domain_create_linear(of_fwnode_handle(pcie_intc_node), PCI_NUM_INTX,  in xilinx_pl_dma_pcie_init_irq_domain()
589 						     &intx_domain_ops, port);  in xilinx_pl_dma_pcie_init_irq_domain()
590 	if (!port->intx_domain) {  in xilinx_pl_dma_pcie_init_irq_domain()
595 	irq_domain_update_bus_token(port->intx_domain, DOMAIN_BUS_WIRED);  in xilinx_pl_dma_pcie_init_irq_domain()
597 	ret = xilinx_pl_dma_pcie_init_msi_irq_domain(port);  in xilinx_pl_dma_pcie_init_irq_domain()
599 		irq_domain_remove(port->intx_domain);  in xilinx_pl_dma_pcie_init_irq_domain()
604 	raw_spin_lock_init(&port->lock);  in xilinx_pl_dma_pcie_init_irq_domain()
609 static int xilinx_pl_dma_pcie_setup_irq(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_setup_irq()  argument
611 	struct device *dev = port->dev;  in xilinx_pl_dma_pcie_setup_irq()
615 	port->irq = platform_get_irq(pdev, 0);  in xilinx_pl_dma_pcie_setup_irq()
616 	if (port->irq < 0)  in xilinx_pl_dma_pcie_setup_irq()
617 		return port->irq;  in xilinx_pl_dma_pcie_setup_irq()
625 		irq = irq_create_mapping(port->pldma_domain, i);  in xilinx_pl_dma_pcie_setup_irq()
634 				       intr_cause[i].sym, port);  in xilinx_pl_dma_pcie_setup_irq()
641 	port->intx_irq = irq_create_mapping(port->pldma_domain,  in xilinx_pl_dma_pcie_setup_irq()
643 	if (!port->intx_irq) {  in xilinx_pl_dma_pcie_setup_irq()
648 	err = devm_request_irq(dev, port->intx_irq, xilinx_pl_dma_pcie_intx_flow,  in xilinx_pl_dma_pcie_setup_irq()
649 			       IRQF_SHARED | IRQF_NO_THREAD, NULL, port);  in xilinx_pl_dma_pcie_setup_irq()
651 		dev_err(dev, "Failed to request INTx IRQ %d\n", port->intx_irq);  in xilinx_pl_dma_pcie_setup_irq()
655 	err = devm_request_irq(dev, port->irq, xilinx_pl_dma_pcie_event_flow,  in xilinx_pl_dma_pcie_setup_irq()
656 			       IRQF_SHARED | IRQF_NO_THREAD, NULL, port);  in xilinx_pl_dma_pcie_setup_irq()
658 		dev_err(dev, "Failed to request event IRQ %d\n", port->irq);  in xilinx_pl_dma_pcie_setup_irq()
665 static void xilinx_pl_dma_pcie_init_port(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_init_port()  argument
667 	if (xilinx_pl_dma_pcie_link_up(port))  in xilinx_pl_dma_pcie_init_port()
668 		dev_info(port->dev, "PCIe Link is UP\n");  in xilinx_pl_dma_pcie_init_port()
670 		dev_info(port->dev, "PCIe Link is DOWN\n");  in xilinx_pl_dma_pcie_init_port()
673 	pcie_write(port, ~XILINX_PCIE_DMA_IDR_ALL_MASK,  in xilinx_pl_dma_pcie_init_port()
677 	pcie_write(port, pcie_read(port, XILINX_PCIE_DMA_REG_IDR) &  in xilinx_pl_dma_pcie_init_port()
682 	pcie_write(port, XILINX_PCIE_DMA_IDR_ALL_MASK,  in xilinx_pl_dma_pcie_init_port()
684 	pcie_write(port, XILINX_PCIE_DMA_IDR_ALL_MASK,  in xilinx_pl_dma_pcie_init_port()
688 	pcie_write(port, pcie_read(port, XILINX_PCIE_DMA_REG_RPSC) |  in xilinx_pl_dma_pcie_init_port()
693 static int xilinx_request_msi_irq(struct pl_dma_pcie *port)  in xilinx_request_msi_irq()  argument
695 	struct device *dev = port->dev;  in xilinx_request_msi_irq()
699 	port->msi.irq_msi0 = platform_get_irq_byname(pdev, "msi0");  in xilinx_request_msi_irq()
700 	if (port->msi.irq_msi0 <= 0)  in xilinx_request_msi_irq()
701 		return port->msi.irq_msi0;  in xilinx_request_msi_irq()
703 	ret = devm_request_irq(dev, port->msi.irq_msi0, xilinx_pl_dma_pcie_msi_handler_low,  in xilinx_request_msi_irq()
705 			       port);  in xilinx_request_msi_irq()
711 	port->msi.irq_msi1 = platform_get_irq_byname(pdev, "msi1");  in xilinx_request_msi_irq()
712 	if (port->msi.irq_msi1 <= 0)  in xilinx_request_msi_irq()
713 		return port->msi.irq_msi1;  in xilinx_request_msi_irq()
715 	ret = devm_request_irq(dev, port->msi.irq_msi1, xilinx_pl_dma_pcie_msi_handler_high,  in xilinx_request_msi_irq()
717 			       port);  in xilinx_request_msi_irq()
726 static int xilinx_pl_dma_pcie_parse_dt(struct pl_dma_pcie *port,  in xilinx_pl_dma_pcie_parse_dt()  argument
729 	struct device *dev = port->dev;  in xilinx_pl_dma_pcie_parse_dt()
739 	port->phys_reg_base = res->start;  in xilinx_pl_dma_pcie_parse_dt()
741 	port->cfg = pci_ecam_create(dev, res, bus_range, &xilinx_pl_dma_pcie_ops);  in xilinx_pl_dma_pcie_parse_dt()
742 	if (IS_ERR(port->cfg))  in xilinx_pl_dma_pcie_parse_dt()
743 		return PTR_ERR(port->cfg);  in xilinx_pl_dma_pcie_parse_dt()
745 	port->reg_base = port->cfg->win;  in xilinx_pl_dma_pcie_parse_dt()
747 	if (port->variant->version == QDMA) {  in xilinx_pl_dma_pcie_parse_dt()
748 		port->cfg_base = port->cfg->win;  in xilinx_pl_dma_pcie_parse_dt()
750 		port->reg_base = devm_ioremap_resource(dev, res);  in xilinx_pl_dma_pcie_parse_dt()
751 		if (IS_ERR(port->reg_base))  in xilinx_pl_dma_pcie_parse_dt()
752 			return PTR_ERR(port->reg_base);  in xilinx_pl_dma_pcie_parse_dt()
753 		port->phys_reg_base = res->start;  in xilinx_pl_dma_pcie_parse_dt()
756 	err = xilinx_request_msi_irq(port);  in xilinx_pl_dma_pcie_parse_dt()
758 		pci_ecam_free(port->cfg);  in xilinx_pl_dma_pcie_parse_dt()
768 	struct pl_dma_pcie *port;  in xilinx_pl_dma_pcie_probe()  local
773 	bridge = devm_pci_alloc_host_bridge(dev, sizeof(*port));  in xilinx_pl_dma_pcie_probe()
777 	port = pci_host_bridge_priv(bridge);  in xilinx_pl_dma_pcie_probe()
779 	port->dev = dev;  in xilinx_pl_dma_pcie_probe()
785 	port->variant = of_device_get_match_data(dev);  in xilinx_pl_dma_pcie_probe()
787 	err = xilinx_pl_dma_pcie_parse_dt(port, bus->res);  in xilinx_pl_dma_pcie_probe()
793 	xilinx_pl_dma_pcie_init_port(port);  in xilinx_pl_dma_pcie_probe()
795 	err = xilinx_pl_dma_pcie_init_irq_domain(port);  in xilinx_pl_dma_pcie_probe()
799 	err = xilinx_pl_dma_pcie_setup_irq(port);  in xilinx_pl_dma_pcie_probe()
801 	bridge->sysdata = port;  in xilinx_pl_dma_pcie_probe()
811 	xilinx_pl_dma_pcie_free_irq_domains(port);  in xilinx_pl_dma_pcie_probe()
814 	pci_ecam_free(port->cfg);  in xilinx_pl_dma_pcie_probe()