29 static struct xdbc_state xdbc;  variable
86 	xdbc.xhci_start = val64;  in xdbc_map_pci_mmio()
87 	xdbc.xhci_length = sz64;  in xdbc_map_pci_mmio()
156 	offset = xhci_find_next_ext_cap(xdbc.xhci_base, 0, XHCI_EXT_CAPS_LEGACY);  in xdbc_bios_handoff()
157 	val = readl(xdbc.xhci_base + offset);  in xdbc_bios_handoff()
160 		writel(val | XHCI_HC_OS_OWNED, xdbc.xhci_base + offset);  in xdbc_bios_handoff()
161 		timeout = handshake(xdbc.xhci_base + offset, XHCI_HC_BIOS_OWNED, 0, 5000, 10);  in xdbc_bios_handoff()
165 			writel(val & ~XHCI_HC_BIOS_OWNED, xdbc.xhci_base + offset);  in xdbc_bios_handoff()
170 	val = readl(xdbc.xhci_base + offset + XHCI_LEGACY_CONTROL_OFFSET);  in xdbc_bios_handoff()
173 	writel(val, xdbc.xhci_base + offset + XHCI_LEGACY_CONTROL_OFFSET);  in xdbc_bios_handoff()
210 	if (ring != &xdbc.evt_ring) {  in xdbc_reset_ring()
238 	xdbc_reset_ring(&xdbc.evt_ring);  in xdbc_mem_init()
239 	xdbc_reset_ring(&xdbc.in_ring);  in xdbc_mem_init()
240 	xdbc_reset_ring(&xdbc.out_ring);  in xdbc_mem_init()
241 	memset(xdbc.table_base, 0, PAGE_SIZE);  in xdbc_mem_init()
242 	memset(xdbc.out_buf, 0, PAGE_SIZE);  in xdbc_mem_init()
245 	xdbc.erst_size	= 16;  in xdbc_mem_init()
246 	xdbc.erst_base	= xdbc.table_base + index * XDBC_TABLE_ENTRY_SIZE;  in xdbc_mem_init()
247 	xdbc.erst_dma	= xdbc.table_dma + index * XDBC_TABLE_ENTRY_SIZE;  in xdbc_mem_init()
250 	entry = (struct xdbc_erst_entry *)xdbc.erst_base;  in xdbc_mem_init()
252 	entry->seg_addr		= cpu_to_le64(xdbc.evt_seg.dma);  in xdbc_mem_init()
257 	writel(1, &xdbc.xdbc_reg->ersts);  in xdbc_mem_init()
258 	xdbc_write64(xdbc.erst_dma, &xdbc.xdbc_reg->erstba);  in xdbc_mem_init()
259 	xdbc_write64(xdbc.evt_seg.dma, &xdbc.xdbc_reg->erdp);  in xdbc_mem_init()
262 	xdbc.dbcc_size	= 64 * 3;  in xdbc_mem_init()
263 	xdbc.dbcc_base	= xdbc.table_base + index * XDBC_TABLE_ENTRY_SIZE;  in xdbc_mem_init()
264 	xdbc.dbcc_dma	= xdbc.table_dma + index * XDBC_TABLE_ENTRY_SIZE;  in xdbc_mem_init()
269 	xdbc.string_size = sizeof(struct xdbc_strings);  in xdbc_mem_init()
270 	xdbc.string_base = xdbc.table_base + index * XDBC_TABLE_ENTRY_SIZE;  in xdbc_mem_init()
271 	xdbc.string_dma	 = xdbc.table_dma + index * XDBC_TABLE_ENTRY_SIZE;  in xdbc_mem_init()
272 	strings		 = (struct xdbc_strings *)xdbc.string_base;  in xdbc_mem_init()
312 	ctx = (struct xdbc_context *)xdbc.dbcc_base;  in xdbc_mem_init()
314 	ctx->info.string0	= cpu_to_le64(xdbc.string_dma);  in xdbc_mem_init()
315 	ctx->info.manufacturer	= cpu_to_le64(xdbc.string_dma + XDBC_MAX_STRING_LENGTH);  in xdbc_mem_init()
316 	ctx->info.product	= cpu_to_le64(xdbc.string_dma + XDBC_MAX_STRING_LENGTH * 2);  in xdbc_mem_init()
317 	ctx->info.serial	= cpu_to_le64(xdbc.string_dma + XDBC_MAX_STRING_LENGTH * 3);  in xdbc_mem_init()
321 	max_burst = DEBUG_MAX_BURST(readl(&xdbc.xdbc_reg->control));  in xdbc_mem_init()
326 	ep_out->deq		= cpu_to_le64(xdbc.out_seg.dma | xdbc.out_ring.cycle_state);  in xdbc_mem_init()
333 	ep_in->deq		= cpu_to_le64(xdbc.in_seg.dma | xdbc.in_ring.cycle_state);  in xdbc_mem_init()
336 	xdbc_write64(xdbc.dbcc_dma, &xdbc.xdbc_reg->dccp);  in xdbc_mem_init()
339 	writel(dev_info, &xdbc.xdbc_reg->devinfo1);  in xdbc_mem_init()
342 	writel(dev_info, &xdbc.xdbc_reg->devinfo2);  in xdbc_mem_init()
344 	xdbc.in_buf = xdbc.out_buf + XDBC_MAX_PACKET;  in xdbc_mem_init()
345 	xdbc.in_dma = xdbc.out_dma + XDBC_MAX_PACKET;  in xdbc_mem_init()
355 	cap_length = readl(xdbc.xhci_base) & 0xff;  in xdbc_do_reset_debug_port()
356 	ops_reg = xdbc.xhci_base + cap_length;  in xdbc_do_reset_debug_port()
373 		offset = xhci_find_next_ext_cap(xdbc.xhci_base, offset, XHCI_EXT_CAPS_PROTOCOL);  in xdbc_reset_debug_port()
377 		val = readl(xdbc.xhci_base + offset);  in xdbc_reset_debug_port()
381 		val = readl(xdbc.xhci_base + offset + 8);  in xdbc_reset_debug_port()
415 	writel(DOOR_BELL_TARGET(target), &xdbc.xdbc_reg->doorbell);  in xdbc_ring_doorbell()
423 	ctrl = readl(&xdbc.xdbc_reg->control);  in xdbc_start()
424 	writel(ctrl | CTRL_DBC_ENABLE | CTRL_PORT_ENABLE, &xdbc.xdbc_reg->control);  in xdbc_start()
425 	ret = handshake(&xdbc.xdbc_reg->control, CTRL_DBC_ENABLE, CTRL_DBC_ENABLE, 100000, 100);  in xdbc_start()
432 	if (xdbc.vendor == PCI_VENDOR_ID_INTEL)  in xdbc_start()
436 	ret = handshake(&xdbc.xdbc_reg->portsc, PORTSC_CONN_STATUS, PORTSC_CONN_STATUS, 5000000, 100);  in xdbc_start()
443 	ret = handshake(&xdbc.xdbc_reg->control, CTRL_DBC_RUN, CTRL_DBC_RUN, 5000000, 100);  in xdbc_start()
450 	status = readl(&xdbc.xdbc_reg->status);  in xdbc_start()
456 	xdbc.port_number = DCST_DEBUG_PORT(status);  in xdbc_start()
459 		   readl(&xdbc.xdbc_reg->control), xdbc.port_number);  in xdbc_start()
477 	if (!(xdbc.flags & XDBC_FLAGS_INITIALIZED) ||  in xdbc_bulk_transfer()
478 	    !(xdbc.flags & XDBC_FLAGS_CONFIGURED) ||  in xdbc_bulk_transfer()
479 	    (!read && (xdbc.flags & XDBC_FLAGS_OUT_STALL)) ||  in xdbc_bulk_transfer()
480 	    (read && (xdbc.flags & XDBC_FLAGS_IN_STALL))) {  in xdbc_bulk_transfer()
482 		xdbc_trace("connection not ready, flags %08x\n", xdbc.flags);  in xdbc_bulk_transfer()
486 	ring = (read ? &xdbc.in_ring : &xdbc.out_ring);  in xdbc_bulk_transfer()
498 		memset(xdbc.in_buf, 0, XDBC_MAX_PACKET);  in xdbc_bulk_transfer()
499 		addr = xdbc.in_dma;  in xdbc_bulk_transfer()
500 		xdbc.flags |= XDBC_FLAGS_IN_PROCESS;  in xdbc_bulk_transfer()
502 		memcpy_and_pad(xdbc.out_buf, XDBC_MAX_PACKET, data, size, 0);  in xdbc_bulk_transfer()
503 		addr = xdbc.out_dma;  in xdbc_bulk_transfer()
504 		xdbc.flags |= XDBC_FLAGS_OUT_PROCESS;  in xdbc_bulk_transfer()
528 	xdbc.flags = 0;  in xdbc_handle_external_reset()
529 	writel(0, &xdbc.xdbc_reg->control);  in xdbc_handle_external_reset()
530 	ret = handshake(&xdbc.xdbc_reg->control, CTRL_DBC_ENABLE, 0, 100000, 10);  in xdbc_handle_external_reset()
542 	xdbc.flags |= XDBC_FLAGS_INITIALIZED | XDBC_FLAGS_CONFIGURED;  in xdbc_handle_external_reset()
557 	writel(0, &xdbc.xdbc_reg->control);  in xdbc_early_setup()
558 	ret = handshake(&xdbc.xdbc_reg->control, CTRL_DBC_ENABLE, 0, 100000, 100);  in xdbc_early_setup()
563 	xdbc.table_base = xdbc_get_page(&xdbc.table_dma);  in xdbc_early_setup()
564 	if (!xdbc.table_base)  in xdbc_early_setup()
568 	xdbc.out_buf = xdbc_get_page(&xdbc.out_dma);  in xdbc_early_setup()
569 	if (!xdbc.out_buf)  in xdbc_early_setup()
573 	ret = xdbc_alloc_ring(&xdbc.evt_seg, &xdbc.evt_ring);  in xdbc_early_setup()
578 	ret = xdbc_alloc_ring(&xdbc.in_seg, &xdbc.in_ring);  in xdbc_early_setup()
582 	ret = xdbc_alloc_ring(&xdbc.out_seg, &xdbc.out_ring);  in xdbc_early_setup()
590 		writel(0, &xdbc.xdbc_reg->control);  in xdbc_early_setup()
594 	xdbc.flags |= XDBC_FLAGS_INITIALIZED | XDBC_FLAGS_CONFIGURED;  in xdbc_early_setup()
613 	if (xdbc.xdbc_reg)  in early_xdbc_parse_parameter()
631 	xdbc.vendor	= read_pci_config_16(bus, dev, func, PCI_VENDOR_ID);  in early_xdbc_parse_parameter()
632 	xdbc.device	= read_pci_config_16(bus, dev, func, PCI_DEVICE_ID);  in early_xdbc_parse_parameter()
633 	xdbc.bus	= bus;  in early_xdbc_parse_parameter()
634 	xdbc.dev	= dev;  in early_xdbc_parse_parameter()
635 	xdbc.func	= func;  in early_xdbc_parse_parameter()
638 	xdbc.xhci_base = xdbc_map_pci_mmio(bus, dev, func);  in early_xdbc_parse_parameter()
639 	if (!xdbc.xhci_base)  in early_xdbc_parse_parameter()
643 	offset = xhci_find_next_ext_cap(xdbc.xhci_base, 0, XHCI_EXT_CAPS_DEBUG);  in early_xdbc_parse_parameter()
646 		early_iounmap(xdbc.xhci_base, xdbc.xhci_length);  in early_xdbc_parse_parameter()
647 		xdbc.xhci_base = NULL;  in early_xdbc_parse_parameter()
648 		xdbc.xhci_length = 0;  in early_xdbc_parse_parameter()
652 	xdbc.xdbc_reg = (struct xdbc_regs __iomem *)(xdbc.xhci_base + offset);  in early_xdbc_parse_parameter()
661 	if (!xdbc.xdbc_reg)  in early_xdbc_setup_hardware()
666 	raw_spin_lock_init(&xdbc.lock);  in early_xdbc_setup_hardware()
672 		xdbc_free_ring(&xdbc.evt_ring);  in early_xdbc_setup_hardware()
673 		xdbc_free_ring(&xdbc.out_ring);  in early_xdbc_setup_hardware()
674 		xdbc_free_ring(&xdbc.in_ring);  in early_xdbc_setup_hardware()
676 		if (xdbc.table_dma)  in early_xdbc_setup_hardware()
677 			memblock_phys_free(xdbc.table_dma, PAGE_SIZE);  in early_xdbc_setup_hardware()
679 		if (xdbc.out_dma)  in early_xdbc_setup_hardware()
680 			memblock_phys_free(xdbc.out_dma, PAGE_SIZE);  in early_xdbc_setup_hardware()
682 		xdbc.table_base = NULL;  in early_xdbc_setup_hardware()
683 		xdbc.out_buf = NULL;  in early_xdbc_setup_hardware()
693 	port_reg = readl(&xdbc.xdbc_reg->portsc);  in xdbc_handle_port_status()
699 			xdbc.flags = 0;  in xdbc_handle_port_status()
714 	writel(port_reg, &xdbc.xdbc_reg->portsc);  in xdbc_handle_port_status()
735 			xdbc.flags |= XDBC_FLAGS_OUT_STALL;  in xdbc_handle_tx_event()
737 			xdbc.flags |= XDBC_FLAGS_IN_STALL;  in xdbc_handle_tx_event()
744 		xdbc.flags &= ~XDBC_FLAGS_IN_PROCESS;  in xdbc_handle_tx_event()
747 		xdbc.flags &= ~XDBC_FLAGS_OUT_PROCESS;  in xdbc_handle_tx_event()
760 	cmd = read_pci_config_byte(xdbc.bus, xdbc.dev, xdbc.func, PCI_COMMAND);  in xdbc_handle_events()
763 		write_pci_config_byte(xdbc.bus, xdbc.dev, xdbc.func, PCI_COMMAND, cmd);  in xdbc_handle_events()
766 	if (!(xdbc.flags & XDBC_FLAGS_INITIALIZED))  in xdbc_handle_events()
770 	reg = readl(&xdbc.xdbc_reg->control);  in xdbc_handle_events()
779 	reg = readl(&xdbc.xdbc_reg->control);  in xdbc_handle_events()
781 		writel(reg, &xdbc.xdbc_reg->control);  in xdbc_handle_events()
783 			xdbc.flags |= XDBC_FLAGS_CONFIGURED;  in xdbc_handle_events()
785 			xdbc.flags &= ~XDBC_FLAGS_CONFIGURED;  in xdbc_handle_events()
789 	reg = readl(&xdbc.xdbc_reg->control);  in xdbc_handle_events()
791 		xdbc.flags |= XDBC_FLAGS_IN_STALL;  in xdbc_handle_events()
793 		xdbc.flags &= ~XDBC_FLAGS_IN_STALL;  in xdbc_handle_events()
794 		if (!(xdbc.flags & XDBC_FLAGS_IN_PROCESS))  in xdbc_handle_events()
799 		xdbc.flags |= XDBC_FLAGS_OUT_STALL;  in xdbc_handle_events()
801 		xdbc.flags &= ~XDBC_FLAGS_OUT_STALL;  in xdbc_handle_events()
804 	evt_trb = xdbc.evt_ring.dequeue;  in xdbc_handle_events()
805 	while ((le32_to_cpu(evt_trb->field[3]) & TRB_CYCLE) == xdbc.evt_ring.cycle_state) {  in xdbc_handle_events()
823 		++(xdbc.evt_ring.dequeue);  in xdbc_handle_events()
824 		if (xdbc.evt_ring.dequeue == &xdbc.evt_seg.trbs[TRBS_PER_SEGMENT]) {  in xdbc_handle_events()
825 			xdbc.evt_ring.dequeue = xdbc.evt_seg.trbs;  in xdbc_handle_events()
826 			xdbc.evt_ring.cycle_state ^= 1;  in xdbc_handle_events()
829 		evt_trb = xdbc.evt_ring.dequeue;  in xdbc_handle_events()
835 		xdbc_write64(__pa(xdbc.evt_ring.dequeue), &xdbc.xdbc_reg->erdp);  in xdbc_handle_events()
845 		if (!raw_spin_trylock_irqsave(&xdbc.lock, flags))  in xdbc_bulk_write()
848 		raw_spin_lock_irqsave(&xdbc.lock, flags);  in xdbc_bulk_write()
854 	if ((xdbc.flags & XDBC_FLAGS_OUT_PROCESS) && (timeout < 2000000)) {  in xdbc_bulk_write()
855 		raw_spin_unlock_irqrestore(&xdbc.lock, flags);  in xdbc_bulk_write()
861 	if (xdbc.flags & XDBC_FLAGS_OUT_PROCESS) {  in xdbc_bulk_write()
862 		raw_spin_unlock_irqrestore(&xdbc.lock, flags);  in xdbc_bulk_write()
869 	raw_spin_unlock_irqrestore(&xdbc.lock, flags);  in xdbc_bulk_write()
881 	if (!xdbc.xdbc_reg)  in early_xdbc_write()
939 		raw_spin_lock_irqsave(&xdbc.lock, flags);  in xdbc_scrub_function()
942 		if (!(xdbc.flags & XDBC_FLAGS_INITIALIZED)) {  in xdbc_scrub_function()
943 			raw_spin_unlock_irqrestore(&xdbc.lock, flags);  in xdbc_scrub_function()
947 		raw_spin_unlock_irqrestore(&xdbc.lock, flags);  in xdbc_scrub_function()
952 	writel(0, &xdbc.xdbc_reg->control);  in xdbc_scrub_function()
965 	if (!(xdbc.flags & XDBC_FLAGS_INITIALIZED))  in xdbc_init()
978 	base = ioremap(xdbc.xhci_start, xdbc.xhci_length);  in xdbc_init()
985 	raw_spin_lock_irqsave(&xdbc.lock, flags);  in xdbc_init()
986 	early_iounmap(xdbc.xhci_base, xdbc.xhci_length);  in xdbc_init()
987 	xdbc.xhci_base = base;  in xdbc_init()
988 	offset = xhci_find_next_ext_cap(xdbc.xhci_base, 0, XHCI_EXT_CAPS_DEBUG);  in xdbc_init()
989 	xdbc.xdbc_reg = (struct xdbc_regs __iomem *)(xdbc.xhci_base + offset);  in xdbc_init()
990 	raw_spin_unlock_irqrestore(&xdbc.lock, flags);  in xdbc_init()
997 	xdbc_free_ring(&xdbc.evt_ring);  in xdbc_init()
998 	xdbc_free_ring(&xdbc.out_ring);  in xdbc_init()
999 	xdbc_free_ring(&xdbc.in_ring);  in xdbc_init()
1000 	memblock_phys_free(xdbc.table_dma, PAGE_SIZE);  in xdbc_init()
1001 	memblock_phys_free(xdbc.out_dma, PAGE_SIZE);  in xdbc_init()
1002 	writel(0, &xdbc.xdbc_reg->control);  in xdbc_init()
1003 	early_iounmap(xdbc.xhci_base, xdbc.xhci_length);  in xdbc_init()