203 	__in		efx_txq_t *etp,  in ef10_tx_qcreate()  argument
233 	ef10_tx_qdesc_checksum_create(etp, flags, &desc);  in ef10_tx_qcreate()
235 	EFSYS_MEM_WRITEQ(etp->et_esmp, 0, &desc.ed_eq);  in ef10_tx_qcreate()
236 	ef10_tx_qpush(etp, *addedp, 0);  in ef10_tx_qcreate()
250 	__in	efx_txq_t *etp)  in ef10_tx_qdestroy()  argument
253 	_NOTE(ARGUNUSED(etp))  in ef10_tx_qdestroy()
259 	__in		efx_txq_t *etp)  in ef10_tx_qpio_enable()  argument
261 	efx_nic_t *enp = etp->et_enp;  in ef10_tx_qpio_enable()
265 	if (etp->et_pio_size != 0) {  in ef10_tx_qpio_enable()
272 		    &etp->et_pio_bufnum,  in ef10_tx_qpio_enable()
274 		    &etp->et_pio_blknum,  in ef10_tx_qpio_enable()
275 		    &etp->et_pio_offset,  in ef10_tx_qpio_enable()
276 		    &etp->et_pio_size)) != 0) {  in ef10_tx_qpio_enable()
279 	EFSYS_ASSERT3U(etp->et_pio_size, !=, 0);  in ef10_tx_qpio_enable()
282 	if ((rc = ef10_nic_pio_link(enp, etp->et_index, handle)) != 0) {  in ef10_tx_qpio_enable()
295 	etp->et_pio_write_offset =  in ef10_tx_qpio_enable()
296 	    (etp->et_pio_bufnum * ER_DZ_TX_PIOBUF_STEP) +  in ef10_tx_qpio_enable()
297 	    ER_DZ_TX_PIOBUF_OFST + etp->et_pio_offset;  in ef10_tx_qpio_enable()
303 	(void) ef10_nic_pio_free(enp, etp->et_pio_bufnum, etp->et_pio_blknum);  in ef10_tx_qpio_enable()
306 	etp->et_pio_size = 0;  in ef10_tx_qpio_enable()
315 	__in		efx_txq_t *etp)  in ef10_tx_qpio_disable()  argument
317 	efx_nic_t *enp = etp->et_enp;  in ef10_tx_qpio_disable()
319 	if (etp->et_pio_size != 0) {  in ef10_tx_qpio_disable()
321 		if (ef10_nic_pio_unlink(enp, etp->et_index) != 0)  in ef10_tx_qpio_disable()
325 		(void) ef10_nic_pio_free(enp, etp->et_pio_bufnum,  in ef10_tx_qpio_disable()
326 		    etp->et_pio_blknum);  in ef10_tx_qpio_disable()
327 		etp->et_pio_size = 0;  in ef10_tx_qpio_disable()
328 		etp->et_pio_write_offset = 0;  in ef10_tx_qpio_disable()
334 	__in			efx_txq_t *etp,  in ef10_tx_qpio_write()  argument
339 	efx_nic_t *enp = etp->et_enp;  in ef10_tx_qpio_write()
348 	if (etp->et_pio_size == 0) {  in ef10_tx_qpio_write()
352 	if (offset + length > etp->et_pio_size)	{  in ef10_tx_qpio_write()
361 	write_offset = etp->et_pio_write_offset + offset;  in ef10_tx_qpio_write()
382 	__in			efx_txq_t *etp,  in ef10_tx_qpio_post()  argument
393 	if (added - completed + 1 > EFX_TXQ_LIMIT(etp->et_mask + 1)) {  in ef10_tx_qpio_post()
398 	if (etp->et_pio_size == 0) {  in ef10_tx_qpio_post()
403 	id = added++ & etp->et_mask;  in ef10_tx_qpio_post()
406 	EFSYS_PROBE4(tx_pio_post, unsigned int, etp->et_index,  in ef10_tx_qpio_post()
407 		    unsigned int, id, uint32_t, etp->et_pio_offset,  in ef10_tx_qpio_post()
415 			ESF_DZ_TX_PIO_BUF_ADDR, etp->et_pio_offset);  in ef10_tx_qpio_post()
417 	EFSYS_MEM_WRITEQ(etp->et_esmp, offset, &pio_desc);  in ef10_tx_qpio_post()
419 	EFX_TX_QSTAT_INCR(etp, TX_POST_PIO);  in ef10_tx_qpio_post()
434 	__in			efx_txq_t *etp,  in ef10_tx_qpost()  argument
444 	if (added - completed + ndescs > EFX_TXQ_LIMIT(etp->et_mask + 1)) {  in ef10_tx_qpost()
460 		    etp->et_enp->en_nic_cfg.enc_tx_dma_desc_size_max);  in ef10_tx_qpost()
462 		id = added++ & etp->et_mask;  in ef10_tx_qpost()
465 		EFSYS_PROBE5(tx_post, unsigned int, etp->et_index,  in ef10_tx_qpost()
476 		EFSYS_MEM_WRITEQ(etp->et_esmp, offset, &qword);  in ef10_tx_qpost()
479 	EFX_TX_QSTAT_INCR(etp, TX_POST);  in ef10_tx_qpost()
497 	__in		efx_txq_t *etp,  in ef10_tx_qpush()  argument
501 	efx_nic_t *enp = etp->et_enp;  in ef10_tx_qpush()
508 	wptr = added & etp->et_mask;  in ef10_tx_qpush()
509 	id = pushed & etp->et_mask;  in ef10_tx_qpush()
512 	EFSYS_MEM_READQ(etp->et_esmp, offset, &desc);  in ef10_tx_qpush()
531 		EFX_DMA_SYNC_QUEUE_FOR_DEVICE(etp->et_esmp, etp->et_mask + 1,  in ef10_tx_qpush()
535 		    etp->et_index, &oword);  in ef10_tx_qpush()
547 		EFX_DMA_SYNC_QUEUE_FOR_DEVICE(etp->et_esmp, etp->et_mask + 1,  in ef10_tx_qpush()
551 		    etp->et_index, &dword, B_FALSE);  in ef10_tx_qpush()
557 	__in			efx_txq_t *etp,  in ef10_tx_qdesc_post()  argument
566 	if (added - completed + ndescs > EFX_TXQ_LIMIT(etp->et_mask + 1))  in ef10_tx_qdesc_post()
574 		id = added++ & etp->et_mask;  in ef10_tx_qdesc_post()
577 		EFSYS_MEM_WRITEQ(etp->et_esmp, offset, &edp->ed_eq);  in ef10_tx_qdesc_post()
580 	EFSYS_PROBE3(tx_desc_post, unsigned int, etp->et_index,  in ef10_tx_qdesc_post()
583 	EFX_TX_QSTAT_INCR(etp, TX_POST);  in ef10_tx_qdesc_post()
591 	__in	efx_txq_t *etp,  in ef10_tx_qdesc_dma_create()  argument
597 	_NOTE(ARGUNUSED(etp))  in ef10_tx_qdesc_dma_create()
600 	EFSYS_ASSERT(size <= etp->et_enp->en_nic_cfg.enc_tx_dma_desc_size_max);  in ef10_tx_qdesc_dma_create()
602 	EFSYS_PROBE4(tx_desc_dma_create, unsigned int, etp->et_index,  in ef10_tx_qdesc_dma_create()
616 	__in	efx_txq_t *etp,  in ef10_tx_qdesc_tso_create()  argument
622 	_NOTE(ARGUNUSED(etp))  in ef10_tx_qdesc_tso_create()
624 	EFSYS_PROBE4(tx_desc_tso_create, unsigned int, etp->et_index,  in ef10_tx_qdesc_tso_create()
639 	__in			efx_txq_t *etp,  in ef10_tx_qdesc_tso2_create()  argument
647 	_NOTE(ARGUNUSED(etp, count))  in ef10_tx_qdesc_tso2_create()
649 	EFSYS_PROBE4(tx_desc_tso2_create, unsigned int, etp->et_index,  in ef10_tx_qdesc_tso2_create()
675 	__in	efx_txq_t *etp,  in ef10_tx_qdesc_vlantci_create()  argument
679 	_NOTE(ARGUNUSED(etp))  in ef10_tx_qdesc_vlantci_create()
681 	EFSYS_PROBE2(tx_desc_vlantci_create, unsigned int, etp->et_index,  in ef10_tx_qdesc_vlantci_create()
694 	__in	efx_txq_t *etp,  in ef10_tx_qdesc_checksum_create()  argument
698 	_NOTE(ARGUNUSED(etp));  in ef10_tx_qdesc_checksum_create()
700 	EFSYS_PROBE2(tx_desc_checksum_create, unsigned int, etp->et_index,  in ef10_tx_qdesc_checksum_create()
718 	__in		efx_txq_t *etp,  in ef10_tx_qpace()  argument
724 	_NOTE(ARGUNUSED(etp, ns))  in ef10_tx_qpace()
749 	__in		efx_txq_t *etp)  in ef10_tx_qflush()  argument
751 	efx_nic_t *enp = etp->et_enp;  in ef10_tx_qflush()
754 	if ((rc = efx_mcdi_fini_txq(enp, etp->et_index)) != 0)  in ef10_tx_qflush()
767 	__in		efx_txq_t *etp)  in ef10_tx_qenable()  argument
770 	_NOTE(ARGUNUSED(etp))  in ef10_tx_qenable()
777 	__in				efx_txq_t *etp,  in ef10_tx_qstats_update()  argument
785 		EFSYS_STAT_INCR(essp, etp->et_stat[id]);  in ef10_tx_qstats_update()
786 		etp->et_stat[id] = 0;  in ef10_tx_qstats_update()