xref: /titanic_52/usr/src/uts/common/io/atge/atge_l1c.c (revision 5e8715b93d1d651ab2805b5e6e98b17df49fa92f)
1 /*
2  * CDDL HEADER START
3  *
4  * The contents of this file are subject to the terms of the
5  * Common Development and Distribution License (the "License").
6  * You may not use this file except in compliance with the License.
7  *
8  * You can obtain a copy of the license at usr/src/OPENSOLARIS.LICENSE
9  * or http://www.opensolaris.org/os/licensing.
10  * See the License for the specific language governing permissions
11  * and limitations under the License.
12  *
13  * When distributing Covered Code, include this CDDL HEADER in each
14  * file and include the License file at usr/src/OPENSOLARIS.LICENSE.
15  * If applicable, add the following below this CDDL HEADER, with the
16  * fields enclosed by brackets "[]" replaced with your own identifying
17  * information: Portions Copyright [yyyy] [name of copyright owner]
18  *
19  * CDDL HEADER END
20  */
21 
22 /*
23  * Copyright (c) 2012 Gary Mills
24  *
25  * Copyright 2009 Sun Microsystems, Inc.  All rights reserved.
26  * Use is subject to license terms.
27  */
28 /*
29  * Copyright (c) 2009, Pyun YongHyeon <yongari@FreeBSD.org>
30  * All rights reserved.
31  *
32  * Redistribution and use in source and binary forms, with or without
33  * modification, are permitted provided that the following conditions
34  * are met:
35  * 1. Redistributions of source code must retain the above copyright
36  *    notice unmodified, this list of conditions, and the following
37  *    disclaimer.
38  * 2. Redistributions in binary form must reproduce the above copyright
39  *    notice, this list of conditions and the following disclaimer in the
40  *    documentation and/or other materials provided with the distribution.
41  *
42  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
43  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
44  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
45  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
46  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
47  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
48  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
49  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
50  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
51  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
52  * SUCH DAMAGE.
53  */
54 
55 #include <sys/types.h>
56 #include <sys/stream.h>
57 #include <sys/strsun.h>
58 #include <sys/stat.h>
59 #include <sys/modctl.h>
60 #include <sys/ethernet.h>
61 #include <sys/debug.h>
62 #include <sys/conf.h>
63 #include <sys/mii.h>
64 #include <sys/miiregs.h>
65 #include <sys/sysmacros.h>
66 #include <sys/dditypes.h>
67 #include <sys/ddi.h>
68 #include <sys/sunddi.h>
69 #include <sys/byteorder.h>
70 #include <sys/note.h>
71 #include <sys/vlan.h>
72 #include <sys/stream.h>
73 
74 #include "atge.h"
75 #include "atge_l1c_reg.h"
76 #include "atge_cmn_reg.h"
77 
78 static ddi_dma_attr_t atge_l1c_dma_attr_tx_desc = {
79 	DMA_ATTR_V0,		/* dma_attr_version */
80 	0,			/* dma_attr_addr_lo */
81 	0x0000ffffffffull,	/* dma_attr_addr_hi */
82 	0x0000ffffffffull,	/* dma_attr_count_max */
83 	L1C_TX_RING_ALIGN,	/* dma_attr_align */
84 	0x0000fffc,		/* dma_attr_burstsizes */
85 	1,			/* dma_attr_minxfer */
86 	0x0000ffffffffull,	/* dma_attr_maxxfer */
87 	0x0000ffffffffull,	/* dma_attr_seg */
88 	1,			/* dma_attr_sgllen */
89 	1,			/* dma_attr_granular */
90 	0			/* dma_attr_flags */
91 };
92 
93 static ddi_dma_attr_t atge_l1c_dma_attr_rx_desc = {
94 	DMA_ATTR_V0,		/* dma_attr_version */
95 	0,			/* dma_attr_addr_lo */
96 	0x0000ffffffffull,	/* dma_attr_addr_hi */
97 	0x0000ffffffffull,	/* dma_attr_count_max */
98 	L1C_RX_RING_ALIGN,	/* dma_attr_align */
99 	0x0000fffc,		/* dma_attr_burstsizes */
100 	1,			/* dma_attr_minxfer */
101 	0x0000ffffffffull,	/* dma_attr_maxxfer */
102 	0x0000ffffffffull,	/* dma_attr_seg */
103 	1,			/* dma_attr_sgllen */
104 	1,			/* dma_attr_granular */
105 	0			/* dma_attr_flags */
106 };
107 
108 static ddi_dma_attr_t atge_l1c_dma_attr_cmb = {
109 	DMA_ATTR_V0,		/* dma_attr_version */
110 	0,			/* dma_attr_addr_lo */
111 	0x0000ffffffffull,	/* dma_attr_addr_hi */
112 	0x0000ffffffffull,	/* dma_attr_count_max */
113 	L1C_CMB_ALIGN,		/* dma_attr_align */
114 	0x0000fffc,		/* dma_attr_burstsizes */
115 	1,			/* dma_attr_minxfer */
116 	0x0000ffffffffull,	/* dma_attr_maxxfer */
117 	0x0000ffffffffull,	/* dma_attr_seg */
118 	1,			/* dma_attr_sgllen */
119 	1,			/* dma_attr_granular */
120 	0			/* dma_attr_flags */
121 };
122 
123 static ddi_dma_attr_t atge_l1c_dma_attr_smb = {
124 	DMA_ATTR_V0,		/* dma_attr_version */
125 	0,			/* dma_attr_addr_lo */
126 	0x0000ffffffffull,	/* dma_attr_addr_hi */
127 	0x0000ffffffffull,	/* dma_attr_count_max */
128 	L1C_SMB_ALIGN,		/* dma_attr_align */
129 	0x0000fffc,		/* dma_attr_burstsizes */
130 	1,			/* dma_attr_minxfer */
131 	0x0000ffffffffull,	/* dma_attr_maxxfer */
132 	0x0000ffffffffull,	/* dma_attr_seg */
133 	1,			/* dma_attr_sgllen */
134 	1,			/* dma_attr_granular */
135 	0			/* dma_attr_flags */
136 };
137 
138 static ddi_dma_attr_t atge_l1c_dma_attr_rr = {
139 	DMA_ATTR_V0,		/* dma_attr_version */
140 	0,			/* dma_attr_addr_lo */
141 	0x0000ffffffffull,	/* dma_attr_addr_hi */
142 	0x0000ffffffffull,	/* dma_attr_count_max */
143 	L1C_RR_RING_ALIGN,	/* dma_attr_align */
144 	0x0000fffc,		/* dma_attr_burstsizes */
145 	1,			/* dma_attr_minxfer */
146 	0x0000ffffffffull,	/* dma_attr_maxxfer */
147 	0x0000ffffffffull,	/* dma_attr_seg */
148 	1,			/* dma_attr_sgllen */
149 	1,			/* dma_attr_granular */
150 	0			/* dma_attr_flags */
151 };
152 
153 int
154 atge_l1c_alloc_dma(atge_t *atgep)
155 {
156 	atge_l1c_data_t *l1c;
157 	atge_dma_t *dma;
158 	int err;
159 
160 	l1c = kmem_zalloc(sizeof (atge_l1c_data_t), KM_SLEEP);
161 	atgep->atge_private_data = l1c;
162 
163 	/*
164 	 * Allocate TX ring descriptor.
165 	 */
166 	atgep->atge_tx_buf_len = atgep->atge_mtu +
167 	    sizeof (struct ether_header) + VLAN_TAGSZ + ETHERFCSL;
168 	atgep->atge_tx_ring = kmem_alloc(sizeof (atge_ring_t), KM_SLEEP);
169 	atgep->atge_tx_ring->r_atge = atgep;
170 	atgep->atge_tx_ring->r_desc_ring = NULL;
171 	dma = atge_alloc_a_dma_blk(atgep, &atge_l1c_dma_attr_tx_desc,
172 	    ATGE_TX_RING_SZ, DDI_DMA_RDWR);
173 	if (dma == NULL) {
174 		atge_error(atgep->atge_dip, "DMA allocation failed for TX"
175 		    " desc ring");
176 		return (DDI_FAILURE);
177 	}
178 	atgep->atge_tx_ring->r_desc_ring = dma;
179 
180 	/*
181 	 * Allocate DMA buffers for TX ring.
182 	 */
183 	err = atge_alloc_buffers(atgep->atge_tx_ring, ATGE_TX_RING_CNT,
184 	    atgep->atge_tx_buf_len, DDI_DMA_WRITE);
185 	if (err != DDI_SUCCESS) {
186 		atge_error(atgep->atge_dip, "DMA allocation failed for"
187 		    " TX Ring");
188 		return (err);
189 	}
190 
191 	/*
192 	 * Allocate RX ring.
193 	 */
194 	atgep->atge_rx_buf_len = atgep->atge_mtu +
195 	    sizeof (struct ether_header) + VLAN_TAGSZ + ETHERFCSL;
196 	l1c->atge_rx_ring = kmem_alloc(sizeof (atge_ring_t), KM_SLEEP);
197 	l1c->atge_rx_ring->r_atge = atgep;
198 	l1c->atge_rx_ring->r_desc_ring = NULL;
199 	dma = atge_alloc_a_dma_blk(atgep, &atge_l1c_dma_attr_rx_desc,
200 	    L1C_RX_RING_SZ, DDI_DMA_RDWR);
201 	if (dma == NULL) {
202 		atge_error(atgep->atge_dip, "DMA allocation failed"
203 		    " for RX Ring");
204 		return (DDI_FAILURE);
205 	}
206 	l1c->atge_rx_ring->r_desc_ring = dma;
207 
208 	/*
209 	 * Allocate DMA buffers for RX ring.
210 	 */
211 	err = atge_alloc_buffers(l1c->atge_rx_ring, L1C_RX_RING_CNT,
212 	    atgep->atge_rx_buf_len, DDI_DMA_READ);
213 	if (err != DDI_SUCCESS) {
214 		atge_error(atgep->atge_dip, "DMA allocation failed for"
215 		    " RX buffers");
216 		return (err);
217 	}
218 
219 	/*
220 	 * Allocate CMB used for fetching interrupt status data.
221 	 */
222 	ATGE_DB(("%s: %s() L1C_CMB_BLOCK_SZ : 0x%x", atgep->atge_name,
223 	    __func__, L1C_CMB_BLOCK_SZ));
224 
225 	dma = atge_alloc_a_dma_blk(atgep, &atge_l1c_dma_attr_cmb,
226 	    L1C_CMB_BLOCK_SZ, DDI_DMA_RDWR);
227 	l1c->atge_l1c_cmb = dma;
228 	if (dma == NULL) {
229 		atge_error(atgep->atge_dip, "DMA allocation failed for CMB");
230 		return (DDI_FAILURE);
231 	}
232 
233 	/*
234 	 * RR ring (Return Ring for RX and TX).
235 	 */
236 	ATGE_DB(("%s: %s() L1C_RR_RING_SZ : 0x%x", atgep->atge_name,
237 	    __func__, L1C_RR_RING_SZ));
238 
239 	dma = atge_alloc_a_dma_blk(atgep, &atge_l1c_dma_attr_rr,
240 	    L1C_RR_RING_SZ, DDI_DMA_RDWR);
241 	l1c->atge_l1c_rr = dma;
242 	if (dma == NULL) {
243 		atge_error(atgep->atge_dip, "DMA allocation failed"
244 		    " for RX RR ring");
245 		return (DDI_FAILURE);
246 	}
247 
248 	/*
249 	 * SMB for statistics.
250 	 */
251 	ATGE_DB(("%s: %s() L1C_SMB_BLOCK_SZ : 0x%x", atgep->atge_name,
252 	    __func__, L1C_SMB_BLOCK_SZ));
253 
254 	dma = atge_alloc_a_dma_blk(atgep, &atge_l1c_dma_attr_smb,
255 	    L1C_SMB_BLOCK_SZ, DDI_DMA_RDWR);
256 	l1c->atge_l1c_smb = dma;
257 	if (dma == NULL) {
258 		atge_error(atgep->atge_dip, "DMA allocation failed for SMB");
259 		return (DDI_FAILURE);
260 	}
261 
262 	atgep->atge_hw_stats = kmem_zalloc(sizeof (atge_l1c_smb_t), KM_SLEEP);
263 
264 	return (DDI_SUCCESS);
265 }
266 
267 void
268 atge_l1c_free_dma(atge_t *atgep)
269 {
270 	atge_l1c_data_t *l1c;
271 
272 	l1c = atgep->atge_private_data;
273 
274 	/*
275 	 * Free TX ring.
276 	 */
277 	if (atgep->atge_tx_ring != NULL) {
278 		atge_free_buffers(atgep->atge_tx_ring,  ATGE_TX_RING_CNT);
279 
280 		if (atgep->atge_tx_ring->r_desc_ring != NULL) {
281 			atge_free_a_dma_blk(atgep->atge_tx_ring->r_desc_ring);
282 		}
283 
284 		kmem_free(atgep->atge_tx_ring, sizeof (atge_ring_t));
285 		atgep->atge_tx_ring = NULL;
286 	}
287 
288 	if (l1c && l1c->atge_l1c_cmb != NULL) {
289 		atge_free_a_dma_blk(l1c->atge_l1c_cmb);
290 		l1c->atge_l1c_cmb = NULL;
291 	}
292 
293 	if (l1c && l1c->atge_l1c_rr != NULL) {
294 		atge_free_a_dma_blk(l1c->atge_l1c_rr);
295 		l1c->atge_l1c_rr = NULL;
296 	}
297 
298 	if (l1c && l1c->atge_l1c_smb != NULL) {
299 		atge_free_a_dma_blk(l1c->atge_l1c_smb);
300 		l1c->atge_l1c_smb = NULL;
301 	}
302 
303 	/*
304 	 * Free RX ring.
305 	 */
306 	if (l1c && l1c->atge_rx_ring != NULL) {
307 		atge_free_buffers(l1c->atge_rx_ring,  L1C_RX_RING_CNT);
308 
309 		if (l1c->atge_rx_ring->r_desc_ring != NULL) {
310 			atge_free_a_dma_blk(l1c->atge_rx_ring->r_desc_ring);
311 		}
312 
313 		kmem_free(l1c->atge_rx_ring, sizeof (atge_ring_t));
314 		l1c->atge_rx_ring = NULL;
315 	}
316 
317 	/*
318 	 * Free the memory allocated for gathering hw stats.
319 	 */
320 	if (atgep->atge_hw_stats != NULL) {
321 		kmem_free(atgep->atge_hw_stats, sizeof (atge_l1c_smb_t));
322 		atgep->atge_hw_stats = NULL;
323 	}
324 
325 	/*
326 	 * Free the private area.
327 	 */
328 	if (l1c != NULL) {
329 		kmem_free(l1c, sizeof (atge_l1c_data_t));
330 		atgep->atge_private_data = NULL;
331 	}
332 }
333 
334 void
335 atge_l1c_init_rx_ring(atge_t *atgep)
336 {
337 	atge_l1c_data_t *l1c;
338 	atge_dma_t *dma;
339 	l1c_rx_desc_t *rx;
340 	int i;
341 
342 	l1c = atgep->atge_private_data;
343 	l1c->atge_rx_ring->r_consumer = L1C_RX_RING_CNT - 1;
344 	dma = l1c->atge_rx_ring->r_desc_ring;
345 	bzero(dma->addr, L1C_RX_RING_SZ);
346 
347 	for (i = 0; i < L1C_RX_RING_CNT; i++) {
348 		rx = (l1c_rx_desc_t *)(dma->addr +
349 		    (i * sizeof (l1c_rx_desc_t)));
350 
351 		ATGE_PUT64(dma, &rx->addr,
352 		    l1c->atge_rx_ring->r_buf_tbl[i]->cookie.dmac_laddress);
353 		/* No length field. */
354 	}
355 
356 	DMA_SYNC(dma, 0, 0, DDI_DMA_SYNC_FORDEV);
357 	/* Let controller know availability of new Rx buffers. */
358 	OUTL(atgep, ATGE_MBOX_RD0_PROD_IDX, l1c->atge_rx_ring->r_consumer);
359 }
360 
361 void
362 atge_l1c_init_tx_ring(atge_t *atgep)
363 {
364 	atgep->atge_tx_ring->r_producer = 0;
365 	atgep->atge_tx_ring->r_consumer = 0;
366 	atgep->atge_tx_ring->r_avail_desc = ATGE_TX_RING_CNT;
367 
368 	bzero(atgep->atge_tx_ring->r_desc_ring->addr, ATGE_TX_RING_SZ);
369 	DMA_SYNC(atgep->atge_tx_ring->r_desc_ring, 0, 0, DDI_DMA_SYNC_FORDEV);
370 }
371 
372 void
373 atge_l1c_init_rr_ring(atge_t *atgep)
374 {
375 	atge_l1c_data_t *l1c;
376 	atge_dma_t *dma;
377 
378 	l1c = atgep->atge_private_data;
379 	l1c->atge_l1c_rr_consumers = 0;
380 
381 	dma = l1c->atge_l1c_rr;
382 	bzero(dma->addr, L1C_RR_RING_SZ);
383 	DMA_SYNC(dma, 0, 0, DDI_DMA_SYNC_FORDEV);
384 }
385 
386 void
387 atge_l1c_init_smb(atge_t *atgep)
388 {
389 	atge_l1c_data_t *l1c;
390 	atge_dma_t *dma;
391 
392 	l1c = atgep->atge_private_data;
393 	dma = l1c->atge_l1c_smb;
394 	bzero(dma->addr, L1C_SMB_BLOCK_SZ);
395 	DMA_SYNC(dma, 0, 0, DDI_DMA_SYNC_FORDEV);
396 }
397 
398 void
399 atge_l1c_init_cmb(atge_t *atgep)
400 {
401 	atge_l1c_data_t *l1c;
402 	atge_dma_t *dma;
403 
404 	l1c = atgep->atge_private_data;
405 	dma = l1c->atge_l1c_cmb;
406 	bzero(dma->addr, L1C_CMB_BLOCK_SZ);
407 	DMA_SYNC(dma, 0, 0, DDI_DMA_SYNC_FORDEV);
408 }
409 
410 void
411 atge_l1c_program_dma(atge_t *atgep)
412 {
413 	atge_l1c_data_t *l1c;
414 	atge_ring_t *r;
415 	uint32_t reg;
416 
417 	l1c = atgep->atge_private_data;
418 
419 	/*
420 	 * Clear WOL status and disable all WOL feature as WOL
421 	 * would interfere Rx operation under normal environments.
422 	 */
423 	(void) INL(atgep, ATGE_WOL_CFG);
424 	OUTL(atgep, ATGE_WOL_CFG, 0);
425 
426 	/* TX */
427 	r = atgep->atge_tx_ring;
428 	OUTL(atgep, L1C_TX_BASE_ADDR_HI,
429 	    ATGE_ADDR_HI(r->r_desc_ring->cookie.dmac_laddress));
430 	OUTL(atgep, L1C_TDL_HEAD_ADDR_LO,
431 	    ATGE_ADDR_LO(r->r_desc_ring->cookie.dmac_laddress));
432 	/* We don't use high priority ring. */
433 	OUTL(atgep, L1C_TDH_HEAD_ADDR_LO, 0);
434 
435 	/* RX */
436 	r = l1c->atge_rx_ring;
437 	OUTL(atgep, L1C_RX_BASE_ADDR_HI,
438 	    ATGE_ADDR_HI(r->r_desc_ring->cookie.dmac_laddress));
439 	OUTL(atgep, L1C_RD0_HEAD_ADDR_LO,
440 	    ATGE_ADDR_LO(r->r_desc_ring->cookie.dmac_laddress));
441 	/* We use one Rx ring. */
442 	OUTL(atgep, L1C_RD1_HEAD_ADDR_LO, 0);
443 	OUTL(atgep, L1C_RD2_HEAD_ADDR_LO, 0);
444 	OUTL(atgep, L1C_RD3_HEAD_ADDR_LO, 0);
445 
446 	/* RR Ring */
447 	/*
448 	 * Let hardware split jumbo frames into alc_max_buf_sized chunks.
449 	 * if it do not fit the buffer size. Rx return descriptor holds
450 	 * a counter that indicates how many fragments were made by the
451 	 * hardware. The buffer size should be multiple of 8 bytes.
452 	 * Since hardware has limit on the size of buffer size, always
453 	 * use the maximum value.
454 	 * For strict-alignment architectures make sure to reduce buffer
455 	 * size by 8 bytes to make room for alignment fixup.
456 	 */
457 	OUTL(atgep, L1C_RX_BUF_SIZE, RX_BUF_SIZE_MAX); /* XXX */
458 
459 	/* Set Rx return descriptor base addresses. */
460 	OUTL(atgep, L1C_RRD0_HEAD_ADDR_LO,
461 	    ATGE_ADDR_LO(l1c->atge_l1c_rr->cookie.dmac_laddress));
462 	/* We use one Rx return ring. */
463 	OUTL(atgep, L1C_RRD1_HEAD_ADDR_LO, 0);
464 	OUTL(atgep, L1C_RRD2_HEAD_ADDR_LO, 0);
465 	OUTL(atgep, L1C_RRD3_HEAD_ADDR_LO, 0);
466 
467 	/* CMB */
468 	OUTL(atgep, L1C_CMB_BASE_ADDR_LO,
469 	    ATGE_ADDR_LO(l1c->atge_l1c_cmb->cookie.dmac_laddress));
470 
471 	/* SMB */
472 	OUTL(atgep, L1C_SMB_BASE_ADDR_HI,
473 	    ATGE_ADDR_HI(l1c->atge_l1c_smb->cookie.dmac_laddress));
474 	OUTL(atgep, L1C_SMB_BASE_ADDR_LO,
475 	    ATGE_ADDR_LO(l1c->atge_l1c_smb->cookie.dmac_laddress));
476 
477 	/*
478 	 * Set RX return ring (RR) counter.
479 	 */
480 	/* Set Rx descriptor counter. */
481 	OUTL(atgep, L1C_RD_RING_CNT,
482 	    (L1C_RX_RING_CNT << RD_RING_CNT_SHIFT) & RD_RING_CNT_MASK);
483 	/* Set Rx return descriptor counter. */
484 	OUTL(atgep, L1C_RRD_RING_CNT,
485 	    (L1C_RR_RING_CNT << RRD_RING_CNT_SHIFT) & RRD_RING_CNT_MASK);
486 
487 	/*
488 	 * Set TX descriptor counter.
489 	 */
490 	OUTL(atgep, L1C_TD_RING_CNT,
491 	    (ATGE_TX_RING_CNT << TD_RING_CNT_SHIFT) & TD_RING_CNT_MASK);
492 
493 	switch (ATGE_DID(atgep)) {
494 	case ATGE_CHIP_AR8152V1_DEV_ID:
495 		/* Reconfigure SRAM - Vendor magic. */
496 		OUTL(atgep, L1C_SRAM_RX_FIFO_LEN, 0x000002A0);
497 		OUTL(atgep, L1C_SRAM_TX_FIFO_LEN, 0x00000100);
498 		OUTL(atgep, L1C_SRAM_RX_FIFO_ADDR, 0x029F0000);
499 		OUTL(atgep, L1C_SRAM_RD_ADDR, 0x02BF02A0);
500 		OUTL(atgep, L1C_SRAM_TX_FIFO_ADDR, 0x03BF02C0);
501 		OUTL(atgep, L1C_SRAM_TRD_ADDR, 0x03DF03C0);
502 		OUTL(atgep, L1C_TXF_WATER_MARK, 0x00000000);
503 		OUTL(atgep, L1C_RD_DMA_CFG, 0x00000000);
504 		break;
505 	}
506 
507 	/*
508 	 * Inform hardware that we have loaded DMA registers.
509 	 */
510 	OUTL(atgep, ATGE_DMA_BLOCK, DMA_BLOCK_LOAD);
511 
512 	/* Configure interrupt moderation timer. */
513 	reg = ATGE_USECS(atgep->atge_int_rx_mod) << IM_TIMER_RX_SHIFT;
514 	reg |= ATGE_USECS(atgep->atge_int_tx_mod) << IM_TIMER_TX_SHIFT;
515 	OUTL(atgep, ATGE_IM_TIMER, reg);
516 	/*
517 	 * We don't want to automatic interrupt clear as task queue
518 	 * for the interrupt should know interrupt status.
519 	 */
520 	reg = 0;
521 	if (ATGE_USECS(atgep->atge_int_rx_mod) != 0)
522 		reg |= MASTER_IM_RX_TIMER_ENB;
523 	if (ATGE_USECS(atgep->atge_int_tx_mod) != 0)
524 		reg |= MASTER_IM_TX_TIMER_ENB;
525 	OUTL(atgep, ATGE_MASTER_CFG, reg);
526 }
527 
528 void
529 atge_l1c_clear_stats(atge_t *atgep)
530 {
531 	atge_l1c_smb_t smb;
532 	uint32_t *reg;
533 	int i;
534 
535 	/*
536 	 * Clear RX stats first.
537 	 */
538 	i = 0;
539 	reg = &smb.rx_frames;
540 	while (reg++ <= &smb.rx_pkts_filtered) {
541 		(void) INL(atgep, ATGE_RX_MIB_BASE + i);
542 		i += sizeof (uint32_t);
543 	}
544 
545 	/*
546 	 * Clear TX stats.
547 	 */
548 	i = 0;
549 	reg = &smb.tx_frames;
550 	while (reg++ <= &smb.tx_mcast_bytes) {
551 		(void) INL(atgep, ATGE_TX_MIB_BASE + i);
552 		i += sizeof (uint32_t);
553 	}
554 }
555 
556 void
557 atge_l1c_gather_stats(atge_t *atgep)
558 {
559 	atge_l1c_data_t *l1c;
560 	atge_dma_t *dma;
561 	atge_l1c_smb_t *stat;
562 	atge_l1c_smb_t *smb;
563 
564 	ASSERT(atgep != NULL);
565 
566 	l1c = atgep->atge_private_data;
567 	dma = l1c->atge_l1c_smb;
568 	DMA_SYNC(dma, 0, 0, DDI_DMA_SYNC_FORKERNEL);
569 	stat = (atge_l1c_smb_t *)atgep->atge_hw_stats;
570 	smb = (atge_l1c_smb_t *)dma->addr;
571 
572 	/* Rx stats. */
573 	stat->rx_frames += smb->rx_frames;
574 	stat->rx_bcast_frames += smb->rx_bcast_frames;
575 	stat->rx_mcast_frames += smb->rx_mcast_frames;
576 	stat->rx_pause_frames += smb->rx_pause_frames;
577 	stat->rx_control_frames += smb->rx_control_frames;
578 	stat->rx_crcerrs += smb->rx_crcerrs;
579 	stat->rx_lenerrs += smb->rx_lenerrs;
580 	stat->rx_bytes += smb->rx_bytes;
581 	stat->rx_runts += smb->rx_runts;
582 	stat->rx_fragments += smb->rx_fragments;
583 	stat->rx_pkts_64 += smb->rx_pkts_64;
584 	stat->rx_pkts_65_127 += smb->rx_pkts_65_127;
585 	stat->rx_pkts_128_255 += smb->rx_pkts_128_255;
586 	stat->rx_pkts_256_511 += smb->rx_pkts_256_511;
587 	stat->rx_pkts_512_1023 += smb->rx_pkts_512_1023;
588 	stat->rx_pkts_1024_1518 += smb->rx_pkts_1024_1518;
589 	stat->rx_pkts_1519_max += smb->rx_pkts_1519_max;
590 	stat->rx_pkts_truncated += smb->rx_pkts_truncated;
591 	stat->rx_fifo_oflows += smb->rx_fifo_oflows;
592 	stat->rx_alignerrs += smb->rx_alignerrs;
593 	stat->rx_bcast_bytes += smb->rx_bcast_bytes;
594 	stat->rx_mcast_bytes += smb->rx_mcast_bytes;
595 	stat->rx_pkts_filtered += smb->rx_pkts_filtered;
596 
597 	/* Tx stats. */
598 	stat->tx_frames += smb->tx_frames;
599 	stat->tx_bcast_frames += smb->tx_bcast_frames;
600 	stat->tx_mcast_frames += smb->tx_mcast_frames;
601 	stat->tx_pause_frames += smb->tx_pause_frames;
602 	stat->tx_excess_defer += smb->tx_excess_defer;
603 	stat->tx_control_frames += smb->tx_control_frames;
604 	stat->tx_deferred += smb->tx_deferred;
605 	stat->tx_bytes += smb->tx_bytes;
606 	stat->tx_pkts_64 += smb->tx_pkts_64;
607 	stat->tx_pkts_65_127 += smb->tx_pkts_65_127;
608 	stat->tx_pkts_128_255 += smb->tx_pkts_128_255;
609 	stat->tx_pkts_256_511 += smb->tx_pkts_256_511;
610 	stat->tx_pkts_512_1023 += smb->tx_pkts_512_1023;
611 	stat->tx_pkts_1024_1518 += smb->tx_pkts_1024_1518;
612 	stat->tx_pkts_1519_max += smb->tx_pkts_1519_max;
613 	stat->tx_single_colls += smb->tx_single_colls;
614 	stat->tx_multi_colls += smb->tx_multi_colls;
615 	stat->tx_late_colls += smb->tx_late_colls;
616 	stat->tx_excess_colls += smb->tx_excess_colls;
617 	stat->tx_underrun += smb->tx_underrun;
618 	stat->tx_desc_underrun += smb->tx_desc_underrun;
619 	stat->tx_lenerrs += smb->tx_lenerrs;
620 	stat->tx_pkts_truncated += smb->tx_pkts_truncated;
621 	stat->tx_bcast_bytes += smb->tx_bcast_bytes;
622 	stat->tx_mcast_bytes += smb->tx_mcast_bytes;
623 
624 	/*
625 	 * Update global counters in atge_t.
626 	 */
627 	atgep->atge_brdcstrcv += smb->rx_bcast_frames;
628 	atgep->atge_multircv += smb->rx_mcast_frames;
629 	atgep->atge_multixmt += smb->tx_mcast_frames;
630 	atgep->atge_brdcstxmt += smb->tx_bcast_frames;
631 
632 	atgep->atge_align_errors += smb->rx_alignerrs;
633 	atgep->atge_fcs_errors += smb->rx_crcerrs;
634 	atgep->atge_defer_xmts += smb->tx_deferred;
635 	atgep->atge_first_collisions += smb->tx_single_colls;
636 	atgep->atge_multi_collisions += smb->tx_multi_colls * 2;
637 	atgep->atge_tx_late_collisions += smb->tx_late_colls;
638 	atgep->atge_ex_collisions += smb->tx_excess_colls;
639 	atgep->atge_toolong_errors += smb->rx_lenerrs;
640 	atgep->atge_overflow += smb->rx_fifo_oflows;
641 	atgep->atge_underflow += (smb->tx_underrun + smb->tx_desc_underrun);
642 	atgep->atge_runt += smb->rx_runts;
643 
644 
645 	atgep->atge_collisions += smb->tx_single_colls +
646 	    smb->tx_multi_colls * 2 + smb->tx_late_colls;
647 
648 	/*
649 	 * tx_pkts_truncated counter looks suspicious. It constantly
650 	 * increments with no sign of Tx errors. Hence we don't factor it.
651 	 */
652 	atgep->atge_macxmt_errors += smb->tx_late_colls + smb->tx_underrun;
653 
654 	atgep->atge_macrcv_errors += smb->rx_crcerrs + smb->rx_lenerrs +
655 	    smb->rx_runts + smb->rx_pkts_truncated +
656 	    smb->rx_alignerrs;
657 
658 	smb->updated = 0;
659 	DMA_SYNC(dma, 0, 0, DDI_DMA_SYNC_FORDEV);
660 }
661 
662 void
663 atge_l1c_stop_tx_mac(atge_t *atgep)
664 {
665 	uint32_t reg;
666 	int t;
667 
668 	ATGE_DB(("%s: %s() called", atgep->atge_name, __func__));
669 
670 	reg = INL(atgep, ATGE_MAC_CFG);
671 	if ((reg & ATGE_CFG_TX_ENB) != 0) {
672 		reg &= ~ATGE_CFG_TX_ENB;
673 		OUTL(atgep, ATGE_MAC_CFG, reg);
674 	}
675 
676 	/* Stop TX DMA engine. */
677 	reg = INL(atgep, ATGE_DMA_CFG);
678 	if ((reg & DMA_CFG_RD_ENB) != 0) {
679 		reg &= ~DMA_CFG_RD_ENB;
680 		OUTL(atgep, ATGE_DMA_CFG, reg);
681 	}
682 
683 	for (t = ATGE_RESET_TIMEOUT; t > 0; t--) {
684 		if ((INL(atgep, ATGE_IDLE_STATUS) &
685 		    (IDLE_STATUS_TXMAC | IDLE_STATUS_DMARD)) == 0)
686 			break;
687 
688 		drv_usecwait(10);
689 	}
690 
691 	if (t == 0) {
692 		/* This should be an FMA event. */
693 		atge_error(atgep->atge_dip, "stopping TX DMA Engine timeout");
694 	}
695 }
696 
697 void
698 atge_l1c_stop_rx_mac(atge_t *atgep)
699 {
700 	uint32_t reg;
701 	int t;
702 
703 	ATGE_DB(("%s: %s() called", atgep->atge_name, __func__));
704 
705 	reg = INL(atgep, ATGE_MAC_CFG);
706 	if ((reg & ATGE_CFG_RX_ENB) != 0) {
707 		reg &= ~ATGE_CFG_RX_ENB;
708 		OUTL(atgep, ATGE_MAC_CFG, reg);
709 	}
710 
711 	/* Stop RX DMA engine. */
712 	reg = INL(atgep, ATGE_DMA_CFG);
713 	if ((reg & DMA_CFG_WR_ENB) != 0) {
714 		reg &= ~DMA_CFG_WR_ENB;
715 		OUTL(atgep, ATGE_DMA_CFG, reg);
716 	}
717 
718 	for (t = ATGE_RESET_TIMEOUT; t > 0; t--) {
719 		if ((INL(atgep, ATGE_IDLE_STATUS) &
720 		    (IDLE_STATUS_RXMAC | IDLE_STATUS_DMAWR)) == 0)
721 			break;
722 		drv_usecwait(10);
723 	}
724 
725 	if (t == 0) {
726 		/* This should be an FMA event. */
727 		atge_error(atgep->atge_dip, " stopping RX DMA Engine timeout");
728 	}
729 }
730 
731 /*
732  * Receives (consumes) packets.
733  */
734 static mblk_t *
735 atge_l1c_rx(atge_t *atgep)
736 {
737 	atge_l1c_data_t *l1c;
738 	mblk_t *mp = NULL, *rx_head = NULL, *rx_tail = NULL;
739 	l1c_rx_rdesc_t *rx_rr;
740 	uint32_t rdinfo, status, totlen, pktlen, slotlen;
741 	int nsegs, rx_cons = 0, cnt;
742 	atge_dma_t *buf;
743 	uchar_t *bufp;
744 	int sync = 0;
745 
746 	l1c = atgep->atge_private_data;
747 	ASSERT(l1c != NULL);
748 
749 	DMA_SYNC(l1c->atge_l1c_rr, 0, 0, DDI_DMA_SYNC_FORKERNEL);
750 	for (;;) {
751 		rx_rr = (l1c_rx_rdesc_t *)(l1c->atge_l1c_rr->addr +
752 		    (l1c->atge_l1c_rr_consumers * sizeof (l1c_rx_rdesc_t)));
753 
754 		rdinfo = ATGE_GET32(l1c->atge_l1c_rr, &rx_rr->rdinfo);
755 		status = ATGE_GET32(l1c->atge_l1c_rr, &rx_rr->status);
756 
757 		rx_cons = L1C_RRD_RD_IDX(rdinfo);
758 		nsegs = L1C_RRD_RD_CNT(rdinfo);
759 		totlen = L1C_RRD_BYTES(status);
760 
761 		ATGE_DB(("%s: %s() PKT -- rdinfo : 0x%x,"
762 		    "status : 0x%x, totlen : %d,"
763 		    " rx_cons : %d, nsegs : %d", atgep->atge_name, __func__,
764 		    rdinfo, status, totlen, rx_cons, nsegs));
765 
766 		if ((status & L1C_RRD_VALID) == 0) {
767 			break;
768 		}
769 
770 		if ((status & (L1C_RRD_ERR_CRC | L1C_RRD_ERR_ALIGN |
771 		    L1C_RRD_ERR_TRUNC | L1C_RRD_ERR_RUNT |
772 		    L1C_RRD_ERR_ICMP | L1C_RRD_ERR_LENGTH)) != 0) {
773 			atge_error(atgep->atge_dip, "errored pkt");
774 
775 			l1c->atge_rx_ring->r_consumer += nsegs;
776 			l1c->atge_rx_ring->r_consumer %= L1C_RX_RING_CNT;
777 			break;
778 		}
779 
780 		ASSERT(rx_cons >= 0 && rx_cons <= L1C_RX_RING_CNT);
781 
782 		mp = allocb(totlen + L1C_HEADROOM, BPRI_MED);
783 		if (mp != NULL) {
784 			mp->b_rptr += L1C_HEADROOM;
785 			bufp = mp->b_rptr;
786 			mp->b_wptr = bufp + totlen;
787 			mp->b_next = NULL;
788 
789 			atgep->atge_ipackets++;
790 			atgep->atge_rbytes += totlen;
791 
792 			/*
793 			 * If there are more than one segments, then the first
794 			 * segment should be of size MTU. We couldn't verify
795 			 * this as our driver does not support changing MTU
796 			 * or Jumbo Frames.
797 			 */
798 			if (nsegs > 1) {
799 				slotlen = atgep->atge_mtu;
800 			} else {
801 				slotlen = totlen;
802 			}
803 		} else {
804 			ATGE_DB(("%s: %s() PKT mp == NULL totlen : %d",
805 			    atgep->atge_name, __func__, totlen));
806 
807 			if (slotlen > atgep->atge_rx_buf_len) {
808 				atgep->atge_toolong_errors++;
809 			} else if (mp == NULL) {
810 				atgep->atge_norcvbuf++;
811 			}
812 
813 			rx_rr->status = 0;
814 			break;
815 		}
816 
817 		for (cnt = 0, pktlen = 0; cnt < nsegs; cnt++) {
818 			buf = l1c->atge_rx_ring->r_buf_tbl[rx_cons];
819 
820 			slotlen = min(atgep->atge_max_frame_size, totlen);
821 
822 			bcopy(buf->addr, (bufp + pktlen), slotlen);
823 			pktlen += slotlen;
824 			totlen -= slotlen;
825 
826 			ATGE_DB(("%s: %s() len : %d, rxcons : %d, pktlen : %d",
827 			    atgep->atge_name, __func__, slotlen, rx_cons,
828 			    pktlen));
829 
830 			ATGE_INC_SLOT(rx_cons, L1C_RX_RING_CNT);
831 		}
832 
833 		if (rx_tail == NULL) {
834 			rx_head = rx_tail = mp;
835 		} else {
836 			rx_tail->b_next = mp;
837 			rx_tail = mp;
838 		}
839 
840 		if (cnt != nsegs) {
841 			l1c->atge_rx_ring->r_consumer += nsegs;
842 			l1c->atge_rx_ring->r_consumer %= L1C_RX_RING_CNT;
843 		} else {
844 			l1c->atge_rx_ring->r_consumer = rx_cons;
845 		}
846 
847 		/*
848 		 * Tell the chip that this RR can be reused.
849 		 */
850 		rx_rr->status = 0;
851 
852 		ATGE_INC_SLOT(l1c->atge_l1c_rr_consumers, L1C_RR_RING_CNT);
853 		sync++;
854 	}
855 
856 	if (sync) {
857 		DMA_SYNC(l1c->atge_rx_ring->r_desc_ring, 0, 0,
858 		    DDI_DMA_SYNC_FORDEV);
859 
860 		DMA_SYNC(l1c->atge_l1c_rr, 0, 0, DDI_DMA_SYNC_FORDEV);
861 		/*
862 		 * Let controller know availability of new Rx buffers.
863 		 */
864 		OUTL(atgep, ATGE_MBOX_RD0_PROD_IDX,
865 		    l1c->atge_rx_ring->r_consumer);
866 
867 		ATGE_DB(("%s: %s() PKT Recved -> r_consumer : %d, rx_cons : %d"
868 		    " atge_l1c_rr_consumers : %d",
869 		    atgep->atge_name, __func__, l1c->atge_rx_ring->r_consumer,
870 		    rx_cons, l1c->atge_l1c_rr_consumers));
871 	}
872 
873 
874 	return (rx_head);
875 }
876 
877 /*
878  * The interrupt handler for L1C chip.
879  */
880 /*ARGSUSED*/
881 uint_t
882 atge_l1c_interrupt(caddr_t arg1, caddr_t arg2)
883 {
884 	atge_t *atgep = (void *)arg1;
885 	mblk_t *rx_head = NULL;
886 	uint32_t status;
887 	int resched = 0;
888 
889 	ASSERT(atgep != NULL);
890 
891 	mutex_enter(&atgep->atge_intr_lock);
892 
893 	if (atgep->atge_chip_state & ATGE_CHIP_SUSPENDED) {
894 		mutex_exit(&atgep->atge_intr_lock);
895 		return (DDI_INTR_UNCLAIMED);
896 	}
897 
898 	status = INL(atgep, ATGE_INTR_STATUS);
899 	if (status == 0 || (status & atgep->atge_intrs) == 0) {
900 		mutex_exit(&atgep->atge_intr_lock);
901 
902 		if (atgep->atge_flags & ATGE_FIXED_TYPE)
903 			return (DDI_INTR_UNCLAIMED);
904 
905 		return (DDI_INTR_CLAIMED);
906 	}
907 
908 	ATGE_DB(("%s: %s() entry status : %x",
909 	    atgep->atge_name, __func__, status));
910 
911 	/*
912 	 * Disable interrupts.
913 	 */
914 	if (status & L1C_INTR_GPHY) {
915 		/* clear PHY interrupt source before we ack interrupts */
916 		(void) atge_mii_read(atgep,
917 		    atgep->atge_phyaddr, ATGE_ISR_ACK_GPHY);
918 	}
919 
920 	OUTL(atgep, ATGE_INTR_STATUS, status | L1C_INTR_DIS_INT);
921 	FLUSH(atgep, ATGE_INTR_STATUS);
922 
923 	/*
924 	 * Check if chip is running, only then do the work.
925 	 */
926 	if (atgep->atge_chip_state & ATGE_CHIP_RUNNING) {
927 		atge_l1c_data_t *l1c;
928 
929 		l1c = atgep->atge_private_data;
930 
931 		ATGE_DB(("%s: %s() atge_l1c_intr_status : %x, "
932 		    "atge_l1c_rx_prod_cons : %d, atge_l1c_tx_prod_cons : %d"
933 		    " atge_l1c_rr_consumers : %d",
934 		    atgep->atge_name, __func__, l1c->atge_l1c_intr_status,
935 		    l1c->atge_l1c_rx_prod_cons, l1c->atge_l1c_tx_prod_cons,
936 		    l1c->atge_l1c_rr_consumers));
937 
938 		if (status & L1C_INTR_SMB)
939 			atge_l1c_gather_stats(atgep);
940 
941 		/*
942 		 * Check for errors.
943 		 */
944 		if (status & (L1C_INTR_DMA_RD_TO_RST |
945 		    L1C_INTR_DMA_WR_TO_RST | L1C_INTR_TXQ_TO_RST)) {
946 			/* This should be an FMA event. */
947 			atge_error(atgep->atge_dip,
948 			    "L1C chip detected a fatal error, "
949 			    "interrupt status: %x", status);
950 
951 			if (status & L1C_INTR_DMA_RD_TO_RST) {
952 				atge_error(atgep->atge_dip,
953 				    "DMA read error");
954 			}
955 			if (status & L1C_INTR_DMA_WR_TO_RST) {
956 				atge_error(atgep->atge_dip,
957 				    "DMA write error");
958 			}
959 			if (status & L1C_INTR_TXQ_TO_RST) {
960 				atge_error(atgep->atge_dip,
961 				    "Transmit queue error");
962 			}
963 
964 			/* This should be an FMA event. */
965 			atge_device_stop(atgep);
966 			/*
967 			 * Device has failed fatally.
968 			 * It will not be restarted by the driver.
969 			 */
970 			goto done;
971 
972 		}
973 
974 		rx_head = atge_l1c_rx(atgep);
975 		if (status & L1C_INTR_TX_PKT) {
976 			int cons;
977 
978 			mutex_enter(&atgep->atge_tx_lock);
979 			cons = INL(atgep, ATGE_MBOX_TD_CONS_IDX) >> 16;
980 			atge_tx_reclaim(atgep, cons);
981 			if (atgep->atge_tx_resched) {
982 				atgep->atge_tx_resched = 0;
983 				resched = 1;
984 			}
985 
986 			mutex_exit(&atgep->atge_tx_lock);
987 		}
988 	}
989 
990 	/* Re-enable interrupts. */
991 	OUTL(atgep, ATGE_INTR_STATUS, 0);
992 
993 done:
994 	mutex_exit(&atgep->atge_intr_lock);
995 
996 	if (status & L1C_INTR_GPHY) {
997 		/* link down */
998 		ATGE_DB(("%s: %s() MII_CHECK Performed",
999 		    atgep->atge_name, __func__));
1000 		mii_check(atgep->atge_mii);
1001 	}
1002 
1003 	/*
1004 	 * Pass the list of packets received from chip to MAC layer.
1005 	 */
1006 	if (rx_head) {
1007 		mac_rx(atgep->atge_mh, 0, rx_head);
1008 	}
1009 
1010 	/*
1011 	 * Let MAC start sending pkts if the downstream was asked to pause.
1012 	 */
1013 	if (resched)
1014 		mac_tx_update(atgep->atge_mh);
1015 
1016 	return (DDI_INTR_CLAIMED);
1017 }
1018 
1019 void
1020 atge_l1c_send_packet(atge_ring_t *r)
1021 {
1022 	atge_t *atgep;
1023 
1024 	atgep = r->r_atge;
1025 
1026 	mutex_enter(&atgep->atge_mbox_lock);
1027 	/* Sync descriptors. */
1028 	DMA_SYNC(atgep->atge_tx_ring->r_desc_ring, 0, 0, DDI_DMA_SYNC_FORDEV);
1029 	/* Kick. Assume we're using normal Tx priority queue. */
1030 	OUTL(atgep, ATGE_MBOX_TD_PROD_IDX,
1031 	    (atgep->atge_tx_ring->r_producer << MBOX_TD_PROD_LO_IDX_SHIFT) &
1032 	    MBOX_TD_PROD_LO_IDX_MASK);
1033 	mutex_exit(&atgep->atge_mbox_lock);
1034 }
1035