75 					   struct Qdisc *sch,
77 	struct sk_buff *	(*dequeue)(struct Qdisc *sch);
266 	struct tcf_block *	(*tcf_block)(struct Qdisc *sch,
295 					   struct Qdisc *sch,
300 	int			(*init)(struct Qdisc *sch, struct nlattr *arg,
304 	int			(*change)(struct Qdisc *sch,
307 	void			(*attach)(struct Qdisc *sch);
309 	void			(*change_real_num_tx)(struct Qdisc *sch,
315 	void			(*ingress_block_set)(struct Qdisc *sch,
317 	void			(*egress_block_set)(struct Qdisc *sch,
319 	u32			(*ingress_block_get)(struct Qdisc *sch);
320 	u32			(*egress_block_get)(struct Qdisc *sch);
702 void qdisc_offload_graft_helper(struct net_device *dev, struct Qdisc *sch,
716 qdisc_offload_graft_helper(struct net_device *dev, struct Qdisc *sch,  in qdisc_offload_graft_helper()  argument
845 					   const struct Qdisc *sch)  in qdisc_calculate_pkt_len()  argument
848 	struct qdisc_size_table *stab = rcu_dereference_bh(sch->stab);  in qdisc_calculate_pkt_len()
855 static inline int qdisc_enqueue(struct sk_buff *skb, struct Qdisc *sch,  in qdisc_enqueue()  argument
858 	return sch->enqueue(skb, sch, to_free);  in qdisc_enqueue()
878 static inline void qdisc_bstats_cpu_update(struct Qdisc *sch,  in qdisc_bstats_cpu_update()  argument
881 	bstats_update(this_cpu_ptr(sch->cpu_bstats), skb);  in qdisc_bstats_cpu_update()
884 static inline void qdisc_bstats_update(struct Qdisc *sch,  in qdisc_bstats_update()  argument
887 	bstats_update(&sch->bstats, skb);  in qdisc_bstats_update()
890 static inline void qdisc_qstats_backlog_dec(struct Qdisc *sch,  in qdisc_qstats_backlog_dec()  argument
893 	sch->qstats.backlog -= qdisc_pkt_len(skb);  in qdisc_qstats_backlog_dec()
896 static inline void qdisc_qstats_cpu_backlog_dec(struct Qdisc *sch,  in qdisc_qstats_cpu_backlog_dec()  argument
899 	this_cpu_sub(sch->cpu_qstats->backlog, qdisc_pkt_len(skb));  in qdisc_qstats_cpu_backlog_dec()
902 static inline void qdisc_qstats_backlog_inc(struct Qdisc *sch,  in qdisc_qstats_backlog_inc()  argument
905 	sch->qstats.backlog += qdisc_pkt_len(skb);  in qdisc_qstats_backlog_inc()
908 static inline void qdisc_qstats_cpu_backlog_inc(struct Qdisc *sch,  in qdisc_qstats_cpu_backlog_inc()  argument
911 	this_cpu_add(sch->cpu_qstats->backlog, qdisc_pkt_len(skb));  in qdisc_qstats_cpu_backlog_inc()
914 static inline void qdisc_qstats_cpu_qlen_inc(struct Qdisc *sch)  in qdisc_qstats_cpu_qlen_inc()  argument
916 	this_cpu_inc(sch->cpu_qstats->qlen);  in qdisc_qstats_cpu_qlen_inc()
919 static inline void qdisc_qstats_cpu_qlen_dec(struct Qdisc *sch)  in qdisc_qstats_cpu_qlen_dec()  argument
921 	this_cpu_dec(sch->cpu_qstats->qlen);  in qdisc_qstats_cpu_qlen_dec()
924 static inline void qdisc_qstats_cpu_requeues_inc(struct Qdisc *sch)  in qdisc_qstats_cpu_requeues_inc()  argument
926 	this_cpu_inc(sch->cpu_qstats->requeues);  in qdisc_qstats_cpu_requeues_inc()
929 static inline void __qdisc_qstats_drop(struct Qdisc *sch, int count)  in __qdisc_qstats_drop()  argument
931 	sch->qstats.drops += count;  in __qdisc_qstats_drop()
944 static inline void qdisc_qstats_drop(struct Qdisc *sch)  in qdisc_qstats_drop()  argument
946 	qstats_drop_inc(&sch->qstats);  in qdisc_qstats_drop()
949 static inline void qdisc_qstats_cpu_drop(struct Qdisc *sch)  in qdisc_qstats_cpu_drop()  argument
951 	this_cpu_inc(sch->cpu_qstats->drops);  in qdisc_qstats_cpu_drop()
954 static inline void qdisc_qstats_overlimit(struct Qdisc *sch)  in qdisc_qstats_overlimit()  argument
956 	sch->qstats.overlimits++;  in qdisc_qstats_overlimit()
959 static inline int qdisc_qstats_copy(struct gnet_dump *d, struct Qdisc *sch)  in qdisc_qstats_copy()  argument
961 	__u32 qlen = qdisc_qlen_sum(sch);  in qdisc_qstats_copy()
963 	return gnet_stats_copy_queue(d, sch->cpu_qstats, &sch->qstats, qlen);  in qdisc_qstats_copy()
966 static inline void qdisc_qstats_qlen_backlog(struct Qdisc *sch,  __u32 *qlen,  in qdisc_qstats_qlen_backlog()  argument
971 	gnet_stats_add_queue(&qstats, sch->cpu_qstats, &sch->qstats);  in qdisc_qstats_qlen_backlog()
972 	*qlen = qstats.qlen + qdisc_qlen(sch);  in qdisc_qstats_qlen_backlog()
976 static inline void qdisc_purge_queue(struct Qdisc *sch)  in qdisc_purge_queue()  argument
980 	qdisc_qstats_qlen_backlog(sch, &qlen, &backlog);  in qdisc_purge_queue()
981 	qdisc_reset(sch);  in qdisc_purge_queue()
982 	qdisc_tree_reduce_backlog(sch, qlen, backlog);  in qdisc_purge_queue()
1001 static inline int qdisc_enqueue_tail(struct sk_buff *skb, struct Qdisc *sch)  in qdisc_enqueue_tail()  argument
1003 	__qdisc_enqueue_tail(skb, &sch->q);  in qdisc_enqueue_tail()
1004 	qdisc_qstats_backlog_inc(sch, skb);  in qdisc_enqueue_tail()
1034 static inline struct sk_buff *qdisc_dequeue_internal(struct Qdisc *sch, bool direct)  in qdisc_dequeue_internal()  argument
1038 	skb = __skb_dequeue(&sch->gso_skb);  in qdisc_dequeue_internal()
1040 		sch->q.qlen--;  in qdisc_dequeue_internal()
1041 		qdisc_qstats_backlog_dec(sch, skb);  in qdisc_dequeue_internal()
1045 		skb = __qdisc_dequeue_head(&sch->q);  in qdisc_dequeue_internal()
1047 			qdisc_qstats_backlog_dec(sch, skb);  in qdisc_dequeue_internal()
1050 		return sch->dequeue(sch);  in qdisc_dequeue_internal()
1054 static inline struct sk_buff *qdisc_dequeue_head(struct Qdisc *sch)  in qdisc_dequeue_head()  argument
1056 	struct sk_buff *skb = __qdisc_dequeue_head(&sch->q);  in qdisc_dequeue_head()
1059 		qdisc_qstats_backlog_dec(sch, skb);  in qdisc_dequeue_head()
1060 		qdisc_bstats_update(sch, skb);  in qdisc_dequeue_head()
1116 static inline unsigned int __qdisc_queue_drop_head(struct Qdisc *sch,  in __qdisc_queue_drop_head()  argument
1125 		qdisc_qstats_backlog_dec(sch, skb);  in __qdisc_queue_drop_head()
1133 static inline struct sk_buff *qdisc_peek_head(struct Qdisc *sch)  in qdisc_peek_head()  argument
1135 	const struct qdisc_skb_head *qh = &sch->q;  in qdisc_peek_head()
1141 static inline struct sk_buff *qdisc_peek_dequeued(struct Qdisc *sch)  in qdisc_peek_dequeued()  argument
1143 	struct sk_buff *skb = skb_peek(&sch->gso_skb);  in qdisc_peek_dequeued()
1147 		skb = sch->dequeue(sch);  in qdisc_peek_dequeued()
1150 			__skb_queue_head(&sch->gso_skb, skb);  in qdisc_peek_dequeued()
1152 			qdisc_qstats_backlog_inc(sch, skb);  in qdisc_peek_dequeued()
1153 			sch->q.qlen++;  in qdisc_peek_dequeued()
1160 static inline void qdisc_update_stats_at_dequeue(struct Qdisc *sch,  in qdisc_update_stats_at_dequeue()  argument
1163 	if (qdisc_is_percpu_stats(sch)) {  in qdisc_update_stats_at_dequeue()
1164 		qdisc_qstats_cpu_backlog_dec(sch, skb);  in qdisc_update_stats_at_dequeue()
1165 		qdisc_bstats_cpu_update(sch, skb);  in qdisc_update_stats_at_dequeue()
1166 		qdisc_qstats_cpu_qlen_dec(sch);  in qdisc_update_stats_at_dequeue()
1168 		qdisc_qstats_backlog_dec(sch, skb);  in qdisc_update_stats_at_dequeue()
1169 		qdisc_bstats_update(sch, skb);  in qdisc_update_stats_at_dequeue()
1170 		sch->q.qlen--;  in qdisc_update_stats_at_dequeue()
1174 static inline void qdisc_update_stats_at_enqueue(struct Qdisc *sch,  in qdisc_update_stats_at_enqueue()  argument
1177 	if (qdisc_is_percpu_stats(sch)) {  in qdisc_update_stats_at_enqueue()
1178 		qdisc_qstats_cpu_qlen_inc(sch);  in qdisc_update_stats_at_enqueue()
1179 		this_cpu_add(sch->cpu_qstats->backlog, pkt_len);  in qdisc_update_stats_at_enqueue()
1181 		sch->qstats.backlog += pkt_len;  in qdisc_update_stats_at_enqueue()
1182 		sch->q.qlen++;  in qdisc_update_stats_at_enqueue()
1187 static inline struct sk_buff *qdisc_dequeue_peeked(struct Qdisc *sch)  in qdisc_dequeue_peeked()  argument
1189 	struct sk_buff *skb = skb_peek(&sch->gso_skb);  in qdisc_dequeue_peeked()
1192 		skb = __skb_dequeue(&sch->gso_skb);  in qdisc_dequeue_peeked()
1193 		if (qdisc_is_percpu_stats(sch)) {  in qdisc_dequeue_peeked()
1194 			qdisc_qstats_cpu_backlog_dec(sch, skb);  in qdisc_dequeue_peeked()
1195 			qdisc_qstats_cpu_qlen_dec(sch);  in qdisc_dequeue_peeked()
1197 			qdisc_qstats_backlog_dec(sch, skb);  in qdisc_dequeue_peeked()
1198 			sch->q.qlen--;  in qdisc_dequeue_peeked()
1201 		skb = sch->dequeue(sch);  in qdisc_dequeue_peeked()
1223 static inline void qdisc_reset_queue(struct Qdisc *sch)  in qdisc_reset_queue()  argument
1225 	__qdisc_reset_queue(&sch->q);  in qdisc_reset_queue()
1228 static inline struct Qdisc *qdisc_replace(struct Qdisc *sch, struct Qdisc *new,  in qdisc_replace()  argument
1233 	sch_tree_lock(sch);  in qdisc_replace()
1238 	sch_tree_unlock(sch);  in qdisc_replace()
1243 static inline void rtnl_qdisc_drop(struct sk_buff *skb, struct Qdisc *sch)  in rtnl_qdisc_drop()  argument
1246 	qdisc_qstats_drop(sch);  in rtnl_qdisc_drop()
1249 static inline int qdisc_drop_cpu(struct sk_buff *skb, struct Qdisc *sch,  in qdisc_drop_cpu()  argument
1253 	qdisc_qstats_cpu_drop(sch);  in qdisc_drop_cpu()
1258 static inline int qdisc_drop(struct sk_buff *skb, struct Qdisc *sch,  in qdisc_drop()  argument
1262 	qdisc_qstats_drop(sch);  in qdisc_drop()
1267 static inline int qdisc_drop_reason(struct sk_buff *skb, struct Qdisc *sch,  in qdisc_drop_reason()  argument
1272 	return qdisc_drop(skb, sch, to_free);  in qdisc_drop_reason()
1275 static inline int qdisc_drop_all(struct sk_buff *skb, struct Qdisc *sch,  in qdisc_drop_all()  argument
1279 	qdisc_qstats_drop(sch);  in qdisc_drop_all()
1376 void mq_change_real_num_tx(struct Qdisc *sch, unsigned int new_real_tx);