Lines Matching refs:expmask

142 		WARN_ON_ONCE(rnp->expmask);  in sync_exp_reset_tree()
143 WRITE_ONCE(rnp->expmask, rnp->expmaskinit); in sync_exp_reset_tree()
165 READ_ONCE(rnp->expmask) == 0; in sync_rcu_exp_done()
201 if (!rnp->expmask) in __rcu_report_exp_rnp()
218 WARN_ON_ONCE(!(rnp->expmask & mask)); in __rcu_report_exp_rnp()
219 WRITE_ONCE(rnp->expmask, rnp->expmask & ~mask); in __rcu_report_exp_rnp()
248 if (!(rnp->expmask & mask_in)) { in rcu_report_exp_cpu_mult()
252 mask = mask_in & rnp->expmask; in rcu_report_exp_cpu_mult()
253 WRITE_ONCE(rnp->expmask, rnp->expmask & ~mask); in rcu_report_exp_cpu_mult()
371 for_each_leaf_node_cpu_mask(rnp, cpu, rnp->expmask) { in __sync_rcu_exp_select_node_cpus()
401 mask_ofl_ipi = rnp->expmask & ~mask_ofl_test; in __sync_rcu_exp_select_node_cpus()
429 (rnp->expmask & mask)) { in __sync_rcu_exp_select_node_cpus()
437 if (rnp->expmask & mask) in __sync_rcu_exp_select_node_cpus()
516 if (!READ_ONCE(rnp->expmask)) in sync_rcu_exp_select_cpus()
578 if (!(READ_ONCE(rnp->expmask) & mask)) in synchronize_rcu_expedited_stall()
591 j - jiffies_start, rcu_state.expedited_sequence, data_race(rnp_root->expmask), in synchronize_rcu_expedited_stall()
606 rnp->level, rnp->grplo, rnp->grphi, data_race(rnp->expmask), in synchronize_rcu_expedited_stall()
614 if (!(READ_ONCE(rnp->expmask) & mask)) in synchronize_rcu_expedited_stall()
645 mask = READ_ONCE(rnp->expmask); in synchronize_rcu_expedited_wait()
767 if (WARN_ON_ONCE(!(READ_ONCE(rnp->expmask) & rdp->grpmask) || in rcu_exp_handler()
799 if (rnp->expmask & rdp->grpmask) { in rcu_exp_handler()
877 if (!(READ_ONCE(rnp->expmask) & rdp->grpmask) || in rcu_exp_handler()