1363b17e2STao Chen // SPDX-License-Identifier: GPL-2.0 2363b17e2STao Chen // Copyright (c) 2018 Facebook 3363b17e2STao Chen 4363b17e2STao Chen #include <vmlinux.h> 5363b17e2STao Chen #include <bpf/bpf_helpers.h> 6363b17e2STao Chen 7363b17e2STao Chen #ifndef PERF_MAX_STACK_DEPTH 8363b17e2STao Chen #define PERF_MAX_STACK_DEPTH 127 9363b17e2STao Chen #endif 10363b17e2STao Chen 11363b17e2STao Chen struct { 12363b17e2STao Chen __uint(type, BPF_MAP_TYPE_ARRAY); 13363b17e2STao Chen __uint(max_entries, 1); 14363b17e2STao Chen __type(key, __u32); 15363b17e2STao Chen __type(value, __u32); 16363b17e2STao Chen } control_map SEC(".maps"); 17363b17e2STao Chen 18363b17e2STao Chen struct { 19363b17e2STao Chen __uint(type, BPF_MAP_TYPE_HASH); 20363b17e2STao Chen __uint(max_entries, 16384); 21363b17e2STao Chen __type(key, __u32); 22363b17e2STao Chen __type(value, __u32); 23363b17e2STao Chen } stackid_hmap SEC(".maps"); 24363b17e2STao Chen 25363b17e2STao Chen typedef __u64 stack_trace_t[PERF_MAX_STACK_DEPTH]; 26363b17e2STao Chen 27363b17e2STao Chen struct { 28363b17e2STao Chen __uint(type, BPF_MAP_TYPE_STACK_TRACE); 29363b17e2STao Chen __uint(max_entries, 16384); 30363b17e2STao Chen __type(key, __u32); 31363b17e2STao Chen __type(value, stack_trace_t); 32363b17e2STao Chen } stackmap SEC(".maps"); 33363b17e2STao Chen 34363b17e2STao Chen struct { 35363b17e2STao Chen __uint(type, BPF_MAP_TYPE_ARRAY); 36363b17e2STao Chen __uint(max_entries, 16384); 37363b17e2STao Chen __type(key, __u32); 38363b17e2STao Chen __type(value, stack_trace_t); 39363b17e2STao Chen } stack_amap SEC(".maps"); 40363b17e2STao Chen 41363b17e2STao Chen /* taken from /sys/kernel/tracing/events/sched/sched_switch/format */ 42363b17e2STao Chen struct sched_switch_args { 43363b17e2STao Chen unsigned long long pad; 44363b17e2STao Chen char prev_comm[TASK_COMM_LEN]; 45363b17e2STao Chen int prev_pid; 46363b17e2STao Chen int prev_prio; 47363b17e2STao Chen long long prev_state; 48363b17e2STao Chen char next_comm[TASK_COMM_LEN]; 49363b17e2STao Chen int next_pid; 50363b17e2STao Chen int next_prio; 51363b17e2STao Chen }; 52363b17e2STao Chen 53*d43029ffSTao Chen __u32 stack_id; 54363b17e2STao Chen SEC("tracepoint/sched/sched_switch") 55363b17e2STao Chen int oncpu(struct sched_switch_args *ctx) 56363b17e2STao Chen { 57363b17e2STao Chen __u32 max_len = PERF_MAX_STACK_DEPTH * sizeof(__u64); 58363b17e2STao Chen __u32 key = 0, val = 0, *value_p; 59363b17e2STao Chen void *stack_p; 60363b17e2STao Chen 61363b17e2STao Chen value_p = bpf_map_lookup_elem(&control_map, &key); 62363b17e2STao Chen if (value_p && *value_p) 63363b17e2STao Chen return 0; /* skip if non-zero *value_p */ 64363b17e2STao Chen 65363b17e2STao Chen /* The size of stackmap and stackid_hmap should be the same */ 66363b17e2STao Chen key = bpf_get_stackid(ctx, &stackmap, 0); 67363b17e2STao Chen if ((int)key >= 0) { 68*d43029ffSTao Chen stack_id = key; 69363b17e2STao Chen bpf_map_update_elem(&stackid_hmap, &key, &val, 0); 70363b17e2STao Chen stack_p = bpf_map_lookup_elem(&stack_amap, &key); 71363b17e2STao Chen if (stack_p) 72363b17e2STao Chen bpf_get_stack(ctx, stack_p, max_len, 0); 73363b17e2STao Chen } 74363b17e2STao Chen 75363b17e2STao Chen return 0; 76363b17e2STao Chen } 77363b17e2STao Chen 78363b17e2STao Chen char _license[] SEC("license") = "GPL"; 79