1df0f030eSVladimir Kondratiev // SPDX-License-Identifier: GPL-2.0 2df0f030eSVladimir Kondratiev /* 3df0f030eSVladimir Kondratiev * Copyright (C) 2024 Inochi Amaoto <inochiama@gmail.com> 4df0f030eSVladimir Kondratiev */ 5df0f030eSVladimir Kondratiev 6df0f030eSVladimir Kondratiev #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt 7df0f030eSVladimir Kondratiev 8df0f030eSVladimir Kondratiev #include <linux/cpu.h> 9df0f030eSVladimir Kondratiev #include <linux/interrupt.h> 10df0f030eSVladimir Kondratiev #include <linux/irqchip.h> 11df0f030eSVladimir Kondratiev #include <linux/irqchip/chained_irq.h> 12df0f030eSVladimir Kondratiev #include <linux/of_address.h> 13df0f030eSVladimir Kondratiev #include <linux/spinlock.h> 14df0f030eSVladimir Kondratiev #include <linux/smp.h> 15df0f030eSVladimir Kondratiev #include <linux/string_choices.h> 16df0f030eSVladimir Kondratiev #include <asm/sbi.h> 17df0f030eSVladimir Kondratiev #include <asm/vendorid_list.h> 18df0f030eSVladimir Kondratiev 19df0f030eSVladimir Kondratiev static int sswi_ipi_virq __ro_after_init; 20df0f030eSVladimir Kondratiev static DEFINE_PER_CPU(void __iomem *, sswi_cpu_regs); 21df0f030eSVladimir Kondratiev 22df0f030eSVladimir Kondratiev static void aclint_sswi_ipi_send(unsigned int cpu) 23df0f030eSVladimir Kondratiev { 24df0f030eSVladimir Kondratiev writel(0x1, per_cpu(sswi_cpu_regs, cpu)); 25df0f030eSVladimir Kondratiev } 26df0f030eSVladimir Kondratiev 27df0f030eSVladimir Kondratiev static void aclint_sswi_ipi_clear(void) 28df0f030eSVladimir Kondratiev { 29df0f030eSVladimir Kondratiev writel_relaxed(0x0, this_cpu_read(sswi_cpu_regs)); 30df0f030eSVladimir Kondratiev } 31df0f030eSVladimir Kondratiev 32df0f030eSVladimir Kondratiev static void aclint_sswi_ipi_handle(struct irq_desc *desc) 33df0f030eSVladimir Kondratiev { 34df0f030eSVladimir Kondratiev struct irq_chip *chip = irq_desc_get_chip(desc); 35df0f030eSVladimir Kondratiev 36df0f030eSVladimir Kondratiev chained_irq_enter(chip, desc); 37df0f030eSVladimir Kondratiev 38df0f030eSVladimir Kondratiev csr_clear(CSR_IP, IE_SIE); 39df0f030eSVladimir Kondratiev aclint_sswi_ipi_clear(); 40df0f030eSVladimir Kondratiev 41df0f030eSVladimir Kondratiev ipi_mux_process(); 42df0f030eSVladimir Kondratiev 43df0f030eSVladimir Kondratiev chained_irq_exit(chip, desc); 44df0f030eSVladimir Kondratiev } 45df0f030eSVladimir Kondratiev 46df0f030eSVladimir Kondratiev static int aclint_sswi_starting_cpu(unsigned int cpu) 47df0f030eSVladimir Kondratiev { 48df0f030eSVladimir Kondratiev enable_percpu_irq(sswi_ipi_virq, irq_get_trigger_type(sswi_ipi_virq)); 49df0f030eSVladimir Kondratiev 50df0f030eSVladimir Kondratiev return 0; 51df0f030eSVladimir Kondratiev } 52df0f030eSVladimir Kondratiev 53df0f030eSVladimir Kondratiev static int aclint_sswi_dying_cpu(unsigned int cpu) 54df0f030eSVladimir Kondratiev { 55df0f030eSVladimir Kondratiev aclint_sswi_ipi_clear(); 56df0f030eSVladimir Kondratiev 57df0f030eSVladimir Kondratiev disable_percpu_irq(sswi_ipi_virq); 58df0f030eSVladimir Kondratiev 59df0f030eSVladimir Kondratiev return 0; 60df0f030eSVladimir Kondratiev } 61df0f030eSVladimir Kondratiev 62df0f030eSVladimir Kondratiev static int __init aclint_sswi_parse_irq(struct fwnode_handle *fwnode, void __iomem *reg) 63df0f030eSVladimir Kondratiev { 64c8c8443aSVladimir Kondratiev u32 contexts = of_irq_count(to_of_node(fwnode)); 65df0f030eSVladimir Kondratiev 66df0f030eSVladimir Kondratiev if (!(contexts)) { 67df0f030eSVladimir Kondratiev pr_err("%pfwP: no ACLINT SSWI context available\n", fwnode); 68df0f030eSVladimir Kondratiev return -EINVAL; 69df0f030eSVladimir Kondratiev } 70df0f030eSVladimir Kondratiev 71c8c8443aSVladimir Kondratiev for (u32 i = 0; i < contexts; i++) { 72c8c8443aSVladimir Kondratiev struct of_phandle_args parent; 73c8c8443aSVladimir Kondratiev unsigned long hartid; 74*128ab2cfSVladimir Kondratiev u32 hart_index; 75c8c8443aSVladimir Kondratiev int rc, cpu; 76c8c8443aSVladimir Kondratiev 77df0f030eSVladimir Kondratiev rc = of_irq_parse_one(to_of_node(fwnode), i, &parent); 78df0f030eSVladimir Kondratiev if (rc) 79df0f030eSVladimir Kondratiev return rc; 80df0f030eSVladimir Kondratiev 81df0f030eSVladimir Kondratiev rc = riscv_of_parent_hartid(parent.np, &hartid); 82df0f030eSVladimir Kondratiev if (rc) 83df0f030eSVladimir Kondratiev return rc; 84df0f030eSVladimir Kondratiev 85df0f030eSVladimir Kondratiev if (parent.args[0] != RV_IRQ_SOFT) 86df0f030eSVladimir Kondratiev return -ENOTSUPP; 87df0f030eSVladimir Kondratiev 88df0f030eSVladimir Kondratiev cpu = riscv_hartid_to_cpuid(hartid); 89df0f030eSVladimir Kondratiev 90*128ab2cfSVladimir Kondratiev rc = riscv_get_hart_index(fwnode, i, &hart_index); 91*128ab2cfSVladimir Kondratiev if (rc) { 92*128ab2cfSVladimir Kondratiev pr_warn("%pfwP: hart index [%d] not found\n", fwnode, i); 93*128ab2cfSVladimir Kondratiev return -EINVAL; 94*128ab2cfSVladimir Kondratiev } 95df0f030eSVladimir Kondratiev per_cpu(sswi_cpu_regs, cpu) = reg + hart_index * 4; 96df0f030eSVladimir Kondratiev } 97df0f030eSVladimir Kondratiev 98df0f030eSVladimir Kondratiev pr_info("%pfwP: register %u CPU%s\n", fwnode, contexts, str_plural(contexts)); 99df0f030eSVladimir Kondratiev 100df0f030eSVladimir Kondratiev return 0; 101df0f030eSVladimir Kondratiev } 102df0f030eSVladimir Kondratiev 103df0f030eSVladimir Kondratiev static int __init aclint_sswi_probe(struct fwnode_handle *fwnode) 104df0f030eSVladimir Kondratiev { 105df0f030eSVladimir Kondratiev struct irq_domain *domain; 106df0f030eSVladimir Kondratiev void __iomem *reg; 107df0f030eSVladimir Kondratiev int virq, rc; 108df0f030eSVladimir Kondratiev 109df0f030eSVladimir Kondratiev if (!is_of_node(fwnode)) 110df0f030eSVladimir Kondratiev return -EINVAL; 111df0f030eSVladimir Kondratiev 112df0f030eSVladimir Kondratiev reg = of_iomap(to_of_node(fwnode), 0); 113df0f030eSVladimir Kondratiev if (!reg) 114df0f030eSVladimir Kondratiev return -ENOMEM; 115df0f030eSVladimir Kondratiev 116df0f030eSVladimir Kondratiev /* Parse SSWI setting */ 117df0f030eSVladimir Kondratiev rc = aclint_sswi_parse_irq(fwnode, reg); 118df0f030eSVladimir Kondratiev if (rc < 0) 119df0f030eSVladimir Kondratiev return rc; 120df0f030eSVladimir Kondratiev 121df0f030eSVladimir Kondratiev /* If mulitple SSWI devices are present, do not register irq again */ 122df0f030eSVladimir Kondratiev if (sswi_ipi_virq) 123df0f030eSVladimir Kondratiev return 0; 124df0f030eSVladimir Kondratiev 125df0f030eSVladimir Kondratiev /* Find riscv intc domain and create IPI irq mapping */ 126df0f030eSVladimir Kondratiev domain = irq_find_matching_fwnode(riscv_get_intc_hwnode(), DOMAIN_BUS_ANY); 127df0f030eSVladimir Kondratiev if (!domain) { 128df0f030eSVladimir Kondratiev pr_err("%pfwP: Failed to find INTC domain\n", fwnode); 129df0f030eSVladimir Kondratiev return -ENOENT; 130df0f030eSVladimir Kondratiev } 131df0f030eSVladimir Kondratiev 132df0f030eSVladimir Kondratiev sswi_ipi_virq = irq_create_mapping(domain, RV_IRQ_SOFT); 133df0f030eSVladimir Kondratiev if (!sswi_ipi_virq) { 134df0f030eSVladimir Kondratiev pr_err("unable to create ACLINT SSWI IRQ mapping\n"); 135df0f030eSVladimir Kondratiev return -ENOMEM; 136df0f030eSVladimir Kondratiev } 137df0f030eSVladimir Kondratiev 138df0f030eSVladimir Kondratiev /* Register SSWI irq and handler */ 139df0f030eSVladimir Kondratiev virq = ipi_mux_create(BITS_PER_BYTE, aclint_sswi_ipi_send); 140df0f030eSVladimir Kondratiev if (virq <= 0) { 141df0f030eSVladimir Kondratiev pr_err("unable to create muxed IPIs\n"); 142df0f030eSVladimir Kondratiev irq_dispose_mapping(sswi_ipi_virq); 143df0f030eSVladimir Kondratiev return virq < 0 ? virq : -ENOMEM; 144df0f030eSVladimir Kondratiev } 145df0f030eSVladimir Kondratiev 146df0f030eSVladimir Kondratiev irq_set_chained_handler(sswi_ipi_virq, aclint_sswi_ipi_handle); 147df0f030eSVladimir Kondratiev 148df0f030eSVladimir Kondratiev cpuhp_setup_state(CPUHP_AP_IRQ_ACLINT_SSWI_STARTING, 149df0f030eSVladimir Kondratiev "irqchip/aclint-sswi:starting", 150df0f030eSVladimir Kondratiev aclint_sswi_starting_cpu, 151df0f030eSVladimir Kondratiev aclint_sswi_dying_cpu); 152df0f030eSVladimir Kondratiev 153df0f030eSVladimir Kondratiev riscv_ipi_set_virq_range(virq, BITS_PER_BYTE); 154df0f030eSVladimir Kondratiev 155df0f030eSVladimir Kondratiev return 0; 156df0f030eSVladimir Kondratiev } 157df0f030eSVladimir Kondratiev 158df0f030eSVladimir Kondratiev /* generic/MIPS variant */ 159df0f030eSVladimir Kondratiev static int __init generic_aclint_sswi_probe(struct fwnode_handle *fwnode) 160df0f030eSVladimir Kondratiev { 161df0f030eSVladimir Kondratiev int rc; 162df0f030eSVladimir Kondratiev 163df0f030eSVladimir Kondratiev rc = aclint_sswi_probe(fwnode); 164df0f030eSVladimir Kondratiev if (rc) 165df0f030eSVladimir Kondratiev return rc; 166df0f030eSVladimir Kondratiev 167df0f030eSVladimir Kondratiev /* Announce that SSWI is providing IPIs */ 168df0f030eSVladimir Kondratiev pr_info("providing IPIs using ACLINT SSWI\n"); 169df0f030eSVladimir Kondratiev 170df0f030eSVladimir Kondratiev return 0; 171df0f030eSVladimir Kondratiev } 172df0f030eSVladimir Kondratiev 173df0f030eSVladimir Kondratiev static int __init generic_aclint_sswi_early_probe(struct device_node *node, 174df0f030eSVladimir Kondratiev struct device_node *parent) 175df0f030eSVladimir Kondratiev { 176df0f030eSVladimir Kondratiev return generic_aclint_sswi_probe(&node->fwnode); 177df0f030eSVladimir Kondratiev } 178df0f030eSVladimir Kondratiev IRQCHIP_DECLARE(generic_aclint_sswi, "mips,p8700-aclint-sswi", generic_aclint_sswi_early_probe); 179df0f030eSVladimir Kondratiev 180df0f030eSVladimir Kondratiev /* THEAD variant */ 181df0f030eSVladimir Kondratiev #define THEAD_C9XX_CSR_SXSTATUS 0x5c0 182df0f030eSVladimir Kondratiev #define THEAD_C9XX_SXSTATUS_CLINTEE BIT(17) 183df0f030eSVladimir Kondratiev 184df0f030eSVladimir Kondratiev static int __init thead_aclint_sswi_probe(struct fwnode_handle *fwnode) 185df0f030eSVladimir Kondratiev { 186df0f030eSVladimir Kondratiev int rc; 187df0f030eSVladimir Kondratiev 188df0f030eSVladimir Kondratiev /* If it is T-HEAD CPU, check whether SSWI is enabled */ 189df0f030eSVladimir Kondratiev if (riscv_cached_mvendorid(0) == THEAD_VENDOR_ID && 190df0f030eSVladimir Kondratiev !(csr_read(THEAD_C9XX_CSR_SXSTATUS) & THEAD_C9XX_SXSTATUS_CLINTEE)) 191df0f030eSVladimir Kondratiev return -ENOTSUPP; 192df0f030eSVladimir Kondratiev 193df0f030eSVladimir Kondratiev rc = aclint_sswi_probe(fwnode); 194df0f030eSVladimir Kondratiev if (rc) 195df0f030eSVladimir Kondratiev return rc; 196df0f030eSVladimir Kondratiev 197df0f030eSVladimir Kondratiev /* Announce that SSWI is providing IPIs */ 198df0f030eSVladimir Kondratiev pr_info("providing IPIs using THEAD ACLINT SSWI\n"); 199df0f030eSVladimir Kondratiev 200df0f030eSVladimir Kondratiev return 0; 201df0f030eSVladimir Kondratiev } 202df0f030eSVladimir Kondratiev 203df0f030eSVladimir Kondratiev static int __init thead_aclint_sswi_early_probe(struct device_node *node, 204df0f030eSVladimir Kondratiev struct device_node *parent) 205df0f030eSVladimir Kondratiev { 206df0f030eSVladimir Kondratiev return thead_aclint_sswi_probe(&node->fwnode); 207df0f030eSVladimir Kondratiev } 208df0f030eSVladimir Kondratiev IRQCHIP_DECLARE(thead_aclint_sswi, "thead,c900-aclint-sswi", thead_aclint_sswi_early_probe); 209