1*8e8e69d6SThomas Gleixner // SPDX-License-Identifier: GPL-2.0-only 2b97169daSJie Yang /* 3b97169daSJie Yang * sst_pvt.c - Intel SST Driver for audio engine 4b97169daSJie Yang * 5b97169daSJie Yang * Copyright (C) 2008-14 Intel Corp 6b97169daSJie Yang * Authors: Vinod Koul <vinod.koul@intel.com> 7b97169daSJie Yang * Harsha Priya <priya.harsha@intel.com> 8b97169daSJie Yang * Dharageswari R <dharageswari.r@intel.com> 9b97169daSJie Yang * KP Jeeja <jeeja.kp@intel.com> 10b97169daSJie Yang * ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 11b97169daSJie Yang * 12b97169daSJie Yang * ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 13b97169daSJie Yang */ 14b97169daSJie Yang #include <linux/kobject.h> 15b97169daSJie Yang #include <linux/pci.h> 16b97169daSJie Yang #include <linux/fs.h> 17b97169daSJie Yang #include <linux/firmware.h> 18b97169daSJie Yang #include <linux/pm_runtime.h> 19b97169daSJie Yang #include <linux/sched.h> 20b97169daSJie Yang #include <linux/delay.h> 21b97169daSJie Yang #include <sound/asound.h> 22b97169daSJie Yang #include <sound/core.h> 23b97169daSJie Yang #include <sound/pcm.h> 24b97169daSJie Yang #include <sound/soc.h> 25b97169daSJie Yang #include <sound/compress_driver.h> 26b97169daSJie Yang #include <asm/platform_sst_audio.h> 27b97169daSJie Yang #include "../sst-mfld-platform.h" 28b97169daSJie Yang #include "sst.h" 29b97169daSJie Yang #include "../../common/sst-dsp.h" 30b97169daSJie Yang 31b97169daSJie Yang int sst_shim_write(void __iomem *addr, int offset, int value) 32b97169daSJie Yang { 33b97169daSJie Yang writel(value, addr + offset); 34b97169daSJie Yang return 0; 35b97169daSJie Yang } 36b97169daSJie Yang 37b97169daSJie Yang u32 sst_shim_read(void __iomem *addr, int offset) 38b97169daSJie Yang { 39b97169daSJie Yang return readl(addr + offset); 40b97169daSJie Yang } 41b97169daSJie Yang 42b97169daSJie Yang u64 sst_reg_read64(void __iomem *addr, int offset) 43b97169daSJie Yang { 44b97169daSJie Yang u64 val = 0; 45b97169daSJie Yang 46b97169daSJie Yang memcpy_fromio(&val, addr + offset, sizeof(val)); 47b97169daSJie Yang 48b97169daSJie Yang return val; 49b97169daSJie Yang } 50b97169daSJie Yang 51b97169daSJie Yang int sst_shim_write64(void __iomem *addr, int offset, u64 value) 52b97169daSJie Yang { 53b97169daSJie Yang memcpy_toio(addr + offset, &value, sizeof(value)); 54b97169daSJie Yang return 0; 55b97169daSJie Yang } 56b97169daSJie Yang 57b97169daSJie Yang u64 sst_shim_read64(void __iomem *addr, int offset) 58b97169daSJie Yang { 59b97169daSJie Yang u64 val = 0; 60b97169daSJie Yang 61b97169daSJie Yang memcpy_fromio(&val, addr + offset, sizeof(val)); 62b97169daSJie Yang return val; 63b97169daSJie Yang } 64b97169daSJie Yang 65b97169daSJie Yang void sst_set_fw_state_locked( 66b97169daSJie Yang struct intel_sst_drv *sst_drv_ctx, int sst_state) 67b97169daSJie Yang { 68b97169daSJie Yang mutex_lock(&sst_drv_ctx->sst_lock); 69b97169daSJie Yang sst_drv_ctx->sst_state = sst_state; 70b97169daSJie Yang mutex_unlock(&sst_drv_ctx->sst_lock); 71b97169daSJie Yang } 72b97169daSJie Yang 73b97169daSJie Yang /* 74b97169daSJie Yang * sst_wait_interruptible - wait on event 75b97169daSJie Yang * 76b97169daSJie Yang * @sst_drv_ctx: Driver context 77b97169daSJie Yang * @block: Driver block to wait on 78b97169daSJie Yang * 79b97169daSJie Yang * This function waits without a timeout (and is interruptable) for a 80b97169daSJie Yang * given block event 81b97169daSJie Yang */ 82b97169daSJie Yang int sst_wait_interruptible(struct intel_sst_drv *sst_drv_ctx, 83b97169daSJie Yang struct sst_block *block) 84b97169daSJie Yang { 85b97169daSJie Yang int retval = 0; 86b97169daSJie Yang 87b97169daSJie Yang if (!wait_event_interruptible(sst_drv_ctx->wait_queue, 88b97169daSJie Yang block->condition)) { 89b97169daSJie Yang /* event wake */ 90b97169daSJie Yang if (block->ret_code < 0) { 91b97169daSJie Yang dev_err(sst_drv_ctx->dev, 92b97169daSJie Yang "stream failed %d\n", block->ret_code); 93b97169daSJie Yang retval = -EBUSY; 94b97169daSJie Yang } else { 95b97169daSJie Yang dev_dbg(sst_drv_ctx->dev, "event up\n"); 96b97169daSJie Yang retval = 0; 97b97169daSJie Yang } 98b97169daSJie Yang } else { 99b97169daSJie Yang dev_err(sst_drv_ctx->dev, "signal interrupted\n"); 100b97169daSJie Yang retval = -EINTR; 101b97169daSJie Yang } 102b97169daSJie Yang return retval; 103b97169daSJie Yang 104b97169daSJie Yang } 105b97169daSJie Yang 106b97169daSJie Yang /* 107b97169daSJie Yang * sst_wait_timeout - wait on event for timeout 108b97169daSJie Yang * 109b97169daSJie Yang * @sst_drv_ctx: Driver context 110b97169daSJie Yang * @block: Driver block to wait on 111b97169daSJie Yang * 112b97169daSJie Yang * This function waits with a timeout value (and is not interruptible) on a 113b97169daSJie Yang * given block event 114b97169daSJie Yang */ 115b97169daSJie Yang int sst_wait_timeout(struct intel_sst_drv *sst_drv_ctx, struct sst_block *block) 116b97169daSJie Yang { 117b97169daSJie Yang int retval = 0; 118b97169daSJie Yang 119b97169daSJie Yang /* 120b97169daSJie Yang * NOTE: 121b97169daSJie Yang * Observed that FW processes the alloc msg and replies even 122b97169daSJie Yang * before the alloc thread has finished execution 123b97169daSJie Yang */ 124b97169daSJie Yang dev_dbg(sst_drv_ctx->dev, 125b97169daSJie Yang "waiting for condition %x ipc %d drv_id %d\n", 126b97169daSJie Yang block->condition, block->msg_id, block->drv_id); 127b97169daSJie Yang if (wait_event_timeout(sst_drv_ctx->wait_queue, 128b97169daSJie Yang block->condition, 129b97169daSJie Yang msecs_to_jiffies(SST_BLOCK_TIMEOUT))) { 130b97169daSJie Yang /* event wake */ 131b97169daSJie Yang dev_dbg(sst_drv_ctx->dev, "Event wake %x\n", 132b97169daSJie Yang block->condition); 133b97169daSJie Yang dev_dbg(sst_drv_ctx->dev, "message ret: %d\n", 134b97169daSJie Yang block->ret_code); 135b97169daSJie Yang retval = -block->ret_code; 136b97169daSJie Yang } else { 137b97169daSJie Yang block->on = false; 138b97169daSJie Yang dev_err(sst_drv_ctx->dev, 139b97169daSJie Yang "Wait timed-out condition:%#x, msg_id:%#x fw_state %#x\n", 140b97169daSJie Yang block->condition, block->msg_id, sst_drv_ctx->sst_state); 141b97169daSJie Yang sst_drv_ctx->sst_state = SST_RESET; 142b97169daSJie Yang 143b97169daSJie Yang retval = -EBUSY; 144b97169daSJie Yang } 145b97169daSJie Yang return retval; 146b97169daSJie Yang } 147b97169daSJie Yang 148b97169daSJie Yang /* 149b97169daSJie Yang * sst_create_ipc_msg - create a IPC message 150b97169daSJie Yang * 151b97169daSJie Yang * @arg: ipc message 152b97169daSJie Yang * @large: large or short message 153b97169daSJie Yang * 154b97169daSJie Yang * this function allocates structures to send a large or short 155b97169daSJie Yang * message to the firmware 156b97169daSJie Yang */ 157b97169daSJie Yang int sst_create_ipc_msg(struct ipc_post **arg, bool large) 158b97169daSJie Yang { 159b97169daSJie Yang struct ipc_post *msg; 160b97169daSJie Yang 161972b0d45SPierre-Louis Bossart msg = kzalloc(sizeof(*msg), GFP_KERNEL); 162b97169daSJie Yang if (!msg) 163b97169daSJie Yang return -ENOMEM; 164b97169daSJie Yang if (large) { 165972b0d45SPierre-Louis Bossart msg->mailbox_data = kzalloc(SST_MAILBOX_SIZE, GFP_KERNEL); 166b97169daSJie Yang if (!msg->mailbox_data) { 167b97169daSJie Yang kfree(msg); 168b97169daSJie Yang return -ENOMEM; 169b97169daSJie Yang } 170b97169daSJie Yang } else { 171b97169daSJie Yang msg->mailbox_data = NULL; 172b97169daSJie Yang } 173b97169daSJie Yang msg->is_large = large; 174b97169daSJie Yang *arg = msg; 175b97169daSJie Yang return 0; 176b97169daSJie Yang } 177b97169daSJie Yang 178b97169daSJie Yang /* 179b97169daSJie Yang * sst_create_block_and_ipc_msg - Creates IPC message and sst block 180b97169daSJie Yang * @arg: passed to sst_create_ipc_message API 181b97169daSJie Yang * @large: large or short message 182b97169daSJie Yang * @sst_drv_ctx: sst driver context 183b97169daSJie Yang * @block: return block allocated 184b97169daSJie Yang * @msg_id: IPC 185b97169daSJie Yang * @drv_id: stream id or private id 186b97169daSJie Yang */ 187b97169daSJie Yang int sst_create_block_and_ipc_msg(struct ipc_post **arg, bool large, 188b97169daSJie Yang struct intel_sst_drv *sst_drv_ctx, struct sst_block **block, 189b97169daSJie Yang u32 msg_id, u32 drv_id) 190b97169daSJie Yang { 191b97169daSJie Yang int retval = 0; 192b97169daSJie Yang 193b97169daSJie Yang retval = sst_create_ipc_msg(arg, large); 194b97169daSJie Yang if (retval) 195b97169daSJie Yang return retval; 196b97169daSJie Yang *block = sst_create_block(sst_drv_ctx, msg_id, drv_id); 197b97169daSJie Yang if (*block == NULL) { 198b97169daSJie Yang kfree(*arg); 199b97169daSJie Yang return -ENOMEM; 200b97169daSJie Yang } 201b97169daSJie Yang return retval; 202b97169daSJie Yang } 203b97169daSJie Yang 204b97169daSJie Yang /* 205b97169daSJie Yang * sst_clean_stream - clean the stream context 206b97169daSJie Yang * 207b97169daSJie Yang * @stream: stream structure 208b97169daSJie Yang * 209b97169daSJie Yang * this function resets the stream contexts 210b97169daSJie Yang * should be called in free 211b97169daSJie Yang */ 212b97169daSJie Yang void sst_clean_stream(struct stream_info *stream) 213b97169daSJie Yang { 214b97169daSJie Yang stream->status = STREAM_UN_INIT; 215b97169daSJie Yang stream->prev = STREAM_UN_INIT; 216b97169daSJie Yang mutex_lock(&stream->lock); 217b97169daSJie Yang stream->cumm_bytes = 0; 218b97169daSJie Yang mutex_unlock(&stream->lock); 219b97169daSJie Yang } 220b97169daSJie Yang 221b97169daSJie Yang int sst_prepare_and_post_msg(struct intel_sst_drv *sst, 222b97169daSJie Yang int task_id, int ipc_msg, int cmd_id, int pipe_id, 223b97169daSJie Yang size_t mbox_data_len, const void *mbox_data, void **data, 224b97169daSJie Yang bool large, bool fill_dsp, bool sync, bool response) 225b97169daSJie Yang { 226b97169daSJie Yang struct ipc_post *msg = NULL; 227b97169daSJie Yang struct ipc_dsp_hdr dsp_hdr; 228b97169daSJie Yang struct sst_block *block; 229b97169daSJie Yang int ret = 0, pvt_id; 230b97169daSJie Yang 231b97169daSJie Yang pvt_id = sst_assign_pvt_id(sst); 232b97169daSJie Yang if (pvt_id < 0) 233b97169daSJie Yang return pvt_id; 234b97169daSJie Yang 235b97169daSJie Yang if (response) 236b97169daSJie Yang ret = sst_create_block_and_ipc_msg( 237b97169daSJie Yang &msg, large, sst, &block, ipc_msg, pvt_id); 238b97169daSJie Yang else 239b97169daSJie Yang ret = sst_create_ipc_msg(&msg, large); 240b97169daSJie Yang 241b97169daSJie Yang if (ret < 0) { 242b97169daSJie Yang test_and_clear_bit(pvt_id, &sst->pvt_id); 243b97169daSJie Yang return -ENOMEM; 244b97169daSJie Yang } 245b97169daSJie Yang 246b97169daSJie Yang dev_dbg(sst->dev, "pvt_id = %d, pipe id = %d, task = %d ipc_msg: %d\n", 247b97169daSJie Yang pvt_id, pipe_id, task_id, ipc_msg); 248b97169daSJie Yang sst_fill_header_mrfld(&msg->mrfld_header, ipc_msg, 249b97169daSJie Yang task_id, large, pvt_id); 250b97169daSJie Yang msg->mrfld_header.p.header_low_payload = sizeof(dsp_hdr) + mbox_data_len; 251b97169daSJie Yang msg->mrfld_header.p.header_high.part.res_rqd = !sync; 252b97169daSJie Yang dev_dbg(sst->dev, "header:%x\n", 253b97169daSJie Yang msg->mrfld_header.p.header_high.full); 254b97169daSJie Yang dev_dbg(sst->dev, "response rqd: %x", 255b97169daSJie Yang msg->mrfld_header.p.header_high.part.res_rqd); 256b97169daSJie Yang dev_dbg(sst->dev, "msg->mrfld_header.p.header_low_payload:%d", 257b97169daSJie Yang msg->mrfld_header.p.header_low_payload); 258b97169daSJie Yang if (fill_dsp) { 259b97169daSJie Yang sst_fill_header_dsp(&dsp_hdr, cmd_id, pipe_id, mbox_data_len); 260b97169daSJie Yang memcpy(msg->mailbox_data, &dsp_hdr, sizeof(dsp_hdr)); 261b97169daSJie Yang if (mbox_data_len) { 262b97169daSJie Yang memcpy(msg->mailbox_data + sizeof(dsp_hdr), 263b97169daSJie Yang mbox_data, mbox_data_len); 264b97169daSJie Yang } 265b97169daSJie Yang } 266b97169daSJie Yang 267b97169daSJie Yang if (sync) 268b97169daSJie Yang sst->ops->post_message(sst, msg, true); 269b97169daSJie Yang else 270b97169daSJie Yang sst_add_to_dispatch_list_and_post(sst, msg); 271b97169daSJie Yang 272b97169daSJie Yang if (response) { 273b97169daSJie Yang ret = sst_wait_timeout(sst, block); 27461ab0d40SNicolas Iooss if (ret < 0) 275b97169daSJie Yang goto out; 27661ab0d40SNicolas Iooss 27761ab0d40SNicolas Iooss if (data && block->data) { 27861ab0d40SNicolas Iooss *data = kmemdup(block->data, block->size, GFP_KERNEL); 27961ab0d40SNicolas Iooss if (!*data) { 280b97169daSJie Yang ret = -ENOMEM; 281b97169daSJie Yang goto out; 28261ab0d40SNicolas Iooss } 283b97169daSJie Yang } 284b97169daSJie Yang } 285b97169daSJie Yang out: 286b97169daSJie Yang if (response) 287b97169daSJie Yang sst_free_block(sst, block); 288b97169daSJie Yang test_and_clear_bit(pvt_id, &sst->pvt_id); 289b97169daSJie Yang return ret; 290b97169daSJie Yang } 291b97169daSJie Yang 292b97169daSJie Yang int sst_pm_runtime_put(struct intel_sst_drv *sst_drv) 293b97169daSJie Yang { 294b97169daSJie Yang int ret; 295b97169daSJie Yang 296b97169daSJie Yang pm_runtime_mark_last_busy(sst_drv->dev); 297b97169daSJie Yang ret = pm_runtime_put_autosuspend(sst_drv->dev); 298b97169daSJie Yang if (ret < 0) 299b97169daSJie Yang return ret; 300b97169daSJie Yang return 0; 301b97169daSJie Yang } 302b97169daSJie Yang 303b97169daSJie Yang void sst_fill_header_mrfld(union ipc_header_mrfld *header, 304b97169daSJie Yang int msg, int task_id, int large, int drv_id) 305b97169daSJie Yang { 306b97169daSJie Yang header->full = 0; 307b97169daSJie Yang header->p.header_high.part.msg_id = msg; 308b97169daSJie Yang header->p.header_high.part.task_id = task_id; 309b97169daSJie Yang header->p.header_high.part.large = large; 310b97169daSJie Yang header->p.header_high.part.drv_id = drv_id; 311b97169daSJie Yang header->p.header_high.part.done = 0; 312b97169daSJie Yang header->p.header_high.part.busy = 1; 313b97169daSJie Yang header->p.header_high.part.res_rqd = 1; 314b97169daSJie Yang } 315b97169daSJie Yang 316b97169daSJie Yang void sst_fill_header_dsp(struct ipc_dsp_hdr *dsp, int msg, 317b97169daSJie Yang int pipe_id, int len) 318b97169daSJie Yang { 319b97169daSJie Yang dsp->cmd_id = msg; 320b97169daSJie Yang dsp->mod_index_id = 0xff; 321b97169daSJie Yang dsp->pipe_id = pipe_id; 322b97169daSJie Yang dsp->length = len; 323b97169daSJie Yang dsp->mod_id = 0; 324b97169daSJie Yang } 325b97169daSJie Yang 326b97169daSJie Yang #define SST_MAX_BLOCKS 15 327b97169daSJie Yang /* 328b97169daSJie Yang * sst_assign_pvt_id - assign a pvt id for stream 329b97169daSJie Yang * 330b97169daSJie Yang * @sst_drv_ctx : driver context 331b97169daSJie Yang * 332b97169daSJie Yang * this function assigns a private id for calls that dont have stream 333b97169daSJie Yang * context yet, should be called with lock held 334b97169daSJie Yang * uses bits for the id, and finds first free bits and assigns that 335b97169daSJie Yang */ 336b97169daSJie Yang int sst_assign_pvt_id(struct intel_sst_drv *drv) 337b97169daSJie Yang { 338b97169daSJie Yang int local; 339b97169daSJie Yang 340b97169daSJie Yang spin_lock(&drv->block_lock); 341b97169daSJie Yang /* find first zero index from lsb */ 342b97169daSJie Yang local = ffz(drv->pvt_id); 343b97169daSJie Yang dev_dbg(drv->dev, "pvt_id assigned --> %d\n", local); 344b97169daSJie Yang if (local >= SST_MAX_BLOCKS){ 345b97169daSJie Yang spin_unlock(&drv->block_lock); 346b97169daSJie Yang dev_err(drv->dev, "PVT _ID error: no free id blocks "); 347b97169daSJie Yang return -EINVAL; 348b97169daSJie Yang } 349b97169daSJie Yang /* toggle the index */ 350b97169daSJie Yang change_bit(local, &drv->pvt_id); 351b97169daSJie Yang spin_unlock(&drv->block_lock); 352b97169daSJie Yang return local; 353b97169daSJie Yang } 354b97169daSJie Yang 355b97169daSJie Yang int sst_validate_strid( 356b97169daSJie Yang struct intel_sst_drv *sst_drv_ctx, int str_id) 357b97169daSJie Yang { 358b97169daSJie Yang if (str_id <= 0 || str_id > sst_drv_ctx->info.max_streams) { 359b97169daSJie Yang dev_err(sst_drv_ctx->dev, 360b97169daSJie Yang "SST ERR: invalid stream id : %d, max %d\n", 361b97169daSJie Yang str_id, sst_drv_ctx->info.max_streams); 362b97169daSJie Yang return -EINVAL; 363b97169daSJie Yang } 364b97169daSJie Yang 365b97169daSJie Yang return 0; 366b97169daSJie Yang } 367b97169daSJie Yang 368b97169daSJie Yang struct stream_info *get_stream_info( 369b97169daSJie Yang struct intel_sst_drv *sst_drv_ctx, int str_id) 370b97169daSJie Yang { 371b97169daSJie Yang if (sst_validate_strid(sst_drv_ctx, str_id)) 372b97169daSJie Yang return NULL; 373b97169daSJie Yang return &sst_drv_ctx->streams[str_id]; 374b97169daSJie Yang } 375b97169daSJie Yang 376b97169daSJie Yang int get_stream_id_mrfld(struct intel_sst_drv *sst_drv_ctx, 377b97169daSJie Yang u32 pipe_id) 378b97169daSJie Yang { 379b97169daSJie Yang int i; 380b97169daSJie Yang 381b97169daSJie Yang for (i = 1; i <= sst_drv_ctx->info.max_streams; i++) 382b97169daSJie Yang if (pipe_id == sst_drv_ctx->streams[i].pipe_id) 383b97169daSJie Yang return i; 384b97169daSJie Yang 385b97169daSJie Yang dev_dbg(sst_drv_ctx->dev, "no such pipe_id(%u)", pipe_id); 386b97169daSJie Yang return -1; 387b97169daSJie Yang } 388b97169daSJie Yang 389b97169daSJie Yang u32 relocate_imr_addr_mrfld(u32 base_addr) 390b97169daSJie Yang { 391b97169daSJie Yang /* Get the difference from 512MB aligned base addr */ 392b97169daSJie Yang /* relocate the base */ 393b97169daSJie Yang base_addr = MRFLD_FW_VIRTUAL_BASE + (base_addr % (512 * 1024 * 1024)); 394b97169daSJie Yang return base_addr; 395b97169daSJie Yang } 396b97169daSJie Yang EXPORT_SYMBOL_GPL(relocate_imr_addr_mrfld); 397b97169daSJie Yang 398b97169daSJie Yang void sst_add_to_dispatch_list_and_post(struct intel_sst_drv *sst, 399b97169daSJie Yang struct ipc_post *msg) 400b97169daSJie Yang { 401b97169daSJie Yang unsigned long irq_flags; 402b97169daSJie Yang 403b97169daSJie Yang spin_lock_irqsave(&sst->ipc_spin_lock, irq_flags); 404b97169daSJie Yang list_add_tail(&msg->node, &sst->ipc_dispatch_list); 405b97169daSJie Yang spin_unlock_irqrestore(&sst->ipc_spin_lock, irq_flags); 406b97169daSJie Yang sst->ops->post_message(sst, NULL, false); 407b97169daSJie Yang } 408