1dd11376bSBart Van Assche /* SPDX-License-Identifier: GPL-2.0-or-later */ 2dd11376bSBart Van Assche 3dd11376bSBart Van Assche #ifndef _UFSHCD_PRIV_H_ 4dd11376bSBart Van Assche #define _UFSHCD_PRIV_H_ 5dd11376bSBart Van Assche 6dd11376bSBart Van Assche #include <linux/pm_runtime.h> 7dd11376bSBart Van Assche #include <ufs/ufshcd.h> 8dd11376bSBart Van Assche 9dd11376bSBart Van Assche static inline bool ufshcd_is_user_access_allowed(struct ufs_hba *hba) 10dd11376bSBart Van Assche { 11dd11376bSBart Van Assche return !hba->shutting_down; 12dd11376bSBart Van Assche } 13dd11376bSBart Van Assche 14dd11376bSBart Van Assche void ufshcd_schedule_eh_work(struct ufs_hba *hba); 15dd11376bSBart Van Assche 16dd11376bSBart Van Assche static inline bool ufshcd_keep_autobkops_enabled_except_suspend( 17dd11376bSBart Van Assche struct ufs_hba *hba) 18dd11376bSBart Van Assche { 19dd11376bSBart Van Assche return hba->caps & UFSHCD_CAP_KEEP_AUTO_BKOPS_ENABLED_EXCEPT_SUSPEND; 20dd11376bSBart Van Assche } 21dd11376bSBart Van Assche 22dd11376bSBart Van Assche static inline u8 ufshcd_wb_get_query_index(struct ufs_hba *hba) 23dd11376bSBart Van Assche { 24dd11376bSBart Van Assche if (hba->dev_info.wb_buffer_type == WB_BUF_MODE_LU_DEDICATED) 25dd11376bSBart Van Assche return hba->dev_info.wb_dedicated_lu; 26dd11376bSBart Van Assche return 0; 27dd11376bSBart Van Assche } 28dd11376bSBart Van Assche 2942f8c5cdSJinyoung Choi static inline bool ufshcd_is_wb_buf_flush_allowed(struct ufs_hba *hba) 3042f8c5cdSJinyoung Choi { 3142f8c5cdSJinyoung Choi return ufshcd_is_wb_allowed(hba) && 3242f8c5cdSJinyoung Choi !(hba->quirks & UFSHCI_QUIRK_SKIP_MANUAL_WB_FLUSH_CTRL); 3342f8c5cdSJinyoung Choi } 3442f8c5cdSJinyoung Choi 35dd11376bSBart Van Assche #ifdef CONFIG_SCSI_UFS_HWMON 36dd11376bSBart Van Assche void ufs_hwmon_probe(struct ufs_hba *hba, u8 mask); 37dd11376bSBart Van Assche void ufs_hwmon_remove(struct ufs_hba *hba); 38dd11376bSBart Van Assche void ufs_hwmon_notify_event(struct ufs_hba *hba, u8 ee_mask); 39dd11376bSBart Van Assche #else 40dd11376bSBart Van Assche static inline void ufs_hwmon_probe(struct ufs_hba *hba, u8 mask) {} 41dd11376bSBart Van Assche static inline void ufs_hwmon_remove(struct ufs_hba *hba) {} 42dd11376bSBart Van Assche static inline void ufs_hwmon_notify_event(struct ufs_hba *hba, u8 ee_mask) {} 43dd11376bSBart Van Assche #endif 44dd11376bSBart Van Assche 451a2433b0SArthur Simchaev int ufshcd_query_descriptor_retry(struct ufs_hba *hba, 461a2433b0SArthur Simchaev enum query_opcode opcode, 471a2433b0SArthur Simchaev enum desc_idn idn, u8 index, 481a2433b0SArthur Simchaev u8 selector, 491a2433b0SArthur Simchaev u8 *desc_buf, int *buf_len); 50dd11376bSBart Van Assche int ufshcd_read_desc_param(struct ufs_hba *hba, 51dd11376bSBart Van Assche enum desc_idn desc_id, 52dd11376bSBart Van Assche int desc_index, 53dd11376bSBart Van Assche u8 param_offset, 54dd11376bSBart Van Assche u8 *param_read_buf, 55dd11376bSBart Van Assche u8 param_size); 56dd11376bSBart Van Assche int ufshcd_query_attr_retry(struct ufs_hba *hba, enum query_opcode opcode, 57dd11376bSBart Van Assche enum attr_idn idn, u8 index, u8 selector, 58dd11376bSBart Van Assche u32 *attr_val); 59dd11376bSBart Van Assche int ufshcd_query_attr(struct ufs_hba *hba, enum query_opcode opcode, 60dd11376bSBart Van Assche enum attr_idn idn, u8 index, u8 selector, u32 *attr_val); 61dd11376bSBart Van Assche int ufshcd_query_flag(struct ufs_hba *hba, enum query_opcode opcode, 62dd11376bSBart Van Assche enum flag_idn idn, u8 index, bool *flag_res); 63dd11376bSBart Van Assche void ufshcd_auto_hibern8_update(struct ufs_hba *hba, u32 ahit); 6457b1c0efSAsutosh Das int ufshcd_mcq_init(struct ufs_hba *hba); 657224c806SAsutosh Das int ufshcd_mcq_decide_queue_depth(struct ufs_hba *hba); 66*4682abfaSAsutosh Das int ufshcd_mcq_memory_alloc(struct ufs_hba *hba); 67dd11376bSBart Van Assche 68dd11376bSBart Van Assche #define SD_ASCII_STD true 69dd11376bSBart Van Assche #define SD_RAW false 70dd11376bSBart Van Assche int ufshcd_read_string_desc(struct ufs_hba *hba, u8 desc_index, 71dd11376bSBart Van Assche u8 **buf, bool ascii); 72dd11376bSBart Van Assche 73dd11376bSBart Van Assche int ufshcd_hold(struct ufs_hba *hba, bool async); 74dd11376bSBart Van Assche void ufshcd_release(struct ufs_hba *hba); 75dd11376bSBart Van Assche 76dd11376bSBart Van Assche int ufshcd_send_uic_cmd(struct ufs_hba *hba, struct uic_command *uic_cmd); 77dd11376bSBart Van Assche 78dd11376bSBart Van Assche int ufshcd_exec_raw_upiu_cmd(struct ufs_hba *hba, 79dd11376bSBart Van Assche struct utp_upiu_req *req_upiu, 80dd11376bSBart Van Assche struct utp_upiu_req *rsp_upiu, 81dd11376bSBart Van Assche int msgcode, 82dd11376bSBart Van Assche u8 *desc_buff, int *buff_len, 83dd11376bSBart Van Assche enum query_opcode desc_op); 84dd11376bSBart Van Assche 85dd11376bSBart Van Assche int ufshcd_wb_toggle(struct ufs_hba *hba, bool enable); 86dd11376bSBart Van Assche 87dd11376bSBart Van Assche /* Wrapper functions for safely calling variant operations */ 88dd11376bSBart Van Assche static inline const char *ufshcd_get_var_name(struct ufs_hba *hba) 89dd11376bSBart Van Assche { 90dd11376bSBart Van Assche if (hba->vops) 91dd11376bSBart Van Assche return hba->vops->name; 92dd11376bSBart Van Assche return ""; 93dd11376bSBart Van Assche } 94dd11376bSBart Van Assche 95dd11376bSBart Van Assche static inline void ufshcd_vops_exit(struct ufs_hba *hba) 96dd11376bSBart Van Assche { 97dd11376bSBart Van Assche if (hba->vops && hba->vops->exit) 98dd11376bSBart Van Assche return hba->vops->exit(hba); 99dd11376bSBart Van Assche } 100dd11376bSBart Van Assche 101dd11376bSBart Van Assche static inline u32 ufshcd_vops_get_ufs_hci_version(struct ufs_hba *hba) 102dd11376bSBart Van Assche { 103dd11376bSBart Van Assche if (hba->vops && hba->vops->get_ufs_hci_version) 104dd11376bSBart Van Assche return hba->vops->get_ufs_hci_version(hba); 105dd11376bSBart Van Assche 106dd11376bSBart Van Assche return ufshcd_readl(hba, REG_UFS_VERSION); 107dd11376bSBart Van Assche } 108dd11376bSBart Van Assche 109dd11376bSBart Van Assche static inline int ufshcd_vops_clk_scale_notify(struct ufs_hba *hba, 110dd11376bSBart Van Assche bool up, enum ufs_notify_change_status status) 111dd11376bSBart Van Assche { 112dd11376bSBart Van Assche if (hba->vops && hba->vops->clk_scale_notify) 113dd11376bSBart Van Assche return hba->vops->clk_scale_notify(hba, up, status); 114dd11376bSBart Van Assche return 0; 115dd11376bSBart Van Assche } 116dd11376bSBart Van Assche 117dd11376bSBart Van Assche static inline void ufshcd_vops_event_notify(struct ufs_hba *hba, 118dd11376bSBart Van Assche enum ufs_event_type evt, 119dd11376bSBart Van Assche void *data) 120dd11376bSBart Van Assche { 121dd11376bSBart Van Assche if (hba->vops && hba->vops->event_notify) 122dd11376bSBart Van Assche hba->vops->event_notify(hba, evt, data); 123dd11376bSBart Van Assche } 124dd11376bSBart Van Assche 125dd11376bSBart Van Assche static inline int ufshcd_vops_setup_clocks(struct ufs_hba *hba, bool on, 126dd11376bSBart Van Assche enum ufs_notify_change_status status) 127dd11376bSBart Van Assche { 128dd11376bSBart Van Assche if (hba->vops && hba->vops->setup_clocks) 129dd11376bSBart Van Assche return hba->vops->setup_clocks(hba, on, status); 130dd11376bSBart Van Assche return 0; 131dd11376bSBart Van Assche } 132dd11376bSBart Van Assche 133dd11376bSBart Van Assche static inline int ufshcd_vops_hce_enable_notify(struct ufs_hba *hba, 134dd11376bSBart Van Assche bool status) 135dd11376bSBart Van Assche { 136dd11376bSBart Van Assche if (hba->vops && hba->vops->hce_enable_notify) 137dd11376bSBart Van Assche return hba->vops->hce_enable_notify(hba, status); 138dd11376bSBart Van Assche 139dd11376bSBart Van Assche return 0; 140dd11376bSBart Van Assche } 141dd11376bSBart Van Assche static inline int ufshcd_vops_link_startup_notify(struct ufs_hba *hba, 142dd11376bSBart Van Assche bool status) 143dd11376bSBart Van Assche { 144dd11376bSBart Van Assche if (hba->vops && hba->vops->link_startup_notify) 145dd11376bSBart Van Assche return hba->vops->link_startup_notify(hba, status); 146dd11376bSBart Van Assche 147dd11376bSBart Van Assche return 0; 148dd11376bSBart Van Assche } 149dd11376bSBart Van Assche 150dd11376bSBart Van Assche static inline int ufshcd_vops_pwr_change_notify(struct ufs_hba *hba, 151dd11376bSBart Van Assche enum ufs_notify_change_status status, 152dd11376bSBart Van Assche struct ufs_pa_layer_attr *dev_max_params, 153dd11376bSBart Van Assche struct ufs_pa_layer_attr *dev_req_params) 154dd11376bSBart Van Assche { 155dd11376bSBart Van Assche if (hba->vops && hba->vops->pwr_change_notify) 156dd11376bSBart Van Assche return hba->vops->pwr_change_notify(hba, status, 157dd11376bSBart Van Assche dev_max_params, dev_req_params); 158dd11376bSBart Van Assche 159dd11376bSBart Van Assche return -ENOTSUPP; 160dd11376bSBart Van Assche } 161dd11376bSBart Van Assche 162dd11376bSBart Van Assche static inline void ufshcd_vops_setup_task_mgmt(struct ufs_hba *hba, 163dd11376bSBart Van Assche int tag, u8 tm_function) 164dd11376bSBart Van Assche { 165dd11376bSBart Van Assche if (hba->vops && hba->vops->setup_task_mgmt) 166dd11376bSBart Van Assche return hba->vops->setup_task_mgmt(hba, tag, tm_function); 167dd11376bSBart Van Assche } 168dd11376bSBart Van Assche 169dd11376bSBart Van Assche static inline void ufshcd_vops_hibern8_notify(struct ufs_hba *hba, 170dd11376bSBart Van Assche enum uic_cmd_dme cmd, 171dd11376bSBart Van Assche enum ufs_notify_change_status status) 172dd11376bSBart Van Assche { 173dd11376bSBart Van Assche if (hba->vops && hba->vops->hibern8_notify) 174dd11376bSBart Van Assche return hba->vops->hibern8_notify(hba, cmd, status); 175dd11376bSBart Van Assche } 176dd11376bSBart Van Assche 177dd11376bSBart Van Assche static inline int ufshcd_vops_apply_dev_quirks(struct ufs_hba *hba) 178dd11376bSBart Van Assche { 179dd11376bSBart Van Assche if (hba->vops && hba->vops->apply_dev_quirks) 180dd11376bSBart Van Assche return hba->vops->apply_dev_quirks(hba); 181dd11376bSBart Van Assche return 0; 182dd11376bSBart Van Assche } 183dd11376bSBart Van Assche 184dd11376bSBart Van Assche static inline void ufshcd_vops_fixup_dev_quirks(struct ufs_hba *hba) 185dd11376bSBart Van Assche { 186dd11376bSBart Van Assche if (hba->vops && hba->vops->fixup_dev_quirks) 187dd11376bSBart Van Assche hba->vops->fixup_dev_quirks(hba); 188dd11376bSBart Van Assche } 189dd11376bSBart Van Assche 190dd11376bSBart Van Assche static inline int ufshcd_vops_suspend(struct ufs_hba *hba, enum ufs_pm_op op, 191dd11376bSBart Van Assche enum ufs_notify_change_status status) 192dd11376bSBart Van Assche { 193dd11376bSBart Van Assche if (hba->vops && hba->vops->suspend) 194dd11376bSBart Van Assche return hba->vops->suspend(hba, op, status); 195dd11376bSBart Van Assche 196dd11376bSBart Van Assche return 0; 197dd11376bSBart Van Assche } 198dd11376bSBart Van Assche 199dd11376bSBart Van Assche static inline int ufshcd_vops_resume(struct ufs_hba *hba, enum ufs_pm_op op) 200dd11376bSBart Van Assche { 201dd11376bSBart Van Assche if (hba->vops && hba->vops->resume) 202dd11376bSBart Van Assche return hba->vops->resume(hba, op); 203dd11376bSBart Van Assche 204dd11376bSBart Van Assche return 0; 205dd11376bSBart Van Assche } 206dd11376bSBart Van Assche 207dd11376bSBart Van Assche static inline void ufshcd_vops_dbg_register_dump(struct ufs_hba *hba) 208dd11376bSBart Van Assche { 209dd11376bSBart Van Assche if (hba->vops && hba->vops->dbg_register_dump) 210dd11376bSBart Van Assche hba->vops->dbg_register_dump(hba); 211dd11376bSBart Van Assche } 212dd11376bSBart Van Assche 213dd11376bSBart Van Assche static inline int ufshcd_vops_device_reset(struct ufs_hba *hba) 214dd11376bSBart Van Assche { 215dd11376bSBart Van Assche if (hba->vops && hba->vops->device_reset) 216dd11376bSBart Van Assche return hba->vops->device_reset(hba); 217dd11376bSBart Van Assche 218dd11376bSBart Van Assche return -EOPNOTSUPP; 219dd11376bSBart Van Assche } 220dd11376bSBart Van Assche 221dd11376bSBart Van Assche static inline void ufshcd_vops_config_scaling_param(struct ufs_hba *hba, 222dd11376bSBart Van Assche struct devfreq_dev_profile *p, 223dd11376bSBart Van Assche struct devfreq_simple_ondemand_data *data) 224dd11376bSBart Van Assche { 225dd11376bSBart Van Assche if (hba->vops && hba->vops->config_scaling_param) 226dd11376bSBart Van Assche hba->vops->config_scaling_param(hba, p, data); 227dd11376bSBart Van Assche } 228dd11376bSBart Van Assche 229c2c38c57SManivannan Sadhasivam static inline void ufshcd_vops_reinit_notify(struct ufs_hba *hba) 230c2c38c57SManivannan Sadhasivam { 231c2c38c57SManivannan Sadhasivam if (hba->vops && hba->vops->reinit_notify) 232c2c38c57SManivannan Sadhasivam hba->vops->reinit_notify(hba); 233c2c38c57SManivannan Sadhasivam } 234c2c38c57SManivannan Sadhasivam 235c263b4efSAsutosh Das static inline int ufshcd_vops_mcq_config_resource(struct ufs_hba *hba) 236c263b4efSAsutosh Das { 237c263b4efSAsutosh Das if (hba->vops && hba->vops->mcq_config_resource) 238c263b4efSAsutosh Das return hba->vops->mcq_config_resource(hba); 239c263b4efSAsutosh Das 240c263b4efSAsutosh Das return -EOPNOTSUPP; 241c263b4efSAsutosh Das } 242c263b4efSAsutosh Das 2437224c806SAsutosh Das static inline int ufshcd_mcq_vops_get_hba_mac(struct ufs_hba *hba) 2447224c806SAsutosh Das { 2457224c806SAsutosh Das if (hba->vops && hba->vops->get_hba_mac) 2467224c806SAsutosh Das return hba->vops->get_hba_mac(hba); 2477224c806SAsutosh Das 2487224c806SAsutosh Das return -EOPNOTSUPP; 2497224c806SAsutosh Das } 2507224c806SAsutosh Das 25135d11ec2SKrzysztof Kozlowski extern const struct ufs_pm_lvl_states ufs_pm_lvl_states[]; 252dd11376bSBart Van Assche 253dd11376bSBart Van Assche /** 254dd11376bSBart Van Assche * ufshcd_scsi_to_upiu_lun - maps scsi LUN to UPIU LUN 255dd11376bSBart Van Assche * @scsi_lun: scsi LUN id 256dd11376bSBart Van Assche * 257dd11376bSBart Van Assche * Returns UPIU LUN id 258dd11376bSBart Van Assche */ 259dd11376bSBart Van Assche static inline u8 ufshcd_scsi_to_upiu_lun(unsigned int scsi_lun) 260dd11376bSBart Van Assche { 261dd11376bSBart Van Assche if (scsi_is_wlun(scsi_lun)) 262dd11376bSBart Van Assche return (scsi_lun & UFS_UPIU_MAX_UNIT_NUM_ID) 263dd11376bSBart Van Assche | UFS_UPIU_WLUN_ID; 264dd11376bSBart Van Assche else 265dd11376bSBart Van Assche return scsi_lun & UFS_UPIU_MAX_UNIT_NUM_ID; 266dd11376bSBart Van Assche } 267dd11376bSBart Van Assche 268dd11376bSBart Van Assche int __ufshcd_write_ee_control(struct ufs_hba *hba, u32 ee_ctrl_mask); 269dd11376bSBart Van Assche int ufshcd_write_ee_control(struct ufs_hba *hba); 27035d11ec2SKrzysztof Kozlowski int ufshcd_update_ee_control(struct ufs_hba *hba, u16 *mask, 27135d11ec2SKrzysztof Kozlowski const u16 *other_mask, u16 set, u16 clr); 272dd11376bSBart Van Assche 273dd11376bSBart Van Assche static inline int ufshcd_update_ee_drv_mask(struct ufs_hba *hba, 274dd11376bSBart Van Assche u16 set, u16 clr) 275dd11376bSBart Van Assche { 276dd11376bSBart Van Assche return ufshcd_update_ee_control(hba, &hba->ee_drv_mask, 277dd11376bSBart Van Assche &hba->ee_usr_mask, set, clr); 278dd11376bSBart Van Assche } 279dd11376bSBart Van Assche 280dd11376bSBart Van Assche static inline int ufshcd_update_ee_usr_mask(struct ufs_hba *hba, 281dd11376bSBart Van Assche u16 set, u16 clr) 282dd11376bSBart Van Assche { 283dd11376bSBart Van Assche return ufshcd_update_ee_control(hba, &hba->ee_usr_mask, 284dd11376bSBart Van Assche &hba->ee_drv_mask, set, clr); 285dd11376bSBart Van Assche } 286dd11376bSBart Van Assche 287dd11376bSBart Van Assche static inline int ufshcd_rpm_get_sync(struct ufs_hba *hba) 288dd11376bSBart Van Assche { 289dd11376bSBart Van Assche return pm_runtime_get_sync(&hba->ufs_device_wlun->sdev_gendev); 290dd11376bSBart Van Assche } 291dd11376bSBart Van Assche 292dd11376bSBart Van Assche static inline int ufshcd_rpm_put_sync(struct ufs_hba *hba) 293dd11376bSBart Van Assche { 294dd11376bSBart Van Assche return pm_runtime_put_sync(&hba->ufs_device_wlun->sdev_gendev); 295dd11376bSBart Van Assche } 296dd11376bSBart Van Assche 297dd11376bSBart Van Assche static inline void ufshcd_rpm_get_noresume(struct ufs_hba *hba) 298dd11376bSBart Van Assche { 299dd11376bSBart Van Assche pm_runtime_get_noresume(&hba->ufs_device_wlun->sdev_gendev); 300dd11376bSBart Van Assche } 301dd11376bSBart Van Assche 302dd11376bSBart Van Assche static inline int ufshcd_rpm_resume(struct ufs_hba *hba) 303dd11376bSBart Van Assche { 304dd11376bSBart Van Assche return pm_runtime_resume(&hba->ufs_device_wlun->sdev_gendev); 305dd11376bSBart Van Assche } 306dd11376bSBart Van Assche 307dd11376bSBart Van Assche static inline int ufshcd_rpm_put(struct ufs_hba *hba) 308dd11376bSBart Van Assche { 309dd11376bSBart Van Assche return pm_runtime_put(&hba->ufs_device_wlun->sdev_gendev); 310dd11376bSBart Van Assche } 311dd11376bSBart Van Assche 312dd11376bSBart Van Assche /** 313dd11376bSBart Van Assche * ufs_is_valid_unit_desc_lun - checks if the given LUN has a unit descriptor 314dd11376bSBart Van Assche * @dev_info: pointer of instance of struct ufs_dev_info 315dd11376bSBart Van Assche * @lun: LU number to check 316dd11376bSBart Van Assche * @return: true if the lun has a matching unit descriptor, false otherwise 317dd11376bSBart Van Assche */ 318b43678eaSBean Huo static inline bool ufs_is_valid_unit_desc_lun(struct ufs_dev_info *dev_info, u8 lun) 319dd11376bSBart Van Assche { 320dd11376bSBart Van Assche if (!dev_info || !dev_info->max_lu_supported) { 321dd11376bSBart Van Assche pr_err("Max General LU supported by UFS isn't initialized\n"); 322dd11376bSBart Van Assche return false; 323dd11376bSBart Van Assche } 324dd11376bSBart Van Assche return lun == UFS_UPIU_RPMB_WLUN || (lun < dev_info->max_lu_supported); 325dd11376bSBart Van Assche } 326dd11376bSBart Van Assche 327dd11376bSBart Van Assche #endif /* _UFSHCD_PRIV_H_ */ 328