xref: /linux/drivers/ufs/core/ufshcd-priv.h (revision 4682abfae2eb3a1c138130cfd6d71411d81aaa00)
1dd11376bSBart Van Assche /* SPDX-License-Identifier: GPL-2.0-or-later */
2dd11376bSBart Van Assche 
3dd11376bSBart Van Assche #ifndef _UFSHCD_PRIV_H_
4dd11376bSBart Van Assche #define _UFSHCD_PRIV_H_
5dd11376bSBart Van Assche 
6dd11376bSBart Van Assche #include <linux/pm_runtime.h>
7dd11376bSBart Van Assche #include <ufs/ufshcd.h>
8dd11376bSBart Van Assche 
9dd11376bSBart Van Assche static inline bool ufshcd_is_user_access_allowed(struct ufs_hba *hba)
10dd11376bSBart Van Assche {
11dd11376bSBart Van Assche 	return !hba->shutting_down;
12dd11376bSBart Van Assche }
13dd11376bSBart Van Assche 
14dd11376bSBart Van Assche void ufshcd_schedule_eh_work(struct ufs_hba *hba);
15dd11376bSBart Van Assche 
16dd11376bSBart Van Assche static inline bool ufshcd_keep_autobkops_enabled_except_suspend(
17dd11376bSBart Van Assche 							struct ufs_hba *hba)
18dd11376bSBart Van Assche {
19dd11376bSBart Van Assche 	return hba->caps & UFSHCD_CAP_KEEP_AUTO_BKOPS_ENABLED_EXCEPT_SUSPEND;
20dd11376bSBart Van Assche }
21dd11376bSBart Van Assche 
22dd11376bSBart Van Assche static inline u8 ufshcd_wb_get_query_index(struct ufs_hba *hba)
23dd11376bSBart Van Assche {
24dd11376bSBart Van Assche 	if (hba->dev_info.wb_buffer_type == WB_BUF_MODE_LU_DEDICATED)
25dd11376bSBart Van Assche 		return hba->dev_info.wb_dedicated_lu;
26dd11376bSBart Van Assche 	return 0;
27dd11376bSBart Van Assche }
28dd11376bSBart Van Assche 
2942f8c5cdSJinyoung Choi static inline bool ufshcd_is_wb_buf_flush_allowed(struct ufs_hba *hba)
3042f8c5cdSJinyoung Choi {
3142f8c5cdSJinyoung Choi 	return ufshcd_is_wb_allowed(hba) &&
3242f8c5cdSJinyoung Choi 		!(hba->quirks & UFSHCI_QUIRK_SKIP_MANUAL_WB_FLUSH_CTRL);
3342f8c5cdSJinyoung Choi }
3442f8c5cdSJinyoung Choi 
35dd11376bSBart Van Assche #ifdef CONFIG_SCSI_UFS_HWMON
36dd11376bSBart Van Assche void ufs_hwmon_probe(struct ufs_hba *hba, u8 mask);
37dd11376bSBart Van Assche void ufs_hwmon_remove(struct ufs_hba *hba);
38dd11376bSBart Van Assche void ufs_hwmon_notify_event(struct ufs_hba *hba, u8 ee_mask);
39dd11376bSBart Van Assche #else
40dd11376bSBart Van Assche static inline void ufs_hwmon_probe(struct ufs_hba *hba, u8 mask) {}
41dd11376bSBart Van Assche static inline void ufs_hwmon_remove(struct ufs_hba *hba) {}
42dd11376bSBart Van Assche static inline void ufs_hwmon_notify_event(struct ufs_hba *hba, u8 ee_mask) {}
43dd11376bSBart Van Assche #endif
44dd11376bSBart Van Assche 
451a2433b0SArthur Simchaev int ufshcd_query_descriptor_retry(struct ufs_hba *hba,
461a2433b0SArthur Simchaev 				  enum query_opcode opcode,
471a2433b0SArthur Simchaev 				  enum desc_idn idn, u8 index,
481a2433b0SArthur Simchaev 				  u8 selector,
491a2433b0SArthur Simchaev 				  u8 *desc_buf, int *buf_len);
50dd11376bSBart Van Assche int ufshcd_read_desc_param(struct ufs_hba *hba,
51dd11376bSBart Van Assche 			   enum desc_idn desc_id,
52dd11376bSBart Van Assche 			   int desc_index,
53dd11376bSBart Van Assche 			   u8 param_offset,
54dd11376bSBart Van Assche 			   u8 *param_read_buf,
55dd11376bSBart Van Assche 			   u8 param_size);
56dd11376bSBart Van Assche int ufshcd_query_attr_retry(struct ufs_hba *hba, enum query_opcode opcode,
57dd11376bSBart Van Assche 			    enum attr_idn idn, u8 index, u8 selector,
58dd11376bSBart Van Assche 			    u32 *attr_val);
59dd11376bSBart Van Assche int ufshcd_query_attr(struct ufs_hba *hba, enum query_opcode opcode,
60dd11376bSBart Van Assche 		      enum attr_idn idn, u8 index, u8 selector, u32 *attr_val);
61dd11376bSBart Van Assche int ufshcd_query_flag(struct ufs_hba *hba, enum query_opcode opcode,
62dd11376bSBart Van Assche 	enum flag_idn idn, u8 index, bool *flag_res);
63dd11376bSBart Van Assche void ufshcd_auto_hibern8_update(struct ufs_hba *hba, u32 ahit);
6457b1c0efSAsutosh Das int ufshcd_mcq_init(struct ufs_hba *hba);
657224c806SAsutosh Das int ufshcd_mcq_decide_queue_depth(struct ufs_hba *hba);
66*4682abfaSAsutosh Das int ufshcd_mcq_memory_alloc(struct ufs_hba *hba);
67dd11376bSBart Van Assche 
68dd11376bSBart Van Assche #define SD_ASCII_STD true
69dd11376bSBart Van Assche #define SD_RAW false
70dd11376bSBart Van Assche int ufshcd_read_string_desc(struct ufs_hba *hba, u8 desc_index,
71dd11376bSBart Van Assche 			    u8 **buf, bool ascii);
72dd11376bSBart Van Assche 
73dd11376bSBart Van Assche int ufshcd_hold(struct ufs_hba *hba, bool async);
74dd11376bSBart Van Assche void ufshcd_release(struct ufs_hba *hba);
75dd11376bSBart Van Assche 
76dd11376bSBart Van Assche int ufshcd_send_uic_cmd(struct ufs_hba *hba, struct uic_command *uic_cmd);
77dd11376bSBart Van Assche 
78dd11376bSBart Van Assche int ufshcd_exec_raw_upiu_cmd(struct ufs_hba *hba,
79dd11376bSBart Van Assche 			     struct utp_upiu_req *req_upiu,
80dd11376bSBart Van Assche 			     struct utp_upiu_req *rsp_upiu,
81dd11376bSBart Van Assche 			     int msgcode,
82dd11376bSBart Van Assche 			     u8 *desc_buff, int *buff_len,
83dd11376bSBart Van Assche 			     enum query_opcode desc_op);
84dd11376bSBart Van Assche 
85dd11376bSBart Van Assche int ufshcd_wb_toggle(struct ufs_hba *hba, bool enable);
86dd11376bSBart Van Assche 
87dd11376bSBart Van Assche /* Wrapper functions for safely calling variant operations */
88dd11376bSBart Van Assche static inline const char *ufshcd_get_var_name(struct ufs_hba *hba)
89dd11376bSBart Van Assche {
90dd11376bSBart Van Assche 	if (hba->vops)
91dd11376bSBart Van Assche 		return hba->vops->name;
92dd11376bSBart Van Assche 	return "";
93dd11376bSBart Van Assche }
94dd11376bSBart Van Assche 
95dd11376bSBart Van Assche static inline void ufshcd_vops_exit(struct ufs_hba *hba)
96dd11376bSBart Van Assche {
97dd11376bSBart Van Assche 	if (hba->vops && hba->vops->exit)
98dd11376bSBart Van Assche 		return hba->vops->exit(hba);
99dd11376bSBart Van Assche }
100dd11376bSBart Van Assche 
101dd11376bSBart Van Assche static inline u32 ufshcd_vops_get_ufs_hci_version(struct ufs_hba *hba)
102dd11376bSBart Van Assche {
103dd11376bSBart Van Assche 	if (hba->vops && hba->vops->get_ufs_hci_version)
104dd11376bSBart Van Assche 		return hba->vops->get_ufs_hci_version(hba);
105dd11376bSBart Van Assche 
106dd11376bSBart Van Assche 	return ufshcd_readl(hba, REG_UFS_VERSION);
107dd11376bSBart Van Assche }
108dd11376bSBart Van Assche 
109dd11376bSBart Van Assche static inline int ufshcd_vops_clk_scale_notify(struct ufs_hba *hba,
110dd11376bSBart Van Assche 			bool up, enum ufs_notify_change_status status)
111dd11376bSBart Van Assche {
112dd11376bSBart Van Assche 	if (hba->vops && hba->vops->clk_scale_notify)
113dd11376bSBart Van Assche 		return hba->vops->clk_scale_notify(hba, up, status);
114dd11376bSBart Van Assche 	return 0;
115dd11376bSBart Van Assche }
116dd11376bSBart Van Assche 
117dd11376bSBart Van Assche static inline void ufshcd_vops_event_notify(struct ufs_hba *hba,
118dd11376bSBart Van Assche 					    enum ufs_event_type evt,
119dd11376bSBart Van Assche 					    void *data)
120dd11376bSBart Van Assche {
121dd11376bSBart Van Assche 	if (hba->vops && hba->vops->event_notify)
122dd11376bSBart Van Assche 		hba->vops->event_notify(hba, evt, data);
123dd11376bSBart Van Assche }
124dd11376bSBart Van Assche 
125dd11376bSBart Van Assche static inline int ufshcd_vops_setup_clocks(struct ufs_hba *hba, bool on,
126dd11376bSBart Van Assche 					enum ufs_notify_change_status status)
127dd11376bSBart Van Assche {
128dd11376bSBart Van Assche 	if (hba->vops && hba->vops->setup_clocks)
129dd11376bSBart Van Assche 		return hba->vops->setup_clocks(hba, on, status);
130dd11376bSBart Van Assche 	return 0;
131dd11376bSBart Van Assche }
132dd11376bSBart Van Assche 
133dd11376bSBart Van Assche static inline int ufshcd_vops_hce_enable_notify(struct ufs_hba *hba,
134dd11376bSBart Van Assche 						bool status)
135dd11376bSBart Van Assche {
136dd11376bSBart Van Assche 	if (hba->vops && hba->vops->hce_enable_notify)
137dd11376bSBart Van Assche 		return hba->vops->hce_enable_notify(hba, status);
138dd11376bSBart Van Assche 
139dd11376bSBart Van Assche 	return 0;
140dd11376bSBart Van Assche }
141dd11376bSBart Van Assche static inline int ufshcd_vops_link_startup_notify(struct ufs_hba *hba,
142dd11376bSBart Van Assche 						bool status)
143dd11376bSBart Van Assche {
144dd11376bSBart Van Assche 	if (hba->vops && hba->vops->link_startup_notify)
145dd11376bSBart Van Assche 		return hba->vops->link_startup_notify(hba, status);
146dd11376bSBart Van Assche 
147dd11376bSBart Van Assche 	return 0;
148dd11376bSBart Van Assche }
149dd11376bSBart Van Assche 
150dd11376bSBart Van Assche static inline int ufshcd_vops_pwr_change_notify(struct ufs_hba *hba,
151dd11376bSBart Van Assche 				  enum ufs_notify_change_status status,
152dd11376bSBart Van Assche 				  struct ufs_pa_layer_attr *dev_max_params,
153dd11376bSBart Van Assche 				  struct ufs_pa_layer_attr *dev_req_params)
154dd11376bSBart Van Assche {
155dd11376bSBart Van Assche 	if (hba->vops && hba->vops->pwr_change_notify)
156dd11376bSBart Van Assche 		return hba->vops->pwr_change_notify(hba, status,
157dd11376bSBart Van Assche 					dev_max_params, dev_req_params);
158dd11376bSBart Van Assche 
159dd11376bSBart Van Assche 	return -ENOTSUPP;
160dd11376bSBart Van Assche }
161dd11376bSBart Van Assche 
162dd11376bSBart Van Assche static inline void ufshcd_vops_setup_task_mgmt(struct ufs_hba *hba,
163dd11376bSBart Van Assche 					int tag, u8 tm_function)
164dd11376bSBart Van Assche {
165dd11376bSBart Van Assche 	if (hba->vops && hba->vops->setup_task_mgmt)
166dd11376bSBart Van Assche 		return hba->vops->setup_task_mgmt(hba, tag, tm_function);
167dd11376bSBart Van Assche }
168dd11376bSBart Van Assche 
169dd11376bSBart Van Assche static inline void ufshcd_vops_hibern8_notify(struct ufs_hba *hba,
170dd11376bSBart Van Assche 					enum uic_cmd_dme cmd,
171dd11376bSBart Van Assche 					enum ufs_notify_change_status status)
172dd11376bSBart Van Assche {
173dd11376bSBart Van Assche 	if (hba->vops && hba->vops->hibern8_notify)
174dd11376bSBart Van Assche 		return hba->vops->hibern8_notify(hba, cmd, status);
175dd11376bSBart Van Assche }
176dd11376bSBart Van Assche 
177dd11376bSBart Van Assche static inline int ufshcd_vops_apply_dev_quirks(struct ufs_hba *hba)
178dd11376bSBart Van Assche {
179dd11376bSBart Van Assche 	if (hba->vops && hba->vops->apply_dev_quirks)
180dd11376bSBart Van Assche 		return hba->vops->apply_dev_quirks(hba);
181dd11376bSBart Van Assche 	return 0;
182dd11376bSBart Van Assche }
183dd11376bSBart Van Assche 
184dd11376bSBart Van Assche static inline void ufshcd_vops_fixup_dev_quirks(struct ufs_hba *hba)
185dd11376bSBart Van Assche {
186dd11376bSBart Van Assche 	if (hba->vops && hba->vops->fixup_dev_quirks)
187dd11376bSBart Van Assche 		hba->vops->fixup_dev_quirks(hba);
188dd11376bSBart Van Assche }
189dd11376bSBart Van Assche 
190dd11376bSBart Van Assche static inline int ufshcd_vops_suspend(struct ufs_hba *hba, enum ufs_pm_op op,
191dd11376bSBart Van Assche 				enum ufs_notify_change_status status)
192dd11376bSBart Van Assche {
193dd11376bSBart Van Assche 	if (hba->vops && hba->vops->suspend)
194dd11376bSBart Van Assche 		return hba->vops->suspend(hba, op, status);
195dd11376bSBart Van Assche 
196dd11376bSBart Van Assche 	return 0;
197dd11376bSBart Van Assche }
198dd11376bSBart Van Assche 
199dd11376bSBart Van Assche static inline int ufshcd_vops_resume(struct ufs_hba *hba, enum ufs_pm_op op)
200dd11376bSBart Van Assche {
201dd11376bSBart Van Assche 	if (hba->vops && hba->vops->resume)
202dd11376bSBart Van Assche 		return hba->vops->resume(hba, op);
203dd11376bSBart Van Assche 
204dd11376bSBart Van Assche 	return 0;
205dd11376bSBart Van Assche }
206dd11376bSBart Van Assche 
207dd11376bSBart Van Assche static inline void ufshcd_vops_dbg_register_dump(struct ufs_hba *hba)
208dd11376bSBart Van Assche {
209dd11376bSBart Van Assche 	if (hba->vops && hba->vops->dbg_register_dump)
210dd11376bSBart Van Assche 		hba->vops->dbg_register_dump(hba);
211dd11376bSBart Van Assche }
212dd11376bSBart Van Assche 
213dd11376bSBart Van Assche static inline int ufshcd_vops_device_reset(struct ufs_hba *hba)
214dd11376bSBart Van Assche {
215dd11376bSBart Van Assche 	if (hba->vops && hba->vops->device_reset)
216dd11376bSBart Van Assche 		return hba->vops->device_reset(hba);
217dd11376bSBart Van Assche 
218dd11376bSBart Van Assche 	return -EOPNOTSUPP;
219dd11376bSBart Van Assche }
220dd11376bSBart Van Assche 
221dd11376bSBart Van Assche static inline void ufshcd_vops_config_scaling_param(struct ufs_hba *hba,
222dd11376bSBart Van Assche 		struct devfreq_dev_profile *p,
223dd11376bSBart Van Assche 		struct devfreq_simple_ondemand_data *data)
224dd11376bSBart Van Assche {
225dd11376bSBart Van Assche 	if (hba->vops && hba->vops->config_scaling_param)
226dd11376bSBart Van Assche 		hba->vops->config_scaling_param(hba, p, data);
227dd11376bSBart Van Assche }
228dd11376bSBart Van Assche 
229c2c38c57SManivannan Sadhasivam static inline void ufshcd_vops_reinit_notify(struct ufs_hba *hba)
230c2c38c57SManivannan Sadhasivam {
231c2c38c57SManivannan Sadhasivam 	if (hba->vops && hba->vops->reinit_notify)
232c2c38c57SManivannan Sadhasivam 		hba->vops->reinit_notify(hba);
233c2c38c57SManivannan Sadhasivam }
234c2c38c57SManivannan Sadhasivam 
235c263b4efSAsutosh Das static inline int ufshcd_vops_mcq_config_resource(struct ufs_hba *hba)
236c263b4efSAsutosh Das {
237c263b4efSAsutosh Das 	if (hba->vops && hba->vops->mcq_config_resource)
238c263b4efSAsutosh Das 		return hba->vops->mcq_config_resource(hba);
239c263b4efSAsutosh Das 
240c263b4efSAsutosh Das 	return -EOPNOTSUPP;
241c263b4efSAsutosh Das }
242c263b4efSAsutosh Das 
2437224c806SAsutosh Das static inline int ufshcd_mcq_vops_get_hba_mac(struct ufs_hba *hba)
2447224c806SAsutosh Das {
2457224c806SAsutosh Das 	if (hba->vops && hba->vops->get_hba_mac)
2467224c806SAsutosh Das 		return hba->vops->get_hba_mac(hba);
2477224c806SAsutosh Das 
2487224c806SAsutosh Das 	return -EOPNOTSUPP;
2497224c806SAsutosh Das }
2507224c806SAsutosh Das 
25135d11ec2SKrzysztof Kozlowski extern const struct ufs_pm_lvl_states ufs_pm_lvl_states[];
252dd11376bSBart Van Assche 
253dd11376bSBart Van Assche /**
254dd11376bSBart Van Assche  * ufshcd_scsi_to_upiu_lun - maps scsi LUN to UPIU LUN
255dd11376bSBart Van Assche  * @scsi_lun: scsi LUN id
256dd11376bSBart Van Assche  *
257dd11376bSBart Van Assche  * Returns UPIU LUN id
258dd11376bSBart Van Assche  */
259dd11376bSBart Van Assche static inline u8 ufshcd_scsi_to_upiu_lun(unsigned int scsi_lun)
260dd11376bSBart Van Assche {
261dd11376bSBart Van Assche 	if (scsi_is_wlun(scsi_lun))
262dd11376bSBart Van Assche 		return (scsi_lun & UFS_UPIU_MAX_UNIT_NUM_ID)
263dd11376bSBart Van Assche 			| UFS_UPIU_WLUN_ID;
264dd11376bSBart Van Assche 	else
265dd11376bSBart Van Assche 		return scsi_lun & UFS_UPIU_MAX_UNIT_NUM_ID;
266dd11376bSBart Van Assche }
267dd11376bSBart Van Assche 
268dd11376bSBart Van Assche int __ufshcd_write_ee_control(struct ufs_hba *hba, u32 ee_ctrl_mask);
269dd11376bSBart Van Assche int ufshcd_write_ee_control(struct ufs_hba *hba);
27035d11ec2SKrzysztof Kozlowski int ufshcd_update_ee_control(struct ufs_hba *hba, u16 *mask,
27135d11ec2SKrzysztof Kozlowski 			     const u16 *other_mask, u16 set, u16 clr);
272dd11376bSBart Van Assche 
273dd11376bSBart Van Assche static inline int ufshcd_update_ee_drv_mask(struct ufs_hba *hba,
274dd11376bSBart Van Assche 					    u16 set, u16 clr)
275dd11376bSBart Van Assche {
276dd11376bSBart Van Assche 	return ufshcd_update_ee_control(hba, &hba->ee_drv_mask,
277dd11376bSBart Van Assche 					&hba->ee_usr_mask, set, clr);
278dd11376bSBart Van Assche }
279dd11376bSBart Van Assche 
280dd11376bSBart Van Assche static inline int ufshcd_update_ee_usr_mask(struct ufs_hba *hba,
281dd11376bSBart Van Assche 					    u16 set, u16 clr)
282dd11376bSBart Van Assche {
283dd11376bSBart Van Assche 	return ufshcd_update_ee_control(hba, &hba->ee_usr_mask,
284dd11376bSBart Van Assche 					&hba->ee_drv_mask, set, clr);
285dd11376bSBart Van Assche }
286dd11376bSBart Van Assche 
287dd11376bSBart Van Assche static inline int ufshcd_rpm_get_sync(struct ufs_hba *hba)
288dd11376bSBart Van Assche {
289dd11376bSBart Van Assche 	return pm_runtime_get_sync(&hba->ufs_device_wlun->sdev_gendev);
290dd11376bSBart Van Assche }
291dd11376bSBart Van Assche 
292dd11376bSBart Van Assche static inline int ufshcd_rpm_put_sync(struct ufs_hba *hba)
293dd11376bSBart Van Assche {
294dd11376bSBart Van Assche 	return pm_runtime_put_sync(&hba->ufs_device_wlun->sdev_gendev);
295dd11376bSBart Van Assche }
296dd11376bSBart Van Assche 
297dd11376bSBart Van Assche static inline void ufshcd_rpm_get_noresume(struct ufs_hba *hba)
298dd11376bSBart Van Assche {
299dd11376bSBart Van Assche 	pm_runtime_get_noresume(&hba->ufs_device_wlun->sdev_gendev);
300dd11376bSBart Van Assche }
301dd11376bSBart Van Assche 
302dd11376bSBart Van Assche static inline int ufshcd_rpm_resume(struct ufs_hba *hba)
303dd11376bSBart Van Assche {
304dd11376bSBart Van Assche 	return pm_runtime_resume(&hba->ufs_device_wlun->sdev_gendev);
305dd11376bSBart Van Assche }
306dd11376bSBart Van Assche 
307dd11376bSBart Van Assche static inline int ufshcd_rpm_put(struct ufs_hba *hba)
308dd11376bSBart Van Assche {
309dd11376bSBart Van Assche 	return pm_runtime_put(&hba->ufs_device_wlun->sdev_gendev);
310dd11376bSBart Van Assche }
311dd11376bSBart Van Assche 
312dd11376bSBart Van Assche /**
313dd11376bSBart Van Assche  * ufs_is_valid_unit_desc_lun - checks if the given LUN has a unit descriptor
314dd11376bSBart Van Assche  * @dev_info: pointer of instance of struct ufs_dev_info
315dd11376bSBart Van Assche  * @lun: LU number to check
316dd11376bSBart Van Assche  * @return: true if the lun has a matching unit descriptor, false otherwise
317dd11376bSBart Van Assche  */
318b43678eaSBean Huo static inline bool ufs_is_valid_unit_desc_lun(struct ufs_dev_info *dev_info, u8 lun)
319dd11376bSBart Van Assche {
320dd11376bSBart Van Assche 	if (!dev_info || !dev_info->max_lu_supported) {
321dd11376bSBart Van Assche 		pr_err("Max General LU supported by UFS isn't initialized\n");
322dd11376bSBart Van Assche 		return false;
323dd11376bSBart Van Assche 	}
324dd11376bSBart Van Assche 	return lun == UFS_UPIU_RPMB_WLUN || (lun < dev_info->max_lu_supported);
325dd11376bSBart Van Assche }
326dd11376bSBart Van Assche 
327dd11376bSBart Van Assche #endif /* _UFSHCD_PRIV_H_ */
328