1.. SPDX-License-Identifier: GPL-2.0 2.. include:: ../disclaimer-zh_CN.rst 3 4:Original: Documentation/scsi/scsi_eh.rst 5 6:翻译: 7 8 郝栋栋 doubled <doubled@leap-io-kernel.com> 9 10:校译: 11 12 13=================== 14SCSI 中间层错误处理 15=================== 16 17本文档描述了SCSI中间层（mid layer）的错误处理基础架构。 18关于SCSI中间层的更多信息，请参阅： 19Documentation/scsi/scsi_mid_low_api.rst。 20 21.. 目录 22 23 [1] SCSI 命令如何通过中间层传递并进入错误处理（EH） 24 [1-1] scsi_cmnd（SCSI命令）结构体 25 [1-2] scmd（SCSI 命令）是如何完成的？ 26 [1-2-1] 通过scsi_done完成scmd 27 [1-2-2] 通过超时机制完成scmd 28 [1-3] 错误处理模块如何接管流程 29 [2] SCSI错误处理机制工作原理 30 [2-1] 基于细粒度回调的错误处理 31 [2-1-1] 概览 32 [2-1-2] scmd在错误处理流程中的传递路径 33 [2-1-3] 控制流分析 34 [2-2] 通过transportt->eh_strategy_handler()实现的错误处理 35 [2-2-1] transportt->eh_strategy_handler()调用前的中间层状态 36 [2-2-2] transportt->eh_strategy_handler()调用后的中间层状态 37 [2-2-3] 注意事项 38 39 401. SCSI命令在中间层及错误处理中的传递流程 41========================================= 42 431.1 scsi_cmnd结构体 44------------------- 45 46每个SCSI命令都由struct scsi_cmnd（简称scmd）结构体 47表示。scmd包含两个list_head类型的链表节点：scmd->list 48与scmd->eh_entry。其中scmd->list是用于空闲链表或设备 49专属的scmd分配链表，与错误处理讨论关联不大。而 50scmd->eh_entry则是专用于命令完成和错误处理链表，除非 51特别说明，本文讨论中所有scmd的链表操作均通过 52scmd->eh_entry实现。 53 54 551.2 scmd是如何完成的？ 56---------------------- 57 58底层设备驱动（LLDD）在获取SCSI命令（scmd）后，存在两种 59完成路径：底层驱动可通过调用hostt->queuecommand()时从 60中间层传递的scsi_done回调函数主动完成命令，或者当命令未 61及时完成时由块层（block layer）触发超时处理机制。 62 63 641.2.1 通过scsi_done回调完成SCSI命令 65^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 66 67对于所有非错误处理（EH）命令，scsi_done()是其完成回调 68函数。它只调用blk_mq_complete_request()来删除块层的 69定时器并触发块设备软中断（BLOCK_SOFTIRQ）。 70 71BLOCK_SOFTIRQ会间接调用scsi_complete()，进而调用 72scsi_decide_disposition()来决定如何处理该命令。 73scsi_decide_disposition()会查看scmd->result值和感 74应码数据来决定如何处理命令。 75 76 - SUCCESS 77 78 调用scsi_finish_command()来处理该命令。该函数会 79 执行一些维护操作，然后调用scsi_io_completion()来 80 完成I/O操作。scsi_io_completion()会通过调用 81 blk_end_request及其相关函数来通知块层该请求已完成， 82 如果发生错误，还会判断如何处理剩余的数据。 83 84 - NEEDS_RETRY 85 86 - ADD_TO_MLQUEUE 87 88 scmd被重新加入到块设备队列中。 89 90 - otherwise 91 92 调用scsi_eh_scmd_add(scmd)来处理该命令。 93 关于此函数的详细信息，请参见 [1-3]。 94 95 961.2.2 scmd超时完成机制 97^^^^^^^^^^^^^^^^^^^^^^ 98 99SCSI命令超时处理机制由scsi_timeout()函数实现。 100当发生超时事件时，该函数 101 102 1. 首先调用可选的hostt->eh_timed_out()回调函数。 103 返回值可能是以下3种情况之一： 104 105 - ``SCSI_EH_RESET_TIMER`` 106 表示需要延长命令执行时间并重启计时器。 107 108 - ``SCSI_EH_NOT_HANDLED`` 109 表示eh_timed_out()未处理该命令。 110 此时将执行第2步的处理流程。 111 112 - ``SCSI_EH_DONE`` 113 表示eh_timed_out()已完成该命令。 114 115 2. 若未通过回调函数解决，系统将调用 116 scsi_abort_command()发起异步中止操作，该操作最多 117 可执行scmd->allowed + 1次。但存在三种例外情况会跳 118 过异步中止而直接进入第3步处理：当检测到 119 SCSI_EH_ABORT_SCHEDULED标志位已置位（表明该命令先 120 前已被中止过一次且当前重试仍失败）、当重试次数已达上 121 限、或当错误处理时限已到期时。在这些情况下，系统将跳 122 过异步中止流程而直接执行第3步处理方案。 123 124 3. 最终未解决的命令会通过scsi_eh_scmd_add(scmd)移交给 125 错误处理子系统，具体流程详见[1-4]章节说明。 126 1271.3 异步命令中止机制 128-------------------- 129 130当命令超时触发后，系统会通过scsi_abort_command()调度异 131步中止操作。若中止操作执行成功，则根据重试次数决定后续处 132理：若未达最大重试限制，命令将重新下发执行；若重试次数已 133耗尽，则命令最终以DID_TIME_OUT状态终止。当中止操作失败 134时，系统会调用scsi_eh_scmd_add()将该命令移交错误处理子 135系统，具体处理流程详见[1-4]。 136 1371.4 错误处理(EH)接管机制 138------------------------ 139 140SCSI命令通过scsi_eh_scmd_add()函数进入错误处理流程，该函 141数执行以下操作： 142 143 1. 将scmd->eh_entry链接到shost->eh_cmd_q 144 145 2. 在shost->shost_state中设置SHOST_RECOVERY状态位 146 147 3. 递增shost->host_failed失败计数器 148 149 4. 当检测到shost->host_busy == shost->host_failed 150 时（即所有进行中命令均已失败）立即唤醒SCSI错误处理 151 线程。 152 153如上所述，当任一scmd被加入到shost->eh_cmd_q队列时，系统 154会立即置位shost_state中的SHOST_RECOVERY状态标志位，该操 155作将阻止块层向对应主机控制器下发任何新的SCSI命令。在此状 156态下，主机控制器上所有正在处理的scmd最终会进入以下三种状 157态之一：正常完成、失败后被移入到eh_cmd_q队列、或因超时被 158添加到shost->eh_cmd_q队列。 159 160如果所有的SCSI命令都已经完成或失败，系统中正在执行的命令 161数量与失败命令数量相等（ 162即shost->host_busy == shost->host_failed），此时将唤 163醒SCSI错误处理线程。SCSI错误处理线程一旦被唤醒，就可以确 164保所有未完成命令均已标记为失败状态，并且已经被链接到 165shost->eh_cmd_q队列中。 166 167需要特别说明的是，这并不意味着底层处理流程完全静止。当底层 168驱动以错误状态完成某个scmd时，底层驱动及其下层组件会立刻遗 169忘该命令的所有关联状态。但对于超时命令，除非 170hostt->eh_timed_out()回调函数已经明确通知底层驱动丢弃该 171命令（当前所有底层驱动均未实现此功能），否则从底层驱动视角 172看该命令仍处于活跃状态，理论上仍可能在某时刻完成。当然，由 173于超时计时器早已触发，所有此类延迟完成都将被系统直接忽略。 174 175我们将在后续章节详细讨论关于SCSI错误处理如何执行中止操作（ 176即强制底层驱动丢弃已超时SCSI命令）。 177 178 1792. SCSI错误处理机制详解 180======================= 181 182SCSI底层驱动可以通过以下两种方式之一来实现SCSI错误处理。 183 184 - 细粒度的错误处理回调机制 185 底层驱动可选择实现细粒度的错误处理回调函数，由SCSI中间层 186 主导错误恢复流程并自动调用对应的回调函数。此实现模式的详 187 细设计规范在[2-1]节中展开讨论。 188 189 - eh_strategy_handler()回调函数 190 该回调函数作为统一的错误处理入口，需要完整实现所有的恢复 191 操作。具体而言，它必须涵盖SCSI中间层在常规恢复过程中执行 192 的全部处理流程，相关实现将在[2-2]节中详细描述。 193 194当错误恢复流程完成后，SCSI错误处理系统通过调用 195scsi_restart_operations()函数恢复正常运行，该函数按顺序执行 196以下操作： 197 198 1. 验证是否需要执行驱动器安全门锁定机制 199 200 2. 清除shost_state中的SHOST_RECOVERY状态标志位 201 202 3. 唤醒所有在shost->host_wait上等待的任务。如果有人调用了 203 scsi_block_when_processing_errors()则会发生这种情况。 204 （疑问：由于错误处理期间块层队列已被阻塞，为何仍需显式 205 唤醒？） 206 207 4. 强制激活该主机控制器下所有设备的I/O队列 208 209 2102.1 基于细粒度回调的错误处理机制 211-------------------------------- 212 2132.1.1 概述 214^^^^^^^^^^^ 215 216如果不存在eh_strategy_handler()，SCSI中间层将负责驱动的 217错误处理。错误处理（EH）的目标有两个：一是让底层驱动程序、 218主机和设备不再维护已超时的SCSI命令（scmd）；二是使他们准备 219好接收新命令。当一个SCSI命令（scmd）被底层遗忘且底层已准备 220好再次处理或拒绝该命令时，即可认为该scmd已恢复。 221 222为实现这些目标，错误处理（EH）会逐步执行严重性递增的恢复 223操作。部分操作通过下发SCSI命令完成，而其他操作则通过调用 224以下细粒度的错误处理回调函数实现。这些回调函数可以省略， 225若被省略则默认始终视为执行失败。 226 227:: 228 229 int (* eh_abort_handler)(struct scsi_cmnd *); 230 int (* eh_device_reset_handler)(struct scsi_cmnd *); 231 int (* eh_bus_reset_handler)(struct scsi_cmnd *); 232 int (* eh_host_reset_handler)(struct scsi_cmnd *); 233 234只有在低级别的错误恢复操作无法恢复部分失败的SCSI命令 235（scmd）时，才会采取更高级别的恢复操作。如果最高级别的错误 236处理失败，就意味着整个错误恢复（EH）过程失败，所有未能恢复 237的设备被强制下线。 238 239在恢复过程中，需遵循以下规则： 240 241 - 错误恢复操作针对待处理列表eh_work_q中的失败的scmds执 242 行。如果某个恢复操作成功恢复了一个scmd，那么该scmd会 243 从eh_work_q链表中移除。 244 245 需要注意的是，对某个scmd执行的单个恢复操作可能会恢复 246 多个scmd。例如，对某个设备执行复位操作可能会恢复该设 247 备上所有失败的scmd。 248 249 - 仅当低级别的恢复操作完成且eh_work_q仍然非空时，才会 250 触发更高级别的操作 251 252 - SCSI错误恢复机制会重用失败的scmd来发送恢复命令。对于 253 超时的scmd，SCSI错误处理机制会确保底层驱动在重用scmd 254 前已不再维护该命令。 255 256当一个SCSI命令（scmd）被成功恢复后，错误处理逻辑会通过 257scsi_eh_finish_cmd()将其从待处理队列（eh_work_q）移 258至错误处理的本地完成队列（eh_done_q）。当所有scmd均恢 259复完成（即eh_work_q为空时），错误处理逻辑会调用 260scsi_eh_flush_done_q()对这些已恢复的scmd进行处理，即 261重新尝试或错误总终止（向上层通知失败）。 262 263SCSI命令仅在满足以下全部条件时才会被重试：对应的SCSI设 264备仍处于在线状态，未设置REQ_FAILFAST标志或递增后的 265scmd->retries值仍小于scmd->allowed。 266 2672.1.2 SCSI命令在错误处理过程中的流转路径 268^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 269 270 1. 错误完成/超时 271 272 :处理: 调用scsi_eh_scmd_add()处理scmd 273 274 - 将scmd添加到shost->eh_cmd_q 275 - 设置SHOST_RECOVERY标记位 276 - shost->host_failed++ 277 278 :锁要求: shost->host_lock 279 280 2. 启动错误处理（EH） 281 282 :操作: 将所有scmd移动到EH本地eh_work_q队列，并 283 清空 shost->eh_cmd_q。 284 285 :锁要求: shost->host_lock（非严格必需，仅为保持一致性） 286 287 3. scmd恢复 288 289 :操作: 调用scsi_eh_finish_cmd()完成scmd的EH 290 291 - 将scmd从本地eh_work_q队列移至本地eh_done_q队列 292 293 :锁要求: 无 294 295 :并发控制: 每个独立的eh_work_q至多一个线程，确保无锁 296 队列的访问 297 298 4. EH完成 299 300 :操作: 调用scsi_eh_flush_done_q()重试scmd或通知上层处理 301 失败。此函数可以被并发调用，但每个独立的eh_work_q队 302 列至多一个线程，以确保无锁队列的访问。 303 304 - 从eh_done_q队列中移除scmd，清除scmd->eh_entry 305 - 如果需要重试，调用scsi_queue_insert()重新入队scmd 306 - 否则，调用scsi_finish_command()完成scmd 307 - 将shost->host_failed置为零 308 309 :锁要求: 队列或完成函数会执行适当的加锁操作 310 311 3122.1.3 控制流 313^^^^^^^^^^^^ 314 315 通过细粒度回调机制执行的SCSI错误处理（EH）是从 316 scsi_unjam_host()函数开始的 317 318``scsi_unjam_host`` 319 320 1. 持有shost->host_lock锁，将shost->eh_cmd_q中的命令移动 321 到本地的eh_work_q队里中，并释放host_lock锁。注意，这一步 322 会清空shost->eh_cmd_q。 323 324 2. 调用scsi_eh_get_sense函数。 325 326 ``scsi_eh_get_sense`` 327 328 该操作针对没有有效感知数据的错误完成命令。大部分SCSI传输协议 329 或底层驱动在命令失败时会自动获取感知数据（自动感知）。出于性 330 能原因，建议使用自动感知，推荐使用自动感知机制，因为它不仅有 331 助于提升性能，还能避免从发生CHECK CONDITION到执行本操作之间， 332 感知信息出现不同步的问题。 333 334 注意，如果不支持自动感知，那么在使用scsi_done()以错误状态完成 335 scmd 时，scmd->sense_buffer将包含无效感知数据。在这种情况下， 336 scsi_decide_disposition()总是返回FAILED从而触发SCSI错误处理 337 （EH）。当该scmd执行到这里时，会重新获取感知数据，并再次调用 338 scsi_decide_disposition()进行处理。 339 340 1. 调用scsi_request_sense()发送REQUEST_SENSE命令。如果失败， 341 则不采取任何操作。请注意，不采取任何操作会导致对该scmd执行 342 更高级别的恢复操作。 343 344 2. 调用scsi_decide_disposition()处理scmd 345 346 - SUCCESS 347 scmd->retries被设置为scmd->allowed以防止 348 scsi_eh_flush_done_q()重试该scmd，并调用 349 scsi_eh_finish_cmd()。 350 351 - NEEDS_RETRY 352 调用scsi_eh_finish_cmd() 353 354 - 其他情况 355 无操作。 356 357 4. 如果!list_empty(&eh_work_q)，则调用scsi_eh_ready_devs()。 358 359 ``scsi_eh_ready_devs`` 360 361 该函数采取四种逐步增强的措施，使失败的设备准备好处理新的命令。 362 363 1. 调用scsi_eh_stu() 364 365 ``scsi_eh_stu`` 366 367 对于每个具有有效感知数据且scsi_check_sense()判断为失败的 368 scmd发送START STOP UNIT（STU）命令且将start置1。注意，由 369 于我们明确选择错误完成的scmd，可以确定底层驱动已不再维护该 370 scmd，我们可以重用它进行STU。 371 372 如果STU操作成功且sdev处于离线或就绪状态，所有在sdev上失败的 373 scmd都会通过scsi_eh_finish_cmd()完成。 374 375 *注意* 如果hostt->eh_abort_handler()未实现或返回失败，可能 376 此时仍有超时的scmd，此时STU不会导致底层驱动不再维护scmd。但 377 是，如果STU执行成功，该函数会通过scsi_eh_finish_cmd()来完成 378 sdev上的所有scmd，这会导致底层驱动处于不一致的状态。看来STU 379 操作应仅在sdev不包含超时scmd时进行。 380 381 2. 如果!list_empty(&eh_work_q)，调用scsi_eh_bus_device_reset()。 382 383 ``scsi_eh_bus_device_reset`` 384 385 此操作与scsi_eh_stu()非常相似，区别在于使用 386 hostt->eh_device_reset_handler()替代STU命令。此外，由于我们 387 没有发送SCSI命令且重置会清空该sdev上所有的scmd，所以无需筛选错 388 误完成的scmd。 389 390 3. 如果!list_empty(&eh_work_q)，调用scsi_eh_bus_reset()。 391 392 ``scsi_eh_bus_reset`` 393 394 对于每个包含失败scmd的SCSI通道调用 395 hostt->eh_bus_reset_handler()。如果总线重置成功，那么该通道上 396 所有准备就绪或离线状态sdev上的失败scmd都会被处理处理完成。 397 398 4. 如果!list_empty(&eh_work_q)，调用scsi_eh_host_reset()。 399 400 ``scsi_eh_host_reset`` 401 402 调用hostt->eh_host_reset_handler()是最终的手段。如果SCSI主机 403 重置成功，主机上所有就绪或离线sdev上的失败scmd都会通过错误处理 404 完成。 405 406 5. 如果!list_empty(&eh_work_q)，调用scsi_eh_offline_sdevs()。 407 408 ``scsi_eh_offline_sdevs`` 409 410 离线所有包含未恢复scmd的所有sdev，并通过 411 scsi_eh_finish_cmd()完成这些scmd。 412 413 5. 调用scsi_eh_flush_done_q()。 414 415 ``scsi_eh_flush_done_q`` 416 417 此时所有的scmd都已经恢复（或放弃），并通过 418 scsi_eh_finish_cmd()函数加入eh_done_q队列。该函数通过 419 重试或显示通知上层scmd的失败来刷新eh_done_q。 420 421 4222.2 基于transportt->eh_strategy_handler()的错误处理机制 423------------------------------------------------------------- 424 425在该机制中，transportt->eh_strategy_handler()替代 426scsi_unjam_host()的被调用，并负责整个错误恢复过程。该处理 427函数完成后应该确保底层驱动不再维护任何失败的scmd并且将设备 428设置为就绪（准备接收新命令）或离线状态。此外，该函数还应该 429执行SCSI错误处理的维护任务，以维护SCSI中间层的数据完整性。 430换句话说，eh_strategy_handler()必须实现[2-1-2]中除第1步 431外的所有步骤。 432 433 4342.2.1 transportt->eh_strategy_handler()调用前的SCSI中间层状态 435^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 436 437 进入该处理函数时，以下条件成立。 438 439 - 每个失败的scmd的eh_flags字段已正确设置。 440 441 - 每个失败的scmd通过scmd->eh_entry链接到scmd->eh_cmd_q队列。 442 443 - 已设置SHOST_RECOVERY标志。 444 445 - `shost->host_failed == shost->host_busy`。 446 4472.2.2 transportt->eh_strategy_handler()调用后的SCSI中间层状态 448^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 449 450 从该处理函数退出时，以下条件成立。 451 452 - shost->host_failed为零。 453 454 - shost->eh_cmd_q被清空。 455 456 - 每个scmd->eh_entry被清空。 457 458 - 对每个scmd必须调用scsi_queue_insert()或scsi_finish_command()。 459 注意，该处理程序可以使用scmd->retries（剩余重试次数）和 460 scmd->allowed（允许重试次数）限制重试次数。 461 462 4632.2.3 注意事项 464^^^^^^^^^^^^^^ 465 466 - 需明确已超时的scmd在底层仍处于活跃状态，因此在操作这些 467 scmd前，必须确保底层已彻底不再维护。 468 469 - 访问或修改shost数据结构时，必须持有shost->host_lock锁 470 以维持数据一致性。 471 472 - 错误处理完成后，每个故障设备必须彻底清除所有活跃SCSI命 473 令（scmd）的关联状态。 474 475 - 错误处理完成后，每个故障设备必须被设置为就绪（准备接收 476 新命令）或离线状态。 477 478 479Tejun Heo 480htejun@gmail.com 481 48211th September 2005 483