人機交接失敗
Failure of Human-Machine Handover
運行與監控
風險描述
當操作者在長時間自動運作期間注意力下降,系統於突發狀況要求接管時,操作者未能在有效時間內恢復情境掌握並正確反應。時;系統因缺乏前置風險評估與護欄控制,於營運時發生非預期異常,除衝擊外部利害關係人權益外,亦造成企業合規與商譽之營運代價。
框架對照
EU AI ActArt.14
NIST AI 600-1Human-AI Configuration
NIST AI RMFMANAGE 2.4
ISO/IEC 42005影響評估流程
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 5
具體風險處置與實施指引
部署操作者注意力監控,長時間自動運作期間偵測注意力下降; 設計漸進式交接程序,預留恢復情境掌握的緩衝時間與提示; 對突發接管情境進行定期演練,維持操作者的即時反應能力