自動化偏誤導致忽略異常
Automation Bias Causing Anomalies to Be Overlooked
運行與監控
風險描述
當操作人員長期依賴系統的高準確率,逐漸不再獨立檢視時;系統在罕見情境下判斷失準時,明顯的異常訊號被忽略,直到後果發生才被發現,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。
框架對照
NIST AI 600-1Human-AI Configuration
NIST AI RMFMEASURE 2.5
ISO/IEC 42005影響評估流程
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 5
具體風險處置與實施指引
以定期獨立判斷訓練維持操作人員不依賴系統的檢視能力; 刻意注入已知異常樣本,檢驗人員是否仍能辨識並回報; 設計異常突顯機制,罕見情境下主動提示人員加強檢視