信心度校準失準
Confidence Miscalibration
驗證與確效
風險描述
當組織設計以信心分數作為自動化門檻，高信心即自動放行時；系統對某類錯誤持續給出高信心分數，這些案例全數繞過人工複核，直到累積損失後才被發現，除引發相關利害關係人權益損害外，亦將造成企業合規與營運商譽代價。
框架對照
NIST AI 600-1Confabulation
OWASP Top 10 for LLMLLM09
NIST AI RMFMEASURE 2.5
ISO/IEC 5338驗證與確效
MIT AI Risk RepositoryDomain 7
具體風險處置與實施指引
於上線前驗證信心分數的校準品質，確認高信心確實對應高正確率後才可作為自動化門檻; 對高信心自動放行的案件保留抽樣人工複核，監測是否存在系統性高信心錯誤; 導入不確定性量化方法，對分布外輸入強制降級為人工處理