深度模型決策難以解釋
Deep Model Decisions Resistant to Explanation
驗證與確效
風險描述
當客戶就不利決定要求說明理由,組織僅能提供模型輸出的分數而無法指出具體依據時;系統因客戶提出申訴後,組織既無法說明決策邏輯,也無法證明決策未使用不當因素,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。
框架對照
EU AI ActArt.13、Art.86
ISO/IEC 42001Annex A.8.2
NIST AI RMFMEASURE 2.9
ISO/IEC 5338驗證與確效
MIT AI Risk RepositoryDomain 7
具體風險處置與實施指引
對影響個人權益的決策系統建置可解釋性工具,使每筆不利決定能對應具體的判斷依據; 建立決策審計紀錄,保存輸入特徵、模型版本與輸出依據以供申訴時重建; 制定申訴回應程序,確保能以當事人可理解的方式說明決定理由