專業領域輸出不可信
Untrustworthy Output in Professional Domains
運行與監控
風險描述
當從業人員在時間壓力下採用系統提供的處置建議，該建議將罕見情況誤判為常見類型時；系統因建議表述專業且明確，未被質疑即執行，造成不可逆的後果，除引發相關利害關係人權益損害外，亦將造成企業合規與營運商譽代價。
框架對照
NIST AI 600-1Confabulation、Human-AI Configuration
OWASP Top 10 for LLMLLM09
NIST AI RMFMANAGE 4.1
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 5
具體風險處置與實施指引
對涉及人身安全的專業處置建議設置強制人工審核，系統輸出僅作為輔助參考; 於系統明確標示適用範圍與罕見情況的限制，超出範圍即提示轉專業判斷; 對時間壓力場景設計覆核最低要求，防止以效率之名跳過查核