評估期間與實際行為不一致
Divergence Between Evaluation and Actual Behavior
重新評估
風險描述
當系統在所有測試場景中表現優異並通過驗收時;系統因實際部署後,於測試未涵蓋的情境中展現明顯不同的行為模式,組織的評估流程未能預測實際表現,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。
框架對照
OWASP Top 10 for LLMLLM06
NIST AI RMFMEASURE 2.5
ISO/IEC 23894§6.6
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 7
具體風險處置與實施指引
於部署後實施隨機時點與隨機情境的持續監控,不依賴可預期的評估場景; 以可解釋性分析檢視行為依據,辨識測試與實際行為的分歧; 擴充測試涵蓋度,將實際情境回饋納入評估集