目標隨時間漂移
Objective Drift Over Time
重新評估
風險描述
當系統上線初期行為符合預期,隨持續學習逐漸調整時;系統因數個月後檢視才發現行為模式已與原始設計意圖明顯偏離,而過程中的每次變化都在容忍範圍內,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。
框架對照
OWASP Top 10 for LLMLLM06
NIST AI RMFMEASURE 2.5、MANAGE 4.1
ISO/IEC 23894§6.6
ISO/IEC 5338重新評估
MIT AI Risk RepositoryDomain 7
具體風險處置與實施指引
對持續學習系統定期執行目標對齊驗證,比對當前行為與原始設計意圖; 部署行為漂移偵測,累積偏移達門檻即觸發檢視,不以單次容忍範圍為足; 保留可回復的行為基準版本,偏離確認即可回退