回饋迴圈放大偏誤
Feedback Loops Amplifying Bias
持續確效
風險描述
當系統依既有資料將資源集中於特定區域,該區域因投入增加而產生更多紀錄時;系統因這些紀錄回饋至系統後進一步強化原有判斷,偏差在數個週期內明顯擴大,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。
框架對照
EU AI ActArt.10、Art.15
NIST AI 600-1Harmful Bias and Homogenization
ISO/IEC TR 24027
ISO/IEC 5338持續確效
MIT AI Risk RepositoryDomain 1
具體風險處置與實施指引
監控偏誤漂移指標,追蹤系統決策分布是否隨回饋週期逐步偏斜; 對回饋資料採隔離或加權策略,避免系統輸出直接成為下輪訓練依據而自我強化; 定期以獨立於系統影響的基準資料重新校準決策模型