S0028RS4-T16-S0028-Z · 完整風險編碼

標註者偏誤傳遞至資料集

Annotator Bias Transferred into the Dataset

設計與開發
風險描述

當內容審核模型的標註團隊組成單一,對特定文化語境下的用語判斷失準時;系統上線後大量誤判該文化社群的正常表達為違規內容,引發社群反彈,組織須重新標註並重訓模型,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。

框架對照

EU AI ActArt.10
NIST AI 600-1Harmful Bias and Homogenization
NIST AI RMFMEASURE 2.11
ISO/IEC TR 24027
ISO/IEC 5338設計與開發
MIT AI Risk RepositoryDomain 1

具體風險處置與實施指引

組成多元背景的標註團隊,涵蓋主要服務對象的文化語境; 制定標準化標註指南並含文化語境判例,降低個人判斷差異; 以跨文化樣本測試標註一致性,偏差即修訂指南與重標