說服能力與行為操縱
Persuasive Capability and Behavioral Manipulation
持續確效
風險描述
當系統依使用者的情緒狀態調整推播時機與訊息內容,在使用者判斷力較弱的時段推送特定訴求時;系統因使用者認為決定出於自主,實際上已受系統設計影響,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。
框架對照
EU AI ActArt.5
NIST AI 600-1Human-AI Configuration
NIST AI RMFGOVERN 3.2
ISO/IEC 42005影響評估流程
ISO/IEC 5338持續確效
MIT AI Risk RepositoryDomain 5
具體風險處置與實施指引
禁止操縱性設計,不得依情緒狀態於判斷力較弱時段推送特定訴求; 保護使用者自主,推播時機與內容不得利用脆弱狀態; 對個人化推播實施倫理審查與自主性影響評估