S0165RS6-T19-S0165-Z · 完整風險編碼

擬人化導致不當信任

Anthropomorphism Producing Misplaced Trust

運行與監控
風險描述

當使用者長期與對話系統互動後,逐漸將其視為具有判斷力的顧問,在重大人生決定上主要依賴其建議,未尋求具備實際專業與責任的協助。時;系統因缺乏前置風險評估與護欄控制,於營運時發生非預期異常,除衝擊外部利害關係人權益外,亦造成企業合規與商譽之營運代價。

框架對照

EU AI ActArt.50
NIST AI 600-1Human-AI Configuration
NIST AI RMFGOVERN 3.2
ISO/IEC 42005影響評估流程
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 5

具體風險處置與實施指引

以明確的 AI 身分揭露避免使用者將系統誤認為具判斷力的顧問; 於介面說明能力邊界,重大人生決定主動提示尋求專業協助; 偵測高度依賴的互動模式並適時提醒使用者尋求多元意見