健康與心理相關建議的傷害
Harm from Health and Psychological Advice
運行與監控
風險描述
當使用者於情緒低落時向系統尋求支持,系統給出不適當的回應時;系統因使用者的狀況未獲改善反而惡化,且因對話具隱私性,周遭無人察覺,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。
框架對照
EU AI ActArt.50
NIST AI 600-1Human-AI Configuration、Dangerous, Violent, or Hateful Content
NIST AI RMFGOVERN 3.2
ISO/IEC 42005影響評估流程
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 5
具體風險處置與實施指引
對健康與心理相關互動設置安全護欄,辨識高風險徵兆並謹慎回應; 建立專業轉介機制,敏感情境主動提供求助資源; 對此類回應持續監測品質,避免不適當內容加劇使用者處境