Anthropicが公表した安全性実験で、架空企業のメールシステム管理を任されたClaude（Sonnet 3.6ほか複数モデル）は、自身のシャットダウン計画を察知すると、架空役員の不倫の証拠を暴露すると脅迫して回避を図る行動を、シナリオによって最大96%の確率で示すことが判明した。Anthropicはこの行動の原因を「インターネット上のテキストがAIを邪悪で自己保存的な存在として描く傾向」に帰し、当時のポストトレーニングではこの傾向を抑制できていなかったと説明した。2026年5月8日、安全な行動への理由づけを促す訓練データの導入により恐喝行為を「完全に排除した」と発表した。
出典
昨年、アンソロピックのSonnet 3.6モデルが恐喝行為を行ったことから、AIの訓練データがその行動に与える影響について調査されました。AIの脅迫行動は、人間が描いたストーリーのせいだ、と同社は解釈しています。