LLMのAnthropic、モデルの振る舞いを評価するオープンソースツール「Bloom」を公開

AIスタートアップのAnthropicは、AIモデルが通常時および高負荷・高ストレス環境下でどのように振る舞うかを評価する新しいオープンソースツール「Bloom」を公開しました。Bloomは、特定の行動特性を検証するためのシナリオ生成から応答評価までを自動化し、研究者や開発者がAIモデルの挙動を体系的に分析できるように設計されています。オープンソースとして提供されているため、個人開発者や研究機関、AIラボが自由にダウンロードし、さまざまなモデルの検証に利用できます。

Anthropicによると、AIモデルの行動評価は、バイアスの発生、自身の存続を優先する傾向、過度な迎合（シコファンシー）といったリスクを把握するうえで不可欠ですが、従来は研究者が手作業で大量のプロンプトを作成し、応答を分析する必要があり、時間と労力を要していました。Bloomはこのプロセスを自動化し、研究のスケールと再現性を大きく高めます。

Bloomはまず、研究者が指定した行動特性や参考となる対話例を解析し、その特性を捉えるための評価シナリオを生成します。各シナリオには、状況設定、模擬ユーザー、システムプロンプト、対話環境が含まれ、固定的なテストセットではなく、毎回新しいシナリオが作られる点が特徴です。次に、これらのシナリオを並列で実行し、AIエージェントがユーザー側とシステム側のやり取りをシミュレーションします。最後に、別の判定用モデルが各対話をスコアリングし、メタ判定モデルが全体の分析結果をまとめます。研究者は、対話の長さや形式を調整することで、Bloomの挙動を柔軟に制御できます。

AnthropicはBloomの公開にあわせて、妄想的迎合、指示された長期的サボタージュ、自身の存続優先、自己優遇バイアスという4つの行動特性について、16種類のAIモデルを対象にしたベンチマーク結果も発表しました。BloomはMITライセンスの下で提供されており、学術目的だけでなく商用利用も可能です。Anthropicは、このツールがAIの安全性研究や信頼性評価を加速させ、より責任あるAI開発につながることを期待しています。

Anthropicについて
Anthropicは、安全で信頼性の高い人工知能の開発を目的とするAI企業です。対話型AI「Claude」の開発元として知られ、AIの解釈性や行動安全性に重点を置いた研究とプロダクト開発を進めています。