次世代のAI技術のSakana AI、自己適応型LLM「Transformer2」を発表 動的な学習能力を実現

日本のスタートアップSakana AIの研究者チームが、自己適応型の大規模言語モデル（LLM）「Transformer2」を開発したと発表しました。研究者のQi Sun、Edoardo Cetin、Yujin Tangは、論文をarXivのプレプリントサーバーに公開し、その技術の詳細を明らかにしています。従来のLLMは、事前に学習した内容以外のタスクをこなす際、新たなデータで再学習（ファインチューニング）を行う必要がありました。しかし、このプロセスは計算負荷が高く、効率性に欠けるという課題がありました。Sakana AIの研究チームは、LLMが動的に自身のパラメータを調整できる新たなアプローチを開発し、こうした問題を解決しました。

研究チームの新技術では、モデルの重みをリアルタイムで適応させる仕組みを導入。具体的には、以下の2段階のプロセスを経て、未知のタスクに対応できるようになっています。
1. タスクの分析：モデルが入力されたリクエストを解析し、適切な応答を生成するために必要な要素を特定。
2. 重みの動的調整：タスクに応じて最適なパラメータを選択し、学習プロセスを強化。

この適応プロセスの中核となるのが、特異値分解（Singular Value Decomposition）という数学的手法です。これにより、モデルが自身のシステム内で最も重要な要素を特定し、精度の高い応答を生成できます。さらに、強化学習（Reinforcement Learning）を用いて、適切な動作を導くための最適なステップを構築します。

推論（Inference）の際には、以下の3つの戦略を用いて応答を生成します。
• プロンプトに基づく戦略：ユーザー入力の情報を活用
• 分類機能：リクエストの種類を識別
• Few-shot学習：少量のデータから素早く適応

こうして、従来のLLMと同等の性能を維持しつつ、新しいタスクに対する柔軟性を大幅に向上させることに成功しました。

Sakana AIについて
Sakana AIは、次世代のAI技術を開発する日本のスタートアップで、効率的で柔軟なLLMの構築に注力しています。今回発表された「Transformer2」は、従来のLLMが抱えていた適応性の課題を解決し、より汎用的なAIの実現に向けた大きな一歩となることが期待されています。