データ業務の自律実行を実現するエージェント型データAIのDatabricks、Genie Codeを発表しQuotient AIを買収

Databricksは、データ業務の進め方を大きく変える新しい自律型AIエージェント「Genie Code」を発表しました。Genie Codeは、データパイプラインの構築、障害のデバッグ、ダッシュボードの公開、本番システムの保守といった複雑な業務を実行できるAIエージェントです。Databricksによると、実際のデータサイエンス業務を用いた評価では、Genie Codeは主要なコーディングエージェントと比べて成功率を2倍以上に高めたとしています。ソフトウェア開発の分野でエージェント型コーディングが開発手法を変えたのと同様に、Databricksはデータエンジニアリング、データサイエンス、アナリティクスにも同じ変化をもたらすと位置づけています。

Genie Codeは、Databricksがすでに提供している「Genie」の新たな拡張機能です。Genieは、Unity Catalogに格納された文脈や意味情報を活用し、ナレッジワーカーがデータに自然言語で質問して信頼できる答えを得られる仕組みです。今回のGenie Codeは、その考え方をデータ専門職向けに拡張し、アイデアから本番環境への移行までに必要な複雑なエンジニアリング作業を担います。あわせてDatabricksは、AIエージェント向けの評価および強化学習技術を手がけるQuotient AIの買収も発表しました。これにより、GenieとGenie Codeに継続的な評価機能を直接組み込む方針です。

Databricksは、従来のデータツールではAIが補助役にとどまり、コード作成やローカルテストを支援しても、計画立案、オーケストレーション、運用、検証、保守といった中核作業は依然として人間のデータチームが担ってきたと指摘しています。Genie Codeはこの構図を反転させ、問題を推論し、多段階の実行計画を立て、本番品質のコードを書いて検証し、さらには運用維持まで行います。一方で、重要な意思決定は引き続き人間が管理する設計になっています。Co-founder兼CEOのAli Ghodsiは、ここ半年でソフトウェア開発がコード補助から完全なエージェント型エンジニアリングへ移行してきたとし、Genie Codeはその革命をデータチームにももたらすものだと述べています。Databricksはこれを「Agentic Data Work」と呼び、企業の意思決定の在り方を根本から変える可能性があるとしています。

Genie Codeの特徴の一つは、企業のデータ文脈を理解したうえで動作する点です。既存のエージェント型コーディングツールは、データの系譜、利用パターン、業務上の意味づけといった重要な文脈情報にアクセスできず、データ業務では十分な成果を上げにくいとされてきました。Genie CodeはUnity Catalogと統合されており、既存のガバナンスポリシーやアクセス制御を適用しながら、業務上の意味や監査要件も理解し、外部プラットフォーム上のデータも含めて企業データを横断的に扱います。これにより、本番環境に必要な高い精度と統制を備えた形でデータ業務を進めることができます。

また、Genie Codeは機械学習エンジニアとしても機能し、モデルの計画、作成、デプロイを含むエンドツーエンドのMLワークフローを扱います。MLflowへの実験記録や、提供用エンドポイントの最適化も行います。データエンジニアリングの面では、単にテストデータで動くスクリプトを書くのではなく、ステージング環境と本番環境の違いを踏まえ、変更データキャプチャのワークフローを設計し、データ品質要件も適用するなど、上級アーキテクトのように振る舞うとされています。さらに、LakeflowパイプラインやAIモデルをバックグラウンドで監視し、障害の切り分けや異常調査を実施するほか、エージェントの実行履歴を分析してハルシネーションの修正にも取り組み、必要に応じてリソース配分の調整まで自律的に行います。

継続利用によって賢くなる点も特徴です。Databricksによると、Genie Codeは持続的なメモリ機能を通じて、過去の対話やコーディングの好みを踏まえ、内部指示を自動更新します。その結果、実業務に近いデータサイエンス課題で、主要なコーディングエージェントの成功率を32.1％から77.1％へと大きく引き上げたとしています。SiriusXMのVP of Data EngineeringであるBernie Grahamは、Genie Codeがノートブック作成、複雑なSQL、テーブル関係の推論、パイプラインのデバッグまで支援し、データチームがより短時間で高品質な成果を出せる開発パートナーになっていると述べています。また、RepsolのPrincipal Data ScientistであるEmilio Martín Gallardoも、同社のデータ、ガバナンス、業務文脈、内部ライブラリを理解したAIパートナーに複雑なワークフローを任せられることで、時系列予測から本番デプロイまでを厳密性や統制を損なわずに加速できると評価しています。

Databricksはさらに、本番品質を継続的に高める仕組みとしてQuotient AIを買収しました。Quotient AIは、エージェントの回答品質を測定し、性能低下を早期に検知し、失敗箇所を特定することで、強化学習のループを通じてエージェントを継続改善する技術を持っています。創業メンバーはGitHub Copilotの品質改善を主導した経験を持ち、AIコーディングシステムの評価に深い知見を持っています。Databricksはこれらの機能をGenie Codeに組み込むことで、データおよびAIシステムが単に本番で動くだけでなく、運用の中で継続的に改善される環境を整える考えです。

Databricksについて
Databricksは、データとAIのための統合プラットフォームを提供する企業です。San Franciscoに本社を置き、世界で20,000を超える組織が、データアプリケーション、AIアプリケーション、分析、AIエージェントの構築と拡張のためにDatabricksを活用しています。同社のData Intelligence Platformには、Lakebase、Genie、Agent Bricks、Lakeflow、Lakehouse、Unity Catalogなどが含まれており、企業がデータとAIを一体的に運用できる基盤を提供しています。