AIインフラ最適化のCast AI、未使用GPUを削減しクラウド投資効率を改善

AI向け計算資源の獲得競争が激しくなるなか、多くの企業がGPUを確保している一方で、その大部分を十分に活用できていないという課題が浮き彫りになっています。Cast AIは、このクラウドインフラの非効率を解決する企業として注目されています。Cast AIの共同創業者兼PresidentであるLaurent Gilによると、同社のKubernetes最適化レポートでは、GPUの平均利用率はわずか5%にとどまっています。企業はGPU不足を恐れて高額な計算資源を確保しているにもかかわらず、実際には多くの処理能力が使われないまま残っているという状況です。

Cast AIは、AIモデルを開発したりGPUを販売したりする企業ではありません。同社は、企業がすでに購入した高額なクラウド計算資源をより効率的に使えるようにする、AIインフラの交通整理役のようなソフトウェアを提供しています。同社は今年初めに評価額10億ドルを超え、従業員数も約300〜320人に拡大しています。Google Cloud Nextを前に、Cast AIはAWS、Azure、Google Cloud上で稼働する23,000以上のKubernetesクラスターを分析しました。その結果、GPU利用率は平均5%にとどまり、CPUとメモリの利用率も前年比で低下していることが分かりました。Laurent Gilは、これらの数値はアンケートや推定ではなく、本番環境のクラスターから直接測定されたデータだと説明しています。

この問題は企業のコストに直結します。Laurent Gilによれば、企業が1,000台規模のGPUを必要とする場合、年間コストは3,000万ドルに達する可能性があります。しかし、利用率が低ければ、その多くが実質的に無駄な支出になります。こうした課題を背景に、Cast AIのGPU管理製品への需要は急速に高まっています。同社が昨年後半に投入したGPU向け製品は、すでに同社史上最大規模の契約につながっており、別の大企業との大型契約も生み出しています。Laurent Gilは、これらの製品は実験段階ではなく、すでに大規模環境で利用されていると述べています。

Cast AIのソフトウェアは、自動化されたエンジニアのように機能し、必要な計算資源を調達し、その利用方法を最適化します。具体的には、5%程度にとどまっている利用率を大幅に引き上げることで、AIインフラの経済性を改善します。AIの普及により、開発者はコーディングエージェントを使って生産性を高めています。一方で、チームが小さくなるというよりも、より多くの開発成果が求められるようになり、インフラへの負荷はむしろ増しています。Cast AIは、より多くのGPUを購入する前に、まず既存の計算資源がどれだけ使われているかを確認すべきだと訴えています。

Cast AIについて
Cast AIは、Kubernetes環境を中心にクラウドインフラのコストと性能を最適化するソフトウェア企業です。同社は、AWS、Azure、Google Cloudなどのクラウド上で稼働するワークロードを分析し、CPU、メモリ、GPUなどの計算資源を自動的に最適化します。AI時代における高額なクラウド投資の無駄を減らし、企業が既存インフラをより効率的に活用できるよう支援しています。