Sakana AI、浮世絵の生成モデルを発表

Sakana AIを覚えていますか？ほぼ1年前、Google出身の著名な創業者たちによって設立されたこの東京拠点のスタートアップは、斬新な自動マージベースのアプローチで高性能モデルを開発し、AI界に衝撃を与えました。そして今日、Sakana AIは新たに2つの画像生成モデル、Evo-UkiyoeとEvo-Nishikieを発表しました。これらのモデルはHugging Faceで利用可能で、テキストおよび画像プロンプトから画像を生成するように設計されています。ただし、他のスタイルでの通常の画像生成とは異なり、これらのモデルは日本の歴史的な芸術形式である浮世絵に特化しています。浮世絵は17世紀から19世紀にかけて栄えましたが、SakanaはAIの力を使って現代のコンテンツ消費者に再びこの芸術を紹介しようとしています。この動きは、昨年から成長しているAI分野での最新のローカライゼーションの取り組みの一環です。韓国、インド、中国などの国々では、それぞれの文化や方言に合わせたモデルが構築されています。

新しいSakana AIモデルの期待
浮世絵（「浮世の絵」）は1600年代初頭にさかのぼり、歴史的なシーン、風景、相撲力士などのテーマに焦点を当てた日本の人気芸術です。このジャンルは当初、単色の木版画として始まりましたが、最終的には多色刷りの「錦絵」に進化しました。19世紀にはデジタル写真の台頭などの要因でその人気は衰えました。今回発表された2つの画像生成モデルにより、Sakanaはこの歴史的な芸術作品を再び現代の文化に取り入れようとしています。最初のモデルであるEvo-Ukiyoeは、テキストから画像を生成するもので、特に桜の花、着物、鳥などの浮世絵に一般的な要素を説明するテキスト入力に応じて、浮世絵に非常に似た画像を生成します。また、ハンバーガーやノートパソコンなど、当時存在しなかったものを浮世絵風に生成することもできますが、時には結果が浮世絵とは似ていないこともあるとしています。このモデルは、Sakanaが独自の進化的モデルマージ技術を使用して開発したEvo-SDXL-JPをベースにしています。Sakanaは、Ritsumeikan UniversityのArt Research Center（ARC）との提携により取得した24,000点以上のキャプション付き浮世絵アートワークのデータセットを使用してEvo-SDXL-JPを微調整しました。「このデータは、ARCコレクションのデジタル画像から、幅広い主題をカバーするようにキュレーションされました。多色刷りの美しい色彩を持つ錦絵に焦点を当て、また多様性も考慮しました」と同社はブログ投稿で述べています。

2つ目のモデルであるEvo-Nishikieは、モノクロの浮世絵版画に色をつける画像-to-画像生成モデルです。Sakanaは、歴史的な一色刷りの本の挿絵に色を加えたり、既存の多色刷りの錦絵に全く新しい外観を与えることができると述べています。ユーザーはソース画像を提供し、色をつける要素を説明する一連の指示を追加するだけです。Sakanaは、このモデルをEvo-Ukiyoe上でControlNetトレーニングを行い、固定されたプロンプトと条件画像を使用して実現しました。

さらなる研究と開発の目標
これらのモデルはまだ日本語のプロンプトにのみ対応しており、初期段階にありますが、SakanaはこのAIを使った「日本の美」の教育が世界中に広がり、教育や古典文学の新しい楽しみ方に応用されることを期待しています。現在、同社は両方のモデルと関連するコードをHugging Faceで提供しています。リポジトリに含まれるPythonスクリプトとLoRAのウェイトはApache 2.0ライセンスの下で利用可能です。「このモデルは研究開発目的のみで提供されており、商業利用やミッションクリティカルな環境での展開を意図していません。このモデルの使用はユーザー自身のリスクで行ってください」と同社はHugging Faceで注意を呼び掛けています。これまでSakana AIは、Hugging FaceやOpenAIに投資したLux CapitalやKhosla Venturesなど複数の投資家から合計3000万ドルの資金を調達しています。