AI & 機械学習

Google Cloud と提携してフロンティアスケールの LLM をトレーニングしている Magic

2024年9月10日

https://storage.googleapis.com/gweb-cloudblog-publish/images/google_cloud_x_magic.max-2500x2500.jpg

Amin Vahdat

VP/GM, ML, Systems, and Cloud AI

Google Cloud Summit Series

Discover the latest in AI, Security, Workspace, App Dev, & more.

※この投稿は米国時間 2024 年 8 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。

生成 AI を手がけるユニコーン企業の 90% 超をはじめとして、世界中の生成 AI スタートアップの過半数が Google Cloud を基盤として成り立ち、Google の信頼性に富むインフラストラクチャ、多彩なハードウェアシステム、Vertex AI プラットフォームなどを使用しています。このようなスタートアップは、これからの数か月や数年にわたって何百万もの企業、エンタープライズ、デベロッパー、学生などが使用することになる、次世代の AI アプリケーション、AI モデル、AI ツールを構築しています。

Google Cloud の AI Platform による Magic のサポート

本日、Magic は、Google Cloud との提携の下でクラウドベースのスーパーコンピュータ 2 台を新たに構築することを発表しました。Magic は、トークンが 1 億個（優に人間の発話 10 年分に相当する情報量）に達するコンテキストウィンドウを備えたコードアシスタントの開発を使命としていますが、このスーパーコンピュータはこの使命の達成をサポートします。サンフランシスコを拠点とするスタートアップである Magic は、望ましいクラウドプロバイダとして Google Cloud をすでに選定していることから、Google Cloud が提供する AI ハイパーコンピュータのアーキテクチャとツールを使用することになります。これにより、ソフトウェアエンジニアリングの各種作業を自動化できるフロンティアスケールの AI モデルの構築が進む見込みです。

Google Cloud を使用する Magic は、NVIDIA の H100 Tensor コア GPU で動作する A3 Maga VM を採用して、同社では第 4 世代となるスーパーコンピュータの構築を予定しています。GPU を数万基にスケールアップした次世代の同社第 5 世代スーパーコンピュータが来年の早い時期に世に出れば、同社は Google Cloud 上で NVIDIA の Grace Blackwell プラットフォームへ移行した最初期ユーザーの 1 社になります。これらのスーパーコンピュータは、計算能力の指標として 160 エクサフロップを実現することができる予定です。この能力は、1,600 億人の人々がそれぞれ 10 億台の電卓を使用して同時に計算を実施する能力に匹敵するほど強大です。

Magic の目標は、「自動化した AI ソフトウェアエンジニアと AI ソフトウェア研究者」の構築にあります。このようなエンジニアと研究者は、組織のコードリポジトリ全体を認識して把握し、長期にわたって膨大なタスクを完遂できます。同社は、この目標の達成に向けて、きわめて長期のコンテキストウィンドウをはじめとする高度な機能を備えたフロンティアスケールの LLM をトレーニングしています。これらのモデルのトレーニングと AI 推論の実施では、それに必要なコンピューティングが重要です。Google Cloud は、Magic 製品の商品化を支援するために、信用のある AI プラットフォーム、演算能力への信頼できるアクセス、AI 製品のスケーリングを実体験する環境を提供しています。

Magic の CEO であり、創業者である Eric Steinberger 氏は次のように述べています。「Magic の目標は AGI の構築ですが、それには膨大なコンピューティングが必要です。Magic にとって、Google Cloud は次世代モデルをトレーニングおよびサービングする際の価値あるパートナーになるでしょう��世界中できわめて大規模なインフラストラクチャシステムを運用してきた Google の経験は、弊社の担当部署が最大限の効果を発揮するうえで大きな援軍となります。弊社の成長が緒に就いたのも、Google チームが手厚いサポートを提供してきたからです」

世界で今後が大いに期待できる AI スタートアップでのイノベーション推進

Magic は、今後が期待できるスタートアップ企業の好調なエコシステムに参加しています。このようなスタートアップ企業は、Google Cloud 上で基盤モデル、AI ツール、AI アプリケーションを構築しています。そのような企業のいくつかを次に示します。

Arize AI: モデルのオブザーバビリティと評価のプラットフォームを提供しています。GKE、Vertex AI、Google Cloud Marketplace などの Google Cloud サービスを継続的に利用して、そのプラットフォームを構築およびスケーリングし、販売しています。
Character AI: 望ましいクラウドインフラストラクチャとして 2023 年に Google Cloud を指名しました。同社モデルの迅速なトレーニングと推論に TPU と GPU を利用しているほか、Google の AlloyDB を使用してデータベース負荷の急速なスケール拡大に対応しています。
Cohere: 2021 年から Google Cloud と提携しています。エンタープライズグレードの同社製フロンティア AI モデルでのトレーニングと推論に TPU を利用し、セキュリティとプライバシーに重点を置いたプラットフォームを Google Cloud Marketplace 上で市場に提供しています。
Labelbox: Google Cloud が提供する LLM 評価サービスを運用しています。Google Cloud と Labelbox との最近の提携により、Vertex AI のお客様は、人間である評価者をシームレスに活用して LLM レスポンスを評価すると同時に、人的労力全体とラベリングとのオーケストレーションを処理できます。
Mistral: 2023 年に業務における Google Cloud の使用を開始しました。AI に最適化した Google のインフラストラクチャ（TPU など）を使用して自社 LLM をスケールアップし、基盤モデルである Mistral-7B を Vertex AI 上で提供しています。
Glean: AI アシスタントとエンタープライズ検索のプラットフォームに各種の Google Cloud サービスを使用しています。たとえば、データ分析に BigQuery、モデルのトレーニングに TPU、プラットフォームの信頼性のスケーリングに App Engine と GKE をそれぞれ使用しています。
Higgsfield: Gemini と AI に最適化した Google のインフラストラクチャ（GPU など）を使用して、AI 動画制作プラットフォームを運用し、自社独自モデルのトレーニングと推論を進めています。AI を利用する際に安全性を確保するための標準（透かしなど）を実務運用して不正なコンテンツの制作を防止するうえでも Google Cloud が効果を上げています。
Jasper: Google Cloud を使用して、自社のマーケティングコンテンツ制作ツールを運用しています。たとえば、Gemini モデルを利用して、顧客向けのブログ投稿や製品説明などのコンテンツを自動的に生成できるようになっています。
Repl.it: AI によるソフトウェアの開発とデプロイのプラットフォームとして広く知られています。同社は、Google Cloud の各種サービスとインフラストラクチャ、および Gemini モデルを使用して、2,000 万人以上のユーザーが高品質なコードを短時間で作成できるようにしています。
ThoughtSpot: 同社の検索と AI による分析のプラットフォームによって、データに基づく質問と回答が簡潔になっています。ThoughtSpot は各種の Gemini モデルを統合して自社の AI 機能を運用し、顧客が新たな水準の生産性を実現できるように支援しています。
Typeface: エンタープライズコンテンツ制作向け生成 AI のプラットフォームであり、Fortune 500 に選定されるようなブランドとエンタープライズのマーケターがマルチモーダルのブランドコンテンツを制作できるように支援します。Typeface は、Google が提供する生成 AI 基盤モデルの古くからのパートナーであり、Google Cloud、Google Ads、Google Workspace などの Google プラットフォーム全体にわたり、エンドツーエンドのコンテンツワークフローを提供しています。
Weights & Biases: 同社の Weave は、ユーザーフレンドリーで軽量なツールキットであり、組織的かつ効率的な方法で、マルチモーダル LLM の Gemini ファミリーをデベロッパーが追跡し、評価できるように設計されています。Gemini のエコシステムには、長大なコンテキストとマルチモーダル機能を備えたきわめて高性能なモデルがいくつか用意され、テキスト、画像、音声、動画にわたる推論が可能です。
Writer: Google Cloud 上の AlloyDB、GKE、BigQuery、GPU をはじめとする各種 Google Cloud サービスを使用して、自社の生成 AI エンタープライズコンテンツのプラットフォームを運用しています。