Cerebras SystemsがPyTorchサポートの拡大と巨大モデル学習のための機能提供を発表

強化されたソフトウェアプラットフォームにより大規模言語モデルをシームレスに拡張可能に

カリフォルニア州サニーベール--(BUSINESS WIRE)--（ビジネスワイヤ） -- （ビジネスワイヤ）-- 高性能人工知能（AI）コンピューティングのパイオニアであるセレブラス・システムズは本日、PyTorchおよびTensorFlowのサポートを拡張したセレブラス・ソフトウェア・プラットフォーム（CSoft）のバージョン1.2をリリースしました。また、セレブラスのウェイト・ストリーミング技術により、数十億のパラメーターを持つモデルを迅速かつ容易にトレーニングできるようになりました。

PyTorchは、機械学習フレームワークの代表格です。PyTorchは、研究用プロトタイピングから実運用への展開を加速させるために開発者に使用されています。モデルサイズが大きくなり、トランスフォーマーモデルが普及するにつれ、機械学習の実践者は、Cerebras CS-2のような高速でセットアップが簡単なコンピュートソリューションを利用することが不可欠になります。CS-2でCSoftを実行することで、開発者コミュニティは、AIの新たなブレークスルーを可能にする強力なツールを手に入れることができます。

セレブラス・システムズのAIフレームワーク担当シニア・ディレクターであるエマッド・バーソムは、「当初から、お客様がどのような機械学習フレームワークで記述したいかをシームレスにサポートすることを目標としていました。当社のお客様はTensorFlowやPytorchで記述しており、当社のソフトウェアスタックであるCSoftは、お客様が選択したフレームワークでモデルを迅速かつ容易に表現することを可能にします。そうすることで、お客様はセレブラスCS-2の85万個のAI最適化コアと40ギガバイトのオンチップメモリにアクセスできるようになります」と、語っています。

セレブラスCS-2は、世界最速のAIシステムです。これまでで最大のプロセッサーであるCerebras Wafer-Scale Engine 2（WSE-2）を搭載しています。Cerebras WSE-2は、AIに最適化されたコンピュート・コア、高速メモリー、ファブリック帯域幅を、現存する他のどのディープラーニング・プロセッサよりも多く備えています。機械学習の専門家がTensorFlowやPyTorchといったオープンソースのフレームワークでモデルを作成し、そのままCerebras CS-2上で実行できるようにするCSoftが、AI作業用に特別に設計されています。実際、グラフィックス・プロセッシング・ユニットやセントラル・プロセッシング・ユニット向けに書かれたモデルを、CSoftの下で変更することなくCerebras CS-2で動作させることができます。CS-2とCSoftを使用することで、BERTのような小さなモデルからGPT-3のような現存する最大のモデルまでシームレスにスケールアップすることが可能になります。

大規模なモデルは、多くの言語処理および理解タスクにおいて、最先端の精度を実証しています。GPUを使用したこれらの大規模モデルの学習は、困難で時間のかかるものです。新しいデータセットでゼロから学習する場合、レガシー機器の大規模クラスタでは数週間、数十メガワットの電力を要することがよくあります。さらに、クラスタのサイズが大きくなるにつれて、電力、コスト、複雑さが指数関数的に増大します。グラフィック・プロセッシング・ユニットのクラスターをプログラミングするには、希少なスキル、さまざまな機械学習フレームワーク、特殊なツールが必要で、それぞれの反復に数週間のエンジニアリング時間を要します。

CS-2は、これらの課題を直接解決するために作られました。最大規模のモデルでも数分でセットアップが完了し、CS-2は数百台のグラフィックス・プロセッシング・ユニットのクラスタより高速に動作します。CS-2は、セットアップ、設定、トレーニングに費やす時間を短縮することで、より多くのアイデアをより短時間で探索することを可能にします。

セレブラスは、北米、アジア、ヨーロッパ、中東に顧客を持ち、グラクソ・スミスクライン、アストラゼネカ、TotalEnergies、nference、アルゴンヌ国立研究所、ローレンス・リバモア国立研究所、ピッツバーグ・スーパーコンピューティングセンター、エディンバラ・パレルコンピューティングセンター、東京エレクトロン デバイスなど、企業、政府、高性能コンピューティング分野で増え続ける顧客に業界トップのAIソリューションを提供しています。

Cerebrasソフトウェアプラットフォームの詳細については、https://cerebras.net/software/ をご覧ください。

セレブラス・システムズについて

セレブラス・システムズは、先駆的なコンピューター・アーキテクト、コンピューター科学者、ディープラーニングの研究者、あらゆるタイプのエンジニアからなるチームです。私たちは、AIを加速させ、AIワークの未来を永久に変えるという唯一の目的のために、新しいクラスのコンピューターシステムを構築するために集まりました。当社の主力製品であるCS-2システムは、世界最大のプロセッサーである85万コアのCerebras WSE-2を搭載しており、お客様のディープラーニング作業をグラフィックスプロセッシングユニットよりも数桁も高速化することを可能にします。

本記者発表文の公式バージョンはオリジナル言語版です。翻訳言語版は、読者の便宜を図る目的で提供されたものであり、法的効力を持ちません。翻訳言語版を資料としてご利用になる際には、法的効力を有する唯一のバージョンであるオリジナル言語版と照らし合わせて頂くようお願い致します。