目次
PR
NVIDIA、エージェント型AI向けアクセラレーター「Groq 3 LPX」の量産開始を発表
商品・サービスの詳細を各サイトで確認
Groq 3 LPXの概要と処理性能
インタラクティブAI推論アクセラレーターの特徴
エージェント型AIは、膨大な量のコンテキストを効率的に処理することと、極めて低いレイテンシでトークンを生成することという、2つの異なるコンピューティング上の課題を提起します。 NVIDIA Groq 3 LPXは、Vera Rubinが実現するインタラクティブ性をさらに高めるために特化して設計されました。インタラクティブ性とは、個々のユーザーに対するトークン生成速度であり、エージェントが作業の各ステップをどれだけ迅速に完了できるかを左右する指標となっています。 生成速度が向上すれば、エージェントは応答性の高いユーザー体験を維持しつつ、ファイルの確認、コードの書き出しとテスト、ツールの呼び出し、結果の検証、そして反復処理を行うための時間をより多く確保できるようになるとのことです。AIクラウドでの採用と協調設計
AIクラウドのリーダーであるNebiusは、同社の本番環境向け推論プラットフォーム「Nebius Token Factory」にNVIDIA Groq 3 LPXを導入する予定です。これにより、開発者は極めて高いトークン生成速度を利用できるようになり、応答性に優れたエージェント型AIアプリケーションが可能になると説明しています。 Nebiusに続き、AI推論専用クラウドのGroqも、同プラットフォームの初期採用企業の一つとなる予定です。 また、7種類のチップと5種類の専用ラックにわたる緊密な協調設計を通じて、NVIDIA Vera Rubinは最も包括的なAIファクトリープラットフォームを実現しています。NVIDIA Vera Rubin NVL72およびGroq 3 LPXは、フロンティアモデルの開発者やオープンモデルサービスプロバイダーを含む顧客のAIファクトリーにおける多様なワークロードの要件に対応するとしています。 これらのラックプラットフォームは「NVIDIA BlueField-4 DPU」を搭載し、「NVIDIA Vera CPUラック」「NVIDIA Vera BlueField-4 STXストレージ」「NVIDIA Spectrum-6 SPX Ethernet」と連携することで、マルチエージェントシステムを最適化し、ワットあたりのスループットの最大化、および推論レイテンシの最小化を実現しています。最後までお読みいただきありがとうございました！
- 本記事の評価は当サイト独自のものです。
- 特段の表示が無い限り、商品の価格や情報などは記事執筆時点での情報です。
- この情報が誤っていても当サイトでは一切の責任を負いかねますのでご了承ください。
- 当サイトに記載された商品・サービス名は各社の商標です。
- 本記事で使用している画像は、メディアユーザーとしてPR TIMESより提供されたプレスリリース素材を利用しています。