目次
PR
A9 Mega AIクラスターの技術構成と特徴
プレスリリースによると、Ubuntu、ROCm、およびDwarfStarを採用し、最適化されたDeepSeek V4 Flashモデルが複数のマシンに分散配置されています。OpenAI互換APIがアプリケーションとAIエージェントを接続し、USB4の活用により独自仕様の高速スイッチやサーバーラックが不要となっています。 組織は機密情報を自らの管理下に置きながら、高度なAIを活用できる仕組みです。プロンプト、ドキュメント、ソースコード、認証情報、および中間結果がパブリッククラウドに送信されることなく、ローカルインフラストラクチャ内に留まる構成となっています。エンタープライズAIの活用領域
企業は方針、マニュアル、契約書、報告書、その他の社内文書を検索・分析する、社内専用のナレッジアシスタントを構築できます。文書レビュー、ソースコード分析、ローカル環境での検索拡張生成、複数ソースを用いた調査、管理されたワークフローの自動化に対応しています。- 最大25万トークンのコンテキストで稼働した実績
- 長文の文書や大規模なコードベースに対応
- 複雑な多段階処理の実行が可能
性能と柔軟な拡張性
同時実行数1の場合、32トークンおよび128トークンのテストにおいて、システムは約14.61トークン/秒を達成しています。また、最初のトークンが生成されるまでの時間は、P95値で約0.42秒となっています。長いプロンプトに対して、より大きな処理能力と高い高速化性能を提供する点も特徴です。 組織はまず1台または2台のシステムから導入を始め、ニーズの拡大に合わせて4台まで拡張できます。各A9 Megaは単独で動作することも、分散推論の一部として機能することも可能となっています。PR
最後までお読みいただきありがとうございました！
- 本記事の評価は当サイト独自のものです。
- 特段の表示が無い限り、商品の価格や情報などは記事執筆時点での情報です。
- この情報が誤っていても当サイトでは一切の責任を負いかねますのでご了承ください。
- 当サイトに記載された商品・サービス名は各社の商標です。
- 本記事で使用している画像は、メディアユーザーとしてPR TIMESより提供されたプレスリリース素材を利用しています。