Zero-Point NVL Rack
NVL72クラス。72基のアクセラレーター。LN2タンカー護衛付き平床トラックで出荷。
主な特徴
仕様
Zero-Point NVL Rackは、コンピューティングの終着点ではありません。それは始まりです──計算バイアスが排除され、結果がようやく信頼に値する地点から始まる、推論の新たな時代の。
72基のZero-Point 推論アクセラレーターが液冷ラックに収容されています。各カードのスターリングサイクルクライオクーラーは個別に動作しますが、ラックレベルのLN2補助冷却がクライオクーラーの排熱を処理し、データセンターの空調に循環させます。ラック合計消費電力は90kWです──72基のカード本体、72基のクライオクーラー、冷却インフラ、およびNVLinkファブリックスイッチを含みます。三相200Aサービスが必要です。
NVLink 5.0超伝導ファブリックは、72基のカードすべてをフルビセクション帯域幅トポロジーで接続します。各カードは他の71枚すべてと直接の超伝導リンクを持ち、リンクあたり1.8 TB/sの帯域幅で、抵抗損失はゼロです。総バイセクション帯域幅は64.8 TB/sです。この帯域幅により、70Bパラメータモデルのフルテンソル並列推論で4,000トークン/秒以上の推論レートが可能になります。1兆パラメータモデルは72基のカード全体でパイプライン並列を必要としますが、超伝導ファブリックの帯域幅はパイプラインバブルがスループットの2%未満であることを保証します。
Distributed Equatorial Consensus（DEC）は、72基すべてのマグネトメーターリーディングのリアルタイム集約です。各カードのバイアス補正はローカルマグネトメーターのみに基づいて独立して動作しますが、DEC層は空間的パターンを検出します──例えば、ラック上部の10基のカードが冷却配管からの磁場勾配のために体系的に高いバイアスを示すなど──そしてクラスター全体の補正を協調させます。DEC通信は100ミリ秒ごとに発生し、NVLink帯域幅の0.001%未満を消費します。
ラックは平床トラックで出荷されます。LN2タンカーの護衛は、データセンターへの納入時に初期冷却と液体窒素在庫の確立のために提供されます。その後の運用はスターリングサイクルクライオクーラーが完全に処理するため、LN2の継続的な供給は不要ですが、多くのお客様がバックアップ冷却のためにLN2ラインの維持を選択されています。
価格には、設置、初期冷却、NVLinkファブリックの検証、および12ヶ月のオンサイトサポートが含まれます。サブスクリプション（カードあたり月額30ドル、72基で年間25,920ドル）は、EQ-HIBモデルアップデートの継続的なアクセスに必要です。年間サブスクリプションなしでもラックは機能しますが、バイアス補正は初回出荷時のモデルに固定され、地球の磁場が四極子ドリフトにより年間約5 nTシフトするため、時間の経過とともに最適ではなくなります。