やや強気エヌビディアエヌビディア / NVDA：注目の半導体銘柄が目指すシステムレベルのスケーリングへの考察と同社の強み・将来性 - 前編
ダグラス・ オローリン- エヌビディア（NVDA）のジェンセン・フアン最高経営責任者（CEO）は、データセンターがコンピートの新しい単位であることを強調し、ムーアの法則の原則に沿って、チップと同様にラック内で性能と電力を拡張することの重要性を強調した。
- ムーアの法則は、トランジスタの微細化にとどまらず、データとロジックをラック内で近づけることで性能とエネルギー効率を向上させるなど、システムレベルの最適化にも及んでいる。
- 液冷は、データセンター・ラックの電力スケーリングの新たなフロンティアを可能にし、より多くのシリコン面積、より高密度のメモリ、パッシブ銅インターコネクトの統合を促進し、エヌビディアによるシステムレベルのムーアの法則のスケーリングとネットワーキングのさらなる革新における重要な進歩に繋がる。
サマリー
エヌビディア（NVDA）のジェンセン・フアンCEOは、データセンターが新しいコンピュート・ユニットであることを繰り返し強調してきた。
このコンセプトは当初は単純に思えたが、GTCとOFC2024でのエヌビディアのプレゼンテーションの後、より深い意味が明らかになった。
私は最近になってようやく、何が起きているのかを正確に理解することができ、ムーアの法則を推し進めた根本原理を単純に捉え直すことで、全体像がより明確になると考える。
この新しいパラダイムでは、ラック自体がチップに似ている。
そして今、ラックを新しいチップとしてとらえれば、パフォーマンスとパワーをスケールさせる全く新しいベクトルを手に入れることができるのである。
では、データセンターの観点からムーアの法則について考えてみたい。
フラクタルとしてのムーアの法則
すべてはムーアの法則から始まる。
チップ・スケールで起きている問題とデータセンター・レベルで起きている問題が同じであるように、半導体には深遠な美しさがある。
ムーアの法則はフラクタルであり、ナノメートルに適用される原理はラックにも適用される。
私たちが話さなければならない最初の原則は、小型化である。
ムーアの法則は、トランジスタを小型化すれば消費電力が減り、電子が物理的に遠くまで移動する必要がなくなるため、より高い性能が得られるという単純な観察に基づいて構築された。
そのため、ムーアの法則は、何十年もの間、トランジスタの物理的空間を半分にするというものだった。
しかし近年、より小さなチップをスケーリングする経済的限界に達したため、いくつかの漸近線にぶつかっている。
これは、ムーアの法則の終わりという荒唐無稽な前触れである。
つまり、チップをさらに小さくするのは難しくなってきているのである。
しかし、下層で当てはまること（ビットを近づけること）は、上層でも当てはまる。
電子をより遠くに移動させるには時間がかかり、より多くのエネルギーが必要になる。
そのため、データ、電力、ロジックのすべてが近ければ近いほど、距離によるエネルギーの浪費は少なくなる。
この問題はナノメートルスケールでもラックスケールでも変わらず、ケーブルやロジックを近づけることでシステム性能の向上につながる。
そして、この問題はすべてのネットワークに当てはまり、地理的なコストがない限り、物事を近づけることによるスケールメリットがある。
では、どうすればいいのか？
チップ内の電子を近づけるだけでなく、ラック内の電子も近づけていく必要があるのである。
そしてそれこそが、エヌビディアが行っていることなのである。
ムーアの法則はSTCO（システム・製造協調最適化）に移行する
より優れたチップの追求は今後も続くだろうが、私はエヌビディア（NVDA）はより優れたシステムをインテリジェントに追求しており、インテリジェントなシステム設計から複数世代のチップシュリンクにおける改善を実現できる可能性が高いと見ている。
魅力的なのは、現在の技術で1世代以上の改善が可能な点である。
他社がそれを理解する一方で、エヌビディアは誰よりも先に果敢に取り組み、総合的なシステムビジョンを達成することで利益を得るだろうと見ている。
さらに、エヌビディアは古いコンセプトの最先端にいる。
このコンセプトは「システム・製造協調最適化（System Technology Co-Optimization）」と呼ばれ、多くの人がこれが新たな進歩のベクトルになる可能性があると話していたが、2024年にエヌビディアが説得力のあるバージョンを発表するとは誰も予想していなかったと思う。
さらに、目を細めて良く見てみると、STCOが数十年にわたる長いコンピューティングの歴史の中で、いかにきれいに収まっているかがわかる。
これは、ICs（(集積回路）からVLSI（超大規模集積回路）、SoC（システムオンチップ）からエヌビディアのSystem of Chipsへの移行と変わらない。
歴史を簡単に説明しよう。
当初はトランジスタが誕生し、次に集積回路が複数のトランジスタを組み合わせて電子部品を作った。
その後、LSIやVLSIが何千ものトランジスタを一緒に動作させることに焦点を当て、マイクロプロセッサの始まりとなった。
次に、半導体の複数のシステムを1つのチップまたはSoC（System On Chip）に搭載できるという観測がなされた。
そして、私たちは最近、チップからパッケージへと、チップレット、ヘテロジニアス・コンピューティング、CoWoSのような高度なパッケージングへとスケールアウトしてきた。
しかし、私は、エヌビディアがチップを越えてSystem of Chipsにスケーリングゲームを持ち込もうとしているとみている。
いずれ誰かがもっと説得力のある略語を作るとは思いますが、2020年代と2030年代は、シリコンよりもこうした大規模なシステムをスケールアウトする時代である可能性が高いと考えている。
そして、それはすべて美しく、それ以前のものと一貫している。
データセンターがコンピュートの新しい単位であるならば、ムーアの法則とハードウェア・ベンダーのトリックをシステムレベルの最適化に適用する時が来た。
エヌビディアはすでにその手の内を見せており、アンディ・ベクトルシャイム氏はOFCでのプレゼンテーションで、スケーリング・ロードマップ全体をほぼ明らかにした。
巨大チップとしてのデータセンター
データセンターを巨大なチップとして想像してみてほしい。
それは、あなたの問題に対応するメモリとロジックのトランジスタをスケールアウトした高度なパッケージに過ぎない。
マルチチップSoCの代わりに、各GPUボードはチップ内の「タイル」である。
それらは銅で接続され、可能な限り近くを移動されるため、より高いパフォーマンスとスピードが得られることができる。
しかし、パッケージから物を移動させること、つまり、ラックから出すことには意味があるのだろうか？
性能と帯域幅が目的なら、チップ全体の性能が大幅に低下するため、あまり意味がありません。
重要なボトルネックは、モデルをトレーニングするためにデータを行ったり来たりさせることと、モデルをメモリ上に保持することである。
そのため、データをまとめておくことは理にかなっている。
アクセラレーターと同じパッケージでHBM（High Bandwidth Memory）、ダイを拡張しようとしているのは、まさにそのためである。
つまり、チップとしてのデータセンターの場合、可能な限り安価に、可能な限り緊密にすべてをパッケージ化しようとするわけである。
パッケージングにはいくつかの選択肢があり、最も近いのはチップ間パッケージングで、次にパッケージ上のHBM、パッシブ銅線上のNVLink、そしてインフィニバンドやイーサネットへのスケールアウトが挙げられる。
そしてご存じないかもしれないが、エヌビディアはまさにこの同じ視点を使ってこの問題を追求してきました。
目標は、チップ間相互接続、HBM、NVLink、インフィニバンドをスケールアウトすることである。
また、同社は、この議論全体を見渡せる便利なグラフまで用意している。
帯域幅が問題であれば、他のスケーリングレイヤーに頼る前に、最も安い帯域幅をスケールアップすることが難しくなる。
ロジックに近ければ近いほど、価格的にも性能的にも有利となっている
このスライドはOFCで何度も見せられたもので、私たちが今後可能な限りスケールアップを試みるエリアに関する私の結論である。
他のドメインを検討する前に、帯域幅のコストが最も安いドメインをスケールアップするのが理にかなっている。
エヌビディアの場合では、ポイントは、NVLinkを検討する前にHBM3でできるだけ多くのメモリをスケールアップし、ネットワークへのスケールアップを検討する前にNVLink内でできるだけ多くのコンピューティングを維持しようとすることである。
別の言い方をすれば、100万個のアクセラレータをイーサネットで接続するのは無駄であるが、100万個のアクセラレータをリーチが短い相互接続ノードでパッシブ銅線で接続するのは、経済的である。
そして、エヌビディアは、オプティクスを使う前に、パッシブ銅で可能な限りのスケーリングを追求しており、これが最も低コストで高性能なソリューションである。
データセンターのラックにある銅のバックプレーンは、システムレベルのムーアの法則の競争において、事実上新しい先進的なパッケージングである。
ラックを縮小する新しい方法は、最も経済的なパッケージにできるだけ多くのシリコンを搭載し、最も安価で電力効率の高い相互接続を可能な限り密に接続することである。
そして、これがGB200 NV72Lの設計理念である。
各GPUラックがチップレットであり、各銅ケーブルがCoWoSパッケージングであると想像していただきたい。
これは新しいムーアの法則であり、新しいコンピュート・ユニットを見ているようなものである。
ここでの目標は、このラックのパワーを高め、できるだけ多くのチップを1つのラックに移動させることである。
それが最も安価で電力効率に優れた拡張方法であることは明らかである。
ジェンセンCEOはGTCでこのことに言及し、同じGPT 1.8Tモデルをトレーニングするために、新しいGB200ラックがいかに1/4の電力と少ないスペースで済むかを語っている。
より少ないスペース、より少ない電力、より高い性能、これは名前以外はすべてムーアの法則と同じである。
ということで、新しいシステム・スケーリング時代へようこそ。
では、ここからどのようにスケーリングしていくかを議論したい。
OFCでのアンディ氏の講演は、私の目を開かせた。
なぜなら、現在の技術に基づくと、ここから少なくとも1世代はスケーリングが可能だからである。
データセンターにおける液体冷却と銅
アンディの講演を要約する前に、なぜ私たちがこれまでこれをやってこなかったのかを説明したい。
これを可能にする決定的な変化は液冷です。
液冷へのシフトにより、ラック内でさらに2倍の電力を冷却できるようになりました。
120kWのGB200 NVLラックは、現在のソリューションの2倍であり、次世代では、さらに2倍のパワーを期待している。
ある面では、これは新しいパワースケーリング・エンベロープであり、液冷を超える漸近線にぶつかるまで、可能な限り迅速にスケーリングしていくことになるだろう。
ある意味では、これはデナード・スケーリングの巧妙な配列である。
論理的で明白な目標は、冷却を推し進めて、データセンター・ラックで小型化できる最大電力に到達することである。
そして、アンディ氏は、具体的にどこまで行けるかについて語った。
アンディ氏は、1つのラックに約300kW以上を搭載し、液冷で冷却できると考えている。
この電力密度レベルは、少なくとも1世代のプロセス・シュリンクに相当するだろう。
そして、それは「シングルチップに可能な限りのHBM密度を押し込み、16-hiのHBMを64スタック、つまりほぼ500ギガバイト以上のHBMを搭載している」ようなものである。
アンディ氏は、XDDRを使用してパッケージからさらにスケールアウトし、メモリーを拡張することについても話していた。
※続きは「エヌビディア / NVDA：注目の半導体銘柄が目指すシステムレベルのスケーリングへの考察と同社の強み・将来性 - 後編」をご覧ください。