注目の半導体・AIイベント「Hot Chips」とは？スタンフォードで開催されたHot Chips 2024を徹底解説！

Hot Chipsとは？

Hot Chipsは、最先端の半導体技術やプロセッサ設計に特化したカンファレンスで、1989年から毎年開催されています。主に半導体業界のエンジニアや研究者、技術者が参加し、最新のプロセッサやチップ設計、アーキテクチャに関する発表が行われます。

カンファレンスでは、CPU、GPU、AIチップ、メモリ、ネットワークプロセッサ、エンベデッドシステム向けのチップなど、さまざまな分野のハードウェア技術が紹介されます。業界のリーダー企業や学術研究機関がプレゼンテーションを行い、次世代のコンピューティング技術や省電力設計、パフォーマンスの最適化に関する議論が交わされます。

Hot Chipsは、大手テクノロジー企業からの発表が多く、特に新しい製品や技術の初公開が注目される場でもあります。最新技術の動向を知るために、業界関係者や技術に関心のある人々から広く注目されています。

2024年度のHot Chipsに関して

2024年8月25日から27日に、カリフォルニア州パロアルトのスタンフォード大学で開催された今年のHot Chipsは、他の最近の半導体カンファレンス同様、主にAIチップがテーマでした。中でも最も印象的だったのは、ブロードコム（AVGO）のCPO（Co-Packaged Optics）に関するプレゼンテーションや、スーパー・マイクロ・コンピューター（SMCI）の水冷技術、MTIAの発表でした。また、Enfabricaやテスラ（TSLA）のDojo/Mojoも注目される内容でした。一方で、アドバンスト・マイクロ・デバイセズ（AMD）には期待外れ感があり、特に目新しい発表はなく、CPU関連の発表にとどまりました。

関連用語

CPO（Co-Packaged Optics）：光トランシーバーをスイッチやプロセッサと一体化する技術で、高速で省電力なデータ通信を実現。データセンターの効率向上やコスト削減に寄与する次世代技術。

MTIA：メタ・プラットフォームズ（旧Facebook）のAIアクセラレータチップで、AIの推論処理に特化した性能を持ち、GPUに代わる選択肢として注目されている。メタ・プラットフォームズが自社のAI運用のために開発している。

GPU（Graphics Processing Unit）：グラフィックス処理ユニットで、画像や映像の処理に特化したチップ。近年では、AIや機械学習の計算処理にも活用されており、特に大規模な並列処理が可能なため、AIトレーニングやデータ処理の分野で重要な役割を果たしている。

Enfabrica：高性能ネットワーキング技術を提供するスタートアップ企業で、データセンターの効率化やAI処理の最適化を目指している。特に低遅延で大規模なデータ処理を支援する技術が強み。

Dojo/Mojo：テスラが開発しているAIトレーニング用のスーパーコンピュータ「Dojo」に関連する技術。テスラの自動運転技術を強化するために設計されたもので、大規模なデータ処理を高速で行う。

サマリー

・ブロードコムのCPOは2027年にマーベル・テクノロジー（MRVL）にとって脅威となるでしょう。

・OpenAIは、最も優れたモデルが、計算時間やクエリの大半を占有していると述べました。大きいほど優れているということです。

・Lunar Lakeは粗利率の悪化を招くと予想されています。

・MX6/9は注目すべき新しい量子化スキームです。今後数ヶ月で多く耳にすることになるでしょう。

・MTIAは非常に成功したチップで、推論に基づくGPU需要を一部抑える可能性があります（特にAMDに影響がありそうです）。

関連用語

Lunar Lake：インテルが開発中の次世代CPUマイクロアーキテクチャで、主に低消費電力で高性能なコンピューティングを目指して設計されている。主にモバイルデバイス向けに最適化されており、2024年以降に登場が予定されている。

MX6/9：新しい量子化スキームの一種で、特にAIモデルや機械学習の効率的な計算処理に用いられる。数値を縮小して扱う「量子化」を行い、計算リソースを節約する技術で、今後のAI分野で注目されている。

各社のプレゼンテーションのまとめ

スーパー・マイクロ・コンピューター（SMCI）とエヌビディア（NVDA）の液体冷却に関して

スーパー・マイクロ・コンピューター（SMCI）とエヌビディア（NVDA）は液体冷却について議論し、空冷、液体冷却、直接液体冷却の違いを示すわかりやすい図を使って説明しました。エヌビディアによると、ハイブリッド冷却（行内L2L）の総所有コスト（TCO）は空冷の95%、ラック内L2Lのハイブリッド冷却は98%、行内L2Aは105%となっています。完全な液体冷却は複雑ですが、長期的には運用コストが大幅に削減されるとのことです。

行内L2L（In-row L2L）：データセンターやサーバールームで使われる冷却方式の一つ。サーバーラックの行に冷却装置を配置し、冷却された空気を直接サーバーに送ることで効率的に温度を管理する仕組み。この方式は、冷却効率を高め、空間を有効活用することができるため、エネルギーコストの削減にもつながる。

インテル（INTC）のLunar Lakeに関して

インテル（INTC）のLunar LakeはTSMC（TSM）の3nmプロセスで製造されており、アップル（AAPL）のM1チップのクローンとして技術的に非常に期待されています。しかし、実際の課題はBOM（部品表）コストが2倍に増加しており、従来のインテル製品に比べて粗利率が大幅に低くなることです。競争力を維持するためには必要な製品ですが、外部と内部の製造コストを両方負担している状況です。

関連用語

M1チップ：アップルが自社製品（MacやiPad）向けに開発した独自のプロセッサで、ARMベースのアーキテクチャを採用している。高い性能と省電力性を両立しており、グラフィックスやAI処理にも優れている。M1チップは、従来のインテルチップを置き換え、アップル製品の処理能力を大幅に向上させました。

BOM（Bill of Materials）：製品の製造に必要な部品リストのこと。BOMには、各部品の名称、数量、価格などが含まれ、製品全体のコストを算出するために使われる。製造業では、BOMはコスト管理や製造プロセスの計画において重要な役割を果たす。

TenstorrentのBlackholeに関して

TenstorrentのBlackholeは、多数の小型で相互接続されたCPUをルーターとDRAMスクラッチパッドでスケールアウトする方法を示しており、興味深いチップでした。これらのコアは「ベビーRISC-V」と呼ばれていますが、実際の課題はこれらのチップのコンパイルです。一部のTensixコアにはカスタム拡張があり、RISC-V向けのソフトウェアが存在しないためです。Tenstorrentはまだ実験的な感じが強く、多くのコアを並列で動作させることは非常に難しく、これはエヌビディアが数十年前に解決した課題でもあります。専門化されたこのチップは、スイッチ、メモリ、CPUとしてどのラックにも汎用的に組み込める可能性があり、並列計算への新たな挑戦ですが、ソフトウェアスタックがまだ整っていないのが課題です。

関連用語

Tenstorrent：AIチップの設計と開発を手掛けるスタートアップ企業で、特に高性能なAIアクセラレーターや並列コンピューティング向けのプロセッサ技術で注目されている。

Blackhole：Tenstorrentが開発しているAI処理用のプロセッサチップで、多数の小型CPUを相互接続することで高い並列処理性能を実現する。

CPU（Central Processing Unit）：コンピュータの中央処理装置で、演算処理や指示を実行する主要なハードウェア。プログラムを実行し、システム全体を管理する役割を果たす。

ルーター：ネットワークデバイスで、異なるネットワーク間でデータを中継・転送する役割を担う。インターネット接続やデータ転送を管理するために使用される。

DRAMスクラッチパッド：データを一時的に格納する高速メモリ領域のことです。CPUや他のプロセッサがデータを迅速にアクセスできるように使われ、計算や処理の効率を向上させます。

スケールアウト：システムの処理能力を増やすために、複数のサーバーやプロセッサを追加して処理を分散させる手法。これにより、性能を拡張することが可能です。

コンパイル：プログラミング言語（例：C言語やPython）で書いたコードを、コンピュータが直接理解できる機械語に変換する作業のこと。コンパイルが行われることで、プログラムが実際に動作できる形となり、コンピュータ上で実行できるようになる。このプロセスを行うソフトウェアを「コンパイラ」と呼ぶ。

Tensixコア：TenstorrentのBlackholeチップに搭載されているカスタム設計のCPUコアの名称。これらは高性能なAI処理や並列処理に特化している。

RISC-V：オープンソースで提供されている命令セットアーキテクチャ（ISA）で、シンプルかつ効率的な設計が特徴。幅広い用途で利用され、特にエネルギー効率が求められるデバイスや組み込みシステムで採用されている。

OpenAIのプレゼンテーションに関して

OpenAIのプレゼンテーションを要約すると、「時には成長するが、少し奇妙な例が使われていた」といった感じです。スケーリング則は依然として有効であり、少なくともあと4桁のスケールが可能だと述べられていました。また、Mooreの法則が予想以上に長く続いていることに楽観的な見方も示されていました。私が得たポイントは、価格が下がることで利用が増加し、大半のクエリがOpenAIの最先端モデルから発生しているということです。要するに、LLM（大規模言語モデル）では性能が重要であり、ユーザーは常に最も優れたモデルに移行しているということです。

関連用語

スケーリング則：システムやプロセスの性能が、入力やリソースの規模に応じてどのように変化するかを示す法則のこと。主にコンピューティングや物理学の分野で使われ、例えば、コンピュータの処理能力が計算資源の増加に比例して向上するかどうかなどを評価するために用いられる。特に、AIや機械学習では、モデルの規模が大きくなるほど性能が向上する傾向があることを指す。

エヌビディア（NVDA）のBlackwellに関して

エヌビディア（NVDA）のBlackwellでは、Micro-TensorスケールFPについて少し触れられていました。これはFP6よりも優れたスケーリングを可能にする新しい数値形式で、MXと呼ばれています。MX6/9は複数のアクセラレータで言及されており、エヌビディアはQuasar Quantizationシステムを使って、縮小されたモデルでも同じスコアを得られることを示しました。ソフトウェア、アルゴリズム、数値形式が重要であり、エヌビディアは依然として最先端を走り続けています。

関連用語

Blackwell：エヌビディアが開発している次世代GPUアーキテクチャのコードネーム。AIや高性能コンピューティング向けに最適化され、最新の技術を活用して性能と効率を向上させることを目的としている。

Micro-TensorスケールFP：新しい数値形式で、FP6（浮動小数点6ビット）よりもスケーリングに優れた性能を持つ浮動小数点の形式。特にAIモデルの効率的な計算に役立つとされ、エヌビディアの最新のアクセラレータで使用されている。

Quasar Quantization：エヌビディアが開発した量子化技術で、AIモデルを小型化しても性能を維持することが可能。モデルの精度を保ちながら計算リソースを削減できるため、効率的なAI処理に役立つ。

ブロードコム（AVGO）のCPOに関して

一方で、ブロードコム（AVGO）がこのカンファレンスの勝者だと感じました。CPO（Co-Packaged Optics）の詳細な解説が非常に印象的で、CPOはようやく機能し始め、プロセスが非常に複雑であることが遅れの理由として説明されていました。1つのCPOパッケージがスイッチ内でトランシーバーモジュールの数を大幅に削減でき、今後、トランシーバーからスイッチへと重心が移る中で、マーベル・テクノロジーにとって大きな脅威となるでしょう。CPOは512個のGPUを1列の接続でスケールアウトできる可能性があり、今後のASICプログラム獲得において大きな競争優位となるでしょう。生産は2027年頃と見込まれており、Bailly CPOスイッチは総消費電力を30%削減すると期待されています。

関連用語

トランシーバーモジュール：通信機器に使われるコンポーネントで、データの送信（トランスミッター）と受信（レシーバー）を行う機能を備えている。光ファイバー通信などでデータを高速に送受信するために使用される。

ASICプログラム：特定の用途に最適化された集積回路（ASIC）を設計・製造するプロジェクトのこと。ASICは、特定のタスクを高速かつ効率的に処理するためにカスタマイズされたハードウェア。AIや暗号通貨マイニングなどに多用されている。

Bailly CPO：ブロードコムのCPO（Co-Packaged Optics）技術を用いたスイッチの一種。このスイッチは、通信機器の電力消費を大幅に削減し、高効率なデータ転送を実現することが期待されている。

メタ・プラットフォームズ（META）のMTIAに関して

メタ・プラットフォームズ（META）のMTIAは、社内向けの低価格帯モデルやレコメンデーションシステムに非常に優れた推論マシンです。特に、ソーシャルメディアのレコメンデーションシステムにおけるグラフ計算に適した魅力的な圧縮エンジンが注目されています。重要なのは、社内のワークロードにおいて、ラックレベルで相対的に高い性能と低消費電力を実現している点です。これは、ハイパースケーラー向けに開発されたカスタムシリコンの中でも最も優れた例と言えるでしょう。

関連用語

圧縮エンジン：データを効率的に圧縮して、保存や通信の際に使用するデータ量を削減する技術。AIやグラフ計算の分野では、処理速度を維持しつつデータ量を減らすために重要。

ラックレベル：データセンターなどで使用されるサーバーラック全体での性能や消費電力を指す。複数のサーバーが一つのラックに収められており、ラック単位での最適化が行われる。

ハイパースケーラー：非常に大規模なデータセンターやクラウドサービスを運営する企業のこと。アルファベット、アマゾン、メタ・プラットフォームズなどが代表的で、大量のデータを処理・保存するためのインフラを持っている。

カスタムシリコン：特定の目的に最適化された専用の半導体チップのこと。一般的なプロセッサではなく、特定のアプリケーションやワークロードに対して効率的に動作するように設計されたもの。

Cerebrasに関して

Cerebrasは、新しいベンチマークで70B LLAMAの推論において最速だと主張していましたが、その記録もエヌビディアのBlackwellが登場するまでは確かにそう見えました。しかし、依然としてSRAMのスケーリングが問題となっており、405Bの推論をサポートするためにオフチップで重みをストリームすることは現実的ではなさそうです。もしそれが可能であれば、デモが行われていたはずです。

関連用語

70B LLAMA：メタ・プラットフォームズが開発したLLM（大規模言語モデル）「LLAMA」シリーズの一つで、70Bはモデルのパラメータ数が700億であることを示している。LLMは、テキストの生成や理解、質問応答などに使われるAIモデル。

SRAM（Static Random Access Memory）高速でアクセスできるメモリで、揮発性（電源を切るとデータが消える）ですが、DRAMよりも高速で消費電力が低いのが特徴。主にキャッシュメモリとして使われる。

405B：4050億（405B）は、AIモデルのパラメータ数を示しており、非常に大規模なモデルを指す。こうした大規模モデルは、高度な推論や生成タスクに使用される。

オフチップ：半導体チップの外部にあるメモリやデバイスを指す言葉。通常、プロセッサや計算装置がチップ内のメモリ（オンチップ）でデータを処理しますが、データ量が多い場合は、外部のメモリ（オフチップ）にデータを保存し、必要に応じてやり取りを行う。オフチップのメモリは容量が大きい一方で、オンチップに比べて遅くなることがある。

ストリーム：データを連続的に送信・受信するプロセスを指す。AIモデルの場合、モデルの重みやパラメータをチップ外のメモリから読み込んで処理することを「ストリーム」と呼ぶ。

テスラ（TSLA）に関して

テスラ（TSLA）は、FSD（完全自動運転）のトレーニングで使用している独自のロッシーIPプロトコルをデモンストレーションしました。このプロトコルはオープンソース化され、イーサネットコンソーシアムに提供される予定ですが、ニッチな技術ながら非常に興味深いプレゼンテーションでした。テスラ以外にこの技術が採用されるかどうかは今後の動向次第です。

関連用語

ロッシーIPプロトコル：データ通信において、データの一部を意図的に削除（圧縮）して、帯域幅を節約し、通信の効率を高めるプロトコル。「ロッシー」とは「損失あり」という意味で、多少のデータ損失を許容しながら通信を行う。この技術は、特に帯域が限られている環境や大規模なデータトラフィックを扱うシステムで使用される。

イーサネットコンソーシアム：イーサネット技術の標準化と普及を促進するための業界団体。企業や組織が参加して、イーサネットの新しい技術や規格の開発、互換性の確保、効率的なデータ通信のための標準を策定する。イーサネットは、LAN（ローカルエリアネットワーク）の主要な通信技術。

Ampere Computingに関して

Ampere Computingは、AMD Genoaに比べてわずかな改善を示し、ラック規模ではわずかに上回る結果を出しました。これはx86に対して電力対性能の面で優れたソリューションですが、現在、ハイパースケーラー各社はそれぞれNeoverseベースのARM CPUを採用しているため、Ampereは微妙な立場に置かれています。Ampereのコアは優れていますが、主にARMの力を証明しているだけであり、x86と比較して電力効率が良いというベンチマーク結果を示しているにすぎません。Ampereはその競争優位性を他社に貸し出しているような状況です。

関連用語

AMD Genoa：AMDが開発した「EPYC」シリーズのサーバー向けプロセッサのコードネームで、Zen 4アーキテクチャを採用している。高い性能と省電力性を備え、データセンターやクラウドコンピューティング向けに設計されている。

Zen 4アーキテクチャ：AMDが開発したCPUの設計技術で、パフォーマンスと省電力性を向上させることを目的としている。前世代のZen 3に比べて、クロック速度や命令実行効率が改善され、主にデータセンターやハイエンドPC向けに採用されている。また、最新の製造プロセス技術（5nmプロセス）を使用しており、より高い性能とエネルギー効率を実現している。

x86：インテルが開発したプロセッサの命令セットアーキテクチャ（ISA）の一つで、広くパソコンやサーバーで使われている。x86はパフォーマンスと汎用性に優れ、AMDやインテルがこのアーキテクチャを採用している。

Neoverse：ARMが開発したサーバーやデータセンター向けのCPUアーキテクチャで、クラウドコンピューティングや大規模データ処理に最適化されている。高性能で省電力な設計が特徴で、さまざまなハイパースケーラーが採用している。

マイクロソフト（MSFT）に関して

マイクロソフト（MSFT）のMaiaは、正直なところ期待外れでした。チップの性能、メモリ、コストのバランスがまだ実用段階には達していないように感じました。Hot Chipsへの参加は評価できますが、次世代に期待したいところです。現段階では、まだ初期段階のアクセラレータという印象です。

関連用語

Maia：マイクロソフトが開発しているAI向けのアクセラレータチップ。主にAI処理を高速化し、効率的に実行することを目的としたハードウェアですが、まだ初期段階の開発で、性能やコスト面で改良の余地があるとされている。

その他のプレゼンテーション

SambaNovaは興味深かったものの、Gaudiは残念ながら寿命が尽きつつあり、AMDは製品に関して特に新しい発表は全くありませんでした。他にもいくつかプレゼンテーションがありましたが、正直なところ、それほど重要だとは思いませんでした。

ダグラス・オローリン氏は、自身が2020年に設立した半導体調査会社ファブリケイティド・ナレッジ社のチーフアナリストを務め、主に半導体関連銘柄とAIセクターの最新動向の分析に焦点を当てています。

ファブリケイティド・ナレッジ社設立以前は、テキサス州ダラスを拠点とする投資会社Bowie Capitalで投資アナリストを務めていました。そして、Bowie Capitalでは、コンパウンダー（長期間にわたって一貫して高いリターンを生み出し、その価値を複利で成長させる能力を持つ企業）とクオリティ重視の投資に焦点を絞って分析 / 投資活動に従事しておりました。

その経験を通じて、オローリン氏は半導体、特にムーアの法則の終焉という変化するストーリーと、それが半導体業界/ 銘柄にとってどのような意味を持つのかに興味を持つようになりました。結果、半導体セクターに対する理解を一層追求するためのプロジェクトとして、ファブリケイティド・ナレッジ社を設立しました。

また、オローリン氏のその他の半導体関連銘柄のレポートに関心がございましたら、是非、こちらのリンクより、オローリン氏のプロフィールページにアクセスしていただければと思います。