◆ところで、NVIDIAが、アイダホ州にあるアイダホ国立研究所(INL)と、原子力AIアプリの開発で提携したという記事が出ていた。INLで開発する原子炉の設計・製造・構築・運用にNVIDIA社の技術を応用するものと思われる。ジェネシス計画の一環であり、米国エネルギー政策の一部として行われるもよう。デジタルツイン技術を用いるとあったので、オムニバースを利用すると思われる。原子炉内部の核反応のAI学習用モデルが出来て、オープンソースで提供されたりするのだろうか。（核開発に利用される懸念があるから少し考えにくいか）
もうひとつNVIDIA関連。数年前から、ちょくちょくGPUカード(グラボ)の拡張電源コネクタが溶ける(燃える)、という話を見かける。その対策なのか、DELLのパソコン内部ではグラボの拡張電源に、ネジ止め式のコネクタを付けている物があるとの記事が出ていた。ワイヤが揺れてコネクタの接触抵抗がばらついたりするの抑止しているのではないかと思われる。ハイエンドデスクトップでは、1000W超える電源が必要な場合もあるだろう。大電流が流れる場合、接触抵抗が少し大きくなるだけで電圧降下も大きくなるし、いわゆるジュール熱でけっこうな発熱となる。例えば、消費電力400Wで12Vだと33A流れるが、接触抵抗や発熱の温度上昇で10mΩ増えると0.33V電圧が下がる。センサーがこれを検知して補償するために電圧を上げるともっと電流が流れて電圧降下が大きくなって、もっと電圧を上げて…を繰り返すと燃える。きっかけは抵抗値の変動である。
カナダのトロントにあるTaalasというスタートアップが、HC1というAIチップを開発したという記事が出ていた。TSMC 6nmで製造しているらしい。生成AIのLlama 3.1 8Bをハードワイヤードで搭載しており、性能はちょっと目を疑ったが、17,000トークン/秒(TPS)を達成したらしい。先週、Llama 3.1 70BをCerebrasに搭載して2,100TPSで動くと書いた気がするが、パラメータ数が8Bと70Bで違うものの、１桁上の性能が出ている。同社によるとBlackwellより２桁速く、トークンコストは20分の１で、空冷が可能とのこと。たしかに、専用ハードにすると高速・省電力になるというのは一般常識ではあるが、ハードワイヤードなので、他のLLMには対応できないし、このチップ単体では強化学習ができるのか、ちょっと気になった。同社によると、LLMの変更は配線層の変更で対応可能としているが、２ヶ月かかるらしい。変更する配線層の層数や下から何番目の層かによるが、半導体のマスクセットで一番微細なのは、トランジスタとのその直上のメタル配線で、その上の層になると、いわゆる逆スケーリング則でだんだんと配線幅やピッチは広くなるし、マスクも比較的安価にはなる。ただしピッチが広いと配線可能な本数が減るので、配線が足らなければ層数を増やす(つまりマスクコストも増える)必要があるし、増やす層数にも限界はあると思う。また、チップサイズが815mm2ということで、約28mmx29mmという計算になるが、これはほぼチップの製造限界に近いはずだ。3nmにするとすこし小さくなると思うが、これもウェハコストとの兼ね合いとなるだろう。しかし、LLMをハード化するどれくらい速くなるかという点では、非常に興味深い取り組みだと思う。コアとなるLLMをハードワイヤードで構成し、強化学習などはGPUで補助するようなハイブリッドシステムが考えられるとしたら、電力や性能の面で面白いと思う。
ソフトバンクグループの孫CEOが、アリゾナにAI・ロボティクス産業団地を構築するという「アリゾナAIメガプロジェクト」構想を打ち出しているようだ。研究開発拠点には半導体製ユニットが含まれ、技術者向け住宅、スマートグリッドを備えた、技術開発都市となるもよう。ロボティクスも視野に入っているとすると、フィジカルAIの拠点ということかと思われる。ソフトバンクグループとしては、昨年スターゲイトプロジェクトに参画してOpenAIにも投資をしている。また、保有しているArmとしてはプロセッサを自社開発することにして、Amepere Computingを買収したと思うが、具体的な出口戦略を固め始めたというところだろうか。
今日は日曜らしく昼前にようやく起きた。部屋を掃除するとき窓を開けたが、かなり暖かかった。風が気持ちいいので開けておきたかったが、花粉が入りそうなので、ちょっと迷ってしまう。すっかり春が近い感じ。
掃除のあと、羽田空港へ買物に出かけた。ついでにコーヒー豆も買う。さすがに人が多くて、連休らしいにぎわいがあった。国際線到着ロビーには外貨を電子マネーにチャージできる機械が置いてある。家にある外貨を持ってくればよかった。
日が暮れるころに帰宅。晩ごはんは豚肉の野菜炒めにした。ニュースを見ていたら、やっぱり今日は全国的に暑かったらしい。外の暖かさにも納得した。
