GAFAMをはじめとする巨大IT企業が、こぞって独自のAIチップ設計に乗り出す現代。NVIDIAが時価総額トップに躍り出る空前のブームの中、次に来るパラダイムシフトとは何か。
第2回では、シリコンバレーの最新トレンドである「フィジカルAI」や「世界モデル」の概念から、AIハードウェアが直面する致命的な「電力問題」を解説する。中島教授が提唱する「精度を落として電力を下げる」最新のアーキテクチャ設計に迫る。
・その1：「LLMの覇権争いは完全に資金力」米中の“力技”に苦戦した起業家とホリエモンが語る、生成ＡＩブームのリアル
・その3：「プレステ3で止まった日本の『垂直統合』の夢をもう一度」世界一のスパコン技術×民生ハードの知見が交錯する、ラストチャンスの引き際
次のパラダイムシフト「フィジカルAI」と「世界モデル」
堀江：例えば、もともとGPUのブームが来たのって、それこそ要は3DCG用のチップ、行列計算に特化したGPUをNVIDIAとかが作っていましたね、みたいな話で。
本当、25年前とかって別にそんな、知る人ぞ知る会社だったじゃないですか、NVIDIAって。Intelとかはみんな知っていたけれど、なんか「CPUからGPU、GPUって3DCGのものだよね」みたいに思われていたのが、なんかそのニューラルネットワークの計算というかに、その行列計算がそのまま使えるよね、みたいな話で、ディープラーニングの頃からGPUがすごい注目され始めたんだと思うんですけれど。僕もあの時NVIDIAの株を買っておけばよかったなと思いましたけれど、まさかこんなブームになるとは思わなかったんで（笑）。
藤原：はい（笑）。
堀江：とはいえ、そのGoogleとかも自分たちでチップを設計して、AIに特化したチップとかを作っているじゃないですか。次のトレンドというか、そんな感じなんですかね、御社の場合は。
藤原：そうですね。僕も直近、実はシリコンバレーに1週間ほど行っていたんですけれど、やっぱりもうその話題というのが、お客さんもそうですし、投資家の間でもそうですし、ご存知かと思いますけれど、Groqという半導体スタートアップがNVIDIAに事実上買われて、今NVIDIAの製品の一部として出ていますけれど。
堀江：最近のトレンドですよね。高値で引き抜く。
藤原：そうですね、はい。買収といっても相当な金額でしたけれど。なのでNVIDIAに関しても、「少なくとも推論に関してはGPUでなくても、行列演算に特化した演算系半導体でもいいよね」ということを認め始めているという、今がまさに転換期だったりします。なのでそれに続けという方もいますし、さらにその次のパラダイムシフトを見据えて準備している。我々もそれに近いところがあるんですけれど。というプレーヤーもいるので、いろんなレイヤーの方が今動いているな、というのはやっぱりシリコンバレーに行っても感じるところはありますね。
堀江：どのようなパラダイムシフトが来るのですか？
藤原：一つはですね、やっぱり言われているのが「フィジカル AI」ですね。
今まさに、トップのAIリサーチャーの方が自分たちでスタートアップを作って、ワールドモデル―日本語で「世界モデル」と言いますけれど。要は、インターネット上に転がっているデータではなくて、このリアルワールドのデータを使っていろいろAIをトレーニングしたり、リアルワールドのデータを使って推論したりというのは、全くもう今のLLMとは違う文脈になってくるので、その時に求められる計算とか計算手法ってまた変わってくるんですね。そこは明らかにもうブルーオーシャンというか、空いている領域だというのは、みんなが認識しているところですね。
堀江：どのような演算が必要になってくるのですか？
藤原：いろいろありますね。一つはやっぱり今引き続きTransformer、今のAIで使われているアルゴリズムはまあ将来も使われると思うんですけれど、ただセンサーから入ってくるデータというのは、画像データもあれば、いわゆる時系列データみたいな本当に1次元のデータもありますし、いろんな種類のデータが入ってくるので、必ずしも今のTransformer、行列演算だけでいいかというと、そうじゃないこともわかってきているというのはありますよね。
「誰が電気を持ってきてくれるんだ」――極限の省電力を目指す理由
堀江：御社の場合はどのようなことに力を入れていくのですか？
藤原：そうですね。じゃあちょっとこの辺りから、中島先生の技術的なお話、ハードウェアのお話をお願いします。
中島：あの、計算の方法も大事なんですけれど、「何を目標にして計算の方法を変えるか」なんですよね、結局ね。
で、今思っているのは、今のままでも別にいけるんだけれども、じゃあ誰がエネルギーを持ってきてくれるんだと。電気を持ってきてくれるんだと。で、最後の最後は、「じゃあデータセンターと原発はセットか」という話に行く前に、何か手立てはないかというので、とにかく目標は「電力を下げたい」わけですよね。
計算そのものは、今時だと、例えば昔は32ビットの浮動小数点演算でやっていたのが、だんだん16ビットになり、8ビットになり、今4ビットですよね。もう4ビットになってくると、もうほぼ掛け算器というよりはもう「足し算器の塊」なんですよね。もう掛け算する必要もないですね。一番ちっちゃくすると、-1をかけるか、1をかけるか、0をかけるかしかないので、そうやって最後は足し算しか残らないですよね、結局ね。
だからそういう風になっていた時に、結局NVIDIAもそうですけれど、やっぱりどんどんビット幅を縮めていく方向にみんなどんどん動いているわけですよね。
堀江：あ、そうなんですね。それはどういう意味ですか？どんどん今までは拡大する方向だったじゃないですか。8ビットマイコンが16ビットになって、32ビットになって、64ビットになってというのは、それは逆になぜそうなっていって、なぜまた下がっていっているのかという。
中島：下がって計算の単位はちっちゃくなっていくんだけれども、その一塊にする「計算の幅」はどんどん増えているんですよ。だから例えば今だとIntelで512ビットのレジスターを持っていますけれど。
堀江：レジスターは増えている。
中島：レジスターは昔から8ビット、16ビット、32、64、128個とどんどん増えてきたじゃないですか。そこは変わっていないんですよ、そこは減っていないんですよね。512ビットあると、4（ビット）で割ると128個のデータがいっぺんに入るわけですよね。それを元にいっぺんに掛け算したり足し算したりするというのが今の作り方なんですよ。だからその計算の数だけでいくとね、32ビットを1個、4ビットでも1個と数えると、もう計算の数自体はべらぼうに今増えていますよね。
で、さっきの「精度がなぜじゃあ4ビットに減らしていけるか」というと、つまり、真面目に32ビットを使わなくても使わなくても、さっき言ったように掛け算と足し算でAIができているのであれば、掛け算をどんどん減らしていっても、実は認識精度が落ちないということがだんだんみんながわかってきたので。そうすると掛け算器はどんどん要らなくなって、でも足し算器はそんなに減らないですよね。データの数自体は増えてしまうわけですね。それが今のハードウェアの流れになる。
堀江：それはだからこそ、AIに特化していくとそうなっていくということですね。
中島：そうです、それしかできないコンピューターを作れるんだけれども、それはOSも走らないし、Word、Excelも何も動かないわけですよ。
堀江：はいはいはい。
中島：だから完全にそれはもう「AI専用機」としてどんどんこれから大きくなっていくと思います。
堀江：なるほど。そうか。
藤原：今トレンドとしては、もうAmazonもそうですし、Googleもそうですけれど、その「学習用」の半導体と「推論用」の半導体ってですね、アーキテクチャは一緒なんですけれど、積んでいる計算機の精度が全く違うものを積んでいるんですね。
学習の時は高い精度で、先ほど言ったみたいに大きなビット幅でやるんですけれど、推論の時にはある程度精度を落としてもまあ当たるよね、というのが分かってきたので、それぞれ別の精度の演算器を持ったチップを今各社が作っているというのが直近の動きだったりしますね。
堀江：だからなんか「0と-1と1の演算器が調子いい」みたいなニュースがありましたね。結構前ですけれど。
中島：そうです。
堀江：それでいいじゃないかという話だ。
中島：ただそれだけで学習はできないので、要するにインファレンスというか、識別（推論）の方はそれでもういいじゃないかという話になってきますね。
堀江：なるほどね。人間もそうなっているんですかね。
中島：人間はそこがね、脳科学をやっている人たちからすると、やっぱりどう動いているかっていうのがいまだにあんまりよくわかっていないですよね。だからどちらかというと、今は物量かまして人工物だけれども人間の能力よりもかなり進んだものがどんどん出来上がっているんだけれども、それが元の脳に近いのかということすら今実はわからないんですよね。
堀江：ただ、なんかニューラルネットワークのその作られ方自体は、割とその行列で模式化・数式化できるようなネットワークではあるみたいですけれどね。すごい多次元の。あの、なんか僕もそれでようやくちゃんとこう調べてみるというか、別に脳科学とか教えてもらったわけでもなんでもないですけれど、なんかニューロンっていっぱいこう神経細胞からなんか10個とか出ている感じがするじゃないですか。あれは模式図であって、何万本も出ているらしいですね、一個の神経細胞から。
中島：そうなんですよね。だから生物をなぜ真似できないかっていうとね、つながりが動的にどんどん変わっていくじゃないですか。人工物はそんなのできないわけですよ。だから人工物の作り方と生物の脳の作り方というのは、そもそも前提が違うんじゃないかと思っていますね。
堀江：まあでも、かなり模式化はされていると思いますけれどね。
中島：だから動いているものをこう動いているんだろうと想像することはできるんだけど、本当にそうかっていうのは実はわからないですね、多分ね。
「汎用性」という生存戦略。尖りすぎたチップはゴミになる
堀江：そうすると、推論のところは、だからその要は4ビットとか8ビットの世界になってきて、レジスターだけが増えていくというようなチップが動く場合に、それに最適化されたハードウェアを作ろうみたいな話なんですね。
中島：そうですよね。
藤原：ただ、ここは我々も2つ共通認識を持っているんですけれども、やっぱり世の中にある特定の用途に特化した半導体って、その時は使われるんですけれど、使われなくなるまでの時間というのはすごく短いんですね。長い歴史を見ると、今結局残っている半導体ってCPUとGPUだけで、その2つの特徴というのはやっぱり「汎用性」なんですね。なのでMacも動く、Linuxも動く、かたやゲーミングにも使える、AIも使えると。それぞれベストパフォーマンスじゃないんですけれど、結局汎用的なものだけが残るって考えると、ある特定用途の半導体というのはやっぱり息が短いんじゃないかなというのが我々2人の共通意見ではありますね。
中島：ただ、それも持っているお金の量に依存するところがあって、もうどんどん新しいチップを続けられる体力がある会社は、別を全部捨ててまたどんどん作っていけるわけですよね。でもお金がないと、やっぱりなるべく長く長持ちさせて長く使いましょうという発想になってしまうので、そこはやっぱり最後はお金の力ですね、という風になってしまうんですよね。
藤原：作り続けられるところはいいですけれど、一つのものを長く使おうと思うと、やっぱりある程度汎用性を持たなきゃいけないというのが、我々のこのアーキテクチャの根本的なところにあるんですけれど。
堀江：限られたお金でね（笑）。
藤原：そうですね。はい、そんなにバンバン、スタートアップなのでね、たくさん作れるわけでもないですし。
堀江：今作っているやつというのはどのような特徴があるのですか？
中島：どのような特徴か、説明するのは難しいですね。そう聞かれると難しいですね。
えっとですね、ちょうどここに壁紙みたいに貼ったんですけれど、右側がGPUも含めてCPUをたくさん並べたコンピューターのモデルなんですけれどね。これはどのようなモデルかというと、一番上がコンピューターの世界でいうと演算器に当たるんですけれど、お弁当とお茶がそれぞれ一人ずつ置いてあるじゃないですか。あれが計算に必要なデータなんですよ。じゃあデータはもともとどこにあるかというと、一番下のあそこにスーパーマーケットの絵が描いてありますけれど、あれが主記憶、メインメモリーの世界に置いてあるんです。
でもお弁当とお茶がないと仕事ができない人は、車に乗って買いに行かないといけないんですよね。買いに行って、お茶とお弁当が揃ったら机に戻ってきて、仕事を続けることができます。これがいわゆるＣＰＵをたくさん並べたタイプのコンピューターになります。
左側の「ＣＧＬＡ」というのが、これがうちが押している計算の仕方なんですけれど。データはもちろん一番下にあるんですけれど、いちいち車に乗って買いに行かなくていい。待っていたら勝手にお弁当が届けられる。しかもみんな均一ではなくて、お茶しかいらない人とか、お弁当しかいらない人とか、どっちもいらない人をちゃんと仕分けて、とにかく送り込んで、仕事を止めずにどんどん回していくという、こういうモデルを実は提案しているんですね。だからそうすると、要するに車に例えると、車で行って帰るのにエネルギー使いますから、それが左だと（消費エネルギーを）かなり減らすことができるでしょうということなんですよね。
堀江：データを一方的に送りつける。
中島：そうです。だから、そういう意味だと、ある程度形が決まった計算は左が結構はまるということになります。右はどちらかというと、オフィス系のソフトであったり、OSであったり、次に何が来るかわからないプログラムというのはやっぱり右で作るしかないんですよね。
だからNVIDIAがなぜここまでみんなが使えるようになったかっていうと、やっぱりみんないろいろ試すわけですよ。AIにしても何にしても。そうするとやっぱり何でもできるコンピューターをみんな欲しがるので、だから右がずっと生き残っている。 IntelもARMもCPUですけれど、あれが生き残っているのもやっぱり何でもできるからなんですね。
さっきの4ビット、2ビットの話もそうなんですけれど、究極はもうそのアプリしか動かないというハードを作ると一番エネルギーが減らせる。でもちょっとアルゴリズムを変えたらすぐ使えなくなりますから。じゃあどんどんチップを作っていける会社はそれをやっていきますけれど、そうじゃないところはある程度何でも使える自由度を残さないと、あっという間にゴミになってしまう、会社が潰れます。
堀江：自由度はあるんだ、だから。
中島：それは自由度と使うエネルギーの量が比例していると思った方がいいです。
堀江：なるほど、なるほど。
中島：「自由に使えます、何でも動きます」イコール「エネルギーをじゃぶじゃぶ使えます」なんですよ。使用目的を絞れば絞るほどエネルギーは低くなる。必要なだけのエネルギーを使って、それで足りる人はその専用のAIチップを作ればいいという、それだけの関係なんですよね。だからその「専用チップだけど、何でもできるんですか？」というのは、それはもう無理なんですよ、そもそもね。
堀江：このチップは推論AIの……。
中島：それだけにはとどめたくないです。そうすると、推論専用チップにはやっぱりエネルギー効率では負けちゃいます。
堀江：負けちゃう。
中島：負けるんだけれども、アルゴリズム変わったらじゃあゴミになるのかと。そこをどう考えるかですよね。
堀江：うーん。その辺の自由度というのはどうやって担保するのですか。
中島：それはもう世の中のAIのアルゴリズムなりプログラムがどう変わっていって、今後どっちの方向に動くかというのを予測するしかないです。
堀江：予測しながらやっている。
中島：例えば、GPUの今のTransformerモデルがあと何年か続いたら、その次は違うものが来るに違いないですよね。確信はないですよ。じゃあその程度の汎用性を、今から仕込んどくか、みたいな話になってくるわけですよ。
堀江：非常にデリケートな話ですね。
中島：そうですね、そうです。だから予測を間違うとあっという間に地獄に落ちる（笑）。外れたらもうおしまいですよね、これは。
藤原健真（Kenshin Fujiwara）
滋賀県出身。カリフォルニア州立大学コンピューターサイエンス学部卒業後、Sony Computer Entertainment（現Sony Interactive Entertainment）に入社。ゲーム機PlayStation2・3のCPU・GPU開発に携わる。その後、数社のIT・AI系スタートアップを創業し、2024年LENZO INC.を共同設立、CEOに就任。
中島康彦（Yasuhiko Nakashima)
佐賀県出身。1986年京都大学工学部情報工学科卒業、1988年修士課程（情報工学専攻）修了、1998年博士(工学)。1988年富士通株式会社電算機開発部(兼)スーパーコンピュータ開発部、1999年京都大学、2006年奈良先端科学技術大学院大学、2024年LENZO INC.共同創設、現在に至る。
Twitterでシェア 
Facebookでシェア 
LINEでシェア