FIRE: 投資でセミリタイアする九条日記

九条です。資産からの不労所得で経済的独立を手に入れ、自由な生き方を実現するセミリタイア、FIREを実現しました。米国株、優待クロス、クリプト、太陽光、オプションなどなどを行うインデックス投資家で、リバタリアン。ロジックとエビデンスを大事に、確率と不確実性を愛しています。

ChatGPTなどのLLMの進化は量なのか質なのか 2つのシナリオ

前編ではChatGPTのような大規模言語モデル(LLM)の概要から、ビジネスの可能性についてざっと概観してみました。中編ではLLMのビジネスモデルを検討しました。今回は、LLMの進化の未来の可能性について考えてみます。

LLMの未来は?

GPT-4に代表されるLLMは恐ろしいほどの性能を持ちます。いつもなら動きの遅いJTCが、次々とChatGPT活用を喧伝するあたり、日本はLLM利活用においては先進国といえるかもしれません。

 

中には「ChatGPTはウソばっかついて使い物にならない」という人もいますが、これは有料版のGPT-4を使っていないか、今後の進化を見据えていないということだと思います。さて、そうなると気になるのはLLMが今後どう進化していくかです。

 

その進化のシナリオは2つあると、ぼくは考えています。1つはこのまま学習パラメータ数が増大し続けると、LLMの性能もリニアに上がっていくだけでなく創発的に、量が質に転換するというものです。

 

2つ目はパラメータを増やしてもこれ以上の進化には至らず、AGIの実現には、質的な変化が必要だというものです。

LLMはリニアに性能が上昇する?

まず2021年のGPT-3までは、Scaling Lawが言われていました。これはモデルサイズ(学習パラメータ数)を指数関数的に増加させると、モデルの性能は線形に増加するというものです。

 

この場合、LLMはファインチューニングを行ったモデルの性能を超えられませんでした。ファインチューニングとは追加学習のことを指し、用途ごとに追加で専用の学習を行わせることを意味します。ある程度事前学習をさせたら、その後は用途ごとにファインチューニングをするというのが、この頃の考え方でした。

 

ところが、2022年の研究であるところから急速に性能の向上が見られました。これは創発的とも呼ばれ、これにより用途ごとにチューニングされたモデルより、単一のLLMがさまざまな用途に利用できることが分かったのです。

 

A Closer Look at Large Language Models Emergent Abilities

下記も同じように、事前学習モデルの規模が大きくなると、あるところから急激に性能が向上することが分かりました。

https://cdn-ak.f.st-hatena.com/images/fotolife/k/kuzyo/20230404/20230404224627.png

Characterizing Emergent Phenomena in Large Language Models – Google AI Blog

 

実は、なぜこういうスケーリングが起きるかはよく分かっていないようです。ただし、これまでのところ学習量を増やすと、なぜか性能が驚異的に上がることが示されてきました。

 

これが正しく、今後も続くのだとすれば、必要なのはデータと演算量です。モデルの学習には大量のコンピューティング資源とデータが必要ですが、そのデータとコンピュータを持っているところが勝利するわけです。

 

つまり、GoogleやMeta、AmazonやAppleなどはデータと演算資源を大量に持っているという意味で、最も強いプレイヤーになるかもしれません。この文脈ではアルゴリズムはあまり重要ではなく、だからこそMetaはLLaMAのようにコードをオープンソースで提供していたりするのでしょう。

 

そしてここで重要になるのはNVIDIAです。というのも、LLMの学習演算はデータセンターで行われ、使われるのはGPUです。そしてほぼシェア100%に近いレベルで、NVIDIAのGPUが使われています。学習規模を際限なく拡大させていく軍拡競争が起こるなら、そこで最も利益を得るのはNVIDIAというわけです。

規模拡大は打ち止め。質的な変化が必要

一方で、OpenAIのCEOサム・アルトマンは「こうした巨大なモデルを用いる時代は終わりつつあると思います」と講演で話しました。

wired.jp

これはどういうことでしょうか。GPT-1から4まで、ずっとパラメータ数を増やすことで性能を向上させてきたOpenAIですが、この先は学習量を増やしてもブレイクスルーは起きないというのです。学習パラメータの規模拡大は、性能向上の限界に到達したと考えているというのです。

 

実際、GPT-4については未だに学習パラメータ数を公表していません。一方で、GPT-4の学習にかかった費用は1億ドル以上だと答えています。

 

記事ではGPT-4の賢さについて、次のような可能性を指摘しています。

OpenAIは「GPT-4」の規模と内部構造を秘密にしているが、その知性の一部はすでに規模ではない要素に起因しているのかもしれない。「ChatGPT」を強化するために使用された人間のフィードバックを伴う強化学習を用いたことが可能性のひとつとして挙げられる。

LLMの性能向上が、もはや単に学習量を増やすだけではダメなのだとしたら、そこにはアルゴリズム的なブレイクスルーが必要です。とするなら、LLMの学習規模が勝負のポイントではなく、AI研究自体に投資している企業に可能性があることになります。

 

ではGAFAMのAI人員規模はどうなっているでしょうか。下記はglass.aiがこの3月に調べた各企業のAI関連人員数です。

Bloomberg uses glass.ai to write about the AI Armies of the Tech Giants. — glass.ai

 

意外なことに、最も多いAI人員を抱えているのはAmazonでした。glass.aiは、「私達の予想ではマイクロソフトかグーグルがトップになると思っていたのですが、アマゾンが他を圧倒しました」としています。

 

ただ人数がすべてではありません。というのも昨今のAIのブレイクスルーを先導してきたOpenAIやDeepMindはかなり少人数のチームだからです。そして、AI関連社員の比率が最も高いのはMetaでした。実に全社員の6.5%にあたり、これは他の企業の約2倍の比率です。

 

そしてAI要員にも種類があります。その中でもAI開発の中核となるのはR&Dに携わる研究者です。ではこれが最も多いのはどこでしょうか。これは僅差ですが、実はMicrosoft+OpenAIでした。そしてAppleはかなり弱いことが分かります。

AI研究は人数ではありません。これまでもDeepMindなどのスーパースターチームがAlphaZeroなど強化学習を牽引してきましたし、LLMを先導するのはOpenAIでした。そういう意味では、Meta AI(旧名称FAIR)も有名なAI研究所です。

 

中国の清華大学は2020年1月に「AI(人工知能)分野で最も影響力を持つ世界の研究者ランキング(AI2000)」を発表しました。AI研究者トップ2000人のリストです。その6割が米国に属しています。そして彼らがどの組織に所属するかを調べたところ、MITやカーネギーメロン、バークレーなどの大学を差し置いて、トップはGoogleでした。

AI研究者世界番付、米国が寡占状態へ ー中国TOP大学が独自発表 | 36Kr Japan | 最大級の中国テック・スタートアップ専門メディア

量なのか質なのか

このように、今後のLLMの進化を見た場合、ひたすら学習パラメータを増やすことで質も向上するというシナリオと、量の増加は性能限界に達しており質的な変化が必要だというシナリオの2つがありそうです。

 

量の勝負となった場合は、データと演算資源を豊富に持っているところが有利であり、さらにそこに演算資源を提供するNVIDIAの立ち位置が光ります。質的な変化が必要な場合、AI研究者をしっかり抱えている組織が有利でしょう。

 

こんなふうにイメージしています。

  1. 学習量で進化するシナリオ
    1. NVIDIA
    2. Google
    3. Meta
    4. Microsoft
  2. 質的に変化していくシナリオ
    1. Google
    2. Microsoft
    3. Meta

 

www.kuzyofire.com

www.kuzyofire.com

www.kuzyofire.com

www.kuzyofire.com