2022年11月の公開からChatGPTがブレイクしています。3月には新モデルGPT-4も公開され、圧倒的な認知とユーザー数となってきました。テクノロジー系投資家としては、ここに投資しない手はないと考えているのですが、はて、どの企業の株を買うのがいいでしょうか。
LLMを取り巻く構造を理解する：ChatGPTの誕生
まずはChatGPTのような大規模言語モデル（LLM）を取り巻く構造を理解しておきます。LLMとはLarge Language Modelの略で、世の中にあるビッグデータ（Webのテキスト情報とか）を大量に学習させた基盤モデルのことです。
このLLMが飛躍的に発展したのはGoogleとトロント大学の研究者が2017年に発表した「Attention is all you need」という論文からでした。ここで「Transformer」という概念が登場し、一気にLLMは進化します。ちなみにGPTのTはTransformerです。
そしてイーロン・マスクが設立に関わったOpenAIは、GPT-1（Generative Pre-trained Transformer-1）の開発を進めます。これらのGPTはAPIとして提供されており、簡単な利用登録で利用できます。
- 2018年 GPT-1
- 2019年 GPT-2
- 2020年 GPT-3
- 2022年 GPT-3.5
- 2023年 GPT-4
そして、このGPT APIを使ったアプリケーションの1つがChatGPTです。それまでも、GPTのAPIを使ったアプリケーションを各社が開発していましたが、2022年11月にOpenAI自身がユーザー向けアプリケーションであるChatGPTを出したことで、爆発的な普及を見せました。ChatGPTは、GPT-3.5を微調整したモデルを使っています。
実践！大規模言語モデル / 1000億パラメータ越えモデルを動かすには？
このOpenAI、もともとは2015年に非営利団体として設立されました。現CEOのサム・アルトマンとイーロン・マスクが設立し、「人類全体に利益をもたらす友好的なAIを普及・発展させる」ことを目標に掲げています。
しかし2018年にイーロン・マスクとサム・アルトマンは対立。マスク氏は役員を辞任し、マスク氏が提供するはずだった10億ドルの資金もなくなりました。深刻な資金不足に陥ったOpenAIは、AI開発のための資金調達を行う営利団体を新たに設立、2019年にMicrosoftから10億ドルの投資を受け入れました。ここで、BingやEdgeにAI技術の提供が約束されました。
他のLLM
もちろん、LLMを開発しているのはOpenAIだけではありません。
もともとTransformer技術を開発したGoogleは早期からLLM開発を進めていて、LaMDAは開発したエンジニアが「知性が生まれた」と主張して解雇されるというニュースが話題になりました。最近ではLaMDAをベースに簡略化したBardを発表したことも話題となりました。またPaLMというLLMも開発しています。
他方のMetaは、LLaMA（ラマ）というLLMを開発しています。このLLaMAは2月の発表タイミングでオープンソースとして公開されています。画像生成AIにおいてStable Diffusionで起こったのと同じようなことが、LLMでも起こる可能性があるということです。
そして、LLaMAから派生したモデルが続々登場していて、中にはラズパイで動くものも。有名どころを挙げておくと、こんな感じです。
- Alpaca
- Vicuna
- Guanaco
- FreedomGPT
- GPT4All
- ChatDoctor
- OpenFlamingo
- Koala
- Baize
LLMの今後 パラメータ増大
まさに百花繚乱のLLMですが、今後、どんな進化を遂げるのでしょうか。一つは規模の拡大です。現在のLLMの前提となるTransformerは、学習規模を拡大させてある一定の規模に達すると、突如な性能が急上昇することが知られています。
Characterizing Emergent Phenomena in Large Language Models – Google AI Blog
OpenAIは最新のGPT-4のパラメータ数を公開していませんが、3よりも増加しているのは間違いないでしょう。GPTのパラメータ数は、1が1.1億、2が15億で、3は1750億となっています。
みずほリサーチ&テクノロジーズ ： 自然言語処理モデルは人間の脳にどこまで近づいたか
もっとも、パラメータを増加させるには、それだけ多くの計算コストがかかるので、ここはアルゴリズムとともに半導体の進化が必要な部分になるでしょう。GPT-2相当の15億のパラメータのモデルでも開発費用は160万ドルにのぼると見積もられています。また、学習後のモデルを実際に動かすにも大量のGPUが必要で、GPT-3をAWSで動かすためのコストは、最低でも年間87,000ドルと見積もられているそうです。
この学習にはGPU、多くはNVIDIAのGPUが使われており、今後LLMに関する研究が増えるにつれてさらにGPUニーズが高まると考えられています。LLMが流行ると、現時点で最も儲かるのは半導体メーカーであり、ほぼNVIDIAが寡占している状態です。
マルチモーダル
現在のLLMはテキストにほぼ特化している状況ですが、これはスタート地点です。GPT-4はマルチモーダルをうたっており、つまりテキストだけでなく画像の読み込みも可能になっています。
これの何がすごいのかは、下記のGPT-4の発表文（日本語翻訳済み）を見ると分かります。GPT-4は写真を読み込んで、この写真が何を意味しているかを理解し、そのユーモアを解説しているのです。
テキストと同様に、さまざまな情報を取り込んで学習し、アウトプットもテキスト以外で可能になっていくというのが、今後のトレンドの1つです。例えば、Googleはロボット向けのモデルRT-1をリリースしました。これは、テキストの代わりに現実世界の画像を学習させ、アウトプットとしてロボットを動かすという試みです。
ビジネスとしてのLLM
現在のLLMをめぐる状況を概観したので、次にビジネスの構造を見ていきましょう。ここに関わるのは、プロダクトを開発するサプライヤー、それを届けるディストリビューター（またはアグリゲータ）、そしてユーザーという3つです。
昔からディストリビューターの立場は強く、例えば地域独占をはかることで新聞社も電力会社も電話会社も、大きな収益を上げてきました。そしてインターネットは、地域独占の概念をなくしたことで、さらにトップ企業の権力が増しました。それはGoogle、Facebook、Amazonといった企業です。プラットフォーマーともアグリゲータとも呼ばれます。
そしてWeb3の文脈でも言われるように、こうしたプレイヤーはユーザーのデータを集めることで、さらに強力になっていきました。ユーザーデータは広告配信に使われることで、圧倒的に広告効果を高めたからです。
ではLLMの時代に構造はどう変わるでしょうか。ここでサプライヤーがOpenAIになります。OpenAIがプロダクトを開発し、APIという形でディストリビューターに提供します。ディストリビューターは、自身のプロダクトに組み込むことで、よりユーザーに使いやすい形でAIを提供します。
ここで一つのマイルストーンとなったのが、2022年11月のChatGPTです。これまでAPI提供にとどまっていたOpenAIが、初めてユーザー向けに提供したプロダクトでした。つまり、ディストリビューターの立ち位置でサービスを提供したのです。これが驚くほどヒットしました。
GPT-4→ChatGPT→ユーザー という流れになった場合、そこにはGoogle検索が入る余地がありません。ということで、本気になったGoogleが戦時中モードに入ったし、勝機ありと見たMicrosoftが10億ドルを出資してBingやTeamsにGPT APIを組み込むことを決断したわけです。
ただし、これでOpenAIの勝利に終わると決まったわけではありません。それは、モデル開発とデータと、そしてユーザーベースです。
モデルとデータとユーザーベース
まずGPT-4のモデルが優れているとはいえ、その原点となるTransformerを開発したのはGoogleです。世界では、OpenAI、Google、そしてMetaが、LLM AI研究のトップを走っていると見られていて、どこが勝つかは分かりません。
そしてMetaがオープンソース戦略を取っていることも面白いところです。モデルを公開することでエコシステムを拡大し、より優れたモデルを開発する。これは、GoogleがAndroidやChromeで行ったことですし、画像生成ではStable Diffusionがオープンソース化することで、その力を世に解き放ちました。
マルチモーダル化の流れでもわかるように、LLMの進化のトレンドは、さらに様々なデータを食わせて学習させることです。ChatGPTは入力されたプロンプトを追加の学習に使っています。そのため、人々がChatGPTを使うほどに賢くなっていく可能性があるわけです。ChatGPTのヒットによって、これは大きなアドバンテージです。
ただし、そもそもGoogleやMetaは山のようなデータを蓄積しています。そしてユーザーからデータを集めることにかけてはOpenAIよりも一日の長があります。OpenAIはネット上のオープンなデータを中心に集めて学習に使いましたが、GoogleやMetaは非公開のデータを利用することもできます。Facebookなどは、まさに個人に特化したデータセットの宝庫です。こうしたデータを持っていることは、GoogleやMetaの強みです。
そしてユーザーです。ChatGPTは最速で1億人のユーザーを集めたと言われていますが、GoogleやMetaは遥かにそれを凌ぐユーザーを持っています。似たようなプロダクトを用意したとき、よりディストリビューターとして強力なのはGoogleやMetaといったビッグテックであり、それが分かっているOpenAIは、Microsoftと手を組んだともいえます。
どの株を買えばいいか？
さて、LLMの概要から今後のトレンド、そしてビジネスモデルまでを見てきましたが、けっこう長くなりましたので、ここまでで前編とします。後編では、では実際にどの銘柄に投資するのがいいかを考察します。
→中編：ChatGPTなどLLMに投資するにはどの株を買えばいい？（中編）
