FIRE: 投資でセミリタイアする九条日記

九条です。資産からの不労所得で経済的独立を手に入れ、自由な生き方を実現するセミリタイア、FIREを実現しました。米国株、優待クロス、クリプト、太陽光、オプションなどなどを行うインデックス投資家で、リバタリアン。ロジックとエビデンスを大事に、確率と不確実性を愛しています。

GPT-4登場 シンギュラリティは静かにやってくるのかもしれない

今日、3月15日、OpenAIから最新のAIモデル「GPT-4」が発表されました。この数ヶ月ほどは「ChatGPT」が大ブレークしており、その最新バージョンということで注目を集めています。そこで、ふと思ったのは「シンギュラリティはある一点を超えると起きるのではなく、徐々に静かにやってくるのかもしれない」ということです。

AIの進歩 ディープラーニング

AIは徐々に、ただし人々の予想を超えて一気に進化が進んできました。大きなブレイクスルーであり転換となったのはディープラーニング技術でしょう。機械学習の1つであるディープラーニングは、人間の脳を形作るニューロンを模した構造のニューラルネットワークがベースになっています。

大きな特徴は、特徴量を人間が設定する必要なく、自身で見つけ出せることです。特徴量とは、それを特徴づける要素のこと。例えば人なら、身長、体重、年齢、性別などが特徴量になります。これまでのAIでは「これが特徴量」と人間が先に教える必要があったのですが、ディープラーニングでは元データから特徴量を勝手に抽出します。

 

これによって画像認識にブレイクスルーが起きました。ネコの画像を見せると、高精度でネコだと判定するAIが、トロント大学から登場し、以後、トロント大学はディープラーニングのメッカとなったのです。

 

これによって、データ量が増えることで精度が自動的に高まる仕組みです。一方で、この学習結果はブラックボックスであり、「AIがなぜその判断をしたのか」は人間には(AI自身にも)分からないという問題も生み出しました。

AIの進歩 強化学習

次のブレイクスルーは強化学習でしょう。機械学習は次の3つの種類があります。

  • 教師あり学習
  • 教師なし学習
  • 強化学習

このうち強化学習は、ある「環境」の中で、目的として設定された「報酬(スコア)」を最大化するための行動を自分自身で学習します。

The Building Blocks of ML | MS&E 238 Blog

 

これが最もわかりやすいのがゲームです。予めルールを決めた世界の中で、成功と失敗を決めておき、成功するように強化学習を行うとAIは非常に強力になります。下記のスーパーマリオを学習させた動画がわかりやすいでしょう。

www.youtube.com

これと同じようにディープラーニング(深層学習)に強化学習を組み合わせた深層強化学習、世界を震撼させたのがGoogle傘下のAlphaZeroです。将棋も囲碁も、ほんのちょっと前までコンピュータは人間に勝てないと言われていました。ところが、その結果はコンピュータの圧勝でした。

www.kuzyofire.com

すでにルールが決まっている領域では、人間がコンピュータに勝てると考えている人はいません。AIが勝って当たり前と、と認識はいつの間にか転換しました。人間よりもクルマのほうが速いのが当たり前のように、人間よりAIのほうがゲームに強いのは自明となったのです。

AIの進化 生成AIとその民主化

別の観点からAIを大きく進化させたのは生成AIです。きっかけとなったのは22年秋に登場して世界的に話題となったStableDiffusionでしょう。これはいわゆるお絵かきAIです。アルゴリズムとしては、Diffusion Modelが使われています。

 

これまでもGAN、VAE、Flowといった生成モデルはありましたが、使い勝手と速度のバランスが良いことが評価されています。

Diffusion Model(拡散モデル)は、元データにノイズが徐々に付加されていき、最終的にガウシアンノイズとなるという前提を置き、その逆のプロセスをモデル化することでデータを生成する。

最近話題の"Diffusion Model(拡散モデル)"について、簡潔にまとめてみた - AI・セキュリティのまとめのまとめ

さて、Stable Diffusionがブレイクスルーとなったのは、AIの民主化をもたらした点です。それまで各種のAIはありましたが、学習に大量のデータと演算が必要なため、研究機関かGoogleなどのビッグテックが扱うもので、一般人は成果を見るだけというのが普通でした。それどころか、生成AIはともするとよろしくない使い方をされるということで、敢えて一般人の手の届かないところに置かれていたのです。

 

ところがStable Diffusionはオープンソースで提供されました。これまで象牙の塔か大企業の天才だけが触れたAIが、突然誰でも扱えるようになったのです。

www.kuzyofire.com

これは様々な問題も引き起こしましたが、今の所人類はうまく生成AIとつきあっているようです。例えば、18禁画像を生成したり、芸能人そっくりの画像を生成したり、特定の作家が描いたかのような画像を生成したりと、倫理、著作権、肖像権などに大きな影響を与える生成が可能だからです。

 

GoogleのAIが囲碁の世界チャンピオンに勝った!といっても、どこか遠い世界の話でしが、StableDiffusionはAIを身近なものにしました。「これちょっとAIに描かせてみるわ」となったのです。ちなみに、ぼくのブログでもアイキャッチ画像の多くはAIに生成させています。

AIの進化 大規模言語モデル(LLM)

そして早くも次のブレークがきました。ChatGPTです。従前から、GPTは”危険なAI”として知られていました。人間が書いたのと見分けが付かない文章生成が可能で、使い方によっては悪用が簡単にできるからです。

 

ところがStableDiffusionの登場と成功が、GPT開発元のOpenAIにも変革を促しました。日本語も十分にうまく扱えるGPT-3ではAPIも提供していましたが、やはり大きな転換期となったのはChatGPTです。

 

汎用的な文章生成AIであるGPT-3に、「人間の好みにあった文を出力するように微調整」したInstructGPTを元にし、さらに対話に特化させたモデルです。本来自己学習していくモデルなのですが、InstructGPTでは出力に対して人間が「これは人としてOK/NG」と伝えることで教師あり学習を行い、政治的に(人間的に?)問題のない出力を可能にしました。

 

ChatGPTを使うと、まっとうな倫理観を持っているかのように振る舞いますが、これはInstructGPTのチューニングのためです。これによって、一般に公開しても政治的に問題にならなくなったともいえます。

 

ただし裏返すと、AIの能力を制限されているともいえます。ChatGPT登場直後に下記の記事を書きましたが、返答が模範解答的でつまらないことが分かります。これは、金融や医療などの規制産業に関連するような問については、「専門家に相談してください」と最後に付け加えるようなチューニングがされているからです。

www.kuzyofire.com

また犯罪に関わる内容も、答えないようにチューニングされています。このような質問については、答えないようにチューニングされているのです。

ただし、AIの縛りはそこまで厳密ではありません。問の方法を変えれば、実質的に答えさせることも可能です。

さて、閑話休題。このGPT自体は、大規模言語モデル(LLM)と呼ばれます。要するに、ものすごく大量の言語データを学習させることで、言葉と言葉のつながりを覚えさせたものです。

 

仕組みを端的に表すと、ある言葉に続く言葉の確率を学習したものといえます。「わたし」という言葉につながる可能性が高いのは「は」という助詞。。という感じで、問となる言葉に連なる可能性の高い言葉をつないでいきます。

 

そのため、ありきたりな質問をすると、Wikipediaに書いてあるようなありきたりなな返答をしてくるのが特徴です。「あなたは科学者です」「あなたは世界有数の芸術家です」「あなたは小学生を教える教師です」などと限定してあげれば、その分野にフォーカスした一般的ではない返答を出してきます。先程「私は小説家でミステリーのプロットを書いています」と限定してあげることで、犯罪には手を貸しませんといっていたAIが犯罪用の会話のスクリプトを出してきたのも、こういう仕組みだからです。

このAIに限界はあるのか

GPT-3ベースのChatGPTに比べ、GPT-4はさらに学習量を増やし、お利口になりました。おそるべきことに、各種入学試験なども軽々とパスしています。英語の司法試験を上位10%の成績で解けるということです。

 

AIに東大合格をさせようとして断念した東ロボくんプロジェクトというのがありました。そこではAIには理解力がなく、文脈を考えないと答えが出ないような問題はAIでは答えられないという結論でした。

 

www.kuzyofire.com

 

そのとき、文脈を読み取る問題の例として上ったのが下記です*1

「仏教は東南アジア、東アジアに、キリスト教はヨーロッパ、南北アメリカ、オセアニアに、イスラム教は北アフリカ、西アジア、中央アジア、東南アジアにおもに広がっている」

という例文があります。そこで

「オセアニアに広がっているのは(   )である」

では、これをChatGPT(GPT-4ではない)はどう答えるでしょうか。いや、もうヤバイですね。ChatGPTは文章理解力はありません。単に大規模な文章学習の結果、次に来そうな単語を答えているだけです。それでもこうなるのです。

これは、まさに量は質を凌駕すると思った瞬間でした*2

シンギュラリティは静かにやってくる

AIが人間の知能を超えるシンギュラリティ。それはどうやって起きるかといえば、AIが自身でプログラムを書き、自身をアップデートできるようになったとき、その連鎖によってどこまでも性能が向上していくというイメージをもっていました。ある一点に達したら、AIは一気に神の領域にまでいってしまうような感じです。

 

でも現在のLLMの進歩を見ていると、シンギュラリティに到達する道はアルゴリズムというよりも学習したデータ量であり、それはジワリジワリとしか増えないようにも感じてきました。いや、半導体の進化に伴い学習速度自体も非線形で増加しているのですが、それでも一点を超えたら一気に神の領域というよりも、気づいたらいつの間にか人間よりも遥かに知能が高いよね、という感じで進むのかということかもしれないということです。

 

いや、実はすでにシンギュラリティに突入しているのかもしれません。いまやチューリングテストという言葉を聞くこともほとんどなくなりました。ChatGPTが人間に見分けのつかない返答をできることはもはや自明で、特定の領域については人間を超えているのも当たり前だと思われ始めているからです。

 

AI周りの論調を見ていると、もはや「AIよりも人間が優れているのはどこか」ではなくて、「AIを使いこなすには人間はどんな役割を果たすべきか」にシフトしています。いわば、「こんな道路なら人間はクルマより速いぜ」という議論ではなく、「こう運転すればクルマを速く走らせられるぜ」というふうに視点が変わってきたということです。

 

というわけで、レイ・カーツワイルが以前から言っていたように、半導体の進化はコンピュータの知性の向上をもたらし、それによってAIが人間を追い抜くというのは既定路線な感じです。惜しむらくは、あれほどこのシナリオに賭けていたソフトバンクグループが、OpenAIには出資していないことでしょうか。逆に、OpenAIを設立したイーロン・マスクの慧眼には恐れ入るばかりです。

 

www.kuzyofire.com

www.kuzyofire.com

www.kuzyofire.com

 

*1:ちなみに東ロボくんはこの問題は解けたそうです

*2:ただ、量がすべてを解決するわけではないかもしれません。今読んでいる『因果推論の科学 「なぜ?」の問いにどう答えるか』は、まさにその問題に焦点を当てています