近年のAIの進化は実は理解されていない。

ChatGPTを筆頭に、信じられないレベルでAIが進化している。

そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。

おそらく発明した研究者本人たちですら。

どういうことか。

1/n

— Takuya Kitagawa (@takuyakitagawa) January 29, 2023

近年のAIの進化は実は理解されていない。

ChatGPTを筆頭に、信じられないレベルでAIが進化している。

そう、本当に信じられないレベルなのは、
なぜAIがこんなにも「急激に」質が良くなったかを、
誰も説明できないからだ。

おそらく発明した研究者本人たちですら。

どういうことか。

AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。

研究の進化とは
1. モデルやアルゴリズムの進化
2. 計算量の増加
3. データ量の増加

などだ。１０年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。

2/n

— Takuya Kitagawa (@takuyakitagawa) January 29, 2023

反面、計算量やデータ量の増加によって、「驚くべき」進化があるとは誰も思っていなかった。

計算量を倍、倍としていけば、それに応じて精度がちょっとずつ上がっていく、と想定したからだ。そこには驚きはないはず。

今までの論文ではそうだった。むしろ量の増加による精度改善は飽和していた

3/n

— Takuya Kitagawa (@takuyakitagawa) January 29, 2023

ところがこの数年で研究者はびっくりする結果を目にする。

なんと、計算量やデータ量を増やしたところ、

完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。

下記の図の横軸が計算量、縦軸が精度だ。

まじか、とみんな思った。

4/n pic.twitter.com/V51NVCDBWf

— Takuya Kitagawa (@takuyakitagawa) January 29, 2023

ところがこの数年で研究者はびっくりする結果を目にする。

なんと、計算量やデータ量を増やしたところ、

完全に飽和していたと思われた精度が、
ある量を境に、急激に改善したのだ。

下記の図の横軸が計算量、縦軸が精度だ。

まじか、とみんな思った。

上記のグラフは、複数ステップの計算、大学レベルの試験、文脈の言葉の意味を読み取る精度だ

この急激なAIの進化は他のところでも観測されており、

例えば「質問の仕方を変えればAIのアウトプットが圧倒的によくなる」という現象も、ある一定の計算量がなければ起こらない

5/n pic.twitter.com/Z2XfPL3gLf

— Takuya Kitagawa (@takuyakitagawa) January 29, 2023

この現象は実はいまだに理解されていない。

なぜこんな転換点が存在するのか。

実は人類がこのような現象に出会ったのは初めてではない。

これこそが物理学においてこの１００年間研究されてきた「相転移」という現象なのだ。

6/n

— Takuya Kitagawa (@takuyakitagawa) January 29, 2023

AIに戻ると、

去年はComputer scienceの領域で、AIの学習で量が質を変える現象が「発見」された年だった。

今年からはこの現象を説明し、より加速度的にAIが進化する時代に突入する。

第１次、２次産業革命が各種ノーベル物理・化学賞の仕事に支えられたとすれば、それがまたやってくる

10/n

— Takuya Kitagawa (@takuyakitagawa) January 29, 2023

今成果を出しているAI研究者は物理で言えば実験科学者に近い。

これからはより深い理論構築ができるAI研究者がどんどん出てくる。

興奮の渦だ。

11/n

— Takuya Kitagawa (@takuyakitagawa) January 29, 2023

上記の現象についてはGoogle researchのブログに詳しいので是非読んでみてほしい。12/nhttps://t.co/M9Bp1leIDs

— Takuya Kitagawa (@takuyakitagawa) January 29, 2023

　　

この記事への反応

　　　
・ おびただしい数の会話をしていて、
その内容を完全に全部覚えているのだから
あっという間に進化するでしょう。
昨日かなり専門的な会話をしてたら、回答が的確で、
なんなら人間と会話するよりも盛り上がったわ。

・他の動物と似たような脳にもかかわらず
人間だけが高度な知性を獲得したのも、
学習量が閾値を超えたからなんだろうな。

・ ニューラルネットがこんな将来性あるとは思わなかったな。
物量は全てを解決する的な。
脳を模してるってのも間違いじゃないのかも。
　　
・過学習して終わりかと思ったらダブルディセントがあったからでしょ

・まとめるとデータがある量を超えると一気にAIの能力が上がる、
温度を上げても何も変化のない水が100度になった途端
水蒸気に変わるのと一緒
これは相転移と物理では一般に言われる事で、
受験勉強の砂を噛むような数ヶ月が
ある日一気に身を結び成績が上がる事と全く同じ事が、
AIでも起きている。

ザ・ファブル　Ｔｈｅ　ｓｅｃｏｎｄ　ｃｏｎｔａｃｔ（６） (ヤングマガジンコミックス)

南勝久(著)(2023-02-06T00:00:00.000Z)
レビューはありません

Amazon.co.jpで詳細を見る

ホグワーツ・レガシー【予約特典】DLCオニキス・ヒッポグリフの乗りもの & 魔法薬「フェリックス・フェリシス」のレシピ 同梱 - PS5

WB Games(2023-02-10T00:00:01Z)
レビューはありません

Amazon.co.jpで詳細を見る

呪術廻戦 22 (ジャンプコミックスDIGITAL)

芥見下々(著)(2023-03-03T00:00:00.000Z)
レビューはありません

Amazon.co.jpで詳細を見る

牧場物語 Welcome! ワンダフルライフ -Switch

マーベラス(2023-01-26T00:00:01Z)
レビューはありません

Amazon.co.jpで詳細を見る