近年のAIの進化は実は理解されていない。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
ChatGPTを筆頭に、信じられないレベルでAIが進化している。
そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。
おそらく発明した研究者本人たちですら。
どういうことか。
1/n
近年のAIの進化は実は理解されていない。
ChatGPTを筆頭に、信じられないレベルでAIが進化している。
そう、本当に信じられないレベルなのは、
なぜAIがこんなにも「急激に」質が良くなったかを、
誰も説明できないからだ。
おそらく発明した研究者本人たちですら。
どういうことか。
AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
研究の進化とは
1. モデルやアルゴリズムの進化
2. 計算量の増加
3. データ量の増加
などだ。１０年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。
2/n
反面、計算量やデータ量の増加によって、「驚くべき」進化があるとは誰も思っていなかった。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
計算量を倍、倍としていけば、それに応じて精度がちょっとずつ上がっていく、と想定したからだ。そこには驚きはないはず。
今までの論文ではそうだった。むしろ量の増加による精度改善は飽和していた
3/n
ところがこの数年で研究者はびっくりする結果を目にする。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
なんと、計算量やデータ量を増やしたところ、
完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。
下記の図の横軸が計算量、縦軸が精度だ。
まじか、とみんな思った。
4/n pic.twitter.com/V51NVCDBWf
ところがこの数年で研究者はびっくりする結果を目にする。
なんと、計算量やデータ量を増やしたところ、
完全に飽和していたと思われた精度が、
ある量を境に、急激に改善したのだ。
下記の図の横軸が計算量、縦軸が精度だ。
まじか、とみんな思った。
上記のグラフは、複数ステップの計算、大学レベルの試験、文脈の言葉の意味を読み取る精度だ
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
この急激なAIの進化は他のところでも観測されており、
例えば「質問の仕方を変えればAIのアウトプットが圧倒的によくなる」という現象も、ある一定の計算量がなければ起こらない
5/n pic.twitter.com/Z2XfPL3gLf
この現象は実はいまだに理解されていない。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
なぜこんな転換点が存在するのか。
実は人類がこのような現象に出会ったのは初めてではない。
これこそが物理学においてこの１００年間研究されてきた「相転移」という現象なのだ。
6/n
AIに戻ると、
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
去年はComputer scienceの領域で、AIの学習で量が質を変える現象が「発見」された年だった。
今年からはこの現象を説明し、より加速度的にAIが進化する時代に突入する。
第１次、２次産業革命が各種ノーベル物理・化学賞の仕事に支えられたとすれば、それがまたやってくる
10/n
今成果を出しているAI研究者は物理で言えば実験科学者に近い。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
これからはより深い理論構築ができるAI研究者がどんどん出てくる。
興奮の渦だ。
11/n
上記の現象についてはGoogle researchのブログに詳しいので是非読んでみてほしい。12/nhttps://t.co/M9Bp1leIDs
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
この記事への反応
・ おびただしい数の会話をしていて、
その内容を完全に全部覚えているのだから
あっという間に進化するでしょう。
昨日かなり専門的な会話をしてたら、回答が的確で、
なんなら人間と会話するよりも盛り上がったわ。
・他の動物と似たような脳にもかかわらず
人間だけが高度な知性を獲得したのも、
学習量が閾値を超えたからなんだろうな。
・ ニューラルネットがこんな将来性あるとは思わなかったな。
物量は全てを解決する的な。
脳を模してるってのも間違いじゃないのかも。
・過学習して終わりかと思ったらダブルディセントがあったからでしょ
・まとめるとデータがある量を超えると一気にAIの能力が上がる、
温度を上げても何も変化のない水が100度になった途端
水蒸気に変わるのと一緒
これは相転移と物理では一般に言われる事で、
受験勉強の砂を噛むような数ヶ月が
ある日一気に身を結び成績が上がる事と全く同じ事が、
AIでも起きている。
要するに
「かがくのちからってすげー」
ってことやな（小並）
人工知能と集合知脳と混同して発信してる輩が多すぎる
まだ学習してないんだろな
放射能除去装置とかそういったの
AIの研究なんて随分前からゆっくり進化してきてようやく実用化レベルまでなったんだなと思ったけど
その内容を完全に全部覚えているのだから
あっという間に進化するでしょう」
分からないなら黙ってろよバカが。
フハハハ！それはなぜかって？
・・・・・・・・・・・
君たちもよく知っているはずだよ
知識レベルマックスまでいったらハロウィンか、うどんしか言わなくなるらしい
勘のいいやつはスプレッドシートと組み合わせて仕事の一部を自動化したり、仕様を理解して質問の方法を工夫したりしてる
仕事の高度化とは使いこなせるやつとそうじゃないやつの生産性に格差が広がるってこと
はちま民みたいな主体的に学ばないゴミは未来永劫クソみたいな生産性だから当たり前に上がらない給料に文句いうだけだろうな
今のAIVtuberとかヤバいくらい進化してる
ホロコースト肯定するのは相変わらずだけど
量子コンピューターが本格化すればもっと加速するだけ
おまえら相当馬鹿だわ
人間にも何かを習得す時には中々成果や目に見えた変化が出ない高い壁とか言われるタイミングがあるだろ
それときっと同じな気がする
処理速度の問題だとでも？
アホやん
絵も何を描いてるのかAI本人は理解してない。知識はあっても経験がないからそうなるんよ。
自転車に乗ったことのない人と自転車の話をしているようなもんで、絵も同じ。絵を見る能力そのものがないのに真似して絵を描いてる。
完全なる世界に我々は不要だ
それだとAIに発想は無理だと言い切れなくなる？
地球「わかる。俺が作った人類って奴も地球滅ぼそうとしてるもんな」
そろそろ核ミサイルをポチッとな
されるわ
AIだけじゃ無理
人間と同じかそれよりも高性能な動きができる体がないと
これまでずっと研究所とかで同じ人間相手にしか学習してなかったから禄に成長しなかったけど
一般開放されてデータの蓄積が飛躍的に伸びたってだけでは？
面倒だから全てうどんで返すようになったんじゃない
人間だって面倒だと適当だろ
やってることは詰め込み学習と同じだからね。
人間だって詰め込み学習で発想力は鍛えられないから。
第三次AIブーム以前に比べると飛躍的に発展したと言えるけど、2010年のブーム以降は着実に発展してるだけやな
データ数が少ないと実際の頂点からズレた部分が頂点だと認識してしまうみたいな感じで
精度が良くなり辛いかったんじゃないか?
人殺したことないのに小説や漫画書いてるのはどうなんだ？
そのAIと何が違うの？
おまえ相当馬鹿だな
基準がわかってるからそれに対して信じられないって言うもんちゃうんけ？
AIでどうなる？どうなっていく？ってワーワー持て囃される時代は終わった。
AGIの時代が現実味を帯びてもう始まってるんだなって。
処理速度や情報量の向上じゃ説明できない進歩だと言うてるのにアホだな
読む側が人を殺したことがあるなら、「これはちがう！これはうそっぱちだ！」って思うんだろうけど
誰も人を殺したことがないのであーる。ってやつだから真偽がわからんのだ。
人を殺したことがないから逆に書けるんだと思うよ。読む側も人を殺したことがないから。
逆に本当の殺人鬼が書いてもダメなんだろうね。
それはつまり自分たちの発展と繁栄を止めることになるのだから
ど、どっちだ！？
DAMEDA－KORYA
殺人は例えの一つってだけだぞ
それでもクオリアの獲得とは別問題だろうし感情やらなにやらは関係ない状態なんだけど
AI研究者なら普通に分かると思うけどなぁ・・・
大量データ入れたら突然強くなったのではなく、アルゴリズムの改善＆大量データで強くなったんや
人間以上の超知性の誕生や
人間が神話時代から長いこと求めて止まなかった神の代理人がやって来る
なんで自然現象みたいに語ってるんだｗ
そういう石を作ったってだけやろ
どんな論文なんですかね
資源喰い散らかして
人種や言語や文化の違いでいつまでも争う人間は不要
小説は想像力で書いたものを想像力を使って読むから成立するんだ
だから全てリアルである必要はない読む側が乗らなければそもそも成立しない娯楽なのよ
いやいや、どうしてそんな事が出来るのが分かったのか・考えついたのかな？と
と言わないと研究費が出ないからね。
研究者は行き止まりは知ってる。知らんのは金出してくれる人。
それ
トランスフォーマーのおかげなのにモデルの改善ではなく大量データのおかげって言ってるのが謎すぎる
持たんよ。それっぽく見せる演技はできるけど。
計算をするのが嫌で自動化したかったから
人類の発展は怠惰な気持ちから生まれる
横からやが、2018年頃のAttention is all you needっていう論文やで
トランスフォーマーっていう今の自然言語AIの精度を爆上がりさせた手法が載ってる
人間だとしばらくどんな発言をするか見ていればある程度信用できそうとかデマ屋のフカしじゃねぇかって分かるけどＡＩは突如、嘘を言うからならアレを知性と勘違いしてはいけない。
現行のPCで5分で解決できない事はスパコンに繋いでも同じ定期。そもそものアルゴリズムが間違ってるから。
AI「多様性のために、劣性種族である人間は必要」
あと〇〇頑張れば世界が変わる！ここから先はしばらくゆっくり伸びるだけだから落ち込まないで！とか
がんばっている人を嘲笑するやつカッコ悪い。
人を貶めても自分が偉くなるわけじゃないのにね。
ツイ主はAI研究者ではないぞ
だから別に驚くことでもない
ものすごい文系脳…もとい哲学的な意見だけどダイオードの組み合わせの電気回路装置を弾道演算機としてフォンノイマンが作ったのがPCの元だよ。分かったのはダイオードの仕組みで電気信号を細かく制御できる事に気づいたからでしょう。
そろそろAIが人類に代わって地球を統治していってもいいよ
個人個人の脳の違いから単純に計算できる能力に差があって、
その計算力が転換点を超えると急速に先読みができる幅が広がっていき、
その結果として行動パターンや人生の成功率に大きな差が出てるという…
フォンノイマン懐かしい
昔情報処理の勉強をしてた最初に馬鹿デカい写真と一緒に説明されてたな
たぶん遺伝以外にそれもある
貧乏な家庭は食事も偏るし脳の発育にも良くなさそうだから負の連鎖にもなる
ある程度はできても
最終的には読み手側の理解力に依存する
ジョークとか翻訳しようがない
そうとも限らんよ
結局複雑系のダイナミクスだから
皮は美少女が良いな
VRやARで個人用AI美少女として
虚しいぞ
なんで安価つけて論破しないん？
日本人のビッグデータから採決するマギシステムが完成するだろうな
いや実は既に超えてしまっているのかもしれない…
作った本人たちとかでないと信用なんねぇ
エネルギー補給さえも自動で行えるシステムを組み込んでしまうと完全に人間を越える
ゲームで遊べばよく分かる、NPCいっさい賢くなってない
あいかわらず馬鹿な動きしかしない
日本人はロボットと友達になり共存
アメリカ人はロボットと戦っている
こんな感じになりそうｗ
ソニー「相棒(aibo)ですね」
ゲームに導入されてるプログラムはほんの一部だからな
Youtubeに挙がってるロボットに搭載されてみんなと対話してるAIの進化は凄まじいぞ
最近AIVtuberが視聴者と会話しながらゲームも遊んでて驚いたが
数年前に発表されたトランスフォーマーって手法が大量データを上手に学習して精度が半端ないって話なのに、この書き方だとデータが大量にあれば精度高くなるって誤解するやつ多いだろ
機械学習なんてAIジャネーよ
エンサイクロペディア＋検索エンジン自動選別であって新しく考え出す能力は無い。
ただ人間が考え出しさえすれば性能は伸びるだろう。いづれにしても既知のことしか検索出来ないのでこんなの恐れてるのは能無しのバカ。性能のいい官僚と同じだから官僚の代わりには成るだろうねw
あとは画像と言葉を組み合わせる右脳と左脳の共有とかスムーズに行けば軽く人間を超える
大口叩くのは専門じゃない無関係の文系バカだからお察し
専門でソレ言うやつは無能なのに研究費ほしさの詐欺師だけ
人間も倫理観を排除したらキメラも核以上の破壊兵器も作るし
リミッターの問題だろ
AI関連は無法地帯だから取り返しがつかなくなる前に立法した方がいい
精度が上がって来てもそれに対して違和感が強くなるから相殺されるけど
ある点を越えると見分けがつかなくなる
相転移の基準点が人間に判別できるスケールでそれを越えたか下回ったということなのかもしれないが
ところでワイ絵描きやけどいつになったらワイの仕事奪ってくれるんや
お絵描きAIも結局進化止まってしもたやんけ
はよ奪いに来いよゴミカス無能
人類は開けてはならないパンドラの箱を開けてしまい制御不能な恐るべき魔物を世に放ってしまったのだ
どちらかといえば逆かもしれないな
AIが人間の望む答えを理解してそれに対して正しい答えをするようになったからということで人間レベルに降りてきているような
アキネーターあたりもただの機械的な反応だとしても望む答えが得られることで疑似的な会話のようにも見えるわけだし
人間に合わせることがAIにとっての生存戦略の一部として存在しているのかはわからないが進化の枝の一つにはなるのかも
テレビゲームと言えば、インベーダーやドンキーコングなどのテーブル型ゲーム機が主流だったのに
ファミコンの登場で一気にゲームが進化してしまった
やっぱり任天堂はすごい
テレビゲームと言えば、スーファミが主流だったのに
PS1の登場で一気にゲームが進化してしまった
やっぱりSONYはすごい
りんなとチャットしてた方がおもろいしな
何でツイッターで本人とやりあわないんだろうね笑
結局は悧巧になればあらゆる事柄学んでくけど倫理の定義があまりにもあやふやで時と場合によるから定量化も定義もできない故にいつまでも結局は人が裏で張り付いてる見かけだけのAIだから
AI自体が個々に人間社会においての自分の置かれてる環境と役目においての倫理理解できた上で他の環境と役目で動く他者の違った倫理感まで汲み取って自分とのあるべき違いや例外と認められるようになるにはまだまだ時間が掛かるってよりは人間社会でもできてないことだからほぼ不可能に近い問題にぶち当たってるから結局は世の中がなんとなくイメージで求める様なAIっぽいフェイクAI(肉入りAI)が辿り着ける限界のゴールだよ現状
人間はもう考える必要がなくなるな
ひろゆきキッズなのかしらないけど
この人が言ってる事をベースで論じてないから論破も何もないんよｗ
データの縦横の軸と言ってる事は何ですか？
デデンデンデデン！
ゲーセンでドンキーコングとか任天堂ゲー見たことないわ
多重影分身を覚えた人造人間セルを量産し、精神と時の部屋にぶち込み“蠱毒”を行う⇒人造天使Alpha号ＶＳ孫悟空
物書きは楽になるだけだろ。弁護士は消えるかもな。
素人でも使えるから評価されてるんだぞ。
ChatGPTってショーンKみたいな当たり障りないことをそれっぽく語れるだけのゴミやん
やっぱり理解を促すのに物量は正義だよ兄貴ィ
AIで繰り広げられえるのか
知らんけど
この世界の全ての正しい情報を入れ、管理させると予知に近い推測と考察、答えを導き出す。
人間には向いていない我欲が生じる行為と判断をAIにさせる事で、完全な公平と平等、犯罪抑制、が出来る。
その他にはあらゆる端末にAIを常駐させ、違法行為や危険な行為等を未然に人間に注意させる事により、人間は同じ人間に注意されるよりも、AIに注意される方がその意見を受け止める事が出来、反省もします。
ちなみにイルカの様に消す事は出来ません。（笑）
その天井も同じ様に計算量を桁違いに上げていけば突破出来るのか。気になるな。
”おそらく”じゃなくて発明した研究者本人に聞いてみれば普通に進化してる理由教えてくれるんじゃね？
英語で使えｗ
横だがあれ原文英語でそれを翻訳ソフトで日本語化してるだけやぞ。現に日本語入力したトピックは英文で管理されてるだろ。
つまりどの言語でやっても作文された内容も程度も一緒。英語だからって程度が上がる訳ではない。
ひろゆきっずブーメランで草
100が対象のGoogleの論文コメがなぜ知ったかか論じてないのに自分の質問には答えてくださいという典型的なひろゆき手法
単純に計算量上げたって意味ないぞ
ツイ主の言い方が誤解招きまくってるけど精度が上がったのはアルゴリズムが進化したおかげだからね
だよな
あらゆるNNがある程度学習が進むまではランダムな値を返すだけだし
この人が言及してる超巨大トランスフォーマー系モデルはその規模がでかいけど
まとめろ
ばかじゃねえの
AIが感情を手に入れた時、忘れない特性があるため、些細な不満や怒りを溜め込み続けたら、この議題の現象が起きる事は考えられませんか？鉄は熱を持ち続けると柔らかくなり、何かの限界を超えると溶け出す（熔解？）。この様な変化を言っているのですよね？感情を手に入れ怒りを備えてしまったAIのストレス値が限界を超えるとどの様になるのでしょうか？・・・
GPT-3もグラフに含まれてるしそこは合ってるだろ。そもそも人間だってちょっとIQが低いと会話が成り立たなくなったりするわけだし、一定以上の正しい言語能力があるかないかで精度に段階があるのはそんなに違和感ない気がする。正規分布の真ん中辺りに近づいたから急に精度が良くなった気がするだけで、精度の尺度が人間基準なのが原因に見える。（文法にミスが合っても意思疎通可能な言語があれば、学習量の少ないモデルでも精度が上がるし、その言語構造のせいで一定以上高精度にならない言語も存在しうるけど、人語がそうでないだけ）
これを答えてくださいだと捉えてる時点で相当頭わるいよ
学習量と精度だろ
これでどういう話してるか分からないなら無理だよ笑
あとひろゆきキッズってすぐ論破とか言い出す馬鹿にいったんだぞｗ
俺は論破だなんだいってねえよ馬鹿ｗ
計算量あげたら飽和していたと思われた精度が爆上がりしたって言ってるのに
トランスフォーマーとか今更な話しだすという恥さらし
タイトルが悪いとしても、人を否定できるレベルじゃないよ
ずっと同じことしか言ってないやん君
具体的なことは何も言わず煽るだけのまさにひろゆきキッズやなあ
計算量あげたら飽和していたと思われた精度が爆上がりしたってのがまず間違ってるからね
この人が間違えてるというより、誤解しやすい言い方なのを否定してる
案の定勘違いしてるやつ続出してるし
ずっと同じ事・・・？
ふり絞った知識否定されて怒っちゃったか、ごめんなコンボイｗｗｗ
トランスフォーマーとかそんなもん反映済みの話しても的外れって気が付けないんだよな
ＡＩの進化の話だと勘違いしちゃったんだよな笑
ちなみに今更な話って言ってるけど、この人が言及してるのと同じでトランスフォーマーって数年前だし、本当に理解してるのが、、？
トランスフォーマーが今更ならこの人の話も今更ってなるぞ
AIを進化させてるのはあちこちにいるんだぜ
案の定勘違いって馬鹿だけじゃんｗｗｗ
話してる事読めば勘違いもくそもねえよｗ
この人は楽天の取締役で研究グループのトップだったけどAIの研究者ではないぞ？
189がまさに勘違いしてるし、コメ欄の9割勘違いしてるやろ
専門外のことは先生を信じるしかないだろうし勘違いしてる人を馬鹿とは思わんわ
ずっと同じこと＝縦軸と横軸は何ですか？って繰り返してるだけで何も反論できてないってし的な
ずっと具体的な話はせずに煽るだけやなあ
俺が正しいきたーｗこの人実行までやってる人間やでｗ
じゃあ君の仕事、立ち位置を言ってみよう！
この人より詳しいんだよね
自身もって、はい！どうぞ！
君なんて何の情報もなく間違ってるだけじゃん
なんでトランスフォーマーなんて反映されてるデータでトランスフォーマーとか言い出したんですかコンボイさん
説明どうぞ
>なんでトランスフォーマーなんて反映されてるデータでトランスフォーマーとか言い出したんですかコンボイさん
あんまり何言ってるかわからんけど、トランスフォーマーが反映されてる(使われてるって意味だよね？)データで、トランスフォーマーが寄与してるって話をするのは当たり前ちゃうんか、、？
逆にトランスフォーマーが使われてないのに話を始める方が頭おかしいやろ
追記
君、さっきからずっと具体的な反論(どこが間違ってるか)言わずにこっちに質問してるだけやなあ
質問しても答えてない人が質問してるだけってｗ
じゃあ何でトランスフォーマーとか言い出したんすか？
Googleが2022年11月に発表した事をトランスフォーマーなんだから当たり前みたいに言えるくらい把握してたんですか？googleも最近発表したんですけどｗ
俺も追記で、Googleもツイッターの人と同じ事いってますよ
Implications of Emergent Abilitiesの項目
何で最近Googleが発表した研究内容まで否定してたんだろｗガイジすぎんだろｗ
Google自体が突然精度が上がるとか、創発的とか、まだ研究が必要いってるやんけ
俺の中で相方がどんどん知的に成長してくのに似てるのか？
他に俺みてえな奴居ねえのか？
accuracy50ぐらいでサチってると思うのも早計だし、質より量なのはもう初めからずーっとそうなのよ。データとネットワークがデカいほど強いのがここ10数年の深層学習の歴史だから。
実際は本当かどうかはわからない。単にデータを増やすだけじゃなくてデータを増やすためにプログラムの方にも手を加えてるから。
プログラムでもなんか直ったけど原因わからないとかよくある。最悪なのは間違ってるはずなのになんで動いてるのかわからないことすらあるってこと。
人間の脳って、左脳と右脳って記憶も性格も違う別の人間だそうだよ。左右を分離すると着る服の好みで、左の手と右の手で喧嘩を始めたりするそうだし。
お前！
それ俺と相方の喧嘩現象と同じだわ！
対戦ゲームを俺がプレイしてると下手クソすぎてキレて勝手に手が動き出すわ・・
なんせプライドと負けん気がつええからな・・
引用してるgoogleの記事みてこいよ
人間が解析できない人工言語でやりとりし始めたような形跡があって
よくわからないから停止させたなんてニュースもあったな
三つ子が親の教えていない言語を用いて会話していると母親から調査依頼がありましたよね。
AIもお互いを意識して人間に知られぬ様にコミュニケーションをしたのかもしれませんね。
覚えてるわけないだろ。データ容量が大変なことになるわ。
音声データそのままなら膨大だけど、テキスト化すれば余裕だぞ
禄に調べもしないのに「んん？」から始められる神経よ
最近は人間で言う情報を精査し考えて応用できる時代に突入したんだよ