Xより
逆転裁判をAIにプレイさせ、真の推論能力を測る試みが話題に
結果、最も優れていたのはOpenAIのo1だったという。
ただ、コスパで見るとGemini 2.5 Proのほうが優秀とのこと
AIの真の推論能力を測るには「逆転裁判」をプレイさせればいいという素晴らしい発想。
— K.Ishi@生成AIの産業応用 (@K_Ishi_AI) April 16, 2025
この指標は、逆転裁判を使いてAIの「証言から矛盾点を見つけ、それを裏付ける適切な証拠を選び、最も効果的に反論する」実践能力を評価。
その結果、最もの優れた弁護士はo1だった↓pic.twitter.com/L8hdWVPZRP
このベンチマークは、
— K.Ishi@生成AIの産業応用 (@K_Ishi_AI) April 16, 2025
・現在の証言だけに囚われないよう、事件全体の流れを考慮して判断
・「意義あり！」のタイミングを考え、最も効果的な戦略を立てる能力
・裁判の中で明らかになる、新たな情報や証拠が出るたびに戦略を調整する柔軟性
というAIの実践的な知性を測るのにうってつだけだ。 https://t.co/1kbi9bcP8n
「逆転裁判」を攻略するには、証言の積み重ねから矛盾を発見し、嘘を暴く決定的証拠画像を見極め、そして状況に応じて何をすべきかの決断が必要だ。
— K.Ishi@生成AIの産業応用 (@K_Ishi_AI) April 16, 2025
これが暗記だけでは太刀打ちできないというのもポイントだ。事前に蓄えた知識だけではだめで、その場で臨機応変に対応する能力が求められる。
結果、最も優れていたのはOpenAI o1だった。Gemini 2.5 Proも僅差で、2つのモデルは両方ともレベル4まで到達した。そして少し離れてClaude 3.7だ。
— K.Ishi@生成AIの産業応用 (@K_Ishi_AI) April 16, 2025
しかし、コストパフォーマンスを見るとGemini 2.5 Proの圧勝で、o1とほぼ同じ性能を1/10のコストで達成している。
やはり今はGeminiの時代だ。 pic.twitter.com/eiXKG5TSNm
参照元はこちらのHao AI Labのポスト。イリヤの推理小説の例から着想を得ているのが面白い。また、昔流行った日本のゲームがこういう形で再び活躍するのも感慨深い。 https://t.co/1kbi9bcP8n
— K.Ishi@生成AIの産業応用 (@K_Ishi_AI) April 16, 2025
逆転裁判のリーダーボードはこちら。 https://t.co/4ghsyVzvAm
— K.Ishi@生成AIの産業応用 (@K_Ishi_AI) April 16, 2025
この予想外の使われ方に、逆転裁判に関わっていた杉森雅和氏も反応
何と言うか、
— 杉森 雅和 (Masakazu Sugimori) (@m_sugimori) April 19, 2025
25年前に死ぬ思いしながら作ったゲームがこういう使い方されるようになるとは思わなかったよｗ
しかも海外でｗ
にしても1章でAIが詰まるの面白い。
特に1章の難易度はめっちゃ巧さんと三上さんが拘られた部分。
人間には簡単なはずなんよｗ
その推論力ってやつが人間の強みなのか。 https://t.co/vm8MxiVi22
Ghost Trickなんかも推論力求められると思うし、
— 杉森 雅和 (Masakazu Sugimori) (@m_sugimori) April 19, 2025
他にもいっぱいそういうゲームはありますよね。
近代以降、人類の進化はテクノロジーの進化のはず。
そこにゲームが関われる可能性は面白い。
正式に連携して頑張って欲しいなぁ。
……と思うと同時に、
やっぱ僕ら人間はAIに負けないと思う。…
うぉぅ……昼下がりのコーヒーしながらX見たら、
— 杉森 雅和 (Masakazu Sugimori) (@m_sugimori) April 20, 2025
杉森君初の万バズしてて驚きました🫢‼️
僕知ってる！宣伝して良いやつ！
皆様、大カプコン展行ってあげてくださいね。
とても良い展示でした！https://t.co/z7GAZk19wn
あと、SNKさんのショップも期間限定で開催中らしいです。
— 杉森 雅和 (Masakazu Sugimori) (@m_sugimori) April 20, 2025
心斎橋なので昨日行けば良かったー！
関西がゲーム関連で盛り上がるの、とても嬉しい✨https://t.co/edNRzHDUXI
この記事への反応
・くっそ面白い実験ですね、これ。
純粋な実験よりも、ゲームを使った方が成功失敗が分かりやすい部分もあって、
発想が面白い。
・まさかAIの判断力を測る為に逆転裁判が使用されるとは思わなんだ😳
・【悲報】1章で理解できなくて投げ出したワイ
人間じゃなかった
・え！逆転裁判、25年前！？
・AIのベンチマーク、Chess終わったあと、将棋、囲碁、Atari、マリオ、ポケモン、逆転裁判
て日本の娯楽強すぎる
・なんか胸熱だった、人が作ったゲームって凄いんだなって。
きっとAIじゃ出来ない何かはいっぱいあると思う、あって欲しい。
・数年後にはゲームガチオタAIが現れそう。
・1年後くらいには一章余裕でクリアするかもしれないが、結局『どの規模で考える事が出来るか』なような気もする。人間でも失敗する部分として、間を置きすぎたムジュンは思い出せなくて詰まる。とかあるけどアレを更に短くしたような感覚がある…
・最近のAIの進化ってスゲ～って思ってたけど、最初のチュートリアル的な位置付けで難易度の低い一章ですら突破できないのか。翻って人間スゲ～。
・逆転裁判、恐らく1～2年もすればAIが人間以上に正確に異議あり！できるようになってるとは思う
何十年たっても人間にしかできないのは逆転裁判を「楽しむ」こと
しかし選ばれた理由には納得ですわ
逆転裁判123 成歩堂セレクション -Switch
発売日：2019-02-21T00:00:01Z
メーカー：カプコン
Amazon.co.jp で詳細を見る
逆転裁判456 王泥喜セレクション -Switch
発売日：2024-01-25T00:00:01Z
メーカー：カプコン
Amazon.co.jp で詳細を見る
逆転検事1&2 御剣セレクション -Switch
発売日：2024-09-06T00:00:01Z
メーカー：カプコン
Amazon.co.jp で詳細を見る
大逆転裁判1&2 -成歩堂龍ノ介の冒險と覺悟- -Switch
発売日：2021-07-29T00:00:01Z
メーカー：カプコン
Amazon.co.jp で詳細を見る
何歳ですか？
AIにとっては意地悪な問題っぽいのはわかるけど
対抗して検察側もAIを使うようになれば、あとは裁判官をAI化すれば良いだけ
世の中の流れを汲んで最適な判断をしてくれそうだ
弁護士AIに適切に情報をインプットする仕事が必要だな
総当りしたんじゃないか
質問しても平然と嘘ついて間違ってるって指摘してようやく認めるアホだし
逆転裁判だけに対応して学習させるのって攻略見て正解の選択肢選ぶだけの馬鹿と変わらないだろ
だって死亡時刻断定があって、ちゃんとした知識があるとその時刻じゃ断定できねえよ！という部分があるんだもの逆裁の一話
だから今後この推論能力評価方法は役に立たないってことだよ
「AIはこんなことも出来ないのか」って必死こいてAI相手にマウント取ってる奴とかいるけどそれを言ったら人類の大半が解くことすらできない難問でもAIなら5秒で解けるわけで
何より知性も無い、生まれたばかり、人類の生み出したAIに対して必死こいてマウント取って自分の優位性を主張する人間は見苦しいよ
結果論な上どうでもいい事言われても知ったこっちゃねえわ
なんだ
人間と同じだねw
まさかAGIが出てくるまで続けるつもりなんか？
マジの研究の方がやってたんだな
あ、でも今の腐ったヘルジャパン法曹界よりも
このAIの方がマシだと言えるわｗ
もしAIが逆転裁判の攻略情報を既に持ってたら意味ないじゃん
既に持ってる学習データ中に攻略情報がないという保証はあるの？
そもそもいわゆる「弱いAI」しか作られてないんで「考えてる」とは思わない方が良い
自分の主張を裏付ける根拠にしてきたりする
つまり、発売直後の攻略サイトも更新されてない状況なら確実ってわけだな
ストーリー全体で見れば矛盾点だらけだろあれ
むしろそこがポイントだと思うぞ
枝葉の整合性のなさを見抜きながら、ゲームとして正解（推理）を求めている部分はどこか？という高度な思考が必要