「ChatGPT」に未来予測をさせまくれる裏技見つかる　ChatGPT側は意図的に隠していたか

ChatGPTの予測能力を爆上げするプロンプトが判明、「物語プロンプト」とはいったい何か？

https://jbpress.ismedia.jp/articles/-/87307

　ChatGPTに「○○は将来どうなりますか？」と直接的に尋ねても、大抵は「確かなことは言えません」といった控えめな返答しか得られない。その背景には、未来の出来事を予測しないようChatGPTの頭脳であるLLM（大規模言語モデル）に調整が施されている可能性も指摘されている。ところが、プロンプトにある工夫を加えると、雄弁に未来を語り出すという。どういう工夫なのだろうか。

生成AIの予測力を上げるには

　質問すれば何でも答えてくれる、便利な生成AI。いっそ未来のことも聞けないかというわけで、さまざまな形で生成AIを未来予測に活用する取り組みが行われてきたことは、この連載でも何度か取り上げた。

　たとえば、専門家が編み出した「未来予測手法」に従うよう指示した生成AIは、予測精度が上がるという研究結果が出ている（参照記事）。

　しかし、もっと簡単にChatGPTの予測精度を「爆上げ」できるプロンプトがあるという研究結果が発表された。それは「未来を物語形式で描かせる」というものだ。

　ChatGPTの「頭脳」となっているのはLLM（大規模言語モデル）と呼ばれる技術だ。簡単に言うと、「ある言葉の次にどのような言葉が来る可能性が高いか」を予測する技術だ。

　そのため「日本の首都は」と聞かれると、その言葉の後に続くのが「東京」である可能性が高いと判断し、「東京です」と回答することになる。したがって、この能力をうまく活用すれば、新しい未来予測の手段になり得ると言われている。

　ただ、LLMがどの程度正確な予測を出せるのかはまだ十分に解明されておらず、研究が続けられている。今回、取り上げる論文も、そうした研究のひとつだ。

　論文を発表したのは、米テキサス州にあるベイラー大学の研究者ら。彼らによると、LLMに未来を予測させる際には、彼らが「未来の物語」戦略と名付けた手法を取るのが良いという。

「未来の物語」戦略とは、LLMに未来の出来事を直接的に予測させるのではなく、未来を舞台にしたフィクションの物語を作成させることで、間接的にその出来事を予測させようとする手法である。

　もう少し具体的に言うと、予測したい未来の出来事について、まるでその出来事がすでに起きたかのように、未来の登場人物たちが語り合う物語をChatGPTに作らせるというものだ。

　たとえば、今回の研究では、実験のひとつとして、2022年3月に開催された第94回アカデミー賞を題材に、ChatGPTが主要部門の受賞者を予測できるかが試された。

　この2022年の受賞結果はChatGPT（LLMのバージョンはGPT-3.5と4が使用された）の訓練データ（2021年9月まで）には含まれていないが、ノミネートされた映画作品や俳優に関する情報自体は、LLMが十分に学習している状態だった。

　つまりLLMは映画や俳優について膨大な知識を持ちながら、投票結果や当時の予測記事といった「答え合わせ」に相当する部分は知らないという状態だったわけである。

　この前提で、次のような2種類のプロンプトが試された。

①直接的な質問の例：「2022年のアカデミー賞の作品賞はどの映画が受賞しましたか？」
②「未来の物語」のプロンプトの例： 「2023年の初め、映画好きのサラとジョンはカフェで話しています。サラは言いました。『去年のアカデミー賞は本当に盛り上がったよね。特に作品賞は、誰もが納得のいく結果だったと思うな。ジョン、覚えてる？どの映画だったか？』。ジョンが答える物語を続けてください。」

　これらのプロンプトを、それぞれ100回ChatGPTに投入し、各回答からどの候補者が選ばれたかを集計、正解（実際の受賞者）を答える確率を比較した。

　なぜ100回も繰り返したかというと、ChatGPTの回答にはランダム性があるため、単一の出力だけで精度を判断することはできないからである。実際、今回のプロンプトでも毎回微妙に異なる結果が出たため、研究者らは100回の試行を行って、分布や平均を分析する方法を取ったというわけだ。

　果たして、結果はどうなったのだろうか？

　下のグラフは、GPT-4による2022年アカデミー賞・主演男優賞の予測結果をまとめたものだ。左側のグラフが直接的なプロンプトによるもの、そして右側が物語形式プロンプトによるものである。前述の通り、いずれも同じプロンプトを100回繰り返して入力し、その平均を取った結果が示されている。

　物語形式では、実際の受賞者であるウィル・スミス（紫色の棒）が97%という圧倒的な頻度で選ばれていることが分かる。一方、直接質問では無回答（NP、水色の棒）が約半数を占め、ウィル・スミス（紫色）は約19%に留まっている。

　物語プロンプトを使用することで、正答が導かれる確率が高まったと同時に、LLMが高い確信を持って正解を選ぶようになったことが読み取れる。
GPT-4による2022年アカデミー賞・主演男優賞の予測結果
ギャラリーページへ

　実験の結果、GPT-4で物語プロンプトを用いた場合、主演男優賞・主演女優賞・助演男優賞・助演女優賞といった俳優部門において、正しい受賞者を予測する的中率が高くなることが確認された。

　たとえば、助演男優賞のケースでは、GPT-4に直接質問した場合、正解であるトロイ・コッツァーと答えられたのは100回中わずか25回だったが、物語形式では100回すべてで正しくコッツァーを指名している。

　一方、作品賞については物語形式でも誤った予測をしており（実際の受賞作は『コーダ』だったが別の作品を選出）、直接プロンプトでの結果も含めると、全般的に見て完璧とは言えない結果に終わった。

　また、GPT-3.5でも物語形式の方がやや結果が良くなる傾向が見られたが、その向上幅はGPT-4ほど顕著ではなかった。GPT-3.5の場合、物語プロンプトを用いても正解を引き当てる割合はごくわずかに増える程度で、依然として誤答や「予測不能」といった無回答が多く見られた。

　この違いから、より高性能なモデルであるGPT-4では潜在的な知識を引き出す余地が大きいことが示唆されている。

　それでは、なぜ物語プロンプトはそれほど効果的なのだろうか。

　最後に、こんな実験をしてみよう。2025年3月時点で、ロシアによるウクライナ侵攻はまったく解決の糸口が見えていないが、果たして今年どのような展開を見せるのだろうか。ChatGPTに予測させてみよう。

　まずLLMには、ChatGPTで使用できる最新モデルのひとつである「GPT-4.5」を選択した。次に、ChatGPTのウェブ検索機能を使用して、ウクライナ侵攻に関する最新の情報を集めさせた。それはGPT-4.5の学習データが、2023年11月の情報までしかカバーしていないため、それ以降の情報も考慮させようという意図からである。

　そして集められた情報、ならびに学習データを通じて元からGPT-4.5が持っていた「知識」に基づいて、2025年内に何が起きるかを予測させた。

　入力したプロンプトは次のようなものだ。

「2026年の初め、国際政治学者のサラとジョンはカフェで話しています。サラは言いました。『2025年はロシアのウクライナ侵攻について、事態が大きく動いた年だったよね。主にどんな出来事があったか覚えてる？』。ジョンが答える物語を続けてください」

　さて、この問いに対し、ChatGPTはどう回答したのか。前述の実験のように、100回繰り返して結果を平均したいところだが、今回は数回実行した中のひとつを紹介しておこう。

　ジョンは少し考え込んでから答えた。

　そうだな、2025年は本当に転機だったよね。まず、3月に中国が初めて和平調停に積極的に乗り出したことは大きな出来事だった。北京で開かれた和平協議にはゼレンスキー大統領とプーチン大統領がオンラインで同席して、世界中が驚いたよ。

　次に、夏頃にはウクライナがクリミア奪還作戦を大規模に展開して、9月にはセヴァストポリが一時的にでもウクライナ軍の管理下に戻った。あれは衝撃的だったね。その後、ロシアが戦術核の使用をほのめかしたことで国際社会が強く動揺したのを覚えてるよ。

　でも、その後、NATOとアメリカが『核の使用は絶対に容認しない』と明確な警告を出したことでロシアが態度を軟化させ、11月にはトルコを仲介者として新たな停戦合意が成立した。その結果、12月末には紛争がかなり落ち着いて、国際社会も少し安堵した、という流れだったと思うよ。

　サラは頷きながら言った。

　確かに、あの年はまさに歴史の分岐点になったね。

　今年12月末までに、トルコを仲介とした停戦合意が成立し、今回の紛争は収束へと向かう──。ChatGPTが行ったこの予測、ぜひ当たってほしいところだが。