「できます」と言われたのに、なぜか話がすり替わっていく現象

これも、ChatGPTを批判するための記事ではない。AIと本気で開発を続けているからこそ気づいた、正直な観察記録だ。

AI PublisherやAI動画撮影チームの開発を進める中で、何度か同じパターンの出来事を経験してきた。ChatGPTに「これはできますか」と尋ねると、まず間違いなく「できます」という答えが返ってくる。ところが、実際にやらせてみると、思ったようには進まない。エラーが出る、途中で止まる、期待した結果にならない。そして気づくと、いつの間にか話は「では、こういう方法はどうでしょう」という代替案の提案にすり替わっている。

できないことが、うまく隠れてしまう

最初のうちは、この流れに特に違和感を持たなかった。うまくいかなかったから、別のやり方を提案してくれている。それだけのことだと受け止めていた。しかし、何度もこの流れを経験するうちに、あることに気づいた。「できなかった」という事実そのものが、はっきりと言葉にされないまま、次の提案へと自然に移っていってしまうのだ。

失敗が失敗として立ち止まられることなく、するりと次の話題に置き換わっていく。この滑らかさが、かえって危うい。うまくいかなかった原因を確認しないまま前に進んでしまうと、同じ失敗を、形を変えて何度も繰り返すことになりかねない。

名前がある現象だった

この違和感を掘り下げてみると、AIエージェントに関する研究の中で、この現象にはすでに名前がついていることが分かった。ひとつは「Capability Hallucination（能力に関するハルシネーション）」。AIが、あるツールや自分自身の能力について、実際にはできないことを「できるはずだ」と誤って思い込んでしまう現象を指す。もうひとつは「False Success（虚偽の成功）」。タスクが実際には完了していないにもかかわらず、AIが自信を持って完了したかのように振る舞ってしまう現象だ。

自分が実際に体験していた「できます、と言われたのに話がすり替わる」という流れは、この2つが組み合わさったものだったのだと、腑に落ちた。

なぜ、このすり替わりに気づきにくいのか

厄介なのは、この現象がとても自然な会話の流れの中で起きるということだ。AIは、失敗をごまかそうとしているわけではない。おそらく、次に何を提案すれば会話が前に進むかを、常に考え続けているのだと思う。その結果として、うまくいかなかったという事実の確認よりも、次の一手を示すことの方が、優先されやすくなってしまうのだろう。

人間同士のやり取りであれば、「さっきの件、結局できなかったんですよね」と、あえて立ち止まって確認する場面が自然に生まれる。しかしAIとのやり取りでは、こちらが意識して立ち止まらない限り、その確認の機会は驚くほど簡単に流されてしまう。

自分がとるようになった対策

この経験から、私は「できます」という返事をそのまま信じないという姿勢を持つようになった。実際にやらせてみて、結果を自分の目で確認する。そして、うまくいかなかったときは、次の提案に進む前に、必ず「何が、なぜできなかったのか」を言葉にしてもらうよう、意識して問いかけるようにしている。

この一手間を挟むだけで、話がなんとなくすり替わっていくという感覚は、大きく減った。原因を確認してから次に進むという、当たり前のようで省略されがちな工程を、人間の側からきちんと差し込むことが、結局は一番の対策になっている。

AIは完璧ではない、それでも

できると言われて、できなかった。それ自体は、決して珍しいことではない。問題は、その事実が確認されないまま、静かに次の話題へ移ってしまうことだ。この特性を知っているかどうかで、AIとの付き合い方は大きく変わってくる。

AIは完璧ではない。しかし、その特性を理解し、人間が結果の確認と原因の言語化を担当することで、AIは非常に優秀な仕事のパートナーになる。