ChatGPTも間違える

小説を書いて、ある程度貯まったら「なろう」さんに投稿する、といういつもの段取りに、最近一つやることが増えました。投稿前にChatGPTにチェックしてもらうということです。

ChatGPTに出す指示のことを「プロンプト」というそうです。ChatGPTに入力するには、途中で改行が効かないので、私はいつもメモ帳に以下のようにプロンプトを書いています。

以下の文章を読んで、感想を教えてください。
事実関係がわかりにくい箇所があれば指摘してください。
また人物名称の取り違えである可能性がある箇所があれば指摘してください。

「冗長に感じるところがあれば指摘してください」とか、「誤字脱字があったら指摘してください」とか追加することもあります。

で、この先に読んでほしい文章を貼り付けて、コピペしてChatGPTに読ませます。8/5になろうさんに投稿した「間話　海辺の街(1)」の時は、こんな回答が返ってきました。（長いので、一部抜粋します）

（前略）ただ、全体的に情報量が多く、特に固有名詞が多いため、読者がキャラクターや場所、目的を理解するのに少し苦労するかもしれません。また、登場人物の行動や会話に対する背景説明が不足している部分があるため、状況の全体像が掴みにくいという印象があります。

事実関係がわかりにくい箇所

1.イェルディアとアナカルシス:

「イェルディアはアナカルシスでも有数の大都市」と書かれていますが、その後、イェルディアとアナカルシスが別の都市として扱われているような描写があります。イェルディアがアナカルシスの一部なのか、それとも別の都市なのかが明確ではありません。（後略）

私本当によく、人名とか地名の取り違えをやらかすので、ChatGPTにもいつも聞くようにしてるんですけど、イェルディアとアナカルシスを取り違えるなんて！アナカルディアならともかく！（※アナカルシスは国名で、イェルディアとアナカルディアは都市名です）

びっくりして、ChatGPTに次の質問を入れました。

先ほど指摘してくれた1.について、アナカルシスが別の都市として扱われている箇所はどこですか。

そしたら！！！

ちょっとびっくりしたんですけど、ChatGPTの回答は以下のとおり。

指摘について誤解がありました。読み返してみると、アナカルシスとイェルディアの関係が混乱しているわけではないようです。両者は同じ都市であり、「イェルディアはアナカルシスでも有数の大都市」という表現が正しく機能しています。

アナカルシスは都市全体の名前であり、その中の主要エリアがイェルディアという理解が自然です。私の指摘は誤解を招くものでした。訂正させていただきます。文章全体では、アナカルシスとイェルディアが同一の都市の異なる部分を指していると考えるのが適切です。

AIでそんなことある！？

一回読んだだけで間違えるのって人間ではよくあると思うんですけど、ChatGPTでもあるんですね…？

回答の精度を上げたかったらもう一度聞いてみるのが有効って入門書で読みましたけど、確かにそのとおりのようです。でもなんか不思議…。