ChatGPTを使ってみた

ITmediaに掲載された、中国の研究者らが約4万件の質疑応答から分析したという、ChatGPTと人間の違いに関して。 実は私も少し前に登録して、このChatGPTに質問したりして試してみたことがあるんですが、記事の最初の部分に書かれているChatGPTの特徴的なパターン5点のうち、最後の「捏造をする可能性がある」という点に関してはそこまでの経験は無いけれど、最初の4点に関しては自分のトライアルでも感じた内容。

何よりもビックリしたのは、日本語で質問を入力した場合でも、かなり自然な感じの日本語で回答が返されること。これまでも日本語入力に対応したbotとかAI系のアプリはあったけれど、質問の意味を正しく理解していないような回答だったり、返された日本語での文章が、妙に不自然な印象だったりしたんですが、そんなに多い事例では無いけれど、異なる分野の質問に対しての日本語の回答文は、ほぼ人間が答えたと言われても不思議は無いくらいの品質。ただ、自分で試した範囲で言うと、技術的な質問に関しては、適切と思われるような内容を比較的具体的に説明してくれるんですが、一般的な内容の質問だとか、具体的に事例を出しづらいような質問に関しては、かなり一般的な、言い方は悪いのですが世の中の知識の平均値的な曖昧模糊としたような回答を返してきて、ちょっと不満が残るような印象を感じることも。

そう言う意味では、これまでGoogle先生に聞いていた技術的な質問や疑問に関しては、Googleではその情報へのリンクが殆ど何ですが、それらを有る程度まとめて概要を示してくれる点で、ChatGPTは分かりやすいし人気になるのかなと言う気がします。ただ、その場合は実際に一次情報に当たって比較して整理しているとは限らないから、その解答を鵜呑みにしてしまうことはリスクがあります。実際Windows系の質問を投げて見た時に、MSのKBから引っ張ってきたような情報もあるし、例えばYahoo知恵袋当たりのQ&Aで見るような、多少囓ったことのある人が思い込み半分で回答しているような雰囲気の回答もあったんですよね。それをそのまま「正解」として認識してしまうと、結構危ういかと。一つの情報として、他の情報と比較検討する候補として認識するなら良い素材だと思うんですが。

これまでの似たようなシステムだと、どうしても日本語の不自然さがあるので、情報自体は正しくてもどうしても胡散臭さを感じて、そのまま信じるリスクはそんなに高くなかったのだけれど、このChatGPTはその日本語が妙に自然な書き方をしているので、ついそのまま信じてしまうんですよね。例えば、Windows系の質問を試しに投げた時、最初の質問でちょっとWindowsの「タスクバー」の事を「ツールバー」と間違って書いて質問したところ、自分の認識とは異なる回答が返ってきて「えっ?」と思ったんですよね。最近のWindows11に関しての事だから、最新の22H2当たりで変更されたのかと最初思ったんですが、質問文を読み直してみると、「ツールバー」という言葉が間違って認識された印象を受けたので、「タスクバー」に修正してもう一度内容的には同じ物を投稿してくると、今度はちゃんと自分の認識し同じ内容の答えが戻ってきました。まだ予測変換みたいな事が出来ないのかもしれないし、こちらの質問の仕方が悪かったのが原因だから文句は言えないけれど、この辺りはまだ「ツールとして開発途上」かなという印象でした。でも、それがあっても、この日本語での質問の読解力と日本語での回答文の自然さ正確さは凄いと思う。時代の進化をかなりリアルに感じた時間でした。