- ツール紹介
ChatGPTが2023年3月時点でできないこと（精度、鮮度、字数）
今回は、最近話題のChatGPT（GPT-3.5）を取り上げてみます。
ChatGPTとは、OpenAIが2022年11月に公開したチャットボットです。
質問したい内容を入力すると、それに応じた回答をしてくれます。
質疑応答だけではなく、文章の生成や要約、アイデアの提案、英文の翻訳など、さまざまなことができます。
例えば、ChatGPTに「ChatGPTとは？」と質問すると下記のように回答してくれます。
【回答】ChatGPTは、OpenAIによって開発された大規模な言語モデルです。これは、トレーニングデータとして大量のテキストを使用し、文章の生成、翻訳、要約、回答などの自然言語処理タスクを実行できるように設計されています。ChatGPTは、最新の自然言語処理技術を利用して、より正確で自然な応答を生成することができます。ChatGPTを使用することで、ユーザーは自然な対話を行うことができ、あらゆる種類の質問や情報にアクセスすることができます。
他にもできることはあるのですが、今回は逆に、ChatGPTにできないことをご紹介しようと思います。（2023年3月22日時点）
ChatGPTが2023年3月時点でできないこと
正確性を保証できない
これに関しては、すでにご存じかと思いますが。ChatGPTは、時々誤った回答をすることがあります。
大量のデータに基づいて回答するため、一般的には正確な回答を提供しますが、虚偽のデータに基づく回答は誤った内容になります。
また正確性を改善するため、与えられたデータから常に学習していますが、そもそもデータが出回っていない情報などについては、正確な回答をすることはできないようです。
試しに、「ファーストリテイリングの創業者を教えてくだい」と質問をしてみると下記のように回答してくれました。
【回答】ファーストリテイリングの創業者は、柳井正氏（柳井正、Matsuo Yanai）です。柳井氏は1949年に山口県に生まれ、1972年に妻と共に「オンワード商事株式会社」を創業し、その後、1984年に「ファーストリテイリング株式会社」を設立しました。現在、柳井氏は同社の代表取締役会長兼社長として活躍しています。
まず、名前の読みが間違っていますね。
正しくは、「やないただし」です。
また、1972年は実家が経営する「小沼商事株式会社」に入社しています。
このように、回答が正確であるかは人間が確認する必要があります。
最新の情報は回答できない
ChatGPTは、学習したデータに基づいて回答するため、質問した時点で学習されていない情報は回答に反映されません。
OpenAIのChatGPTに関するよくある質問に情報がありました。
Can I trust that the AI is telling me the truth?ChatGPT is not connected to the internet, and it can occasionally produce incorrect answers. It has limited knowledge of world and events after 2021 and may also occasionally produce harmful instructions or biased content.We’d recommend checking whether responses from the model are accurate or not. If you find an answer is incorrect, please provide that feedback by using the “Thumbs Down” button.
引用:https://help.openai.com/en/articles/6783457-what-is-chatgpt
「AIの回答は真実か」という質問に対して、
「学習済みの情報は世界で起こった2021年までの出来事に限られている」とあります。
つまり、回答が最新の情報ではない可能性があることに注意して利用する必要があります。
長い入力は扱えない
ChatGPTが入力として受け取れる日本語の文字数の限界は、最大2048文字のようです。
せっかくなので、これもChatGPTに質問してみました。
【回答】ChatGPTは、入力として最大2048文字までの日本語テキストを受け取ることができます。ただし、入力が長くなるほど、生成された回答の品質が低下する可能性があります。そのため、より良い結果を得るためには、より短い入力を使用することが望ましい場合があります。
しかし、上記であったようにChatGPTは時々誤った回答をすることがあるので、この回答も正しいのか確認してみましょう。
実際に大量の文字数を入れて試してみました。
まずは、5400字入力してみると回答の通り長過ぎてエラーメッセージが出ます。
そこから徐々に文字数を減らしたところ、2700文字付近から回答してくれるようになりました。
また、文字数が多いほど回答の質も下がる可能性があるようなので、文章の要約や、翻訳などで大量の文字数を入力する際は、分割で入力して工夫する必要がありそうです。
2023年3月15日にOpenAIは、ChatGPTの最新言語モデル「GPT-4」を一般公開しました。
提供開始時点では、月額20ドルのサブスクサービス「ChatGPT Plus」に登録しているユーザーだけが利用できます。
新モデルでは回答の質が向上し、入力できる文字数が増えているようです。
ちなみにChatGPTの無料ユーザーは、引き続き旧モデルの「GPT-3.5」で利用できます。
今後AIを活用する場面が増えると思いますが、まだAIでなんでもできるわけではないようなので注意が必要です。
弊社は資料作成・リサーチ・データ収集、SNS話題量調査、各種レポート作成やサイト/LP校正など、クライアント様のニーズに合わせて幅広く業務代行させていただいております。
弊社でお手伝いできることがございましたら、なんなりとお申しつけください。
