生成AIが注目されているので、Windows 11に付属しているCopilot無償版（プレビュー）に、いくつかPDF関係の質問をしてどんな回答が得られるか、どの程度役に立つのだろうかと少しばかり試してみました。

幾つか試してみたところ、質問の内容によっては参照元Webページの要約をまとめていることが明らかなケースがときどきあります。

この場合、参照元のWebページが誤っていると、Copilotはその内容の真偽を判断することなく、オーム返しに誤った回答をしています。

例えば、

質問：フォント埋め込みの方法を教えてください。

Copilotの回答：

PDFファイルにフォントを埋め込む方法は、Adobe Acrobat Reader DCを使用して行うことができます。以下にWindowsとMacの両方の方法をご紹介します。

Windows（Adobe Acrobat Reader DCを使用）
Adobe Acrobat Reader DCを開きます。
（以下、省略）

この回答の中では、Acrobat Reader DCでPDFを表示して、そのPDFを「Adobe PDF」ドライバで印刷して新しいPDFを作る方法を説明しています。

これでは、Adobe Acrobat のプリンタドライバで新しくPDFを作り直しているのであって、Adobe Acrobat Reader でフォントを埋め込むとは到底言えないでしょう。

しかも「設定」の説明も誤っています。

Copilotが、このような本質的に誤った回答をしている原因は、この回答で参照しているWebページの内容が誤っていることにあるようです。

Copilotが、この回答で参照しているWebページは次の二つです。

[1] https://office-hack.com/pdf/font-embedding/
[2] https://pdf.wondershare.jp/pdf-edit/font-embed.html

この[1]には「Adobe Acrobat Reader DCでPDFにフォントを埋め込む方法」という説明文があり、Copilotはこの説明文をほぼそのままオーム返しに、自分自身の回答としています。今回の場合、かなり「引用」に近い状態です。

ここで大きな問題は、[1]の内容がまるでデタラメということです。結果的に、Copilotの回答もデタラメになっています。

本来は、Copilotは自分自身が蓄積した知識を使って、Webページの内容の真偽を判断し、情報の取捨選択をしたうえで、正しい情報のみを整理しないといけないはずです。しかし、現時点では、収集した情報の真偽の判断ができていないようです。

ある情報の真偽を判断するのは人間にとっても難しいものです。人間の場合は、例えば実際に行動して、その失敗から学んで正しい知識を身に着けていく場合も多いでしょう。しかし、CopilotのようなAIが、自らの行動の結果に基づいて学ぶということは簡単ではないかもしれませんね。