生成AIが注目されているので、Windows 11に付属しているCopilot無償版（プレビュー）に、いくつかPDF関係の質問をしてどんな回答が得られるか、どの程度役に立つのだろうかと少しばかり試してみました。
幾つか試してみたところ、質問の内容によっては参照元Webページの要約をまとめていることが明らかなケースがときどきあります。
この場合、参照元のWebページが誤っていると、Copilotはその内容の真偽を判断することなく、オーム返しに誤った回答をしています。
例えば、
質問：フォント埋め込みの方法を教えてください。
Copilotの回答：
PDFファイルにフォントを埋め込む方法は、Adobe Acrobat Reader DCを使用して行うことができます。以下にWindowsとMacの両方の方法をご紹介します。
Windows（Adobe Acrobat Reader DCを使用）
Adobe Acrobat Reader DCを開きます。
（以下、省略）
この回答の中では、Acrobat Reader DCでPDFを表示して、そのPDFを「Adobe PDF」ドライバで印刷して新しいPDFを作る方法を説明しています。
これでは、Adobe Acrobat のプリンタドライバで新しくPDFを作り直しているのであって、Adobe Acrobat Reader でフォントを埋め込むとは到底言えないでしょう。
しかも「設定」の説明も誤っています。
Copilotが、このような本質的に誤った回答をしている原因は、この回答で参照しているWebページの内容が誤っていることにあるようです。
Copilotが、この回答で参照しているWebページは次の二つです。
[1] https://office-hack.com/pdf/font-embedding/
[2] https://pdf.wondershare.jp/pdf-edit/font-embed.html
この[1]には「Adobe Acrobat Reader DCでPDFにフォントを埋め込む方法」という説明文があり、Copilotはこの説明文をほぼそのままオーム返しに、自分自身の回答としています。今回の場合、かなり「引用」に近い状態です。
ここで大きな問題は、[1]の内容がまるでデタラメということです。結果的に、Copilotの回答もデタラメになっています。
本来は、Copilotは自分自身が蓄積した知識を使って、Webページの内容の真偽を判断し、情報の取捨選択をしたうえで、正しい情報のみを整理しないといけないはずです。しかし、現時点では、収集した情報の真偽の判断ができていないようです。
