7月17日に公開した『PDF Tool API』活用術その１．BERTを組み合わせた名前墨消しについて、入門者向けに解説を補足します。
このページでは、アンテナハウスの「PDF Tool API」の機能の一つである、PDFの墨消しのプログラムをAIを利用して開発した例を紹介しています。
通常の墨消しでは対象となる名前を予め用意します。これに対し、本ページで紹介している応用例の特徴は、PDFから抽出したテキスト内で墨消しの対象となる名前の候補を自動的に抽出することにあります。
テキストの中から名前を認識するのに使用しているのが、「jurabi/bert-ner-japanese」という長い名前のAIです。この名前は本AIモデルがオープンソースとして公開されている保管場所（Hugging Face）における識別名にあたります。次の単語を組み合わせたものです。
Jurabi: このAIモデルを作成・公開した開発者のアカウント名（会社名）
bert：モデルの仕組み
ner：固有表現抽出
japanese：日本語対応
用語を簡単に説明すると、BERTはGoogleが開発した自然言語処理AIモデルです。テキストの解析・分類を行うモデル（判別型）です。Geminiのような生成AI（文章をつくり出す）モデル（生成型）とは別のジャンルになります。
NER（固有表現抽出）は、文章の中から人名、地名など特定カテゴリの固有キーワードを自動で検出・抽出することを意味します。
jurabi/bert-ner-japaneseは、東北大学の乾研究室（現：東北大学 自然言語処理グループ）が、Hugging Faceで公開した、cl-tohoku/bert-base-japanese-v2をチューニングしたものです。東北大学が公開しているのは、Wikipedia（日本語）のテキスト全文をもちいて事前学習したモデルで、そのままでは特定のタスクに使えません。jurabi/bert-ner-japaneseは追加学習により、入力された文章から以下の8種類の固有表現を自動で特定・タグ付けできます。
・人名
・法人名（企業、団体など）
・政治的組織名（政府機関、政党、国際機関など）
・その他の組織名（スポーツチーム、劇団など）
・地名
・施設名（建物、駅、空港など）
・製品名（商品名、書籍、映画、ブランド名など）
・イベント名（祭り、会議、スポーツ大会など
判別型モデルの主な用途はデータの分類・見分けです。生成型モデルと比較して、計算に要するコストが比較的小さく、軽量・高速です。そこで、手元のPCで動かすことができます。
クラウド上の大規模データセンターで動かす必要がないので、機密情報を外部に出したくないといったセキュリティ上の制限がある場合でも適用できる、といった特徴があります。
外部に漏洩してはこまる機密情報を墨消ししたいので、クラウド上の大規模データセンターではなく、手元のPCで処理することを選んでいます。
前回：新連載：AIを利用するソリューション作成（3）AIを使って製品開発のアイデアを詰める
