一般的なパワーポイント資料ですが、本文と表が混ざっている他、ヘッダーのロゴやページ番号など、RAGには不要な情報も含まれています。

PDF解析結果

テキスト変換結果

余計な装飾は除き、必要な情報のみ抽出されています。また、表の内部の結合されたセルも各セルに分割して整理されています。RAGの場合、元の資料のように複数の項目に対して1つの情報しかないと正しく情報の関係性が読み取れないため全てのセルに情報が入っていることが重要です。

一般的なパワーポイント資料ですが、本文と図が混ざっています。AIモデルは図を理解することが難しいため、適切な形式に変換してからAIに読み込ませると情報認識精度が向上します。

PDF解析結果

テキスト変換結果

画像を解析し、画像が意味する情報を構造的に整理してテキストに変換されています。矢印などで示されるフローチャートなどは「Mermaid」という記述方式に変換され、テキストであっても図の要素同士の関係性を適切にAIが認識することができます。

フローチャートは人間には分かりやすい図ですが、AIにとっては矢印の認識が難しいため、項目同士の関係性を理解することが困難です。フローチャートの意味することをAIに認識させるためには、要素を分解して整理する必要があります。また、数式も適切な表記方法に変更したほうが認識精度が向上します。

PDF解析結果

テキスト変換結果

フローチャートが自動的に解析され、Mermaidによるテキストデータに変換されています。この形式であればAIは適切に情報を認識することができます。また、数式もMarkdown記法に変換されたことによってAIが理解できるようになります。

人間であればどの範囲が1つのグループになっているかが理解できますが、AIはこのままの状態で入力しても情報の関係性が理解できません。そのため、適切にグループ化して整理する必要があります。

PDF解析結果

テキスト変換結果

資料の構造を解析して、どれがタイトルで、そのタイトルに紐づいている情報がどれかを整理します。横並びと縦並びが混ざっていても、項番等の情報から自動的に並び直されています。Markdown記法でタイトルも識別しますので、このまま「チャットプロ」に入力すると自動的にAIがどれがタイトルかも認識します。

本文の一部が2段組になっていて、かつその内部に画像が含まれているケースです。また、パンフレットのように文字の装飾も多い資料です。

PDF解析結果

テキスト変換結果

ヘッダー／フッター、不要な装飾、サイドの章番号などは削除されています。また、文章に囲まれた図であっても、文章を先に整理してから、その後に図を配置されています。さらに、図に含まれている情報を詳細に解析し、本文にはないイベント名や参加者名を情報として追記しています。このように画像情報をテキスト化することでデータの品質が向上します。

グラフが入った資料の処理例です。グラフは画像のままだとAIは情報が読み取れないため、AIが認識できる数値データに変換すると認識精度の向上が期待できます。

PDF解析結果

テキスト変換結果

グラフを解析し、縦軸横軸を参照しながらグラフのプロット地点の数値を検出し表として出力されています。このような数値データにするとAIが認識可能な状態となり、グラフについて質問をした場合でも適切に回答を生成することができます。

棒グラフの処理例です。グラフの項目名、色が示す内容、各データの数値が記載されていますが、このままAIに入力しても情報の意味と関係性を理解することが困難です。

PDF解析結果

テキスト変換結果

グラフデータを解析し、各数値の意味、項目ごとの数値を認識して表に整理し直しています。これでAIは数値の意味と関係性が理解できるようになります。

紙の資料をスキャンしたPDFファイルを処理した例です。スキャンしたデータはテキスト情報ではなく全て1枚の画像となるため、AIにとっては認識が難しいデータとなります。また、スキャンデータは解像度が悪かったり、文章が曲がったりしているため、スキャンの品質が悪いとAIの認識精度がさらに低下します。

PDF解析結果

テキスト変換結果

OCRという技術によってスキャン画像から文字を正確に読み取れています。元の画像は若干曲がっているのですが、問題なく認識できています。古い資料をAIのデータに活用したい場合や、レシートなどの紙資料のデータ化にも有効です。

PDFファイルをそのまま「チャットプロ」に入力した場合と、「PDFコンバータ」で変換したファイルを入力した場合とで、同じ質問に対するAI回答の差を紹介します。

元のPDF資料抜粋

資料に図や表などが含まれていたり、資料のレイアウトが複雑な場合は、資料を前処理するとRAGとして使用した際に回答品質が向上します。AIは本文や図中のテキストは認識できますが、グラフの内容を理解したり、図や表全体の意味を理解することは難しいので、以下のような資料は図の情報が欠ける可能性があります。

PDFをそのまま使用した場合

質問：基盤モデルについて、内容詳細と効果について解説してください。

回答：

• データ: 大量かつ高品質なテキスト、画像、数字などのデータが必要です。
• 計算資源: モデルの学習には膨大な計算資源が必要です。
• 人的資源: アルゴリズムを開発・実装する研究者やエンジニアが必要です。

1. 事前学習: 大規模コーパスを用いた「自己教師あり学習」を行います。人間によるアノテーションは不要です。
2. 調整（Fine-tuning）: 大規模言語モデルを、人間が望む出力に近づけるために強化学習などを用いて調整します。ChatGPTはその例です。

• 科学研究: 専門分野に特化したデータで訓練されたモデルや、既存の大規模言語モデルをベースにしたモデルが開発・公開されています。例えば、生命・医科学分野では新薬候補の創出加速などが期待されます。
• 大規模言語モデル（LLM）: GPT-3やGPT-4などが代表例です。

• 学習（開発）: 大量のデータをインプットとして使用し、自己教師あり学習や教師あり学習によってモデルを訓練します。
• 推論（利用）: 学習されたモデルを使って文章やコンテンツを生成します。プロンプト（指示文）を入力することで、目的とするアウトプットを得ることができます。

変換後資料を使用した場合

青色で示す箇所はグラフから、緑色で示す箇所は図から情報を読み取っていることが分かります。このように、同じ資料であっても前処理の仕方によってRAGの回答精度が向上します。

質問：基盤モデルについて、内容詳細と効果について解説してください。