質問応答システムの構築において、検索拡張型言語モデル（Retrieval Augmented Language Models, RALM）は、クエリに関連する外部知識を取得し、それに基づいて応答を生成する事実上の標準となっています。しかし、取得された外部知識が誤っている場合、RALMの応答も誤った方向に誘導される可能性があります。
一方で、モデルのスケールや事前学習データの増加に伴い、言語モデル自体の能力は大幅に向上しており、パラメータの中に膨大な知識を保持することが可能になっています。
このような背景から、信頼性の高いRALMベースのQAシステムを構築する際に重要な問いが生まれます。それは、「検索はいつ役立ち、いつ言語モデルのパフォーマンスを損なうのか？」ということです。
この問いに取り組むために、新しい質問応答データセットWiTQAを構築し、異なるサイズの言語モデルと検索モデルを組み合わせた包括的な評価を行いました。この大規模な評価を通じて、実世界のQAシステムにおいて検索拡張を用いるべきか否かを判断するための貴重な知見 を得ることができました。
まずは、データセットの作成プロセスについて詳しく見ていきましょう！
WiTQAデータセット: 事実レベルの人気度を考慮したRALM分析の新たなフロンティア
言語モデル（LM）と検索システムの相互作用を効果的に分析するために、WiTQA（Wikipedia Triple Question Answers）データセットを導入しました。以下にその一例を示します。
- トリプル: （主語:「風の谷のナウシカ」、関係:「掲載誌」、目的語:「アニメージュ」）
- 質問: 「『風の谷のナウシカ』が掲載された日本のアニメ・エンターテインメント雑誌は？」
- 回答: 「アニメージュ」
- Wikipediaのサポート文章: 「…宮崎駿の国際的に有名な漫画『風の谷のナウシカ』は、1982年から1994年にかけて『アニメージュ』で連載されていた…」
WiTQAデータセットは、以下の点で特徴的です。
- 各質問に対して2つの人気度スコアを提供
- Wikipedia内での主語エンティティ（質問の対象となるエンティティ）の出現頻度
- Wikipedia内での主語-関係ペア（エンティティ-関係ペア）の出現頻度
- 各QAペアにはWikipediaのサポート文章が付与されている
主語-関係の人気度スコアにより、言語モデルの事実知識を細かい事実単位で評価できます。対照的に、主語エンティティの人気度は、そのエンティティに関連するすべての事実を同じ重要度として扱います。また、ゴールドサポート文章によって、モデルの推論能力を検索エラーの影響から切り離して評価することが可能になります。これらの特性を活かし、LLMの能力を多角的に分析できる環境を提供します。
WiTQAの作成にはいくつかのステップが必要でした。まずWikipediaからトリプルを抽出し、その後、エンティティと関係の出現頻度に基づいた多様なサンプリング手法を適用しました。これにより、言語モデルが直面する現実の課題、すなわち広範囲にわたる事実の想起を反映したデータセットを作成することを目指しました。
最終的に14,837のQAペア（13,251のユニークな主語エンティティ、32の関係、7,642のユニークな目的語エンティティ）を含むデータセットが完成しました。WiTQAは、EntityQuestionsやPopQAといった既存のQAデータセットよりも、主語-関係の人気度（S-Rカウント）の分布が多様であることを示し、RALMの性能を評価するための包括的なテスト環境を提供します。
図1: 質問分布のヒストグラム：WiTQAは、主語-関係（S-R）カウントの変動が大きいことから、質問の人気度に関して既存のベンチマークよりも多様性が高いことを示しています。
図2: WiTQAデータセット作成の概要
WiTQAデータセットから得られた知見
WiTQAを用いた大規模な実験を通じて、検索拡張型言語モデル（RALM）に関するいくつかの重要な側面が明らかになりました。
- リコールvs.検索
言語モデル（LM）は、検索拡張を用いなくても、人気のある事実を高い精度で想起できることが確認されました。特に、大規模なLMほどリコール能力が向上します。さらに、人気のある事実に関しては、検索エラーの影響により、RALMよりも大規模なLM単体の方が質問応答（QA）の精度が高くなる傾向が見られました。この主張を裏付けるために、RALMの性能と検索エラーの強い相関関係を示しました。 - 検索が有効なケース
あまり一般的でないエンティティや関係を含む質問では、検索を利用する方がLMのリコール能力を一貫して上回ることが分かりました。この結果は、曖昧な情報やあまり言及されていない事実に関する質問に対して、検索拡張が特に有効であることを示しています。しかし、人気のあるエンティティに関する珍しいエンティティ-関係ペアでは、検索精度が低下する傾向がありました。これは、エンティティを含む大量のパッセージの中から適切な情報を特定することが難しくなるためです。最先端のモデルであるGPT-4でさえ、あまり一般的でないエンティティ-関係ペアに苦戦することが分かり、検索拡張が重要な役割を果たす可能性がある領域であることが示唆されました。 - 適応型検索システム
この分析から得られた知見を活用し、エンティティや関係の頻度に基づいて検索を適応的に活用する「選択的メモリ統合（Selective Memory Integration）」を提案しました。この手法を用いることで、QAの性能が最大10.1%向上することが確認され、より高度なコンテキスト認識型のRALMの可能性が示されました。
まとめ
WiTQAデータセットを用いた検索拡張の有効性に関する分析を通じて、現在の質問応答（QA）システムの強みと限界に関する貴重な知見を得ることができました。検索が有効なケースと、逆に検索がモデルの性能を損なうケースを明確にすることで、より高度で洗練されたRALM（検索拡張型言語モデル）の開発に向けた重要な示唆を提供します。
NLPの可能性をさらに押し広げる中で、WiTQAのようなデータセットは、より知的で汎用的な言語モデルの実現に向けた重要な役割を果たすと考えています。
ぜひ、WiTQAのGitHubリポジトリをチェックし、最先端の質問応答システムを試してみてください！
適応型検索の可能性に興味を持ち、私たちの研究結果をさらに詳しく知りたい方は、ぜひ詳細な研究論文をご覧ください。最先端の質問応答システムや言語モデルの拡張に向けて、私たちとともに研究を進めましょう！
執筆者：Seiji Maekawa、Hayate Iso、Megagon Labs
（翻訳：Megagon Labs 東京オフィス）
