長文テキストマッチングは、自然言語処理（NLP）および情報検索（IR）の分野において重要な課題です。従来の手法は、文全体の意味を適切に捉えることが難しく、計算コストが大きいという問題を抱えています。本研究では、Transformerモデルを用いたシーケンスペア分類（sequence pair classification）による、シンプルかつ効果的な解決策を提案し、最先端のSiameseネットワークベースの手法を上回る性能を実証しました。
長文テキストマッチングの課題
長文テキストマッチングには、いくつかの重要な課題があります。
- グローバルなマッチングセマンティクス
長文テキストでは、重要なマッチングの手がかりが文書全体にまばらに分布しており、従来の手法ではこれらの信号を適切に捉えられず、性能が最適化されないことがあります。 - 階層構造
長文は、文や単語の階層的な構造を持っており、このマルチレベルの構造を適切に捉えることが正確なマッチングには不可欠です。 - 長文の処理
従来のニューラルネットワークでは長文を効率的に処理することが難しく、また、BERTのようなTransformerモデルには最大512トークンという入力長の制約があるため、長文の完全な理解が困難になることがあります。
最近の手法の多くはSiameseネットワークに基づいていますが、これらの手法では2つのテキスト間の相互作用が遅れて発生するため、重要なマッチング信号が失われる可能性があると考えられます。
提案手法: シーケンスペア分類（Sequence Pair Classification）
私たちのアプローチは、従来のSiameseネットワークとは異なり、シーケンスペア分類のフレームワークを採用し、トークンレベルの段階からテキスト間の相互作用を捉える手法です。このシンプルな方法により、文書間のグローバルなセマンティクス、特に関連するトークン同士の関係を、エンコーダの最初のアテンション層から学習することが可能になります。
本手法では、まず2つの文書を個別のトークンシーケンスに分割します。次に、[SEP]トークンでそれらを結合し、[CLS]トークンを先頭に配置します。さらに、一方の文書がトークンの予算を圧迫しないように、事前にトークンの割り当てを計算し、トランケーション後も両方の文書が適切に表現されるように調整します。この連結されたシーケンスを、Transformerエンコーダ（DistilBERT、RoBERTa、Longformerなど）に入力し、[CLS]トークンの出力を最終分類のために利用します。
また、上記の特徴を活用しながら、Transformerベースのエンコーダの上に追加のマッチング信号を組み込む設計も可能です。このアーキテクチャにより、2つのテキスト間の相互作用をモデルの早い段階で捉えることができ、自己注意機構（self-attention）を活用して、異なる粒度でのマッチング信号を学習することが可能になります。
図1: シーケンスペアアーキテクチャの概要
実験設定と結果
本手法をAAN-abstract、OC、S2ORC、PAN、AAN-bodyなどのベンチマークデータセットで評価し、最先端の手法と比較しました。本手法の3つのバリエーションは、使用するTransformerエンコーダによって命名されており、それぞれSEQ-D（DistilBERT）、SEQ-R（RoBERTa）、SEQ-L（Longformer）です。
図2に示されるように、シーケンスペア分類は精度とF1スコアの大幅な向上をもたらし、特に長いシーケンスに対して顕著な改善が見られました。これは、早い段階でテキスト間の相互作用を捉えることで、より豊かなマッチング信号を学習できることを示しています。
図2: 主な実験結果
考察と今後の展望
本研究は、長文テキストマッチングにおける重要な進展であり、文書マッチング、ニュースの重複検出、引用推奨、剽窃検出、求人マッチングなど、さまざまなNLPおよびIRアプリケーションに実用的な影響をもたらします。シーケンスペア分類アーキテクチャの成功は、Transformerモデルが従来のSiameseネットワークよりも複雑なテキストマッチングタスクを効果的に処理できる可能性を示しています。
今後の研究では、Transformerの自己注意機構の計算効率を最適化し、オーバーヘッドを削減することが重要な課題となります。特に、シーケンス長と注意のスパース性のトレードオフを探ることで、より効率的なモデルの開発につながる可能性があります。また、GPT-4などの大規模言語モデル（LLM）を統合することで、事前学習された広範な知識を活用し、長文テキストマッチングの精度をさらに向上させることが期待されます。ただし、LLMの入力長の制約が依然として課題となるため、この問題に対する解決策も必要となります。
まとめ
本研究では、Transformerエンコーダを用いたシンプルなベースライン手法を提案し、テキストマッチングの問題をシーケンスペア分類に変換するアプローチを採用しました。実験結果から、このシンプルな手法が有望な結果を達成し、本分野の最先端手法を上回る性能を示したことが確認されました。
本研究は、既存の多くの手法が採用するSiameseネットワークに対し、シーケンスペア分類アーキテクチャの優位性を示しています。今後の研究では、本研究で提案したベースライン手法を基盤としつつ、Transformerの自己注意機構の計算負荷を軽減しながら、高いパフォーマンスを維持する新たな手法の開発が期待されます。
執筆者：Chen Shen、Megagon Labs
（翻訳：Megagon Labs 東京オフィス）
