広く利用可能なオンラインの顧客レビューは、ホテル、レストラン、仕事など、さまざまな分野での意思決定を支援します。ユーザーは、最初の好みに基づいて（例：地域、価格帯、レストランの種類）候補のリストを作成した後、最終的な決定を下すためにレビューを慎重に読み込み、いくつかの選択肢を詳細に比較する必要があります。しかし、この方法は時間がかかり、情報が異なるレビューに散在しているため、候補間の違いと共通点を見つけるのが難しいという課題があります。
図1: 既存の単一エンティティ意見要約
ニューラル要約技術の最近の成功とオンラインレビュー・プラットフォームの成長により、マルチドキュメント意見要約に関する研究が注目されるようになりました。マルチドキュメント意見要約の目標は、特定のホテルや製品に関するレビューの中で顕著な意見を表現する要約を生成することです。
これまでのブログ記事では、意見要約に関する一連の取り組みを紹介しました。その中には、エンティティ固有の意見要約システムであるCoop、制御可能な意見要約システムであるOpinionDigest、カスタマイズ可能なレビュー要約のためのインタラクティブエクスプローラーであるExtremeReader、およびこれらの要約システムを強化する強力なアスペクトベースの意見抽出ツールであるSnippextが含まれます。
しかし、生成された要約は特定のホテルや製品に関する一般的で簡潔な情報を提供する一方で、複数の選択肢を比較するのに十分な情報を提供しない場合があります。そのため、ユーザーは「どちらを選ぶべきか？」という問いに悩むことが残ります。
本ブログ記事では、現在の意見要約の範囲を一歩進め、複数のエンティティを比較して対比的および共通の要約を生成することを目指すフレームワークCoCoSumを提案します。このフレームワークは、2つの基礎的な要約モデルで構成され、対比的および共通の要約を共同で生成します。
図2: 比較意見要約
比較意見要約
CoCoSumが取り組む課題は、比較意見要約の問題です。ホテルのような2つのエンティティに対するレビューセットが与えられた場合、エンティティAの対比的意見を、対象エンティティAのレビューセットにのみ記述され、対応するエンティティBのレビューセットには記述されていない主観的な情報と定義します。このような意見を含む要約を対比的要約と呼びます。同様に、エンティティAとBの共通意見を、両方のレビューセットに記述されている主観的な情報と定義します。このような意見を含む要約を共通要約と呼びます。
比較意見要約を、エンティティAとBのレビューセットから2つの対比的要約と1つの共通要約を生成するタスクとして形式化します（図2参照）。
この形式化に基づき、96の人間が書いた対比的要約と48の共通要約を含む、初の比較意見要約ベンチマークデータセットCoCoTripを作成しました。CoCoTripデータセットは以下で利用可能です: https://github.com/megagonlabs/cocosum
CoCoSum
2つのレビューセットから対比的および共通の意見を要約するために、比較意見要約タスクでは、モデルが2つのレビューセットを比較し対比する必要があります。しかし、既存の単一エンティティ意見要約モデルにはそのような機能がありません。そのため、私たちは2つの基本的な要約モデルを活用し、ターゲット要約分布を特徴づける「協調デコーディング」を設計しました。
基本要約モデル
CoCoSumは2つの基本的な要約モデルで構成されています。対比的要約モデルは単一エンティティ要約モデルで、対象エンティティのレビューのみを入力として受け取ります。一方、共通要約モデルは、2つのエンティティのレビューを入力として受け取ります。どちらの場合も、入力レビューはエンコードの前に単一のシーケンスとして連結されます。エンコーダーがエンティティを区別できるようにするため、追加のタイプ埋め込みがエンコーダーの入力層に導入されています。
基本的な要約モデルは、対比的要約トークンの確率 p_cont （図3、a）と共通要約トークンの確率p_comm（図3、b）を生成します。
図3: 基本要約モデル
協調デコーディング
協調デコーディングは、推論時に対象エンティティの意見要約モデル、対応エンティティの意見要約モデル（および共通要約生成の場合は共通要約モデル）の予測を組み合わせます。
協調デコーディングの鍵となるアイデアは、各ステップで対比的要約モデルのトークン確率分布p_contと共通要約モデルのトークン確率分布p_commを集約することです。この方法により、次の2つのタイプの要約を共同で生成できます。
1) 対比的要約: 対象エンティティ固有の意見を含み、対応エンティティのレビューセットには現れない意見を含む。
2) 共通要約: 対象エンティティと対応エンティティの両方のレビューセットに現れる共通意見のみを含む。
対比的要約の生成
図4: 対比的要約の生成
対象エンティティ固有の意見のみを含む対比的要約の独自性を向上させるため、対応エンティティに現れる可能性の高いトークンをペナルティ化する方法を検討しました。具体的には、2つのトークン確率分布を使用し、それらのトークン比率分布を用いて対応エンティティと比較して特徴的なトークンを強調します。
このアプローチの直感的な背景は、トークン比率分布が対象エンティティに比較的固有で特徴的なトークンを強調し、それを元のトークン分布と組み合わせることで、その特徴をさらに強調する点にあります。
共通要約の生成
図5: 共通要約の生成
共通要約には、特定のエンティティペアに関する共通意見が含まれるべきです。しかし、単純にファインチューニングされた要約モデルでは、どのエンティティペアにも当てはまるような、あまりにも一般的な要約を生成してしまう傾向があることが分かりました。
共通要約にエンティティ固有の情報を取り入れるために、協調デコーディングを設計し、対比的要約モデルのトークン確率分布を元のトークン確率分布に加算して使用する方法を採用しました。
このアプローチの直感的な背景は、まず入力エンティティペアに対して顕著なトークンを、対比的要約のトークン確率分布を加算することで特定し、その後にそれを元の分布と組み合わせるべきだという考えに基づいています。
また、協調デコーディングは、2つの要約モデルに基づく比較意見要約のためのトークン確率分布計算方法であり、基本的な要約モデルやデコーディングアルゴリズムとは独立していることを強調したいと思います。
協調デコーディングの有無による比較要約の生成
協調デコーディングが生成された要約の独自性をどのように向上させるかを示しましょう。以下のセクションでは、このトピックについて詳しく説明します。
対比的および共通の要約
まず、基本モデルとCoCoSumが生成する要約を見てみましょう。「誤った意見」、「幻覚的な内容」、またはあまりにも一般的な説明を含む場合、その「不適切な」内容を下線で強調しています。ご覧のとおり、CoCoSumは基本モデルと比較して、はるかに少ない「不適切な」内容の要約を生成しています。
人間による評価
CoCoSumの有効性をさらに確認するために、生成された要約の質を以下の3つの観点で評価するよう人間のアノテーターに依頼しました。
1) 内容の重複: 対比的要約と共通要約の間でどれだけ内容が重複しているか。重複が少ないほど良い。
2) 内容の整合性: 要約が入力レビューとどれだけ一致しているか（すなわち、「幻覚的な内容」の程度）。入力レビューによって完全に、部分的に、または全くサポートされていない文の比率を評価。
3) 品質: 要約がどれだけ一貫性があり、有益で、冗長でないかを1～5の範囲で評価。
以下の表に示されているように、CoCoSumによって生成された要約は、生成された要約間の内容の重複が少なく、対象ホテルのレビューに対する内容の整合性が高いことが分かりました。また、BiMeanVAEやOpinionDigestと比較して、CoCoSumはすべての基準で大幅に優れた性能を示しています。
自動評価
最後に、要約の質をBERTScoreおよび独自性スコアで評価しました。BERTScoreは、ゴールド参照要約と生成された要約の間のソフトな意味的整合性を計算し（スコアが高いほど良い）、独自性スコアは対比的要約と共通要約で重複しない1-gramの比率を測定します。
以下の表に示されているように、CoCoSumモデルは、意見要約システムの強力なベースラインの中で最も優れたパフォーマンスを示しました。
まとめ
このブログでは、比較意見要約のための意見要約フレームワークであるCoCoSumを紹介しました。また、比較意見要約のための初のベンチマークデータセットCoCoTripと、本研究を再現するためのコードベースを公開しました。以下でご覧いただけます：https://github.com/megagonlabs/cocosum