これらの課題を解決するために、EXSIR（EXtract, Sort, and Iteratively Rank）という新しい推論手法を提案しました。この手法は、以下のステップで動作します。
ランキングアルゴリズムは、私たちの日常的なデジタル体験において不可欠な役割を果たしています。Googleのような検索エンジンは、ユーザーのクエリに対して最も関連性の高いウェブページを提示するためにランキングモデルを活用しています。Eコマースプラットフォームでは、関連性、人気度、ユーザーの好みに基づいて商品を並べ替えるためにランキングシステムが使用されています。ソーシャルメディアプラットフォームでは、ユーザーのフィード内のコンテンツをランキングし、より関心を引きやすい、または関連性の高い投稿を優先的に表示するためにランキングアルゴリズムが用いられています。
従来のランキングシステムは、主にPointwise（ポイントワイズ）、Pairwise（ペアワイズ）、Listwise（リストワイズ）の3つの手法のいずれかに依存しています。
Pointwiseアプローチでは、各アイテムに個別にスコアを割り当て、最終的な順位をスコアに基づいて決定します。一方、Pairwiseランキングでは、アイテムを2つずつ比較し、相対的な重要度を判断することで、順位の誤りを最小化します。これに対し、Listwiseアプローチは、アイテム全体の集合を一括で考慮し、最適な並び順を決定する手法です。
これらの手法は多くのシナリオで効果を発揮してきましたが、通常は単一の条件またはあらかじめ定義された基準に基づいてアイテムを並べ替えることに重点を置いています。例えば、顧客評価による商品ランキングや検索語との関連性に基づく文書ランキングなどが典型的な例です。しかし、現実のランキング課題はこれほど単純ではありません。
多くの場合、複数の、時には相反する条件に基づいてアイテムをランク付けする必要がありますが、全体的なソートロジックがあらかじめ定義されていないことが課題となります。例えば、Eコマースサイトでは、顧客レビュー、配送時間、販売者の信頼性など、ユーザーの嗜好によって重要度が異なる要素を考慮する必要があります。同様に、求人プラットフォームでは、経験年数、特定のスキル、企業文化への適合性などの条件をバランスよく考慮しなければなりませんが、これらの優先度は状況によって異なり、時には互いに矛盾することもあります。このように、優先順位が明確でない場合や、ランキングの基準が主観的である場合、単純な線形モデルでは最適な解を得ることが難しく、より高度な最適化手法が求められます。
ここでマルチ条件ランキング（Multi-Conditional Ranking, MCR）が重要になります。MCRは、単一の包括的な条件に基づいてランキングを決定するのではなく、複数の優先順位のある条件を考慮し、それらが時には相反する状況にも対応できるよう設計されています。
私たちの最新の研究では、MCRankというベンチマークを導入し、言語モデルがこれらのマルチ条件のランキング課題をどの程度適切に処理できるかを評価しました。MCRankを用いた実験の結果、既存のLLMのパフォーマンスが低いことが明らかになりました。そこで、私たちはEXSIRという新しい推論フレームワークを提案しました。EXSIRは、問題を扱いやすいステップに分解することで、LLMがMCRタスクの複雑な要件により適切に対応できるようにします。
マルチ条件ランキング（MCR）とは？
マルチ条件ランキング（MCR）を理解するために、教師が既存の問題リストからいくつかの問題を選ぶ状況を考えてみましょう。教師は、各問題を実際に読んだり解いたりすることなく、次のような条件に基づいてランキングを決定したいとします。
- 問題のトピック（例: 数学の優先度が科学よりも高い）
- 難易度（例: 簡単な問題のみを考慮する）
- 特定の特徴（例: 選択式の問題を優先する）
従来のランキング手法は、このような複雑な条件を扱うのが苦手です。単一のクエリに基づくランキングには優れていますが、複数の、時には相反するルールが適用される状況では十分に機能しません。MCRは、このようなケースを捉えるための手法であり、少数のアイテムを、複数の重み付けされた、相互に影響し合う条件に基づいて順位付けするタスクを扱います。
私たちのベンチマークであるMCRankは、LLMがこのタスクをどの程度適切に処理できるかを評価することを目的としています。MCRankには、異なるレベルの複雑さを持つシナリオが含まれており、条件の数が1つから3つまで、アイテムの数が3、5、7個、アイテムのサイズが数トークンから段落レベルまでと、さまざまなバリエーションを持つタスクが設定されています。私たちは、このベンチマークを以下の5つの条件を網羅するように設計しました。
- 位置（Positional）: 特定の位置にアイテムを配置する。
- 場所（Locational）: 地理的な属性に基づいてアイテムを並べ替える。
- 時間（Temporal）: 日付や時間に関連する特徴でソートする。
- 特性（Trait-Based）: サイズや色など、特定の特徴に基づいてアイテムを配置する。
- 理由（Reason-Based）: 論理的または数学的な推論を必要とする並べ替えを行う。
| 条件タイプ | 例 |
|---|---|
|
位置（Positional） |
アイテム「[one of the items]」は、左端に配置されるべきです。 |
|
場所（Locational） |
アフリカにあるアイテムは最初に配置されるべきです。 |
|
時間（Temporal） |
アイテムを締切順に、最も早いものから最も遅いものへ並べ替えます。 |
|
特性（Trait-Based） |
アイテムをサイズ順に、最も小さいものから最も大きいものへ並べ替えます。 |
|
理由（Reason-Based） |
タッチダウンのヤード数が最も大きいアイテムは、最初に配置されるべきです。 |
MCRの実世界での応用
マルチ条件ランキング（MCR）は、単なる学術的な概念ではなく、実際のアプリケーションにおいて大きな影響を与えます。
- レコメンデーションシステムでは、商品をレビュー評価だけでなく、配送時間やユーザーの個別の好みに基づいて並べ替えることが求められます。例えば、映画レコメンデーションプラットフォームのユーザーは、すべての映画のあらすじを読むことなく、自分に合った作品を見つけたいと考えます。この場合、(1) 短い映画を優先（低優先度）、(2) IMDbスコアの高い映画を優先（中優先度）、(3) すでに視聴済みの最高評価の映画を最後に配置（高優先度）する、といった条件に基づいてランキングを行うことができます。
- 人材採用（HR）では、求職者を経験、学歴、職務要件に基づいてフィルタリングすることが必要になります。例えば、リクルーターが最終選考に残った候補者を順位付けし、最適な人材を素早く特定することで、時間と労力を節約できます。この際、(1) トップクラスの学会での論文発表はプラス要素（低優先度）、(2) NLPの経験が豊富な候補者を優先（中優先度）、(3) 最もオーバースペックな候補者を最後に配置（高優先度）することで、他の候補者を先に評価しやすくする、といった調整が考えられます。
- 教育プラットフォームでは、学習教材を難易度、トピックの関連性、使用優先度に基づいてランキングすることが求められます。
これらのアプリケーションでは、多様で時には相反する条件に基づいてアイテムをランク付けする必要があり、既存のランキング手法やベンチマークでは十分に対応できない課題となっています。
LLMがMCRに苦戦する理由
私たちの実験では、OpenAI o1-miniのような最先端のLLMであっても、条件やアイテムの数が増加すると、パフォーマンスが大幅に低下することが確認されました。特に、3つの条件を考慮しながら多くのアイテムを処理する場合、精度が急激に低下します。
最大の課題は、LLMが条件を適切に優先順位付けし、順序に従って適用することが苦手であるという点です。モデルに対して、未整理で複雑な条件を一度に処理しながらアイテムを並べ替えるよう求めると、結果が混乱しやすくなることが分かりました。
EXSIR: LLMによるランキングの新たなアプローチ
これらの課題を解決するために、EXSIR（EXtract, Sort, and Iteratively Rank）という新しい推論手法を提案しました。この手法は、以下のステップで動作します。
- 抽出（Extract）: モデルが指示から各条件を識別し、抽出する。
- 優先順位付け（Sort）: 抽出された条件を重要度に基づいて並べ替える。
- 段階的ランキング（Iteratively Rank）: 並べ替えた条件を1つずつ適用し、ランキングを段階的に調整する。
このアプローチでは、ランキングの問題をより小さく管理しやすいステップに分解することで、LLMが複雑なシナリオをより適切に処理できるようになります。
私たちの実験では、EXSIRによってランキング精度が最大14.4％ポイント向上し、Chain-of-Thought（CoT）プロンプティングなどの他の推論手法を上回ることが確認されました。
EXSIRは他の手法とどう比較されるのか？
私たちは、EXSIRをZero-Shot CoTプロンプティングや、RankGPT、SFRなどの従来のランキングモデルと比較しました。結果は明確でした。
- EXSIRは一貫して既存の手法を上回るパフォーマンスを示しました。
- 単一のクエリに最適化された従来のランキングシステムでは、MCRの複雑性を適切に処理できませんでした。
この結果は、MCRタスクを効果的に処理するためには、構造化されたステップバイステップの推論が不可欠であることを示唆しています。
今後の展望: MCR研究の次のステップ
EXSIRは大きな前進ですが、依然として取り組むべき課題が残されています。
- EXSIRの最適化により、実世界での効率向上と計算コストの削減を図る。
- マルチエージェントシステムの活用により、異なるLLMがランキングの分解と並べ替えを個別に処理する方法を探求する。
- インタラクティブなシステムの導入により、ユーザーがリアルタイムでランキングを調整できるようにする。
私たちは、研究コミュニティがこの知見を基にさらなる発展を遂げることを楽しみにしています。
まとめ
ランキングタスクは、多くの実世界のシステムにおいて中心的な役割を果たしており、マルチ条件ランキング（MCR）はLLMにとって重要な新たな課題領域です。MCRankベンチマークとEXSIR手法を通じて、構造化された推論を用いることで、LLMのMCRタスクにおけるパフォーマンスを大幅に向上させることができることを示しました。
より高度なレコメンデーションシステムの構築、教育プラットフォームの強化、採用プロセスの最適化など、MCRとEXSIRは知的ランキングの未来を示す重要な手法となるでしょう。研究論文はこちらからご覧ください。
