エージェンティックAIプランニングの盲点：なぜレイヤーが足りないのか

私たちの提案する「RECAP」は、意図の書き換えを導入します。これは、プランニングを開始する前に、マルチターンにわたる複雑な対話を、明確かつ構造化されたゴールへと変換するプロセスです。

ユーザーの意図を理解することは、対話型アシスタントにとって極めて重要であり、特にエージェントを活用したAIシステムにおいては重要性が高まります。現代のAIシステムはエージェンティックアーキテクチャに依存しており、通常はユーザーと対話するインターフェースと、ユーザーの意図を解釈し複数のエージェントを調整してタスクを実行し、ユーザーの目標を達成するプランナーから構成されています。しかし、ユーザーの意図の解釈に誤りがあると、プランニングに欠陥が生じたり、ユーザーの満足度が低下したり、タスクの実行が非効率になることへ繋がります。

現実の対話では、ユーザーが自分の意図を単一の明確な文章で表現することはほとんどありません。ユーザーは会話の途中で要求を変更し、後から文脈を追加し、関連する別のタスクへと話題を移し、最終的な目的には関係のない詳細を加えることもあります。このようなことのすべてが、ユーザーが実際に何を求めているのかをプランニングシステムが正確に把握することを難しくしています。

私たちの論文「RECAP:RewritingConversationsforIntentUnderstandinginAgenticPlanning」では、プランニングを行う前に対話をユーザーの意図を明確に表現した形に書き換えるという、シンプルでありながら強力なアイデアを探求しています。

RECAPの核心となる考え方

従来の意図分類は、ユーザーの入力をあらかじめ定義されたカテゴリにマッピングします。このアプローチは限定的なドメインでは有効ですが、ユーザーの目標が柔軟で常に変化するオープンな環境ではうまく機能しません。プランナーがユーザーの不明確または古い意図の表現を受け取ると、その後のプランニングと実行にそのエラーが引き継がれてしまいます。

RECAPはこの課題に対して、マルチターン対話を簡潔で曖昧さのない表現に書き換えることで対応します。この書き換えでは、関連する文脈を抽出し、不要な情報を取り除き、ユーザーの最新の目標と整合するように整理されます。

その結果、プランナーはよりクリーンで一貫性のある入力を受け取ることができます。対話の細かなニュアンスをすべて解析する必要がなくなり、簡潔で曖昧さがなく、ユーザーの目的と整合した書き換え結果に基づいて処理を行うことができます。

複雑な対話課題のためのベンチマーク

この問題を研究するために、私たちはRECAPベンチマークを作成しました。このベンチマークは、エージェント型のプランニングにおける意図の書き換えの課題に特化した、800件以上のUSER-AGENT対話インスタンスで構成されています。

あらかじめ定義された意図カテゴリに焦点を当てた既存のデータセットとは対照的に、RECAPベンチマークは、ユーザーの意図が会話の中で進展したり、変化したり、複数の目標にまたがる可能性のある、オープンエンドな対話環境を対象としています。固定されたラベルに依存するのではなく、文脈から直接意図を推定し表現することを可能にする、複雑な対話シナリオを提供します。

RECAPベンチマークは、現実のインタラクションで頻繁に発生する状況、例えば、情報が不足したリクエスト、変化する意図、単一の会話内に複数の目標が存在するケースなどを捉えています。いくつかの指示は本質的に曖昧であり、実行前に解釈が必要です。このような課題は実際のAIアシスタントでは一般的であるにもかかわらず、従来のインテント分類ベンチマークではほとんど表現されていません。RECAPはまた、複数のドメインにまたがる様々な長さの対話も含んでいます。

実験結果が示すこと

実験では、意図の書き換えに対するさまざまなアプローチを比較しました。生の対話そのもの（「ダミー」リライター）は、一貫してプロンプトベースの書き換え手法に劣る結果となりました。単純な要約では情報が失われる可能性がある一方で、関連情報や文脈を保持する、より高度なプロンプト技術はプランニングの有効性を大きく向上させます。さらに、書き換えモデルをDirectPreferenceOptimization（DPO）で追加学習すると、性能はさらに向上します。

結論は明確です。ユーザーの意図をより正確に表現するほど、プランニングの結果は一貫して改善されます。

また、ユーザーエージェント対話を入力として、プランニングの有用性を比較評価するファインチューニングされたLLMベースの評価器も提案しています。

エージェント型システムにおいて重要な理由

LLMエージェント、マルチエージェントワークフロー、またはツールオーケストレーションシステムを構築する研究者や開発者にとって、これらの結果は重要な示唆を与えます。多くのエージェンティックシステムにおける失敗は、プランニングが始まる前の段階で発生しており、その原因はプランナーがユーザーの意図を不完全または不正確に解釈していることにあります。

意図の書き換えレイヤーを導入することで、システムは複雑なマルチターン対話を明確で構造化された目標に変換することができます。このシンプルなアーキテクチャ上の追加（必要であればプランニングモジュール内に組み込むことも可能）は、対話インターフェースとプランニングモジュール間の連携を改善するだけでなく、下流のエージェントが古い、または誤解された指示に基づいて動作してしまうリスクを低減します。

エージェンティックシステムがより高度になるにつれて、その関心は推論能力の向上、ツールの追加、より優れたプランナーの構築に向けられがちです。しかしRECAPは、対話とプランニングの間のインターフェースは推論アルゴリズムそのものと同じくらい重要であることを実証しました。ユーザー意図の明確に表現することから始めることで、プランニングパイプライン全体がより効率的かつ効果的に機能し、結果的にエージェントを跨ぐタスク実行の質を劇的に改善することが可能になります。