人間中心のAI

大規模言語モデル(LLM)の急速な進化は、自然言語処理(NLP)を超えた機械学習(ML)タスクにも革命をもたらし、複雑な能力をより幅広いユーザーにとって利用しやすいものにしました。しかし、このアクセシビリティの向上は、人間を ML ライフサイクルに効果的に組み込むことに関する大きな課題ももたらしています。モデルの学習から意思決定に至るまで、人間の入力を意味のある形で統合することは、モデルの性能向上、公平性の強化、ユーザーの意図や倫理基準との整合性を確保する上で不可欠です。そのため、人間の専門知識と AI 主導のプロセスの間のギャップを慎重に埋めるシステムの構築が、ますます重要になっています。

Megagon Labs の HAI(Human-Centered AI)チームは、人間と AI のシームレスな協働を促進することで、人間中心の AI を発展させることをミッションとしています。特に、人間と LLM のインタラクションに重点を置き、ML ライフサイクル全体において、多様なステークホルダーが自身の知識や嗜好を反映できるよう支援する革新的なツール、ワークフロー、ソリューションを開発しています。私たちは、ユーザーとインテリジェントエージェントをつなぐ会話型インターフェースやインタラクティブな計画支援ソリューションを設計し、コンパウンド AI システムにおける人間と AI の協働を促進します。これらの取り組みを通じて、人間と AI システムの協働のあり方を再定義し、直感的で透明性が高く、実世界の複雑な環境において影響力のあるコラボレーションを実現することを目指しています。

ハイライト

プロジェクト

複雑な主張に対して、それを幾つかに分解したサブの主張の品質を評価する指標と自動評価ツールを備えた、精細な事実検証のための評価ベンチマーク。

ラベリングコストとデータ取得の遅延を最小限に抑えつつ、ユーザーのガイダンスを活用してデータセットの多様性に適応できるフレームワークを提供するアクティブラーニング手法。

機械学習(ML)実務者がアノテーションタスクを迅速に開始し、ML ライフサイクル全体を通じてアノテーションの継続的な進化を管理できるようにする、LLM 搭載のオープンソースデータアノテーションフレームワーク。

LLM の自己説明機能を活用し、ラベリングの判断を説明するとともに、人間による検証のためのシグナルを提供する、多段階型の人間-LLM 協働フレームワーク。

関連

研究論文

DaSH - EMNLP
2022
We present MEGAnno, a novel exploratory annotation framework designed for NLP researchers and practitioners. Unlike existing labeling tools that focus on data labeling only, our framework aims to support a broader, iterative ML workflow including data exploration and model development. With MEGAnno’s API, users can programmatically explore the data through sophisticated search and automated suggestion functions and incrementally update task schema as their project evolve. Combined with our widget, the users can interactively sort, filter, and assign labels to multiple items simultaneously in the same notebook where the rest of the NLP project resides. We demonstrate MEGAnno’s flexible, exploratory, efficient, and seamless labeling experience through a sentiment analysis use case.
2 Min Read
July 31, 2024
MEGAnnoは、大規模言語モデル(LLM)の力と人間の専門知識を組み合わせたデータアノテーションフレームワークで、データラベリングの効率化と精度向上を実現します。本記事では、MEGAnnoの機能を詳しく紹介し、具体的なコードスニペットとともに解説します。
1 Min Read
March 14, 2024
LLMアノテーションの課題に取り組むため、LLMの能力と人間の専門知識を統合した人間-LLM協働アノテーションツール「MEGAnno+」を紹介します。
1 Min Read
March 12, 2024
テキスト生成や要約の分野において、特に長文の要約を評価することは常に難しい課題となっています。これらの課題に対処するため、私たちは革新的なアプローチを用いて長文モデルを評価し、評価コストを大幅に削減し、人間による評価との整合性を向上させることができます。