人間中心のAI

大規模言語モデル（LLM）の急速な進化は、自然言語処理（NLP）を超えた機械学習（ML）タスクにも革命をもたらし、複雑な能力をより幅広いユーザーにとって利用しやすいものにしました。しかし、このアクセシビリティの向上は、人間を ML ライフサイクルに効果的に組み込むことに関する大きな課題ももたらしています。モデルの学習から意思決定に至るまで、人間の入力を意味のある形で統合することは、モデルの性能向上、公平性の強化、ユーザーの意図や倫理基準との整合性を確保する上で不可欠です。そのため、人間の専門知識と AI 主導のプロセスの間のギャップを慎重に埋めるシステムの構築が、ますます重要になっています。

Megagon Labs の HAI（Human-Centered AI）チームは、人間と AI のシームレスな協働を促進することで、人間中心の AI を発展させることをミッションとしています。特に、人間と LLM のインタラクションに重点を置き、ML ライフサイクル全体において、多様なステークホルダーが自身の知識や嗜好を反映できるよう支援する革新的なツール、ワークフロー、ソリューションを開発しています。私たちは、ユーザーとインテリジェントエージェントをつなぐ会話型インターフェースやインタラクティブな計画支援ソリューションを設計し、コンパウンド AI システムにおける人間と AI の協働を促進します。これらの取り組みを通じて、人間と AI システムの協働のあり方を再定義し、直感的で透明性が高く、実世界の複雑な環境において影響力のあるコラボレーションを実現することを目指しています。

ハイライト

プロジェクト

FactLens

複雑な主張に対して、それを幾つかに分解したサブの主張の品質を評価する指標と自動評価ツールを備えた、精細な事実検証のための評価ベンチマーク。

Tyrogue

ラベリングコストとデータ取得の遅延を最小限に抑えつつ、ユーザーのガイダンスを活用してデータセットの多様性に適応できるフレームワークを提供するアクティブラーニング手法。

MEGAnno

機械学習（ML）実務者がアノテーションタスクを迅速に開始し、ML ライフサイクル全体を通じてアノテーションの継続的な進化を管理できるようにする、LLM 搭載のオープンソースデータアノテーションフレームワーク。

Lapras

LLM の自己説明機能を活用し、ラベリングの判断を説明するとともに、人間による検証のためのシグナルを提供する、多段階型の人間-LLM 協働フレームワーク。

研究論文

DaSH - EMNLP

2022

MegAnno: Exploratory Labeling for NLP in Computational Notebooks

Dan Zhang, Hannah Kim, Rafael Li Chen, Eser Kandogan, Estevam Hruschka

We present MEGAnno, a novel exploratory annotation framework designed for NLP researchers and practitioners. Unlike existing labeling tools that focus on data labeling only, our framework aims to support a broader, iterative ML workflow including data exploration and model development. With MEGAnno’s API, users can programmatically explore the data through sophisticated search and automated suggestion functions and incrementally update task schema as their project evolve. Combined with our widget, the users can interactively sort, filter, and assign labels to multiple items simultaneously in the same notebook where the rest of the NLP project resides. We demonstrate MEGAnno’s flexible, exploratory, efficient, and seamless labeling experience through a sentiment analysis use case.