Ditto: 事前学習済み言語モデルによるディープ エンティティマッチング

エンティティ・マッチング(EM)とは、カスタマー、プロダクト、企業、出版物など、実世界の同じエンティティを参照するエンティティ・レコードのペアを見つける問題です。データ統合における最も根本的な問題の1つであるEMは、データクリーニング、データ統合、知識ベースの構築、エンティティの類似性の検索など、幅広い分野から必要とされるニーズの高い技術です。


Megagon Labsは、BERTのような事前学習済のTransformerベースの言語モデル(LM)を応用した新しいエンティティマッチングシステムであるDittoを公開します。Dittoは言語モデルを微調整することで解決可能なシーケンス分類としてキャストするというシンプルなアーキテクチャで構成されています。さらに、Dittoは、マッチングモデルの性能をさらに高めるために、ドメイン知識の注入、テキストの要約、データの増強などの一連の最適化技術を適用します。実際のベンチマークデータを用いた実験の結果、Dittoは一貫して最先端(SOTA)のマッチング品質を達成し、F1においては従来のエンティティマッチング ソリューションを最大29%も上回る結果に達しました。


既存のエンティティマッチング アプローチと比較し、Dittoは3つ点において他にはない特徴を備えています:

  1. 事前学習済言語モデルを活用することで、言語を高度に理解します。

  2. ノイズが多く、サイズが小さく、テキストが多いエンティティデータに対してより堅牢に対処します。

  3. ラベル効率が良いです。例えば、Dittoは少量のラベルで同等のマッチング品質を得ることができます。

 

デモを見る