視覚言語モデル（VLM）は、テキスト情報と視覚情報のどちらを重視するかについて、表には現れない選択を行っており、その選択はタスクの複雑さによって変化します。
あなたがある症例を分析している場面を想像してください。胸部レントゲン写真にはまったく異常が見られません。しかし、付属の放射線診断報告書には「肺炎の明らかな所見がある」と書かれています。
あなたはどちらを信じますか？画像でしょうか？それともテキストでしょうか？
これは仮定のシナリオではありません。視覚言語モデル（VLM）がヘルスケア、マルチエージェントシステム、RAG生成パイプラインに組み込まれていく中で、視覚情報とテキスト情報が食い違う状況にたびたび直面しています。問題は、これらのモデルは実際にどのシグナルを信頼するのか、という点です。
Megagon Labsでは、この問いに答えるために研究を進めました。そして、私たちが発見したことは、マルチモーダルAIシステム全体にとって重要な意味を持つものでした。
ブラックボックス問題
GPT、Claude、Geminiのような視覚言語モデル（VLM）は、画像とテキストをシームレスに統合することで、私たちのAIとのインタラクションのあり方を大きく変革しました。これらのモデルは、チャートの解析、図の解釈、視覚コンテンツに関する質問への応答を、驚くほど高い精度でこなします。
しかし、ひとつ問題があります。それは、これらのモデルが異なるモダリティの情報をどのように統合しているのか、私たちはまだ十分に理解していないという点です。視覚情報とテキスト情報が一致している場合には、すべてがスムーズに機能します。しかし、現実の世界はそう単純ではなく、矛盾は頻繁に発生します。たとえば：
- 誤った記述のある診断書
- 誤った画像を使用した商品リスト
- 図が不揃いな教材
- 誤解を招く画像が添えられたニュース記事
こうしたハイリスクな応用分野でこれらのシステムを信頼するのであれば、シグナルに矛盾があるときにモデルがどのように振る舞うかを理解する必要があります。
実験の設計
視覚言語モデル（VLM）のバイアスを体系的に調査するために、意図的に画像とテキストの内容を不一致にした、5つの新しいベンチマークを作成しました。それぞれのベンチマークは異なる領域をカバーしています：
数学的推論：
- グラフの連結性：視覚的なグラフとテキストの記述が矛盾している状況で、2つのノードが接続されているかどうかを判定
- 関数の凸型：係数を反転させて式とグラフの形状が一致しない関数において、関数の凸性を予測
- 多項式の根：式とグラフで根が異なるように設計された多項式から、正しい根を特定
科学の問題：物理や化学に関する問題で、テキストの説明が画像とは異なる答えを示すケース
視覚的説明：空間関係のタスクで、テキストが画像と逆の内容を記述しているケース（例：「AはBの上にある」という記述に対して、画像ではAがBの下にある）
各タスクについて、シンプルなものから非常に難易度の高いものまでを用意し、難易度がモデルの振る舞いにどのように影響するかを検証しました。
私たちは、様々な規模とアーキテクチャを持つ、6つの最先端視覚言語モデル（VLM）をテストしました：
- O4-mini、GPT-4o、GPT-4o mini (OpenAI)
- Llama-3.2–90B-vision（Meta）
- Qwen2-VL-72B、Qwen2-VL-7B（Alibaba）
意外な傾向
私たちは、視覚言語モデル（VLM）のバイアスには一貫性がなく、タスクの複雑さによって大きく変化するということを発見しました。
シンプルなタスクでは、モデルは圧倒的にテキストを優先して応答を生成します。しかし、タスクの複雑さが増すにつれて、モデルは画像のほうを重視するようになります。これは微妙な傾向ではなく、タスクやモデルによって、テキスト寄りのバイアスが-74.4%、画像寄りのバイアスが+56.8%といったように、大きく振れるという明確な変化が見られました。
多項式の例
多項式の根を求める問題を考えてみましょう。1次の多項式（単純な一次方程式）が与えられた場合、モデルはほぼ例外なくテキストの数式に基づいて判断を行いました。
しかし、3次や4次の多項式に複雑さを増すと、バイアスは逆転します。モデルは、数式を解析して解くよりも、複雑な曲線のグラフから根を視覚的に特定するほうが容易だと判断しているようで、グラフの視覚情報を重視する傾向に切り替わります。
このパターンは、他のドメインでも繰り返し観察されました：
グラフの連結性：辺の数が10未満の単純なグラフでは、モデルはテキスト記述を信頼しました。しかし、32本以上の辺を持つ複雑なグラフでは、すべてのモデルがほぼ100%視覚情報に依存しました。
関数の凸型：GPT-4oのようなより強力なモデルでは、単純な関数ではテキスト寄りの判断を示し、複雑な式では画像寄りに切り替わるという明確な傾向が見られました。一方で、小型モデルではより不安定な振る舞いを示しました。
科学の問題：簡単な問題ではテキスト情報を主に使用していましたが、難易度が上がると全体的にモデルの精度は低下し、画像の使用頻度は増えるものの、誤った予測も大幅に増加しました。
なぜこのような現象が起きるのか
私たちの分析から、このバイアスを引き起こす主な要因が2つあることが明らかになりました。
1. 認知された難易度
モデルは、与えられたタスクに対してどのモダリティが「より簡単」かについて暗黙的に判断しているように見受けられます。これを検証するため、モデルに対してどちらのモダリティを使う方が簡単だと思うかを明示的に予測させ、それを実際の振る舞いと比較しました。
性能の高いモデルでは、明確な整合性が見られました。つまり、モデルはタスク解決において自分がより簡単だと感じたモダリティを優先して使用していました。GPT-4oにおいては、認知された簡単さと実際のバイアスのあいだに特に強い相関が見られました。
2. 各モダリティ固有の性能
私たちは、テキストのみ、画像のみ、テキストと画像の両方の入力を使ってモデルをテストし、エラーのパターンを分析しました。結果は示唆に富むものでした。
あるモダリティ（たとえばテキスト）のみでの入力でモデルの性能が低かった場合、両方のモダリティが存在するときには画像を優先する傾向が見られました（逆も然り）。しかし、興味深いのはここからです。あるモダリティに特有のエラーが、両方のモダリティが利用可能な場合でも持続しました。つまり、いわゆる「盲点バイアス（blind spot bias）」のようなものが現れました。
たとえば、グラフの連結性タスクでは、画像のみの入力で発生した誤りが、テキストが追加された場合でもそのまま残っていました。これは、モデルがテキストモダリティから得られる訂正的な情報を、実質的に無視していることを意味します。
モデルは混合シグナルの矛盾を検出できるか？
バイアスを理解することは第一歩です。しかし、モデルは画像とテキストが実際に矛盾していることに気づけるのでしょうか？私たちは、不一致を検出するための3つの戦略をテストしました。
戦略1：言語化による緩和（Verbalized Mitigation）
モデルにシンプルにこのように尋ねます：「この画像とテキストの間に矛盾がありますか？」
結果：強力なモデルにとっては驚くほど効果的でした。GPT-4oは、関数の凸型タスクにおいて87.3%の精度で矛盾を検出。小型モデルでは効果が限定的でした。
戦略2：Chain-of-Thought による緩和（CoT Mitigation）
明示的なステップを通じてモデルを誘導します：
- 画像のみを分析する
- テキストのみを分析する
- 比較して矛盾を特定する
結果：特にGPT-4o miniで効果的で、言語化プロンプトよりも大きな改善が見られました。オープンソースモデルでは一貫性に欠ける傾向がありました。
戦略3：分解による緩和（Decomposed Mitigation）
モデルを3回に分けて実行します。1回は画像のみを使用してタスクを解決し、2回目はテキストのみを使用し、3回目はその出力を比較・統合します。
結果：このアプローチは、モデルが各モダリティ単体（視覚、テキスト）でも高い性能を持っている場合に最も効果的でした。GPT-4oはこの方法でグラフの連結性タスクにおいて81.3%の精度を達成しました。
重要な示唆は、どの緩和戦略も万能ではないということです。効果は、使用するモデル、タスクの種類、そして各モダリティに対するモデルのベースライン性能に大きく依存します。
実世界での応用が意味するもの
これらの発見は、即時的かつ実用的な意味を持ちます。
ヘルスケア
医療AIシステムは、モダリティバイアスがないか慎重な評価が必要です。文字による報告に過度に依存するシステムは、画像診断における視覚的手がかりを見逃す可能性があります。逆に、視覚的に微妙な所見を伴う複雑な症例では、システムが詳細なテキスト説明を無視すると、誤った解釈をする可能性があります。
検索拡張生成（RAG）
RAGシステムがマルチモダリティな文書を取得する場合、クエリの複雑さに応じて予測不可能なバイアスが現れる可能性があります。システム設計者は、こうしたバイアスをアーキテクチャ設計時に考慮する必要があります。
マルチエージェントシステム
視覚言語モデル（VLM）が複数の専門エージェントを調整する際には、モダリティの選好を理解することが、信頼性のあるオーケストレーションの鍵となります。特に、異なるエージェントが矛盾する情報を提供する場合には重要です。
教育テクノロジー
視覚言語モデル（VLM）を使用する学習プラットフォームは、問題の難易度に関係なく、教科書の図表とそれに付随する説明が適切に重み付けされるようにしなければなりません。
何が起きているのか？
私たちの研究が明らかにしたのは、現在の視覚言語モデル（VLM）に関する本質的な事実です。それは、これらのモデルは単にマルチモーダル情報を「融合」しているのではなく、文脈に応じてどのシグナルを優先するかを能動的に判断しているということです。
このような振る舞いが必ずしも悪いとは限りません。実際、ある程度は人間の推論にも似ています。私たちも、複雑な視覚情報を前にしたとき、読んだ内容よりも見た情報を優先することがあります。しかし問題は、視覚言語モデル（VLM）はこの判断を透明性のない形で行っており、そのバイアスが時に人間の専門知識と一致しない点にあります。
こうしたモデルがより高度化し、より広く実用化されていくなかで、このようなバイアスを理解し、それに対処することは極めて重要になります。私たちが提供するベンチマークと緩和戦略は出発点にすぎず、今後も多くの課題に取り組んでいく必要があります。
次のステップ
いくつかの重要な問いは、依然として未解決のままです。
一般化：これらのパターンは、数学・科学・空間的推論以外のドメインにも当てはまるのでしょうか？私たちは当てはまると考えていますが、さらなる研究が必要です。
学習の影響：このバイアスは、学習データにおけるモダリティの分布に起因するものなのか、それとも推論時に生じる挙動なのでしょうか？これを理解することは、より適切な学習戦略の設計に役立つ可能性があります。
人間との整合性：視覚言語モデル（VLM）のバイアスは、どのようなケースで人間の専門家の判断と一致し、どのような場合に乖離するのでしょうか？これは、特に高リスクな領域で重要な問いです。
動的な緩和：タスクやモデルの性能に応じて、どの緩和戦略を適用すべきかを自動的に判断できるシステムは構築可能でしょうか？
試してみましょう
私たちは、ベンチマークおよび評価用コードをオープンソースとして公開しました。視覚言語モデル（VLM）を扱っている方は、ぜひご自身のモデルにモダリティバイアスがあるかどうかを検証してみてください。
論文：Mixed Signals: Decoding VLMs’ Reasoning and Underlying Bias in Vision-Language Conflict
コードとベンチマーク：github.com/megagonlabs/Modality-Bias
本番環境での視覚言語モデル（VLM）の信頼性について、どのような経験をお持ちですか？思いがけないモダリティバイアスに直面したことはありますか？あなたのモデルが矛盾する情報をどう処理するかを理解することは、信頼できるシステムになるか、必要なときに失敗するシステムになるかを分ける重要な違いになります。
この研究はMegagon LabsのPouya Pezeshkpour, Moin Aminnaseri, Estevam Hruschkaによって行われ、EMNLP 2025にて発表されました。
