病理組織画像AIの信頼性を測る：Logitレベルの不確実性評価

解説対象論文: Logit-level uncertainty quantification in Vision-Language Models for histopathology image analysis
Biomedical Signal Processing and Control｜被引用数: 0（2026年11月14日時点）

病理組織画像解析におけるVLMの信頼性：不確実性定量化の重要性

どうも、Beyond the Pixelです。近年、人工知能（AI）は教育、交通、医療、金融、法律、小売といった多岐にわたる分野で目覚ましい進歩を遂げています。特に、テキストと画像を同時に理解し処理できるVision-Language Model（VLM）はそのマルチモーダルな能力により、注目を集めています。しかし、人間の生命に直接影響を与える医療分野では、その意思決定の正確性、安全性、そして信頼性が他のどの分野よりも重要となります。大規模な医療データの機密性やモデルの信頼性（信頼性、透明性、セキュリティ）に関する懸念は、VLMを医療応用する上で避けては通れない課題です。この課題に対処するため、本研究では病理組織画像解析に特化したVLMのロジットレベル不確実性定量化（UQ）フレームワークを提案しています。これは、モデルの「自信の度合い」を数値で評価し、その信頼性を客観的に評価する新しいアプローチです。このフレームワークは、VLMが複雑な診断プロンプトに対して高い確率的感度を示す一方で、病理学に特化したPRISMモデルはほぼ決定論的な振る舞いを維持するという重要な違いを明らかにしました。これらの発見は、病理組織画像解析においてVLMの信頼性を評価する上で、ロジットレベルの不確実性定量化がいかに重要であるかを強調しています。

VLMにおける不確実性定量化の必要性

医療分野では、正確で信頼できる意思決定が不可欠です。病理組織画像の分析や解釈は、AI/機械学習（ML）モデルが大きな成功を収めている領域の一つであり、より迅速で包括的な報告、そして効率的な医療提供を支援する補完ツールとして注目されています。しかし、既存の多くのモデルは単一のデータ形式（ユニモーダル）に限定され、対象者のデータプライバシーや評価方法に課題を抱えています。このような背景から、VLMのようなマルチモーダルAIモデルは、臨床データに対して画像とテキストの両方を用いた推論を可能にし、医療応用でより有望な性能を示しています。しかし、特に診断のような高リスクの医療領域においては、リスクを最小限に抑え、人間とAIの協調を促進するために、これらのモデルの信頼性（信頼性、透明性、セキュリティ）を向上させるための多くの課題が残されています。本研究は、ヒストパソロジー（病理組織学）関連のVLMに特化した不確実性定量化の研究が限られている現状を認識し、この重要な不足に対処することを目指しています。

ロジットレベル不確実性定量化フレームワークの概要

この研究で提案されたロジットレベル不確実性定量化（UQ）フレームワークは、VLMの振る舞いを多角的に評価するために設計されています。このシステムは、VILA-M3-8B、LLaVA-Med v1.5、PRISMという3つの異なるモデルに対応しており、埋め込み空間の可視化、画像埋め込みの抽出、温度スケーリングされた自己回帰デコーディング、ロジットの取得、およびペアワイズ不確実性メトリクスの計算といった複数の段階を組み合わせています。

この図は、提案されたロジットレベル不確実性定量化フレームワークの主要な要素を示しており、AIの不確実性を測定する全体的な流れを理解するのに役立ちます。具体的には、病理組織パッチ画像（I）と臨床診断の質問（p）がVLMに与えられ、各VLMの視覚エンコーダーが組織形態の解釈を反映する画像埋め込みを生成します。これらの埋め込みはt-SNEを用いて2次元空間にマッピングされ、モデル間の視覚的特徴表現における構造的な違いが明らかにされます。

この図は、評価対象のVLM（VILA-M3-8B、LLaVA-Med v1.5、PRISM）の埋め込み空間と、研究で使用された病理組織パッチの位置を示しています。それぞれのモデルの埋め込み空間におけるデータポイントの分布と、選択された100枚の画像が空間全体を代表するように配置されていることがわかります。その後、各モデルはテキストによる診断出力を自己回帰的に生成し、その際、デコーディングステップごとに基となるロジットが保存されます。このデコーディングプロセスは、温度T=0.0（決定論的グレーディデコーディング）からT=1.0（最大サンプリングエントロピー）まで0.1刻みで11種類の温度設定に対して、それぞれ30回繰り返されます。これにより、モデルのロバスト性と確率的変動性が評価されます。最終的に、保存された出力ロジットから直接メトリクスが計算され、病理組織学関連VLMの厳密な不確実性定量化が提供されます。

評価対象のVLMと実験設定

この研究では、以下の3つのVLMが評価対象となりました。

VILA-M3-8B

一般的な目的のVLMで、80億のパラメータを持ちます。視覚エンコーダーにはCLIP、基盤となる大規模言語モデル（LLM）にはLlama-3を使用しています。

LLaVA-Med v1.5

生物医学ドメインに特化したVLMで、70億のパラメータを持ちます。視覚エンコーダーにはCLIP、基盤となるLLMにはMistralを使用しています。

PRISM

病理学に特化したVLMで、0.6億のパラメータを持ち、他のモデルに比べて大幅に少ないパラメータ数です。視覚エンコーダーにはVirchow、基盤となるLLMにはカスタムモデルを使用しています。このモデルはKVキャッシュを使用せず、確率的挙動が限定的であるという特徴があります。

不確実性を測る多様な指標

不確実性定量化のため、4つの補完的なメトリクスが使用されました。

コサイン類似度（CS）

これは、対応するロジットベクトル間の角度的アラインメントを測定し、方向性の一貫性を把握します。値が高いほど、反復試行間の整合性が高いことを示します。

イェンセン・シャノン（JS）ダイバージェンス

KLダイバージェンスの対称でより安定したバージョンであり、確率分布間の違いを測定することで、分布の不確実性を評価します。値が低いほど、反復試行間の不確実性が最小限であることを示します。

カルバック・ライブラー（KL）ダイバージェンス

確率分布における方向性のある違いを非対称に定量化します。値が低いほど、高い安定性と再現性のある確率分布を示します。

平均絶対誤差（MAE）

これは、ペアリングされたロジット値間の生のロジットレベルの変動性を直接定量化します。VLMは、温度の上昇とともに単調なMAEの増加を示し、高い温度では収束します。

実験結果：モデルごとの不確実性特性

100枚の病理組織画像と3つのプロンプト複雑度レベル（Q1:基本的な細胞形態評価、Q2:中程度の組織診断とグレーディング、Q3:高度な体系的定量的解析）を用いて、VILA-M3-8B、LLaVA-Med v1.5、PRISMという3つのVLMの不確実性定量化に関する包括的な分析が行われました。すべてのメトリクスは、モデル間で比較可能にするために各モデル内で正規化され、結果値は0から1の範囲で得られています。

コサイン類似度（CS）分析

コサイン類似度（CS）は、モデルの出力の一貫性を示します。

この図は、3つのVLMすべてにおいて、3つの質問の複雑度レベル全体で、正規化されたCSが温度の関数としてどのように変化するかを示しています。値が高いほど、反復試行間の整合性が高いことを示します。VILA-M3は、低温度（T≤0.3）ではCS値が高く（＞0.9）、全体的に最も安定していますが、温度が上がるにつれて単調に減少します。LLaVA-Medの性能は質問に大きく依存し、Q1（基本的な形態）では高い安定性を示す一方で、Q3（高度な定量的解析）では出力の一貫性が急速に低下し、モデルが高度な診断タスクにおいてサンプリングのランダム性に極めて敏感であることが示されました。対照的に、PRISMはT=0.7までのすべての温度で高い類似度（＞0.9）を維持しており、その決定論的な構造が確認されました。T=1.0でもCS値は0.9を超えており、温度スケーリングにもかかわらず確率的変動が非常に小さいことが示されています。

イェンセン・シャノン（JS）ダイバージェンス

JSダイバージェンスは、確率空間における分布の不確実性を測定します。値が大きいほど、反復試行間での変動が大きいことを示します。

この図は、正規化されたJSダイバージェンスが温度に対してどのように変化するかを示しています。値が低いほど、反復試行間の不確実性が最小限であることを意味します。VILA-M3は温度とともに緩やかに上昇し、Q3では特に中程度の温度範囲（T=0.4〜0.7）で顕著な不安定性を示しました。LLaVA-Medは、プロンプトの複雑度レベルによって不確実性に大きな差があり、Q1では全体的に低いダイバージェンス（＜0.2）を示す一方で、Q2とQ3では0から約0.9への急速な上昇が見られました。PRISMは、広範囲の温度でほぼゼロ（＜0.1）の値を維持し、その温度に対する抵抗力を強調しました。

カルバック・ライブラー（KL）ダイバージェンス

KLダイバージェンスは、確率分布における方向性の違いを明らかにします。

この図は、正規化されたKLダイバージェンスが温度に対してどのように変化するかを示しています。値が低いほど、モデルが非常に安定しており、確率分布が高度に再現可能であることを示します。VILA-M3はJSダイバージェンスと同様に温度依存性を示し、高温で飽和に達します。LLaVA-MedはQ1ではほぼゼロのKLダイバージェンスを示し、スケーリング下でも安定した確率分布を維持しますが、Q2とQ3では特定の温度閾値で緩やかな増加が見られ、不確実性の急激なシフトを反映しています。PRISMは他のメトリクスと一貫したパターンを示し、T≤0.7では最小限のダイバージェンス（＜0.1）に留まりました。

平均絶対誤差（MAE）

MAEは、ロジットレベルの変動性を直接定量化します。

この図は、正規化されたロジットのMAEが温度に対してどのように変化するかを示しています。VLMは、高温で収束する単調な増加を示しています。評価されたすべてのモデルは、温度の上昇とともにMAEが単調に増加する傾向を示しました。VILA-M3はQ1で最も遅いMAEの増加を示しましたが、Q2とQ3ではほぼ最大値に近づきました。LLaVA-MedはQ2とQ3でT≈0.4で早期に飽和に達し、高い変動性を示唆しています。PRISMはすべての質問に対して線形で類似した増加を示し、質問の複雑度が予測の確率的性質に影響を与えないことを意味します。高い温度（T≥0.8）ではすべてのモデル・質問の組み合わせが収束し、強い温度スケーリングがモデル固有の特性とプロンプト固有の特性を効果的に凌駕し、支配していることが示唆されました。

モデルごとの特徴と最適な運用点

この研究では、各VLMが異なる不確実性特性を持つことが明らかになりました。{{TABLE_III}}この表は、正規化された不確実性メトリクスの統計を、温度範囲（T∈[0, 1]）全体でモデルと質問の組み合わせごとにまとめたものです。平均値（µ）と温度効果（∆T）が示されています。

VILA-M3：一貫した温度感度

VILA-M3は、すべての診断質問タイプに対してバランスの取れた、しかし無視できない温度感度を示しました。特に複雑なタスクではアラインメントが低下し、中程度から高い不確実性レベルを反映しています。温度がCSに与える影響は顕著ですが、確率的性質の増加と一貫しています。その汎用的なアーキテクチャが、病理組織学に特化したVLMほど堅牢に機能しない一因と考えられます。

LLaVA-Med：質問依存の堅牢性

LLaVA-Medは、不確実性に関して二面性のある挙動を示しました。Q1（基本的な形態）では、すべてのメトリクスで堅牢性と最小限の不確実性が観察されました。しかし、Q2とQ3（複雑な診断）では、いくつかのメトリクスで不確実性の急激な増加が見られ、診断の複雑度がVLMの信頼性レベルに影響を与えることが示唆されました。これは、PMC-15Mデータセットで訓練された生物医学チューニングVLMであっても、複雑なタスクにおける能力が低下する可能性を示唆しています。

PRISM：温度に強いアーキテクチャ

PRISMは、すべての質問タイプで最も低い温度影響を示しました。平均CS値はすべての質問で0.90を超え、JSおよびKLダイバージェンスの平均値は他のVLMと比較して著しく低い値でした。PRISMのアーキテクチャには生成プロセスに温度スケーリングメカニズムが欠けているため、決定論的に振る舞います。この堅牢性にもかかわらず、MAEの温度影響は無視できないほど高く、確率分布が安定している一方で絶対的なロジット値は変動することを示しています。

メトリクス間の相関

不確実性メトリクス間のペアワイズ相関は、これらのメトリクスが同じ基盤となる不確実性現象の補完的な側面を捉えていることを確認しました。{{TABLE_IV}}この表は、正規化された不確実性メトリクス間のピアソン相関係数を示しています。すべてのモデル、質問、温度の組み合わせで集計されています。CSとダイバージェンスメトリクス間には強い負の相関（r≈-0.92）があり、JSとKLダイバージェンス間にはほぼ完全な相関（r=0.997）が見られました。MAEは、CSと他のダイバージェンスメトリクスよりもわずかに強い相関（r=-0.963）を示し、分布レベルと大きさレベルの両方で変動を捉えていることが示されました。

臨床的意義と今後の展望

このフレームワークに基づく分析により、不確実性定量化とモデル信頼性のバランスが取れる温度・メトリクスの組み合わせが特定されました。LLaVA-Medは、基本的な診断質問（Q1）ではT≤0.5でCS＞0.90、JSダイバージェンス＜0.05を維持でき、複雑な質問（Q2およびQ3）では不確実性の増加を抑えるためにT≤0.3に下げるべきです。PRISMは温度に対する耐性があるため、標準的な温度スケーリングは効果が薄く、意味のある不確実性定量化のためにはデータの欠損やガウスノイズ注入といった代替の摂動法が必要です。VILA-M3は、すべての質問でT≤0.4（CS＞0.85）であれば信頼性が高く、T=0.3が整合性と多様性の最適なバランスを提供し、不確実性を考慮する必要があるアプリケーションに適しています。

ドメイン特化とアーキテクチャの重要性

LLaVA-Medは基本的なプロンプト（Q1）では他のVLMより優れた性能を示しましたが、複雑なプロンプト（Q3）では脆弱性が見られました。これは、生物医学データセットでトレーニングされたLLaVA-Medが、一般的なタスクでの自信を向上させる一方で、複雑なタスクでの能力は低下する可能性を示唆しています。PRISMが温度に強く、そのアーキテクチャの制約により決定論的に振る舞うことは、一貫性（低い不確実性）をもたらす一方で、標準的な不確実性定量化技術の使用を制限します。

プロンプトの複雑性と臨床的影響

予想通り、複雑なプロンプト（Q3）は基本的なプロンプト（Q1）と比較して高い不確実性を示すことが確認されました。これは、定量的な診断タスクがVLMの能力にとって依然として課題であることを示しています。ロジットレベルでの確率的性質と温度感度の定量化は、臨床支援システムにおけるセカンドオピニオンの数値的等価物と見なすことができます。高い不確実性を示す出力は、専門家による注意深い解釈が必要となるでしょう。これらの発見は、VLMを臨床病理組織学に導入する上で、不確実性評価がいかに重要であるかを強調しています。不確実性を意識したシステムと信頼性は、モデルアーキテクチャとクエリの複雑さに基づいた温度設定を統合すべきです。

結論

本研究は、病理組織学におけるVLMの信頼性を包括的に評価するために設計された、新規かつモデルにとらわれないロジットレベルの不確実性定量化フレームワークを提案しました。このアプローチは、表面レベルのトークン変動では見えないモデルの振る舞いに関する重要な洞察を提供します。代表的な3つのVLM（VILA-M3-8B、LLaVA-Med v1.5、PRISM）に対する結果は、不確実性がモデルの特化、プロンプトの複雑度、および温度スケーリングに強く依存することを示しています。補完的なメトリクス（CS、KL-JSダイバージェンス、およびMAE）を用いた体系的なペアワイズ比較の結果、病理学に特化したモデルであるPRISMは、あらゆるタイプのプロンプトに対して顕著な堅牢性と高い一貫性を維持することが実証されました。他の汎用VLMおよび生物医学VLMは、基本的な形態学的タスク（Q1）に対しては比較的安定した挙動を示しますが、より複雑な中程度の診断（Q2）および高度な定量的解析（Q3）タスクでは、著しく高い確率的摂動を示します。これらの発見は、VLMにおける信頼性が文脈に強く依存すること、VLMのドメイン特化最適化の限界、そして病理組織学のような高リスク医療アプリケーションにおける不確実性を意識した評価の重要性を強調しています。本研究が、医療提供者および病理組織画像解析に取り組む研究者に対し、VLMの潜在能力と医療アプリケーションにおける利用可能性に関する洞察を提供し、貢献することが期待されます。