MRIラディオミクスAIの汎用性:プロトコル変動とセグメンテーションシフトへのロバストネス研究

· 論文解説

🎧 この記事を音声で聴く(AI生成Podcast)

解説対象論文: Robustness of radiomics-based machine learning to real-world MRI distribution shifts: a phantom study
Physics in Medicine and Biology|被引用数: 0(2026年8月14日時点)

医療画像診断におけるAIの活用が進む中、MRIの撮影条件や画像のセグメンテーション方法のわずかな違いが、AIモデルの診断精度に大きな影響を与えることが課題となっています。本記事では、この「分布シフト」と呼ばれる現象に対し、ラディオミクスベースの機械学習モデルがどれほどロバスト性(頑健性)を持つのか、そしてその性能を維持するための戦略について、制御されたファントム研究の結果をもとに深く掘り下げて解説します。

研究サマリー(FINER & PICO)
Feasible実施可能性 果物ファントムと既存のMRIシーケンス、PyRadiomics、XGBoostを利用しており、研究デザインは実現可能。
Ethical倫理面 制御されたファントム研究であり、対象者のデータを使用しないため倫理的問題は低い。臨床適用には独立した検証が必要。
Interesting面白さ 実際の臨床環境で課題となるMRIプロトコル変動やセグメンテーションの不一致によるAIモデルのロバスト性について、体系的な評価と改善戦略を提示している。
Novel新規性 従来のフィーチャーレベルのロバスト性研究に加え、モデルの予測性能と不確実性較正のロバスト性を分布シフト下で体系的に評価している点が新規。
Relevant切実さ ラディオミクスベースのAIモデルが臨床現場で広く活用されるための信頼性向上に貢献し、実用化に向けた重要な課題に取り組んでいる。
Measurable測定可能性 F1スコア、精度、Expected Calibration Error (ECE)といった定量的な指標を用いてモデル性能と較正を評価している。
Modifiable派生・改善 プロトコル不変特徴選択、マルチプロトコル訓練、特徴空間増強といった、モデルのロバスト性を向上させるための具体的な戦略が提示されている。
Structured文章構造 論文の構成は、目的、アプローチ、主な結果、意義が明確に記述されており、構造化された研究である。
PICO / PECO対象・介入・比較・結果 P:ファントム内の果物、I:異なるMRIプロトコル・セグメンテーション戦略による分布シフト、C:プロトコル不変特徴、シーケンス固有特徴、全特徴セットを用いたモデル訓練、O:モデルの予測性能と不確実性較正のロバスト性。

はじめに:医療画像AIが直面する「分布シフト」の課題

どうも、Beyond the Pixelです。医療画像診断において、ラディオミクスと機械学習を組み合わせたAIモデルの活用は、疾患の特性評価や個別化医療への大きな可能性を秘めています。ラディオミクスとは、医用画像から輝度分布、形状、テクスチャなどの高次元の定量的な特徴を抽出し、病気の特性評価や個別化医療に役立てる手法です。しかし、これらのAIモデルが実臨床で直面する大きな課題の一つが「分布シフト」です。分布シフトとは、モデルが訓練されたデータと、実際に運用される際のテストデータとの間で、特徴の統計的分布に系統的な変化が生じる現象を指します。具体的には、MRIの撮像プロトコル(撮影条件)のわずかな変更、異なるスキャナーの使用、あるいは画像のセグメンテーション(病変領域の輪郭抽出)方法のばらつきなどが、AIモデルの信頼性や予測性能を著しく低下させる可能性があります。

これまでの研究では、撮像や再ポジショニング、観察者間の変動下における個々のラディオミクス特徴の再現性や再評価可能性が調査されてきました。しかし、これらの特徴レベルの変動が、下流の機械学習モデルの予測性能や不確実性較正(モデルが自信を持って予測した確率が、実際にその通りの精度になること)にどのように影響するかについては、十分に解明されていませんでした。また、臨床研究では、施設やスキャナー間でモデル性能が低下することが報告されていますが、プロトコルシフトやセグメンテーションシフト、およびそれらの相互作用が相対的にどの程度寄与しているかを、制御されていない臨床環境で切り分けて分析することは困難でした。

本研究は、このギャップを埋めることを目的としています。制御されたファントム(人体組織を模倣した人工物)を使用し、MRI撮像プロトコルと画像セグメンテーション戦略の変動によって引き起こされる分布シフトに対するラディオミクスベースの機械学習モデルのロバスト性(頑健性)を体系的に調査しています。さらに、このようなシフト下で予測性能と不確実性較正を維持するための戦略も評価しました。具体的には、以下の3つの点で先行研究を拡張しています。1) プロトコルとセグメンテーションの変動を、訓練データと展開データ間の分布シフトとして明確に位置づけ、モデルが訓練セットにはない撮像条件に遭遇する現実的な展開シナリオをシミュレートしています。2) 特徴セットの設計に関して、単にロバストな特徴を特定するだけでなく、プロトコル不変特徴、シーケンス固有ロバスト特徴、および利用可能な全特徴セットで訓練された分類器の性能を体系的に比較し、特徴の安定性がモデルのロバスト性に繋がるかを評価しています。3) 予測的な不確実性較正分析を通じてモデルの信頼性を評価しており、分布シフトがモデルの予測不確実性を伝達する能力にどのように影響するかという、これまでのファントムベースのラディオミクス研究では探求されていなかった側面を調査しています。

本研究では、プロトコル不変特徴で訓練されたモデルが、プロトコル固有特徴や利用可能な全特徴を用いたモデルと比較して、分布シフトに対してよりロバストであるという仮説を立てています。5つのMRIシーケンス(T2-HASTE, T2-TSE, T2-MAP, T1-TSE, T2-FLAIR)と複数のセグメンテーション戦略(完全、部分、回転)を通じてプロトコル変動をシミュレートすることで、モデル劣化のパターンを定量化し、プロトコルにロバストなモデルを構築するための戦略を特定しました。この制御されたファントムフレームワークは、ラディオミクスモデルの特定の失敗モードを分離し、臨床検証に先立ってロバスト性戦略の定量的なベンチマークを可能にします。ただし、本研究は制御されたファントムに基づいているため、これらの知見は仮説生成型であり、臨床に適用する前には独立した臨床コホートでの検証が必要であることにご留意ください。

実験デザインとデータ取得:果物ファントムを用いた挑戦

本研究の実験フレームワークは、撮像プロトコルとセグメンテーション戦略の変動によって誘発される分布シフトに対して、ラディオミクスベースの機械学習モデルがどのように反応するかを体系的に調査するために設計されました。制御されたファントム環境を用いることで、特定の変動源を分離しつつ、一貫した正解ラベルを維持することが可能となり、異なる種類の分布シフト下でのモデル劣化パターンに関する定量的な洞察を得ることができました。このアプローチは、通常、特徴の再現性に焦点を当てる先行のロバスト性研究を大幅に拡張するものです。

データ取得には、キウイ、ライム、リンゴ、タマネギの4種類をそれぞれ4個ずつ、合計16個の果物からなるファントムを使用しました。このファントムデザインは、多様な組織模倣特性を提供しつつ、複数のスキャンセッションにわたって再現可能なポジショニングと撮像条件を保証するために選択されました。

Figure 1
Figure 1. Figure 1: Fruit Phantom. Representation of fruits placement and MRI scan of the phantom 127 (Bernatz et al 2021) 128 129 130 131解説: 果物の配置とファントムのMRIスキャンを示す。キウイ、ライム、リンゴ、タマネギの4種類の果物からなるファントムが使用された。

ファントムは、それぞれ異なる特徴分布空間を表す5つの distinct なMRIプロトコル(T2強調半フーリエアキジションシングルショットターボスピンエコー (T2-HASTE)、T2強調ターボスピンエコー (T2-TSE)、T2マッピング (T2-MAP)、T1強調ターボスピンエコー (T1-TSE)、T2強調流体減衰反転回復 (T2-FLAIR))で包括的に撮像されました。これらのシーケンスは、臨床で一般的に用いられるコントラストメカニズムの範囲を網羅するように特別に選択され、本研究の知見が現実世界の展開シナリオに関連性を持つことを保証しています。

Bernatzら(2021)によって以前に設計された、撮像条件に制御された変動を導入するための包括的なスキャンプロトコルが踏襲されました。各ファントム設定は、ポジショニングに関連する変動を捉えるために、取得間に完全な再ポジショニングを伴う2回のベースラインスキャンを受けました。さらに、各スキャンは異なる観察者によって独立して2回分析され、特徴抽出における観察者間変動が定量化されました。臨床で発生しうる幾何学的変換をシミュレートするために、ファントムを90度回転させた後、2回の追加スキャンが実施されました。

Figure 3
Figure 3. Figure 3: Fruits Naming and Numbering. Shows the naming of the fruits on the scan when the 165解説: ファントムを90度回転させたスキャンにおける果物の名前と番号付けを示す。キウイ、ライム、リンゴ、タマネギそれぞれ4個のセットがあり、番号はセグメンテーションと画像処理のために識別される。

合計で、このプロトコルは5つのMRIシーケンスと各セグメンテーションタイプごとに、16個の果物 × 2回のスキャン × 2人の観察者 = 64の観測データを生成し、プロトコル、ポジショニング、セグメンテーション、観察者変動がモデル性能に与える影響を分解するための制御された多因子データセットを提供しました。

セグメンテーションによる分布シフトの導入

画像セグメンテーションは、3D Slicerソフトウェア(http://slicer.org)を用いて半自動アプローチで実施され、臨床展開で発生しうる分布シフトの範囲をシミュレートするために意図的に複数のアプローチを組み込みました。

Figure 4
Figure 4. Figure 4: Different type of datasets and dataset segmentations. Two normal segmentation variants were generated using different edge-enhancement thresholds to simulate preprocessing variability.解説: 訓練およびテストのために生成された異なる種類のデータセットと、部分セグメンテーションおよび回転ファントムセグメンテーションによる画像セグメンテーションのバリアントを示す。2種類の通常セグメンテーションが異なるエッジ強調しきい値を用いて生成され、前処理の変動をシミュレートしている。

1つ目のアプローチである「完全セグメンテーション」では、各果物の三次元ボリューム全体を完全にデリネーションしました。初期の境界マーキングにはペイントツールを使用し、体積拡張にはGrow from Seedsアルゴリズムを適用しました。正確な境界定義と観察者間変動の維持のために、ブラシ消去ツールを用いた手動修正も行われました。さらに制御された変動を導入するため、異なるエッジ強調しきい値を用いた2種類の完全セグメンテーションバリアントを作成し、異なる前処理パイプラインやユーザー設定の境界定義における影響をシミュレートしました。

2つ目のセグメンテーションアプローチである「部分セグメンテーション」は、各果物の中心部分のみに焦点を当て、総体積の約50パーセントをカバーしました。この戦略は、動きによるアーチファクト、視野の制限、あるいは異なる臨床施設間での不均一なセグメンテーションプロトコルにより、臓器の完全なカバレッジが損なわれるシナリオをシミュレートするために設計されました。この50%部分ボリュームの摂動は、典型的な臨床における輪郭付けのばらつきよりも大幅に厳しく、モデルの性能劣化の上限を探るための意図的なストレス試験として設計されました。

3つ目のアプローチである「回転セグメンテーション」では、90度回転後に取得されたファントム画像に対して完全セグメンテーション手法を適用しました。これにより、方位の変化に対するモデルの不変性をテストする幾何学的変換が導入されました。これらの多様なセグメンテーション戦略は、セグメンテーションによって誘発される広範な分布シフトに対するテストベッドを集合的に構築しました。

ラディオミクス特徴の抽出と選択戦略

ラディオミクス特徴は、PyRadiomicsソフトウェアを用いて3D Slicer内で抽出され、Image Biomarker Standardisation Initiative (IBSI) のガイドラインに従いました。ボクセルリサンプリング、強度離散化(ビン幅)、正規化、バイアスフィールド補正、補間方法、ROI処理パラメータを含む完全な抽出設定が用いられました。本研究では、形状ベース(14個)、一次統計量(18個)、グレイレベル共起行列 (GLCM, 24個)、グレイレベルランレングス行列 (GLRLM, 16個)、グレイレベルサイズゾーン行列 (GLSZM, 16個)、グレイレベル依存行列 (GLDM, 14個)、隣接グレイ調差分行列 (NGTDM, 5個) の7つのクラスにわたる合計107個のオリジナル特徴を抽出しました。

先行研究(Bernatzら、2021年)の結果に基づき、スキャン-再スキャンおよび再ポジショニング条件下で一致度相関係数(CCC ≥ 0.90)、ダイナミックレンジ(DR ≥ 0.90)、級内相関係数(ICC ≥ 0.90)を用いてシーケンス固有のロバスト特徴を特定しました。その結果、T2-MAPで84個、T2-FLAIRで59個、T1-TSEで29個、T2-TSEで26個、T2-HASTEで20個の特徴が特定されました。さらに、これら8つのプロトコル不変特徴は、全ての5つのシーケンスで同時に3つのロバスト性基準を全て満たしました。これには、Maximum 3D Diameter, Maximum 2D Diameter (Slice), Maximum 2D Diameter (Column), Maximum 2D Diameter (Row), Major Axis length, Minor Axis Lengthといった形状特徴、Elongation、そしてテクスチャ特徴であるGLCM Imc1が含まれます。これら6つの特徴セット(5つのシーケンス固有ロバスト特徴セットと1つのプロトコル不変セット)を予測機械学習モデルの入力として使用しました。

複数のシーケンスを組み合わせて訓練する場合、特徴セットは含まれるプロトコル間で共通する特徴に限定されました。この設計における重要な限界は、8つのプロトコル不変特徴が独立したファントムまたは臨床コホートで発見されたものではなく、同じファントムシステムで実施された先行分析から採用された点です。したがって、この特徴セットは、この制御されたシステム内で以前に測定された特徴の安定性が、下流のモデルロバスト性と関連しているかどうかをテストするために使用されるものであり、これらの特定の特徴が普遍的にプロトコル不変であると主張するものではありません。8つの特徴のうち7つが形状/幾何学的記述子であるため、そのロバスト性はファントム内のオブジェクトの安定した幾何学的形状を部分的に反映している可能性があり、可変的な形態、強度パターン、テクスチャを持つ臨床病変への関連性には独立した検証が必要です。

分布シフトシナリオ:モデルの汎化能力を多角的に評価

本研究の実験デザインは、モデルの汎化能力の異なる側面をテストするために、3つの注意深く構造化された分布シフトシナリオを網羅しました。

  1. 観察者間汎化(In-domainプロトコル安定性)
    最初のシナリオである「In-domainプロトコル安定性」では、訓練とテストが同じMRIプロトコル内で行われるものの、異なる観察者によって導入されたわずかなセグメンテーション変動がある場合のモデル性能を評価しました。このシナリオでは、訓練データと検証データはスキャン1から抽出された特徴(両観察者の測定値)で構成され、テストデータはスキャン2からの両観察者の測定値で構成されました。
Figure 5
Figure 5. Figure 5: Inter-observer generalization (Partial Segmentation Only). For each sequence only measurements of one scan are considered in the training dataset and the test dataset contains all the other measurements解説: 観察者間汎化シナリオにおける訓練/検証データとテストデータの構成を示す。各シーケンスについて、1つのスキャンからの測定値のみが訓練データセットで使用され、テストデータセットには他の全てのスキャンからの測定値が含まれる。

この構成は、MRIプロトコルを一定に保ちながら、スキャン間および観察者間の変動を捉えます。このシナリオは5つのMRIシーケンス全てに体系的に適用され、プロトコル固有特徴とプロトコル不変特徴を用いたモデル性能を直接比較することを可能にしました。

  1. クロスプロトコル分布シフト
    2つ目のシナリオである「クロスプロトコル分布シフト」では、異なる撮像プロトコル間でのモデルの汎化能力を検証しました。これは、訓練時には利用できなかった新しいスキャナー構成やシーケンスでの展開をシミュレートするものです。モデルは単一シーケンスまたは複数シーケンスの組み合わせで訓練され、特徴セットは含まれるプロトコル間で共通する特徴に限定されました。テストは、スキャン2からの部分セグメンテーション測定を全てのシーケンスで個別に行い、クロスプロトコル汎化の厳密なテストを提供しました。このシナリオは、1つの撮像環境で訓練されたモデルが、異なるスキャンプロトコルを持つ施設で展開された場合に性能を維持できるかという疑問に直接取り組みました。インドメインプロトコルとアウトオブドメインプロトコルの違いを
Figure 6
Figure 6. Figure 6: Schematic presentation of difference between the usage of In-domain and Out of domain datasets in model training and testing. In in-domain datasets distribution, the data from the same MRI sequence is used for training and testing. Whereas, in the cross-protocol analysis and compound distribution shift, the test dataset contains test datasets from different unseen sequences. The training dataset might contain either one sequence or the combination of sequences.解説: モデル訓練とテストにおけるインドメインおよびアウトオブドメインデータセットの使用の違いを模式的に示す。インドメインデータセットでは、同じMRIシーケンスのデータが訓練とテストに使用される。クロスプロトコル分析や複合分布シフトでは、テストデータセットには訓練で利用されなかった異なるシーケンスからのデータが含まれる。

に示しています。

  1. 複合分布シフト
    3つ目のシナリオである「複合分布シフト」は、実世界で遭遇する複雑な変動を模倣するために設計され、クロスプロトコル分布シフトとセグメンテーション誘発分布シフトを組み合わせました。通常の完全セグメンテーション(異なるエッジしきい値を持つ2種類)、部分セグメンテーション、および回転セグメンテーションを使用しました。訓練と検証には、セグメンテーション変動(精製済みと未精製)に基づく、2つの利用可能なスキャンからの通常の完全セグメンテーションが使用されました。これにより、16個の果物 × 2回のスキャン × 2回の測定 = 64の観測データが得られました。テストには、利用可能な全てのスキャンからの部分セグメンテーションと回転セグメンテーションが含まれ、合計64の観測データ(部分セグメンテーションで32、回転ファントムセグメンテーションで32)が得られました。
Figure 7
Figure 7. Figure 7: Segmentation induced dataset distribution. Given that each scan comprises of 16 fruits, there are in total 64 observations in training per sequence and 64 in test dataset per sequence (32 in each partial segmentation and rotated phantom segmentation datasets).解説: セグメンテーションによって誘発されるデータセットの分布を示す。各スキャンは16個の果物から構成され、訓練データセットにはシーケンスごとに合計64の観測データ(正規セグメンテーションタイプ1およびタイプ2の各スキャンからのデータ)、テストデータセットにはシーケンスごとに合計64の観測データ(部分セグメンテーションと回転ファントムセグメンテーションのデータ各32)がある。

この包括的なテスト戦略により、幾何学的変換、ボリューム変動、プロトコル変化を同時に含む複合的な分布シフトに対するモデルの信頼性を評価することができました。

機械学習モデルの訓練と評価指標

果物分類にはXGBoost分類器を使用しました。これは、表形式データでの実績ある性能と、勾配ブースティングアンサンブルによる固有の較正特性に基づいて選択されました。モデル開発プロセスでは、分布シフトに対するロバスト性への影響を理解するために、3つの特徴選択戦略を体系的に比較しました。最初の戦略では、全てのシーケンスで特定された8つのプロトコル不変特徴のみを利用し、その安定性が優れたモデル汎化につながるという仮説を立てました。2番目の戦略では、シーケンス固有のロバスト特徴(シーケンスに応じて20~84特徴)を採用し、プロトコルに最適化された特徴が分布シフト下で性能を維持できるかをテストしました。3番目の戦略では、利用可能な全107特徴を使用し、包括的な特徴の包含が個々の特徴の不安定さをアンサンブル平均によって補償できるかを評価しました。

データに存在する反復測定構造(各物理的な果物につき複数のスキャン、観察者、セグメンテーションバリアント)に起因するインスタンスレベルのデータ漏洩を防ぐため、ネストされたグループワイズ交差検定スキームを採用しました。外側の評価ループでは、leave-one-row-out交差検定(4つのフォールド)を使用し、各フォールドでファントム内の4つの果物の完全な1列からの全ての測定値を保持しました。これにより、いかなるフォールドにおいても、同じ物理的な果物が訓練セットとテストセットの両方にデータを提供しないことが保証されました。本研究における独立した物理単位は16個の果物でした。繰り返しスキャン、観察者測定、MRIシーケンス、レイヤー、セグメンテーションバリアントは、これら同じ物理オブジェクトから複数の相関する観測データを生成しました。

モデルロバスト性の定量化
モデルの評価フレームワークでは、分布シフト下でのモデルの挙動を包括的に評価するために、複数の補完的な指標が用いられました。予測性能はF1スコアと精度を用いて定量化され、特にインドメイン(訓練と同じ分布)とアウトオブドメイン(訓練と異なる分布)シナリオ間の性能劣化比に注目しました。これらの比率は、モデルのロバスト性の正規化された尺度を提供し、異なるプロトコルや特徴セット間での直接比較を可能にしました。具体的には、マクロ平均F1スコアを報告しており、これは4つの果物クラス全てを均等に重み付けし、クラス間のモデル性能の偏りのない評価を提供します。

さらに、モデルが不確実性を信頼性高く伝達する能力も定量化しました。これは、特に分布シフトに遭遇し、モデルが訓練領域を超えた予測を行う必要がある場合に、モデルの予測の信頼性にとって極めて重要です。モデルが較正されているとは、その確信度レベルが、全ての確信度レベルにおいて真の正解率と一致することを意味します。例えば、モデルが80%の確信度で予測を出した場合、そのような全ての予測においてモデルの精度が80%であれば、そのモデルは較正されていると言えます。本研究では、不確実性較正をExpected Calibration Error (ECE) を用いて定量化しました。ECEは、予測された確率と実際の結果との整合性を測定するもので、確信度の推定が意思決定を導く臨床展開において重要な考慮事項です。ECEは、トップラベルの確信度(予測された最大クラス確率)を用いて計算され、確信度範囲[0, 1]を10個の等幅ビンに分割しました。較正の文献で一般的に使用される範囲内であり、このファントム研究における限られたテスト観測数に適するように選択されました。また、不確実性較正を改善する可能性を評価するため、Temperature Scaling (TS) とEnsemble Temperature Scaling (ETS) の2つの事後較正手法を実装しました。

モデルのロバスト性を向上させるために、特徴空間データの多様化が可能かを評価するため、「特徴空間ガウスノイズ増強」を実装しました。この増強は、セグメンテーションから派生した実験用データセットとは異なるものです。特徴値は最小-最大正規化され、2つの異なる乱数シードを用いてガウスノイズ(σ = 0.0, 0.1, 0.2)が追加されました。摂動された特徴は元の特徴スケールに変換し直され、元のサンプルごとに6つの摂動バリアントが生成され、元の観測を含む合計7つのコピーとなりました。増強は、増強されたモデルの訓練および検証特徴行列に適用され、ホールドアウトされたテストデータには決して適用されませんでした。事後較正パラメータは、対応するモデルと同じブランチから取得された検証データに適合され、全ての場合においてテストセットとは重複しないデータに適用されました。

研究結果:特徴選択戦略と分布シフトへの影響

特段の記載がない限り、以下に報告される全ての平均 ± 標準偏差の値は、同じ16個の物理ファントムオブジェクトから派生した繰り返しスキャン、観察者、シーケンス、レイヤー、およびセグメンテーションバリアントにわたってプールまたは平均されたものです。したがって、これらの値は、独立した生物学的サンプルやオブジェクトレベルのサンプルにわたる不確実性ではなく、これらの相関する技術的評価条件にわたる変動を反映しています。

プロトコル内安定性:ドメイン内では全戦略が同等

モデルが同じMRIプロトコル内で訓練されテストされた場合、3つの特徴選択戦略全てが概ね同等の性能を達成しました。

Figure 8
Figure 8. Figure 8: Comparison of F1-score when features of the same sequence are used as training vs consistent features vs all features for In-Domain Settings.解説: インドメイン設定におけるF1スコアの比較を示す。訓練に同じシーケンスの特徴を使用した場合と、プロトコル不変特徴(Consistent Features)、および全特徴(All Features)を使用した場合の性能を比較している。

8つのプロトコル不変特徴を利用したモデルは、5つのシーケンス全体で平均マクロ平均F1スコア0.76 ± 0.07を達成しました。シーケンス固有特徴は0.70 ± 0.24、全107特徴は0.73 ± 0.26でした。訓練とテストの条件が一致している限り、いずれの戦略も5つのシーケンス全てにおいて一貫して優れているものはありませんでした。この結果は重要なベースラインを確立します。撮像プロトコルが訓練と展開の間で一定に保たれる場合、特徴選択戦略の選択は分類性能にわずかな影響しか与えません。これは、シーケンス固有の特徴や不安定な特徴でさえも、テストデータの統計的特性が訓練データの特性に密接に類似している限り、正確な分類をサポートできることを示唆しています。ただし、F1スコアの標準偏差からは、プロトコル不変特徴の方が他の2つの特徴セットと比較してより安定した性能を示し、F1スコア平均も比較的改善されていることが示唆されます。後述するように、分布シフトが導入されると、これら3つの戦略は大きく乖離し、ドメイン内性能が展開時のロバスト性の低い予測因子であることが明らかになります。

クロスプロトコル分布シフト:プロトコル不変特徴が優位

クロスプロトコル分布シフト下でのモデル性能評価は、特徴選択戦略に応じて汎化能力に顕著な違いがあることを明らかにしました。

単一シーケンス訓練
単一のMRIシーケンスで訓練されたモデルが、訓練に使用されなかったものを含む5つの全てのシーケンスからの異なるスキャンでテストされた場合、全ての特徴戦略で性能は低下しましたが、その程度は著しく異なりました。

Figure 9
Figure 9. Figure 9: a) Comparison of F1-score when features of the same sequence are used as解説: a) 単一シーケンスで訓練した場合に、同じシーケンスの特徴、プロトコル不変特徴、全特徴を使用した場合のF1スコアの比較を示す。b) 複数訓練シーケンスに共通の特徴、プロトコル不変特徴、全特徴を使用した場合のF1スコアの比較を示す。

(a) プロトコル不変特徴に基づくモデルは、全ての5つのシーケンスで最高の性能を発揮し、全ての単一シーケンス訓練条件で平均F1スコア0.70 ± 0.06を達成し、ドメイン内ベースラインの約92%を維持しました。シーケンス固有特徴は0.414 ± 0.12を達成し、ベースラインの約59%を維持しました。全107特徴は0.410 ± 0.08を達成し、ドメイン内ベースライン性能のわずか56%に相当しました。後者の特徴セットのこの顕著な劣化は、単一プロトコル内では情報があるように見えるものの、汎化しない撮像固有のアーチファクトを符号化する不安定な特徴を含めることの悪影響を示しています。プロトコル不変特徴の性能は、全特徴およびシーケンス固有特徴の性能よりも有意に優れていました(両比較でp<0.001)。このパターンは、効果の大きさと5つのMRIシーケンス全ておよび単一・複数プロトコル訓練条件全てにわたる一貫性によってさらに裏付けられており、主に形状ベースである8つのプロトコル不変特徴の、撮像によって駆動される変動に対する予想されるロバスト性と一致しています。

複数プロトコル訓練
訓練セットに複数のMRIシーケンスを含めることで、全ての特徴戦略でクロスプロトコル汎化が徐々に向上しました。(図9) (b) この改善は、プロトコル不変特徴および全特徴で最も顕著であり、プロトコル数が増えるにつれて性能向上が見られました。対照的に、シーケンスベースの特徴セットでは、3シーケンス後に性能が横ばいになりました。この結果は、訓練中に多様なプロトコル分布に曝露することで、特に適切な特徴選択と組み合わせた場合に、モデルがより汎用的な決定境界を学習できることを示唆しています。

セグメンテーション誘発分布シフト:部分セグメンテーションが大きな課題

セグメンテーション誘発分布シフトは2段階で調査され、それぞれがプロトコルとセグメンテーションの複合変動に対するモデルのロバスト性の異なる側面をテストするように設計されました。

ステージ1:全シーケンスで訓練、セグメンテーションバリアントでテスト
最初の段階では、訓練が最大プロトコル多様性を取り入れた場合に、セグメンテーション誘発シフトがモデルにどのように影響するかを調査しました。モデルは、完全セグメンテーションを用いた5つのMRIシーケンスからの複合データで訓練され、その後、部分セグメンテーションと回転セグメンテーションを用いた個々のシーケンスでテストされました。この構成は、訓練中に多様なプロトコルに曝露することで、テスト時のセグメンテーション誘発分布シフトからモデルを保護できるかをテストするものです。

回転セグメンテーションデータで評価された場合、幾何学的変換を導入しても、訓練されたモデルはF1スコア0.68以上、精度スコア0.69以上でロバストな性能を維持しました。

Figure 10
Figure 10. Figure 10: Comparison of (a) F1-score and (b) Accuracy score when training on all sequences combined using consistent protocol-invariant features vs all features. Red bars show partial segmentation as the test sets, and blue bars show rotated segmentation as the解説: プロトコル不変特徴と全特徴を使用して全シーケンスを組み合わせて訓練した場合の、a) F1スコアと b) 精度スコアの比較を示す。赤色の棒は部分セグメンテーションをテストセットとして使用した場合、青色の棒は回転セグメンテーションをテストセットとして使用した場合の結果である。

(a), (b) これは、両特徴セットで個々のテストシーケンス全体で性能が同等であることを示しています。一方、部分セグメンテーションデータでテストされた場合、全特徴に基づくモデルは壊滅的な失敗を示し、精度はランダムに近いレベル(精度≈0.25、F1スコア≈0.10)まで低下しました。対照的に、プロトコル不変特徴に基づくモデルは、全てのシーケンスで有意に低い性能劣化を示し、T2-MAPおよびT2-TSEで最大60%の精度レベルを維持しました。プロトコル不変特徴は壊滅的な性能損失を防ぎましたが、部分セグメンテーションでの性能は、全てのシーケンスで回転誘発テストよりも一貫して低かったです。これは、セグメンテーションされたボリュームの削減と判別領域の潜在的な損失が、マルチシーケンス訓練の利点を上回ったことを示唆しています。部分セグメンテーションでは、プロトコル不変特徴の性能が全特徴の性能よりも有意に優れていました(p<0.001)。この利点は、5つのテストシーケンス全てにおいて同様に大きく一貫しており、プロトコル不変の形状特徴が、部分セグメンテーションによって導入される解剖学的カバレッジの縮小によって、より広範な全特徴セットよりも影響を受けにくいという予想と一致しています。

ステージ2:複合分布シフト(単一シーケンス訓練 + セグメンテーションシフト)
第2段階では、訓練戦略を逆転させることで複合分布シフトを調査しました。モデルは単一シーケンスで訓練され、その後、セグメンテーション誘発シフトを伴う全てのシーケンスでテストされました。このより困難なシナリオは、クロスプロトコル分布シフトとセグメンテーション変動を組み合わせたものであり、1つの撮像環境で訓練されたモデルが、一貫性のないセグメンテーションを伴う多様なプロトコルで動作する展開条件をシミュレートしています。

単一シーケンスで訓練された場合、全ての可能な特徴セットは、全てのシーケンスでテストされた際に性能劣化をもたらしました。プロトコル不変特徴は最もロバストな性能を示し、F1スコアを0.5以上に維持した唯一の特徴セットでした。

Figure 11
Figure 11. Figure 11: The model is tested on test datasets of all MRI sequences. (a) Comparison of average F1-score when training on different sequences using features of a specific sequence. (b) Comparison of average F1-score using features of different sequences while training on multiple sequences.解説: モデルが全てのMRIシーケンスのテストデータセットでテストされた結果を示す。a) 特定のシーケンスの特徴を使用して異なるシーケンスで訓練した場合の平均F1スコアの比較。b) 複数のシーケンスで訓練しながら、異なるシーケンスの特徴を使用した平均F1スコアの比較。

(a) 注目すべきは、プロトコル不変特徴に基づくモデルが、個々のシーケンスの数が増えても性能が向上しなかったことです。対照的に、シーケンスベースの特徴で訓練されたモデルは、訓練中のクロスプロトコル多様性から恩恵を受け、4つのプロトコル全てで訓練された場合、プロトコル不変特徴に基づくモデルの性能に近づきました。これらの結果は、セグメンテーション誘発分布シフトが、多様なプロトコルで訓練されたモデルであっても大きな課題をもたらし、クロスプロトコルシフトと組み合わせると課題が増幅することを示しています。両方の実験フェーズにわたるプロトコル不変特徴の一貫した優位性は、訓練セットの多様性だけではなく、特徴の安定性が臨床展開で遭遇する複合分布シフトに対するモデルのロバスト性を決定することを示唆しています。

モデル較正と分布シフト下の信頼性:不確実性伝達の脆弱性

予測精度に加えて、臨床環境におけるラディオミクスベースの機械学習モデルの信頼性は、不確実性を信頼性高く伝達する能力に依存します。これは、特にモデルが訓練領域を超えた予測を行う必要がある分布シフトに遭遇する場合に重要です。分布シフト下で誤った予測に自信を持って見えるモデルは、適切に不確実性を伝達するモデルよりも大きな臨床的リスクをもたらします。したがって、プロトコル誘発およびセグメンテーション誘発分布シフト下での不確実性較正を評価しました。

ベースライン評価では、XGBoostモデルが強い分布シフトシナリオにおいて較正のロバスト性に関して敏感であることが判明しました。回転誘発分布シフトでは、ベースラインのExpected Calibration Error (ECE) は0.17 ± 0.06で安定していました。対照的に、部分セグメンテーションによって誘発された強い分布シフトでは、較正誤差は大幅に増加し、モデルの予測は過度な自信を持って行われました(平均ECE 0.32 ± 0.07)。

Figure 13
Figure 13. Figure 13: Comparison of ECE when training on all sequences combined using un- augmented training datasets and augmented training datasets. Red markers show partial segmentation as the test sets, and green markers show rotated segmentation as the test sets. Dots (o) are representing when un-augmented dataset was used whereas cross (x) are representing when augmented dataset was used for training.解説: 非増強訓練データセットと増強済み訓練データセットを組み合わせて全シーケンスで訓練し、異なるテストセグメンテーションタイプでテストした場合のECEの比較を示す。棒は平均ECE値を、線は標準偏差を示す。

さらに、プロトコル不変の「一貫した特徴」で訓練した場合のECEは0.13であったのに対し、全特徴で訓練した場合は0.24に増加しました。プロトコル不変特徴を用いた個別の分析でも、回転セグメンテーション誘発シフトでのECEが0.14から部分セグメンテーション誘発シフトでは0.25に増加しました。

Temperature Scaling (TS) の適用は、全てのシナリオで平均ECEにわずかな変化をもたらしました(0.245から0.247)。部分セグメンテーションでは、較正前0.32から0.30にわずかに改善しました。Ensemble Temperature Scaling (ETS) はTemperature Scalingと同等の性能を示しました。全体として、私たちの結果は、深刻な分布シフトが予測能力の点でモデル性能に影響を与えるだけでなく、不確実性較正の点でも影響を与えることを示しています。較正の脆弱性は、ほとんどの場合、予測性能の階層を反映しています。

ECEはビンベースの指標であり、ホールドアウトされた全ての予測は最終的に16個の独立した物理的な果物から派生しているため、較正の推定値は慎重に解釈する必要があります。報告された平均 ± 標準偏差の値は、大規模な独立コホートからの不確実性ではなく、繰り返しプールされたテスト構成にわたる変動を要約しています。したがって、特徴空間増強後の観測された低い平均ECEは、この制御されたファントム実験における較正挙動の改善を記述する証拠として解釈されるべきであり、事後較正方法に対する優位性を決定的に証明するものではありません。

特徴空間増強が分布シフトに与える影響:較正改善の可能性

次に、特徴空間ガウスノイズ増強が、セグメンテーション誘発分布シフト下でのロバスト性と較正を改善できるかどうかを評価しました。この増強は、分布シフト実験を定義するために使用されたセグメンテーションから派生したデータセットとは異なるものです。部分セグメンテーションテストでは、増強によりECEが0.32から0.28に減少し、予測精度の相対的な改善は11.9%でした。

Table 2
Table 2. Table 2. Average F1-score and calibration error (ECE) across segmentation strategies. In this phantom experiment, feature-space augmentation was associated with lower average ECE, whereas its effect on predictive performance was mixed across sequences (Figure 12).解説: セグメンテーション戦略全体の平均F1スコアと較正誤差(ECE)を示す。このファントム実験では、特徴空間増強が低い平均ECEと関連付けられたことが示されている。

回転誘発シフトでも同様の改善が観察され、予測精度の相対的な改善は3.7%でした。事後的な妥当性分析により、真に摂動されたスカラー特徴値の95.1%が5つのMRIプロトコル全体で元の開発プール最小-最大範囲内に留まり、元の観測範囲を2倍超える摂動は99%未満であることが示されました。幅広いペアワイズ相関構造も維持されました。これにより、増強は物理的に妥当な特徴の組み合わせや多変量依存性の正確な保存をもたらすわけではないが、較正の改善に寄与する可能性があることが示唆されました。

まとめと今後の展望

本研究は、ラディオミクスベースの機械学習モデルがMRI撮像プロトコルや画像セグメンテーション戦略の変動によって引き起こされる「分布シフト」にどのように対応するかを、制御されたファントムを用いて体系的に調査しました。その結果、以下の重要な知見が得られました。

  1. プロトコル不変特徴の優位性: ドメイン内(訓練とテストが同じプロトコル内)では、特徴選択戦略(プロトコル不変特徴、シーケンス固有特徴、全特徴)間で性能に大きな差は見られませんでした。しかし、クロスプロトコルシフトや複合分布シフト下では、8つのプロトコル不変特徴(主に形状ベース)を用いたモデルが、他の特徴セットと比較して大幅に高い予測性能とロバスト性を維持することが示されました。これは、不安定な特徴を含めることが、取得固有のアーチファクトを符号化し、汎化を妨げることを示唆しています。
  2. マルチプロトコル訓練の効果: 複数のMRIシーケンスを訓練セットに含めることで、全ての特徴戦略でクロスプロトコル汎化が向上しました。これは、多様なプロトコル分布に曝露することで、モデルがより汎用的な決定境界を学習できることを示しています。
  3. セグメンテーションシフトの課題: 特に部分セグメンテーションによって誘発される強い分布シフトは、モデル性能に壊滅的な影響を与えることが明らかになりました。プロトコル不変特徴は性能の急激な低下を防ぐものの、セグメンテーションされたボリュームの削減は大きな課題となります。
  4. 較正の脆弱性: モデルの予測精度だけでなく、不確実性較正も分布シフトによって著しく損なわれることが示されました。特に強い分布シフト下では、モデルが過度な自信を持って誤った予測を行う傾向が見られました。事後較正手法(Temperature Scaling, Ensemble Temperature Scaling)は限定的な改善しか示しませんでした。
  5. 特徴空間増強の可能性: 訓練データにガウスノイズを用いた特徴空間増強を適用することで、特に不確実性較正の面で一貫した改善が見られました。予測性能への影響は複合的でしたが、モデルの信頼性向上に貢献する可能性が示唆されました。

これらの知見は、プロトコル不変特徴選択、マルチプロトコル訓練、および特徴空間増強が、ラディオミクスモデルの回復力を向上させるための相補的な戦略であることを確立するものです。また、較正が分布シフト下でのモデル信頼性の脆弱な側面であることを特定しました。この制御されたファントムフレームワークは、特定の失敗モードを分離し、臨床検証に先立ってロバスト性戦略の定量的なベンチマークを可能にします。しかし、本研究はあくまで制御されたファントムに基づいているため、これらの結果は仮説生成型であり、臨床に展開する前には、独立した対象者コホートでの検証が不可欠です。

用語集

  • ラディオミクス: 医用画像から高次元の定量的な特徴を抽出し、病気の特性評価や個別化医療に役立てる手法。
  • 分布シフト: 訓練データと異なる統計的特性を持つデータがモデルに入力される現象。MRIの撮影条件やセグメンテーション方法の変動などで生じる。
  • ファントム: 医用画像の撮像条件や装置性能を評価するために用いられる、人体組織を模倣した人工的な構造物。
  • プロトコル不変特徴: 異なるMRI撮像プロトコル間で統計的に安定しており、変化しにくい特徴。
  • セグメンテーション: 画像中の特定の領域(関心領域、ROI)を抽出・識別するプロセス。
  • XGBoost (Extreme Gradient Boosting): 勾配ブースティングを基盤とした機械学習アルゴリズムの一種で、高い予測性能と効率性で知られる。
  • F1スコア: 分類モデルの精度を評価する指標の一つで、適合率(precision)と再現率(recall)の調和平均。
  • Expected Calibration Error (ECE): 分類モデルの予測する確信度(confidence)が、実際の正解率とどれだけ一致しているか(較正されているか)を定量化する指標。
  • Temperature Scaling (TS): 機械学習モデルの不確実性較正手法の一つ。モデルの出力(ロジット)を単一のスカラー値(温度)で除算し、その後にソフトマックス関数を適用する。
  • Ensemble Temperature Scaling (ETS): Temperature Scalingを拡張した較正手法で、複数の較正済み確率分布を結合し、よりロバストな較正を目指す。
  • 特徴空間ガウスノイズ増強: 訓練データの特徴値にガウス分布に従うノイズを人為的に加えることで、モデルの汎化性能とロバスト性を向上させるデータ増強手法。
  • インスタンスレベルのデータ漏洩: 同じ物理オブジェクトからの相関するデータが訓練セットとテストセットの両方に含まれてしまうことで、モデル性能が過大評価される現象。
powered by visionary imaging services, inc.
免責事項

Leave a Reply

Your email address will not be published. Required fields are marked *