医療AIの臨床応用を阻む「データシフト」の壁：説明可能性で乗り越える

August 27, 2026 · 論文解説

🎧 この記事を音声で聴く（AI生成Podcast）

解説対象論文: Translating AI to Clinical Practice: Overcoming Data Shift with Explainability
Radiographics｜被引用数: 62（2026年8月27日時点）

近年、医療分野における人工知能（AI）の進化は目覚ましく、特に医療画像解析においては、その診断精度が専門家レベルに達する事例も報告されています。しかし、これらの優れたAIモデルが実際の医療現場で広く活用されるまでには、まだ大きな課題が存在します。その一つが「データシフト」と呼ばれる現象です。データシフトとは、AIモデルが学習したデータと、実際に運用される現場のデータとの間に生じる分布のずれを指します。このずれが、AIの性能を著しく低下させる原因となることが指摘されており、医療AIの臨床応用における信頼性を確立する上で避けては通れない問題です。本記事では、このデータシフトが医療AIにもたらす影響と、その検出・軽減に役立つ「説明可能性AI（XAI）」の重要性について深掘りします。

研究サマリー（FINER & PICO）

Feasible実施可能性	説明可能性AIは、限られた医療データセットにおいてデータシフトを検出し、AIの臨床応用を可能にする。
Ethical倫理面	学習データと臨床現場のデータ分布の偏りが、特定集団でAI性能を低下させ、医療格差を拡大する倫理的問題を抱える。
Interesting面白さ	従来の評価手法では見逃されがちなデータシフト問題を、説明可能性AIがどのように可視化し、解決に導くかを探求する。
Novel新規性	データシフトという既知の課題に対し、説明可能性AIを用いた検出と軽減策を体系的に提示し、臨床応用の信頼性を高める。
Relevant切実さ	医療AIの信頼性と安全性を高め、その実臨床への導入を加速させる上で極めて重要なテーマである。
Measurable測定可能性	説明可能性により、データシフトがモデル性能に与える影響（例：感度・特異度の低下）を定量的・視覚的に評価可能。
Modifiable派生・改善	説明可能性で特定されたデータバイアスに基づき、アテンションメカニズムの誘導等を通じてAIモデルを改善・修正可能。
Structured文章構造	論文はAIの臨床応用におけるデータシフト問題の定義、その分類、および説明可能性AIによる検出・軽減策を論理的に構成。
PICO / PECO対象・介入・比較・結果	P: 臨床応用を目指す医療AIモデル I: 説明可能性AI技術の導入 C: 従来の性能評価のみを行う場合 O: データシフトによる性能低下の検出と軽減。

はじめに：AIの臨床応用を阻む「データシフト」の課題

どうも、Beyond the Pixelです。近年、深層学習に代表される人工知能（AI）技術は、ヘルスケアを含む多岐にわたる分野で注目を集めています。特に医療画像解析の分野では、公開データセットにおいて最先端の成績を達成するAIアルゴリズムが数多く登場し、その性能が人間の専門家を上回ることも報告されています。しかし、これらの優れたAIアルゴリズムが実際の臨床現場で広く応用されている例はまだ少ないのが現状です。AIアルゴリズムを実際の医療現場に導入するには、現実世界のデータに対するモデルの汎化性能が不可欠です。この汎化性能を阻む主要な障壁の一つが「データシフト」です。データシフトとは、AIモデルの学習データと実際の運用環境データとの間にデータ分布の不一致が生じる現象を指します。多くの医療AIは、特定の疾患集団や施設に依存する画像取得条件など、限られた環境で収集されたデータセットで学習されています。このような限定的な学習セットに存在するデータシフトは、モデルを実環境で運用する際に性能を大幅に低下させる原因となります。例えば、ある医療施設で収集されたデータで学習した深層学習モデルが、別の医療施設ではうまく機能しないといったケースがしばしば見られます。AIが汎用的なモデルを学習するためには、画像取得装置や条件に影響される疾患の全スペクトルをカバーする学習セットが必要です。しかし、学習セットはしばしば単一または少数の医療施設で取得されたり、特定の対象者選択基準のために偏りが生じたりすることがあります。AIモデルは画像の特徴に基づいて解析を行います。学習セットにおいて、各特徴はデータセット内の疾患スペクトルに基づく確率分布から導出されます。機械学習アルゴリズムは、この確率分布を異なる疾患状態について学習データから推定し、それに応じて分類します。しかし、疾患のスペクトルが異なると、AIの性能は学習時とは異なるものになります。これは、学習セットとテストセットが、限られた環境で収集されるために、未知の現実の疾患スペクトル分布と異なる可能性があるためです。この分布の変化がデータシフトと呼ばれ、学習から現実世界への応用へと移行する際にAIの性能を劣化させる可能性があります。例えば、特発性肺線維症（IPF）の進行性・非進行性分類モデルの場合、単一施設で収集されたデータで学習すると、その施設特有のCT寝台の形状や対象者の体位といった取得条件にAIが過度に依存してしまう可能性があります。学習データが、進行性IPFの対象者における仰臥位での画像取得の割合が高い場合、このモデルを別の施設（例えば、対象者を常に腹臥位で撮影する施設）で適用すると、性能が著しく低下する可能性があります。このような状況を図にまとめたのが

**Figure 1.** Figure 1. Diagram of the binary classification model for predicting progressive versus stable (nonprogressive) IPF from three-dimensional lung high-resolu- tion CT (HRCT) images. Patients were imaged at total lung capacity (TLC) in the prone position using standard diffuse lung disease CT protocols, and a few patients were imaged in the supine position owing to their severe symptoms. A notable data shift in this example is the change in the proportion of supine images for patients with progressive IPF. The model shows performance drop due to data shift.解説: 特発性肺線維症（IPF）の進行性・非進行性分類モデルの概要図。標準的なCTプロトコルに加え、一部の対象者が重度の症状のため仰臥位で撮影されたことを示す。進行性IPF対象者の仰臥位画像割合の変化がデータシフトとして示され、モデル性能が低下することが図示されている。

です。データシフトを克服することは、AIの臨床応用において重要な課題です。

データシフトがもたらす5つの落とし穴

カストロら（2020）は、医療画像におけるデータシフトを以下の5つのタイプに分類しています。これらは、OOD汎化性能に悪影響を及ぼします。1. 対象者シフト（Population Shift）: モデルの学習集団と外部集団の特性（年齢、民族性、習慣など）の違いによって生じるシフトです。これらが目標クラスの出力と相関する場合、OOD汎化性能に悪影響を与えます。例えば、欧州系のデータで学習した乳がんや糖尿病のポリジェニックリスクスコアが、非欧州系集団で性能が低下する可能性が指摘されています。また、前立腺がんの空間分布が民族性によって異なる場合、学習データの人種構成が異なると、モデルの性能に影響が出ることが考えられます。これについては、後ほどポピュレーションマップの例として

**Figure 5.** Figure 5 shows that the population maps from the two datasets are significantly different. In this study, the first data- set includes various ethnicities: 65% White, 5% Black, and 30% other (Asian, Hispanic, others, and missing). The second dataset is a subset of the first dataset and includes African Americans only (Fig 5). When we have multiple datasets, we can generate a population map for each to check for any sig- nificant difference in the mean trend of the tumor locations. The inconsistent spatial distribution between the population maps means that there is a potential population shift between the datasets.解説: カリフォルニア大学ロサンゼルス校の切除コホートの前立腺MRIデータセットから生成されたポピュレーションマップ。上段は研究コホートの図、下段は各コホートのポピュレーションマップ。各色は特定の確率範囲の領域を示している。

で詳しく見ていきます。2. 有病率シフト（Prevalence Shift）: データセット間のクラスバランスに関連するシフトです。疾患の有病率は、分類器の性能指標に影響を与えます。新型コロナウイルス感染症（COVID-19）に関する機械学習モデルのレビューでは、多くの研究で学習セットとテストセット内ではクラスバランスが類似していましたが、異なる研究間のデータセットでは不均一なクラスバランスが見られ、有病率シフトの可能性が指摘されました。3. 取得シフト（Acquisition Shift）: 医療画像解析において最も一般的な分布の偏りであり、異なる画像取得条件（CTプロトコル、放射線量、再構成スライス厚、カーネルなど）によってデータの分布に違いが生じることを指します。取得バイアスがラベルと予期せぬ関連を持つ場合、モデルは疾患関連のパターンではなく、取得バイアスに適合してしまう可能性があります。前述の進行性IPFの例では、学習データにおける対象者の体位（仰臥位）との間に偽りの関連が生じ、モデル性能が低下しました。（図1）で示したように、モデルは交差検証では高い性能を示しましたが、独立した外部テストセットでは感度45.3%、特異度54.7%にまで性能が低下しました。これは、仰臥位で撮影されたテスト画像全てでモデル予測が誤っていたためです。また、前立腺MRIデータセットPROMISE12の例では、エンドレクタルコイルの有無が前立腺の形状やT2強調画像の強度ヒストグラムに影響を与える取得シフトが確認されています。

**Figure 3.** Figure 3. Acquisition shift in example cases of subjects from the public PROMISE12 dataset (21). (A) Axial T2-weighted image and intensity histogram in an example case with an endorectal coil. This case shows shape distortion because of the endorectal coil. (B) Axial T2-weighted image and intensity histogram in an example case without an endorectal coil.解説: 公開されているPROMISE12データセットからの対象者の症例例における取得シフト。(A)エンドレクタルコイルありの場合のT2強調軸位画像と強度ヒストグラム。コイルによる形状の歪みが見られる。(B)エンドレクタルコイルなしの場合のT2強調軸位画像と強度ヒストグラム。

は、エンドレクタルコイルの有無による画像強度範囲や前立腺形状の歪みの違いを示しています。4. アノテーションシフト（Annotation Shift）: 異なるアノテーターやデータソースによって生成されたアノテーションの違いを指します。手動セグメンテーションにおけるアノテーター間変動性がよく知られた例です。アノテーターの経験レベルやアノテーション指示の違いにより、同じデータに対して異なるアノテーションがなされることがあります。例えば、IPFやUIPの診断における胸部放射線専門家間の意見の不一致が報告されており、これが学習セットとテストセットのラベル付けに影響を与え、AI性能に影響を及ぼす可能性があります。5. 病変発現シフト（Manifestation Shift）: データセットにおける疾患ラベルの解剖学的発現に違いがある場合に生じます。IPFの診断がCT画像上のUIPパターンに基づいて行われる例がこれに該当します。UIPのパターンはハニカム形成、牽引性気管支拡張、気管支細気管支拡張などのCT特徴に基づいて定義されます。学習セットとテストセットの集団間でこれらの特徴の存在が変化する場合、病変発現シフトが発生し、分類器の性能に影響を与える可能性があります。

データシフト検出の切り札：説明可能性AI（XAI）

データシフトは、独立同分布（IID）データを前提とする従来の過学習防止技術では、その検出や対処が困難です。モデル学習中にデータシフトへの感受性を検出することは非常に難しいとされています。しかし、「説明可能性」と呼ばれる技術は、データシフト問題の検出と軽減に役立ち、AIの臨床応用を支援する強力なツールとなり得ます。説明可能性とは、モデルの決定に寄与した解釈可能なドメインの特徴の集合を指します。AIシステムは、適切な説明を通じてデータバイアスを検出し、外部データセットでのモデル故障を防ぐことができます。本論文では、説明可能性をモデル学習の段階に基づいて、以下の3つのアプローチに分類し、データシフト検出への応用例を紹介しています。

**Figure 4.** Figure 4. Example of applying explainability to detect and mitigate data shift in the IPF progression classification model. (A) Premodel approach. (B) In- model approach. (C) Postmodel approach.解説: IPF進行性分類モデルにおけるデータシフト検出と軽減に説明可能性を適用する例。(A)前モデルアプローチ。(B)モデル内アプローチ。(C)後モデルアプローチを示す。

は、IPF進行性分類モデルにおけるデータシフト検出と軽減のために、これら3つのアプローチをどのように適用するかを示しています。

1. 前モデルアプローチ（Premodel Approach）

前モデルアプローチには、データの特徴がモデルの決定にどのように寄与するかを明らかにするための探索的データ解析（EDA）が含まれます。これは潜在的なデータシフトを見つけるための主要なアプローチであるべきです。探索的データ解析（EDA）: データセットの特性（人口統計、疾患の有病率、画像取得条件、およびこれらの特性と疾患ラベルとの関連）に関する統計や視覚化を探る手法です。ポピュレーションマップ（Population Maps）: 特定のデータセットから、対象病変の輪郭の平均的な空間的位置を可視化したマップです。これにより、集団バイアスを検出できます。例えば、前立腺がんのポピュレーションマップは、対象者シフトの可能性を検出するために使用できます。カリフォルニア大学ロサンゼルス校の切除コホートからのT2強調MR画像上の前立腺と前立腺腫瘍の輪郭を用いて、データセットの前立腺がんの平均的な空間的位置を可視化するためのポピュレーションマップが作成されました。（図5）は、2つの異なる対象者構成のデータセットから生成されたポピュレーションマップが著しく異なることを示しています。この研究では、最初のデータセットには多様な民族が含まれていましたが、2番目のデータセットはアフリカ系アメリカ人集団のみでした。ポピュレーションマップ間で空間分布の一貫性がないことは、データセット間に潜在的な対象者シフトがあることを意味します。

2. モデル内アプローチ（In-Model Approach）

モデル内アプローチは、アテンションメカニズムのような解釈可能な手法を組み込んだモデルを指します。アテンションメカニズムは、モデル予測において最も影響力のある画像領域を視覚的に表現するヒートマップ、すなわちアテンションマップを提供する技術群です。深層学習におけるアテンションメソッド: アテンションマップを深層学習モデルに組み込み、学習中に画像内の重要な領域を強調する手法です。これにより、ネットワークが特定の関心領域に焦点を当てるようになります。

**Figure 2.** Figure 2. Example cases from the IPF dataset. Top row: case of progressive IPF; bottom row: stable (nonprogressive) case. From left to right, the columns show the first-visit image, second-visit image, in-model attention map overlay on the first-visit image, and post hoc attention map overlay on the first-visit image. Note that the in-model attention map highlights the CT table (arrow), and the post hoc attention map hints that the model focused on the wrong area. These two visualizations imply that the model may be overfitted to acquisition shift and may fail in clinical practice.解説: IPFデータセットの症例例。上段は進行性、下段は安定（非進行性）症例。左から初回訪問時の画像、2回目の訪問時の画像、初回訪問時の画像に重ね合わせたモデル内アテンションマップ、初回訪問時の画像に重ね合わせたポストホックアテンションマップを示す。モデル内アテンションマップがCT寝台を強調していること、ポストホックアテンションマップがモデルが間違った領域に注目したことを示唆しており、モデルが取得シフトに過学習している可能性を示している。

は、IPF進行性分類モデルにおけるモデル内アテンションマップの例を示しています。アテンションマップの値が1に近い（白から黄色）ほど、モデルにとってより重要な領域であることを示します。この例では、モデル内アテンションマップが、肺の端、身体の端、そしてCT寝台を強調していることがわかります。これは、モデルが取得バイアスに過学習している可能性を示唆するヒントとなります。データシフト問題が検出された場合、アテンションマップを特定の領域に限定するよう誘導することで、問題の軽減を図ることができます。例えば、専門家の知識に基づき、一般的に重要な領域として知られる画像の部分領域にアテンションマップが類似するようにモデルを誘導します。（図4）のBパネルは、このアテンション誘導アプローチの例を示しており、モデルが肺内部の領域に焦点を当てるように改善されたことが見て取れます。別の例として、高解像度CT画像からのIPF診断モデルにおいて、モデル内アテンションマップをIPF診断に重要な位置で誘導することが提案されています。

**Figure 6.** Figure 6. Example cases and corresponding attention maps from two guided attention models for diagnosing IPF from high-resolution CT images. Each column is for each case. Top: CT images. Center: attention maps from the model with area under the curve (AUC) = 0.972. Arrow = higher-attention area of this model. This model focuses outside the lung, raising con- cern about overfitting to the acquisition shift. Bottom: attention maps from the model with AUC = 0.943. Arrow = focusing of this model on higher attention inside the lung. This model focuses on appropriate areas for distinguishing IPF.解説: 高解像度CT画像からIPFを診断する2つの誘導付きアテンションモデルからの症例例と対応するアテンションマップ。各列は各症例を示し、上段はCT画像。中央はAUC=0.972のモデルのアテンションマップで、肺の外側に注目し取得シフトへの過学習の懸念があることを示す。下段はAUC=0.943のモデルのアテンションマップで、肺の内側の適切な領域に注目していることを示す。

は、処理されたCT画像と、2つの誘導付きアテンションモデルから得られたアテンションマップを示しています。最初のモデルのアテンション領域は肺の外側を強調しており、取得シフトへの過学習を示唆しているのに対し、2番目のモデルは肺内の適切な領域に焦点を当てています。興味深いことに、最初のモデルの方がテストセット性能は高かったものの、専門家による視覚的解釈は、データシフトによる失敗のリスクを示唆していました。これは、テストセット性能だけではOOD汎化性能の欠如を十分に明らかにできないことを示しています。

3. 後モデルアプローチ（Postmodel Approach）

後モデルアプローチには、モデル学習後に実装され、専門家の知識と組み合わせてポストホックな解釈を生成する手法が含まれます。ポストホックアテンションメソッド: 既に学習されたネットワークからアテンションマップを生成する技術です。Grad-CAM（勾配重み付きクラス活性化マッピング）は、この手法の代表例です。これは、特定のターゲットラベルの勾配を利用して、モデルがそのラベルを予測する上で重要であった画像内の局所領域を強調するヒートマップを生成します。（図2）は、Grad-CAMを用いたポストホックアテンションマップの例を提供しており、IPF進行性分類モデルにおける取得バイアス問題を特定するのに役立ちました。バイアスがかかったモデルのアテンションマップはCT寝台に焦点を当てていましたが、バイアスのないモデルのアテンションマップは肺の内部領域を強調していました。ポストホック解釈: 学習済みモデルから抽出されるあらゆる情報（例えば、ポストホックアテンションマップやモデル予測からの症例研究など）を指します。これらは専門家の知識と組み合わせて、モデルの失敗を引き起こす要因についての説明を提供できます。CTベースのAI予測とCT画像の再構成条件との関連性は、ポストホック解釈の一例です。CT画像上のパターンは、CT再構成条件によって変化する可能性があります。

**Figure 7.** Figure 7. CT images reconstructed differently from CT raw sinogram data collected from one patient. CT protocol information is given for each recon- struction image.解説: 一人の対象者から収集されたCT生データから、異なる方法で再構成されたCT画像。各再構成画像に対してCTプロトコル情報が記載されている。

は、一人の対象者から収集されたCT生データから、異なる方法で再構成されたCT画像を示しています。モデルがCT再構成条件に影響されるパターンや特徴を使用する場合、CT再構成条件とモデル予測との間に偽りの関連を特定し、潜在的な取得バイアスを検出できます。Yu（2023）によるIPF-ILD診断モデルからのポストホック解釈は、モデルが取得バイアスの影響を受ける可能性を示唆しています。この研究では、5つの多施設試験からの、異なる取得パラメータで再構成されたCT画像データセットを使用しました。外部テストでの性能は低下し、この性能低下は学習セットの交差検証では示されませんでした。このことは、スライス厚と実効管電流時間積（mAs）がモデルのOOD汎化性能に影響を与えることを示しています。

まとめ：説明可能性が医療AIの未来を切り拓く

今日の最先端の医療AIアルゴリズムの多くは、学習環境と実際の運用環境との違い（データシフト）によって性能が低下する可能性を秘めています。このデータシフトの問題は、モデル学習中にはしばしば明らかにならないため、その検出が困難です。さまざまな環境で信頼性の高いモデルを開発するためには、潜在的なデータシフトを認識し、モデルが分布バイアスに過学習するのを防ぐことが重要ですし、外部データからの豊かなテストセットがない場合には、この問題はさらに見過ごされがちになります。本記事では、医療画像において一般的な5つのデータシフト（対象者シフト、有病率シフト、取得シフト、アノテーションシフト、病変発現シフト）とその悪影響について、具体例を挙げて解説しました。そして、AIの臨床応用を実現するための前提条件として「説明可能性」の重要性を強調しました。説明可能性は、モデルの意思決定に何が寄与しているかを人間が理解できる形で提供することで、隠れたモデル故障を検出する上で中心的な役割を果たします。本記事では、説明可能性のための手法を紹介し、データシフト問題の検出における説明の活用例をレビューしました。これらの例は、説明可能性がモデル学習段階で潜在的なデータシフト問題を明らかにできることを実証しています。専門家の知識と組み合わせることで、説明は健全性チェックと堅牢なモデル選択のための情報を提供します。

用語集

人工知能（AI）: 人間のような知的な能力をコンピュータで実現する技術。
深層学習（Deep Learning）: 多層のニューラルネットワークを用いる機械学習の一種で、画像認識などで高い性能を発揮する。
データシフト（Data Shift）: AIモデルの学習データと実運用環境データとの間で、データ分布が異なる現象。
汎化性能（Generalizability）: AIモデルが、学習時に使用しなかった新しいデータに対しても、高い予測精度を維持する能力。
説明可能性AI（XAI）: AIモデルの予測根拠や内部動作を、人間が理解できる形で説明する技術やアプローチ。
独立同分布（IID）データ: データセットの各データポイントが互いに独立しており、かつ同じ確率分布から生成されているという仮定。
過学習（Overfitting）: AIモデルが学習データに過度に適応し、未知のデータに対する予測性能が低下してしまう現象。
OOD汎化性能（Out-of-Distribution Generalizability）: 学習時とは異なる分布を持つデータに対しても、モデルが高い性能を維持する能力。
アテンションマップ（Attention Map）: AIモデルが画像のどの領域に注目して予測を行ったかを視覚的に示すヒートマップ。
探索的データ解析（EDA）: データセットの主要な特徴を要約・可視化し、潜在的なパターンや異常を特定する分析手法。
ポピュレーションマップ（Population Map）: データセット内の対象病変の平均的な空間的位置を可視化した地図。
Grad-CAM: 学習済み深層学習モデルが、画像内のどの領域に注目して特定のクラスを予測したかを視覚的に説明する手法の一つ。