AIによる医療画像セグメンテーションを加速するJ-RAS：相互適応型学習の力

August 3, 2026 · 論文解説

🎧 この記事を音声で聴く（AI生成Podcast）

解説対象論文: J-RAS: Mutual adaptation for medical image segmentation via contrastive retrieval-augmented joint optimization
Biomedical Signal Processing and Control｜被引用数: 0（2026年8月3日時点）

医療画像診断において、AIを活用した自動セグメンテーションは時間短縮と客観性向上に貢献しますが、限られたデータや異なる環境での性能低下が課題でした。今回ご紹介するJ-RAS（Joint Retrieval-Augmented Segmentation）は、病理学研修医が専門家の注釈付きスライドや組織病理アトラスを参照して病気を認識する過程から着想を得ており、セグメンテーションモデルと検索モデルを相互に最適化することで、この課題を克服する新しいフレームワークです。

研究サマリー（FINER & PICO）

Feasible実施可能性	既存の深層学習アーキテクチャに適用可能で、MRI、CT、超音波など様々な画像モダリティで実装可能。
Ethical倫理面	既存の倫理的ガイドライン内で医療画像分析の効率化を支援する技術であり、対象者へのリスクは限定的。
Interesting面白さ	専門家の画像診断推論過程から着想を得た、検索とセグメンテーションの相互適応は新規性が高い。
Novel新規性	検索モデルとセグメンテーションモデルを相互に適応させ、同時に最適化する初のフレームワークとして提案。
Relevant切実さ	医療画像セグメンテーションにおける手作業の時間消費とAIモデルの限界を克服し、臨床応用への関連性が高い。
Measurable測定可能性	ダイス係数やハウスドルフ距離など標準的な評価指標で、セグメンテーション性能の改善を定量的に示している。
Modifiable派生・改善	複数のバックボーンモデルや融合戦略を試しており、アルゴリズムやパラメータの調整可能性が高い。
Structured文章構造	独立最適化とジョイント最適化の2段階学習により、安定した学習プロセスを構築し、効果を実証。
PICO / PECO対象・介入・比較・結果	論文にはPICO形式の情報は明示的に提供されていないため、PICOを特定することはできません。

医療画像セグメンテーションの新たな挑戦：J-RASの登場

どうも、Beyond the Pixelです。医療画像診断において、AIを活用した自動セグメンテーションは、専門家による手作業の時間短縮と診断の客観性向上に大きく貢献しています。しかし、限られたデータでの性能低下や、異なるスキャナーや対象者集団間での「ドメインシフト」と呼ばれる問題に直面することが課題でした。専門家が過去の類似症例やアトラス画像を参照して病変を認識するプロセスから着想を得て、この課題を克服する新しいフレームワークが登場しました。それが、今回ご紹介するJ-RAS（Joint Retrieval-Augmented Segmentation）です。

**Figure 1.** Figure 1: Overview of the proposed Joint Retrieval-Augmented Segmentation (J-RAS). Stage A: Independent optimization of the retrieval model (learning discriminative embeddings) and the segmentation model (predicting anatomical masks). Stage B: Joint optimization where top-K retrieved guide images and masks are fused with the query image for segmentation, and the segmentation loss updates both models simultaneously.解説: 提案するJ-RAS（Joint Retrieval-Augmented Segmentation）の全体像を示しています。Aでは、検索モデルとセグメンテーションモデルが独立して最適化される段階（A.1 コントラスト学習、A.2 教師あり学習）が示されています。Bでは、両モデルがジョイント最適化され、検索モデルが提供するガイド画像とマスクがセグメンテーションモデルに統合される様子が描かれています。

このJ-RASは、セグメンテーションモデルと検索モデルを交互に「コントラスト学習」と「教師あり学習」を通じて「ジョイント最適化」することで、両モデルが「相互適応」する革新的なアプローチです。既存の検索ベースの拡張手法が受動的に類似サンプルを提供するのに対し、J-RASでは、検索モデルがセグメンテーションに関連する手がかりを重視するように学習し、セグメンテーションモデルは検索された例を活用して境界の明確化、まれなケースに対する堅牢性、およびクロスデータセット汎化能力を向上させます。例えば、ACDCデータセットにおけるSegFormerモデルの平均ダイス係数は、J-RASの適用により0.8708から0.9115へと改善し、ハウスドルフ距離も1.8130から1.1489へと減少しました。これは、J-RASが人間のようなガイドと機械学習による精度を医療画像セグメンテーションにおいてどのように橋渡しするかを示しています。深層学習は医療画像セグメンテーションを大きく進歩させましたが、大規模なアノテーション付きデータセットへの依存、ドメインシフトへの感度、解剖学的事前情報を組み込む明示的なメカニズムの欠如といった課題が残っています。既存の検索ベースのアプローチは、検索とセグメンテーションが独立して最適化されるという主要な限界を抱えており、検索モデルは通常事前に訓練され固定されており、セグメンテーション固有の目的のために最適化されません。この結合されていない最適化が、検索がセグメンテーションに関連する文脈的信号を提供する能力を制限していました。J-RASは、これらのギャップに対処し、相互適応ループを確立します。検索モデルはセグメンテーション関連の解剖学的特徴を優先することを学習し、セグメンテーションモデルは検索された画像-マスクペアを構造化されたガイダンスとして動的に組み込みます。これにより、検索が受動的な特徴提供者から適応的な協力者へと変化します。本研究の貢献は以下の通りです。1. 検索とセグメンテーションを交互のコントラスト学習と教師あり学習によってジョイント最適化する初のフレームワークJ-RASを導入しました。2. 検索埋め込みをセグメンテーションの目的と整合させる相互適応メカニズムを確立しました。3. アーキテクチャに依存しない性能向上とクロスデータセット汎化能力を示しました。4. 境界精度、堅牢性、文脈的一貫性における一貫した改善を示す広範な定量的および定性的な分析を行いました。

従来のAIセグメンテーション手法とJ-RASの独自性

医療AI分野における画像セグメンテーションは広く研究されており、長年にわたって数多くの手法が提案されてきました。U-Netのような「畳み込みニューラルネットワーク（CNN）」ベースのアーキテクチャや、SegFormer、TransUNetのような「Transformer」ベースのモデルは優れた性能を達成しています。しかし、これらの古典的なアプローチは教師あり学習のみに依存しており、過去の症例を適応的なガイダンスとして明示的に活用しないため、データが不足している状況やドメインシフト下での堅牢性に限界がありました。マルチモーダルなアプローチは、相補的な画像ソースや臨床データを統合して表現を豊かにしますが、複数のモダリティの一貫した取得が必要であり、検索やジョイント最適化されたガイダンスメカニズムは組み込まれていません。マルチアトラスセグメンテーション（MAS）は、アトラス画像をターゲット画像に位置合わせし、伝播されたラベルを融合しますが、アトラス選択は学習されたものではなく、セグメンテーション訓練から切り離されています。Few-shotセグメンテーション手法は、手動で提供されたサポート画像に基づいてセグメンテーションを条件付けしますが、サポートサンプルは学習されたメカニズムによって検索されるのではなく、外部から指定され、セグメンテーションとジョイント最適化されません。最近の検索ベースのアプローチは、事前に訓練されたエンコーダーを使用してメモリバンクからアノテーション付き例を検索し、SAMのような基盤モデルでセグメンテーションを条件付けます。しかし、検索エンコーダーとセグメンテーションバックボーンは通常固定されているため、検索はセグメンテーション目的のために最適化されません。 retrieved例が最適でない場合やドメインが不整合な場合、検索の動作を改善するためのフィードバックメカニズムが欠如しています。J-RASは、これらの従来手法とは一線を画します。

**Table 1.** Table 1: Comparison of guidance mechanisms. Unlike prior methods where support selection or retrieval is fixed, episodic, or frozen, J-RAS jointly optimizes the retrieval encoder and segmentation backbone, enabling the guidance distribution to evolve with segmentation performance.解説: 様々なガイダンスメカニズムの比較を示しています。J-RASは、ガイダンス選択、最適化、適応、検索モジュールのすべての面で従来のメソッドとは異なり、ジョイント最適化された検索モジュールと双方向の相互適応を特徴としています。

表に示されるように、J-RASは以下の点で独自の進化を遂げています。1. サポート選択または検索が固定、エピソード的、または凍結されている従来のメソッドとは異なり、J-RASは検索エンコーダーとセグメンテーションバックボーンをジョイント最適化し、セグメンテーション性能とともにガイダンス分布を進化させます。2. 検索とセグメンテーションの共同最適化を通じて、検索モジュールがセグメンテーションの目的と整合する表現を学習し、その結果がセグメンテーションモデルに動的に反映される「双方向の相互適応」を実現します。これにより、検索はタスク認識型となり、性能に応じて適応します。

J-RASのメカニズム：相互適応型学習の詳細

J-RAS（Joint Retrieval Augmented Segmentation）は、独立最適化とジョイント最適化の2段階で訓練されます。まず、第1段階で検索エンコーダーとセグメンテーションバックボーンが個別に訓練されます。次に、第2段階で両モジュールが統一されたループでジョイント最適化され、セグメンテーション勾配が検索エンコーダーを更新することを可能にします。検索された画像-マスクペアは文脈的なガイダンスを提供し、検索を受動的な参照からセグメンテーション認識型コンポーネントへと変換し、境界精度と汎化能力を動的に向上させます。このフレームワークの訓練はアルゴリズム1にまとめられています。

独立最適化
モデルをJ-RASフレームワークに統合する前に、各コンポーネントはまず個別に最適化されます。

コントラスト学習: 検索エンコーダーは「コントラスト学習」を使用して微調整されます。（図1）図1 (A.1)に示されるように、マルチレイヤーパーセプトロン（MLP）が、高次元のエンコーダー出力を類似性計算に適した低次元の埋め込み空間に投影します。正例ペアは、同じ3D対象者ボリューム内の連続するスライスや、2Dの同じクラスの画像など、空間的または意味的に関連するサンプルから構築され、負例ペアは、異なる対象者や異なるクラスなど、関連性のないサンプルから形成されます。訓練は、正規化温度スケール付きクロスエントロピー（NT-Xent）損失 [35] を使用して実行されます。回転、反転、コントラスト調整などのデータ拡張は、埋め込みが解剖学的構造を強調し、非本質的な変動に対して堅牢であることを促進します。

教師あり学習: セグメンテーションモデルは、画像正規化と標準的なデータ拡張後に微調整されます。（図1）図1 (A.2)に示されるように、訓練はダイス損失とピクセルワイズクロスエントロピーの組み合わせを使用します。この段階では、セグメンテーションモデルがジョイント検索拡張訓練メソッドに組み込まれる前に、正確なピクセルワイズ予測を学習することを保証します。

ジョイント最適化
独立最適化フェーズを完了した後、モデルはJ-RASメソッドに統合されます。最適化手順は以下のステップで進行します。

知識ベース構築: 標準的な訓練/検証/テスト分割に従います。各フェーズにおいて、検索とセグメンテーションは同じ分割のデータのみで動作します。知識ベースは、検索エンコーダーによって計算された画像埋め込みを格納します。

**Table 2.** Table 2: Datasets used to evaluate J-RAS across MRI, CT, and ultra- sound modalities. The table reports the number of volumes in each split, with the corresponding number of slices shown in parentheses.解説: J-RASの評価に使用されたMRI、CT、超音波モダリティにわたるデータセットの概要です。ACDC、M&Ms、COVID-19、Breast Cancerの各データセットについて、モダリティ、ターゲット構造、訓練・検証・テストのボリューム数とスライス数が報告されています。

表2に示されるように、知識ベースのサイズは対応する分割（訓練、検証、テスト）に一致します。検索は埋め込み空間における画像類似性に基づいて実行され、関連する正解マスクはセグメンテーションガイダンスのために検索後にアクセスされます。クエリと同じ対象者のスライスは、自明な一致を避け、クロス対象者ガイダンスを強制するために除外されます。

検索ガイド: 各訓練ステップで、J-RASは入力画像を検索モデルに渡し、検索モデルはデータセットスライス（知識ベース）に対するコサイン類似度を計算し、最も類似性の高いTop-k個の画像を選択します。選択されたTop-k個の画像は、その正解セグメンテーションマスクとともに、その後のセグメンテーションプロセスの文脈的ガイドとして機能します。

ガイダンス融合: 検索後、セグメンテーションモデルはクエリ画像とTop-k個のガイダンスサンプルを受け取ります。ネットワークへの過負荷を避けるため、検索されたガイドは、温度スケールされたソフトマックス重みを使用して単一の複合画像-マスクペアに結合されます。この融合されたガイダンスペアは、クエリ画像、融合ガイド画像、および融合マスクとして機能します。

チャネルアダプター設計: クエリ画像（3チャネル）、融合ガイド画像（3チャネル）、および融合マスク（1チャネル）は、7チャネルテンソルに連結されます。この複合入力をセグメンテーションバックボーンと統合するために、軽量な1×1畳み込みを使用して、事前訓練されたモデルが期待する3チャネル空間に投影します。これにより、空間分解能を変更することなくチャネルごとの学習可能なミキシングが可能になり、追加されるパラメータ数は最小限に抑えられます。この設計は、バックボーンの互換性を維持し、アーキテクチャの変更を避け、過学習のリスクを低減しながら、ガイダンスの影響を適応的に制御することができます。

相互適応: 相互適応を確実にするため、検索モデルとセグメンテーションモデルは、共有セグメンテーション損失（式2）を使用して各訓練ステップでジョイント最適化されます。これにより、検索モデルはセグメンテーションタスクとますます整合する表現を学習し、セグメンテーションネットワークは意味的に関連するガイダンスから利益を得ます。

訓練スケジュール: 検索エンコーダーは、最初にコントラスト学習を使用して一般画像類似性を捉えるために事前訓練されます。ジョイント訓練中、セグメンテーション損失のみを最適化し、勾配はセグメンテーションバックボーンと検索エンコーダーの両方に逆伝播され、エンドツーエンドの共適応を可能にします。コントラスト事前訓練は類似性に基づいて埋め込み空間を構造化し、ジョイント段階はセグメンテーション認識型の手がかりに向かってこれを洗練します。初期の訓練段階では、検索エンコーダーは意味のある類似性構造をまだ学習していないため、この段階でセグメンテーション損失を導入すると、検索ブランチがピクセルワイズエラーによって駆動される勾配を受け取り、全体的な意味関係ではなくなります。その結果、埋め込み空間が自明な解に崩壊し、解剖学的に関連する近傍を検索する能力が低下する可能性があります。これに対処するため、コントラスト事前訓練によってまず構造化された埋め込み空間を確立し、その後のジョイント最適化フェーズでセグメンテーション教師あり学習を使用してこの表現を洗練する2段階戦略を採用しています。

J-RASの評価環境：様々な画像モダリティとモデルで検証

本セクションでは、提案するJ-RASメソッドの有効性を評価するために使用されたデータセット、モデル、および評価指標について説明します。

データセット
J-RASの堅牢性をデータセットやモダリティ間で評価するために、複数の画像モダリティにわたる4つの医療画像セグメンテーションデータセットで評価しました。（表2）表2は、各データセットの訓練、検証、テスト分割におけるボリューム数と、対応するスライス数を示しています。
* ACDC（心臓MRI）[13]: 右心室（RV）、心筋（MYO）、左心室（LV）のアノテーションを含む150人の対象者のデータを含みます。訓練に100人の対象者（80/20の訓練-検証分割）、テストに50人の対象者を使用しました。
* M&Ms（心臓MRI）[14]: ACDCと同じ心臓構造のアノテーションを含む320の多施設、多ベンダーの症例が含まれています。公式の分割（訓練150、検証34、テスト136症例）に従いました。両データセットは同一の解剖学的ターゲットをセグメンテーションするため、ACDCとM&Ms間で現実的なドメインシフト下でのクロスデータセット性能を評価しました。
* COVID-19（胸部CT）[15]: 左肺、右肺、および感染領域のアノテーションを含む20のラベル付きCTスキャンが含まれています。訓練に13人の対象者、検証に3人、テストに3人の対象者を使用しました。
* 乳がん超音波（US）[16]: 正常、良性、悪性の超音波画像が含まれています。セグメンテーションタスクは、腫瘍が存在する場合（良性または悪性）の腫瘍の輪郭抽出であり、正常なケースでは腫瘍がありません。訓練に546画像、検証に117画像、テストに117画像を使用しました。

モデル評価
本手法を評価するために、U-Net [9]、TransUNet [10]、SegFormer [11]、およびSegment Anything Model (SAM) [12] を含む、複雑度の異なるいくつかの最先端のセグメンテーションアーキテクチャを採用しました。これらのモデルは、古典的なCNN、ハイブリッドCNN-Transformer設計、および軽量または基盤レベルのTransformerベースのアーキテクチャにまたがり、検索ガイド型セグメンテーションの評価のための広範な基盤を提供します。検索には、放射線データ（RAD-DINO）[36]で事前訓練されたDINOv2 [26]ビジョントランスフォーマーを使用しました。これは、微細な解剖学的構造とモダリティ固有のパターンを捉え、ラベル付きの教師なしで意味的および解剖学的に関連するガイダンスを可能にします。

評価指標
セグメンテーション性能は、ダイス類似度係数（DSC）[37]とハウスドルフ距離（HD）[38]を用いて評価しました。DSCは予測マスクと正解マスクの重なりを測定し、HDは最大境界不一致を捉えるため、精度と空間誤差の包括的な評価を提供します。

実装詳細
すべてのモデルはAdamオプティマイザで訓練され、初期学習率は1×10^-4、バッチサイズは8です。独立訓練後、セクション3.2で説明されているように、30エポックのジョイント最適化を実行しました。特に指定のない限り、温度パラメータはτ = 0.1に設定しました。これは、鋭いガイダンスと均一なガイダンスの安定したバランスを提供するためです。すべての主要な実験ではTop-Kを2に設定しました。

主要な評価結果：J-RASによるセグメンテーション性能の向上

本セクションでは、提案するJ-RAS（Joint Retrieval-Augmented Segmentation）メソッドを、複数のセグメンテーションアーキテクチャにわたって包括的に評価した結果を紹介します。この分析は、セグメンテーション性能の向上におけるJ-RASの有効性を強調し、異なる実験設定下での挙動に関する定量的および定性的な洞察を提供します。

バックボーンモデルごとの評価

**Table 3.** Table 3: Performance comparison of the segmentation models on the ACDC test set, evaluated both using the segmentation model alone and with the proposed method (J-RAS) at Top-k = 2. Results are reported across three classes as well as their average. Dice (↑) denotes the Dice score, where higher values indicate better performance, while HD (↓) denotes the Hausdorff distance, where lower values indicate better performance. For completeness, we also include results from a retrieval-augmented few-shot method [8].解説: ACDCテストセットにおけるセグメンテーションモデル単独の場合と、提案するJ-RASメソッド（Top-k=2）を適用した場合の性能比較です。ダイス係数（↑、高いほど良い）とハウスドルフ距離（↓、低いほど良い）が、RV、MYO、LVの3クラスおよび平均で報告されています。J-RASを適用することで、SegFormer、UNet、TransUNet、SAMのすべてのモデルで性能が向上していることが示されています。

表3は、ACDCテストセットにおけるJ-RASメソッド（Top-k = 2）とセグメンテーションモデル単独の場合の性能比較をまとめたものです。結果は、3つの解剖学的クラスにわたるダイス係数とハウスドルフ距離の両方を使用して報告されています。全体として、J-RASを統合することで、すべてのモデルと指標において性能が一貫して向上しています。例えば、J-RASなしのU-Netは平均ダイス係数0.85、ハウスドルフ距離2.27を達成していますが、J-RASと組み合わせることでそれぞれ0.903と1.29に改善しています。同様に、SAMはダイス係数が0.66から0.86に増加し、ハウスドルフ距離が25.649から3.234に減少するなど、顕著な改善を示しています。J-RAS内では、TransUNetとSegFormerの両方が平均ダイス係数0.9118と0.9115という同様のスコアを達成しています。しかし、SegFormerは1.1489という最も低いハウスドルフ距離を達成することで最高のモデルとして際立っています。この優れた性能は、SegFormerが重い位置エンコーディングに依存することなく、強力なグローバルアテンションと効率的なマルチスケール特徴表現を持っていることに起因すると考えられます。TransUNetは同等の結果を達成していますが、計算複雑性が高く、U-Netは文脈モデリングの能力が限られているため、わずかに性能が劣ります。SAMは最も弱い性能を示していますが、これはその複雑でありながら汎用的な設計が、医療画像のドメイン固有の強度パターンや構造的なニュアンスへの適応性を欠いているためです。関連研究との比較では、Zhaoら [8] が提案した、DINOv2とSAMモデルに依存する検索拡張型Few-shotセグメンテーションメソッドを考慮しました。表3に示すように、ACDCデータセットにおいて、このメソッドは平均ダイス係数0.7652を達成し、J-RAS内のSAM（0.8674）よりも低く、J-RAS内のSegFormer/TransUNet（0.9115/0.9118）よりも大幅に低い結果でした。このギャップは、固定された検索モデルをエンドツーエンドの訓練なしに特徴抽出器としてのみ使用するのではなく、検索モデルとセグメンテーションモデルをジョイント最適化することの利点を浮き彫りにしています。

Top-K検索がセグメンテーション性能に与える影響

取得するガイド画像とマスクの数（Top-K）を変化させることがセグメンテーション性能に与える影響を調査しました。図2は、U-Net、TransUNet、SAM、SegFormerの3つのターゲット構造にわたる平均ダイス係数を示しています。すべてのモデルが、検索ガイダンスを組み込むことで一貫した改善を示しており、Kが1から約5〜6に増加するにつれて性能が向上しています。しかし、K=2を超える改善はわずかであり、K値が高くなると、関連性の低い画像からのノイズが原因で性能が飽和またはわずかに低下する傾向があります。クラスごとの挙動をよりよく理解するために、各解剖学的構造のダイス係数を個別に分析しました。

**Figure 3.** Figure 3: Dice scores for Classes (RV, MYO, and LV) using Top-K retrieved images and masks (K = 1–10) on the ACDC test set with SegFormer, TransUNet, U-Net, and SAM. Bars represent class-wise performance. K = 0 corresponds to the baseline method.解説: ACDCテストセットにおいて、SegFormer、TransUNET、UNET、SAMの各モデルでTop-K検索（K=1〜10）を行った際の、RV（右心室）、MYO（心筋）、LV（左心室）のクラスごとのダイス係数を示しています。K=0はJ-RASを使用しないベースラインモデルの性能を表しており、K値が増加するにつれて、多くのクラスで性能が向上する傾向が見られます。

図3は、Kの変化がすべてのクラスに均一に影響するわけではないことを示しています。例えば、U-Netでは、LVクラスはK=1と比較してK=2でより高いダイス係数を達成していますが、RVクラスはK=1でより優れた性能を発揮しています。これは、最適な検索画像数がクラスによって異なる可能性があり、構造の複雑さや検索の関連性の違いを反映していることを示しています。これらの結果に基づき、ノイズを導入することなくバランスの取れたトレードオフを提供するため、すべての実験でK=2に固定しました。

ケースごとの改善と悪化の分析

J-RASメソッドがベースラインモデル単独と比較して個々の対象者結果にどのように影響するかを評価するため、ケースごとの改善と悪化をさらに分析しました。

**Figure 4.** Figure 4: Case-level analysis of improvements and degradations on the ACDC test set using the J-RAS method with SegFormer, TransUNet, SAM, and U-Net. The number of patients whose Dice scores improved or degraded compared to the baseline segmentation models is shown on the respective segment.解説: ACDCテストセットにおけるJ-RASメソッド（SegFormer、TransUNet、SAM、U-Netバックボーン）によるケースレベルの改善と低下の分析を示しています。J-RASを適用した際の各モデルのダイススコア改善率と低下率を棒グラフで表示しています。SegFormerは98%、TransUNetは97%、U-Netは91%、SAMは100%のケースで改善が見られました。⚠ 自動抽出画像の検証で一致を確認できませんでした。正確な内容は元論文のFigure 4をご参照ください。

図4は、ACDCテストセット（100人の対象者で構成）の結果を示しています。J-RASに統合された場合、SegFormerは98ケースで性能を向上させ、わずか2ケースでダイス係数のわずかな低下が見られました。TransUNetは97ケースで改善し3ケースで低下、U-Netは91ケースで改善し9ケースで低下しました。特筆すべきは、SAMが100人の対象者すべてで改善を達成し、低下は全く見られなかったことです。変化の大きさをさらに定量化するため、各対象者の改善と低下の度合いを測定しました。

**Figure 5.** Figure 5: Top five most improved patients (out of 98) and the two de- graded cases on the ACDC test set when using the J-RAS method with SegFormer. Bars indicate the magnitude of change in Dice score relative to the baseline model.解説: ACDCテストセットでSegFormerとJ-RASを使用した場合に、最も改善が見られた上位5人の対象者と、わずかに低下が見られた2ケースについて、ダイス係数の変化量を示しています。例えば、対象者107（ES）は+0.1462の改善を、対象者117（ED）は-0.0078の低下を示しています。⚠ 自動抽出画像の検証で一致を確認できませんでした。正確な内容は元論文のFigure 5をご参照ください。

図5は、SegFormerとJ-RASを使用した場合に最も改善が見られた上位5人の対象者と、低下が見られた2ケースを強調しています。例えば、対象者107（収縮期末期フレーム）はダイス係数が+0.1462改善し、対象者126（収縮期末期フレーム）は+0.1012改善しました。対照的に、低下が見られたのは対象者117と対象者110（両方とも拡張期末期フレーム）のみで、ダイス係数はそれぞれ-0.0078と-0.0076というわずかな減少でした。より詳細に調査した結果、これらの低下は、クエリ画像の画質が悪いために検索されたガイド画像が非常に近い一致ではなかった場合にしばしば発生することがわかりました。これにより、検索プロセスの有効性が低下し、結果としてセグメンテーション精度に影響を与えました。それにもかかわらず、これらの結果は、J-RASが全体的に一貫したケースごとのメリットをもたらし、わずかな低下にとどまることを確認しています。

画像モダリティを横断した評価

本セクションでは、J-RASを異なる画像モダリティにわたる複数のデータセットで評価します。これまでの実験で優れた性能を示したSegFormerをバックボーンとして選択しました。すべての結果は、各データセットのテストセットで報告されています。

**Table 4.** Table 4: Segmentation performance across datasets with different imag- ing modalities using SegFormer with and without J-RAS.解説: 異なる画像モダリティのデータセット（乳がん超音波、COVID-19 CT、ACDC MRI、M&Ms MRI）におけるSegFormer単独の場合とJ-RASを適用した場合のセグメンテーション性能です。ダイス係数とハウスドルフ距離が各クラスで報告されており、J-RASがすべてのデータセットで性能を向上させていることが示されています。

表4に示すように、J-RASを統合することで、スタンドアロンのSegFormerベースラインと比較して、すべてのデータセットでセグメンテーション性能が一貫して向上しており、ダイス係数とハウスドルフ距離の両方で改善が見られました。特に、改善の度合いはモダリティによって異なり、ドメインの複雑性のレベルの違いを反映しています。これらのモダリティは、実質的なドメインギャップを示します。MRIデータセット（ACDCおよびM&Ms）は比較的高いコントラストと構造化された解剖学的整合性を提供しますが、CT（COVID-19）は低いコントラストとスライスごとの変動を含み、超音波（乳がん）は強いスペックルノイズと不明瞭な境界が特徴です。このような違いは、モダリティ固有のノイズパターンや解像度の不一致によって類似度測定が影響を受ける可能性があるため、検索ベースのメソッドにとって課題となります。経験的に、最も大きな改善はより挑戦的なモダリティで発生することが観察されました。例えば、超音波の乳がんデータセットでは、ダイス係数が66.41から79.06に改善しており、局所的な外観が信頼できないノイズの多い設定では検索ガイダンスが特に有益であることを示唆しています。同様に、CT（COVID-19）では、肺構造（例：左肺：78.78 → 94.44）と感染領域（47.98 → 56.39）の両方で実質的な改善が見られ、検索が低いコントラストとスライス密度にもかかわらずグローバルな構造的文脈を回復するのに役立つことを示しています。対照的に、MRIデータセット（ACDCおよびM&Ms）での改善はより穏やかですが（例：ACDC左心室：84.84 → 93.95）、これはベースライン性能の高さとより一貫した画像特性を考慮すると予想されるものです。

J-RASは、そのジョイント検索-セグメンテーション訓練戦略を通じて、これらのモダリティギャップを緩和します。検索エンコーダーはセグメンテーション損失によって更新され、表面的な視覚的類似性に依存するのではなく、モダリティ全体で有用な表現を学習するように促されます。さらに、Top-k検索と重み付け融合メカニズムは、ノイズの多いまたは不完全な一致に対する堅牢性を提供し、これは特に超音波において重要であると同時に、CTやMRIにおいても相補的な構造的手がかりを提供します。セグメンテーションネットワークは、解像度やノイズプロファイルに違いがある場合でもガイダンスから利益を得られるように、検索された画像-マスクペアを適応的に統合することをさらに学習します。全体として、これらの結果は、検索-セグメンテーション訓練の利点がMRI、CT、超音波全体に及ぶことを示唆しており、最も顕著な改善はノイズが高く視覚的整合性が弱い設定で現れ、より構造化されたモダリティでも一貫した改善を提供します。

定性的な結果

本セクションでは、J-RASメソッドの有効性を定性的に評価するために、そのセグメンテーション出力をベースラインのSegFormerモデルと比較します。ACDCテストセットからの代表的な例を提示します。

**Figure 6.** Figure 6: Qualitative segmentation results on the ACDC test set using SegFormer as the baseline and the proposed J-RAS method with SegFormer at Top-k = 2. Each column shows an input image, with ground-truth contours overlaid (in green) and predictions (in red). Rows compare the baseline SegFormer (middle) against J-RAS (bottom). The Dice scores above each predicted mask highlight the improved segmentation performance achieved by J-RAS over the baseline.解説: ACDCテストセットにおける、ベースラインのSegFormerモデルと提案するJ-RASメソッドをSegFormerと組み合わせてTop-k=2で用いた場合の定性的なセグメンテーション結果を示しています。各列は入力画像、ベースラインモデルの予測、J-RASの予測を比較しており、緑が正解輪郭、赤が予測輪郭です。各予測マスクの上にはダイス係数が表示され、J-RASがベースラインよりもセグメンテーション性能を向上させていることを示しています。

図6は、正解輪郭（緑）と予測輪郭（赤）が重ねられた代表的な入力スライスを強調しています。ベースラインと比較して、J-RASは正解とより密接に一致し、特に解剖学的変動や弱いコントラストを伴う挑戦的なケースで、より滑らかで信頼性の高い輪郭を生成します。これを補完するものとして、

**Figure 7.** Figure 7: Comparison of segmentation results on samples from the ACDC test set. The top row shows the input images with the region of interest highlighted. For each case, the baseline segmentation (mid- dle row) and the proposed J-RAS method (bottom row) are overlaid in comparison with ground-truth annotations (green). Red dashed lines de- note model predictions.解説: ACDCテストセットのサンプルにおけるセグメンテーション結果の比較を示しています。上段は関心領域が強調された入力画像です。各ケースについて、ベースラインのセグメンテーション（中段）とJ-RASメソッド（下段）が、正解アノテーション（緑）と比較して重ねて表示されています。赤い破線はモデルの予測を示しており、J-RASがより正確な境界線を描画していることが分かります。⚠ 自動抽出画像の検証で一致を確認できませんでした。正確な内容は元論文のFigure 7をご参照ください。

図7は、SegFormer単独とJ-RASに統合されたSegFormerを比較した、拡大された関心領域を示しています。拡大されたビューは、J-RASが一貫してエッジの不規則性を低減し、異なるビュー間で真の解剖学に忠実に従っていることを示す、より微細な境界の詳細を明らかにします。ベースラインが合理的に良好な性能を発揮する場合でも、J-RASは境界の忠実度をさらに改善し、構造的整合性を強化します。

マスクレベルの改善も顕著です。挑戦的なケース（心臓構造が小さい、または低コントラストの場合）では、ベースラインが不完全または断片的な予測を生成することがよくありますが、J-RASはより完全で一貫性のあるマスクを生成します。ベースラインが既に良好な性能を発揮している場合でも、J-RASは予測をさらに洗練し、一貫した精度向上をもたらします。

J-RASメソッドを適用する前と後での検索性能も、定性的に評価されています。ジョイント訓練により、検索モデルがクエリ画像により解剖学的かつ空間的に近いスライスを特定する能力が大幅に向上しました。これは、コサイン類似度スコアの顕著な増加や、より正確な解剖学的マッチングによって確認されています。

全体として、これらの定性的な結果は、検索ガイド型の文脈情報が、異なる画像モダリティ全体でより正確で安定した、解剖学的に意味のあるセグメンテーションを生成する上で利益をもたらすことをさらに強調しています。これらの定性的な結果は、J-RASが多様な解剖学的および画像条件下でマスク全体の精度と境界整合性の両方を改善することを示しています。また、セグメンテーションに対してより意味のあるガイダンスを提供するJ-RASの可能性も確認しています。

アブレーション研究：J-RASの堅牢性と汎化能力の検証

J-RASの有効性と堅牢性を体系的に評価するため、融合戦略、Top-K選択、ノイズ堅牢性、およびクロスデータセット挙動を分析する一連のアブレーション実験を実施しました。

**Table 5.** Table 5: Summary of ablation studies. All experiments are conducted on ACDC using SegFormer with K = 1 unless otherwise specified. Early fusion and fixed Top-K consistently achieve the best performance. J- RAS remains robust under noisy guides and cross-dataset retrieval.解説: アブレーション研究の要約です。ACDCデータセット上でSegFormerを用いてK=1で実施された実験の結果が示されています。融合戦略（Early Fusion、Cross-Attention、Dual-Encoder）、Top-K戦略（Fixed Top-k、Dynamic Top-k）、ガイドノイズ（Clean Guides、Gaussian Noise、Salt & Pepper、Dropout）、クロスデータセット汎化能力の各設定におけるダイス係数とハウスドルフ距離が比較されています。

表5は、すべてのアブレーション結果をまとめたものです。SegFormerをバックボーンとし、K=1（指定のない限り）を使用してACDCで実験を行いました。Early Fusionと固定Top-Kが一貫して最高の性能を達成しました。J-RASはノイズの多いガイドやクロスデータセット検索下でも堅牢性を維持することが示されました。

融合戦略の検討

ガイダンス情報（検索された画像とマスク）をクエリ画像と融合してセグメンテーションを改善する戦略を調査しました。J-RASは相補的な構造的および文脈的手がかりを提供するため、セグメンテーションバックボーンが効果的に使用するための融合メカニズムが重要です。SegFormerとtopk=1を使用して、ガイダンスがクエリ表現にどの程度深く統合されるかという点で異なる3つのアプローチを実装し、比較しました。その結果、Early Fusionが最高の全体性能（Dice 91.3、HD 1.25）を達成し、ピクセルレベルの統合が一貫してセグメンテーションに利益をもたらすことを示しました。Cross-AttentionはDiceでDual-Encoderを上回り（90.4対89.8）、微細な構造的対応関係を捉えましたが、Dual-Encoderは低いHD（1.87対2.36）を達成し、境界精度を維持しました。全体として、これらの結果は、高度なメカニズムがターゲットを絞った利点を提供する一方で、Early FusionがSegFormerのような強力なバックボーンで非常に効果的であり続けることを示唆しており、検索拡張型ガイダンスを使用する際のアーキテクチャの複雑さと性能向上とのバランスの必要性を強調しています。当社のチャネルアダプター設計では、Early Fusion戦略を採用しました。これは、最小限の追加パラメータで最高のDiceと効率のトレードオフを達成したためです。

動的Top-K検索の効果

J-RASメソッドでの実験において、固定kを使用してもすべてのクラスやケースで一貫して結果が改善するわけではないことが観察されました。一部のインスタンスでは性能が向上しましたが、他のインスタンスでは低下しました。これに対処するため、SegFormerをセグメンテーションバックボーンとして使用し、ACDCテストセットで実験を行い、動的Top-kと固定Top-k戦略を比較しました。

**Table 6.** Table 6: Comparison of Fixed and Dynamic Top-k retrieval strategies within the J-RAS method on the ACDC test set. Results are reported using Dice score (↑, higher is better) and Hausdorff Distance (HD, ↓, lower is better).解説: J-RASメソッド内の固定Top-k検索戦略と動的Top-k検索戦略の比較です。ACDCテストセット上で、SegFormerをバックボーンとして使用した際のRV、MYO、LVクラスおよび平均のダイス係数とハウスドルフ距離が報告されており、固定Top-k戦略の方が全体的に優れた性能を示しています。

表6に示されるように、この動的アプローチは、候補となる知識ベース画像の類似度分布に基づいて、各クエリに対する検索サンプル数を適応的に決定します。しかし、実験の結果、動的Top-k戦略は顕著な改善をもたらしませんでした。k=1の固定Top-kを使用した場合、平均Diceスコア0.9132、平均HD 1.2505と、動的戦略の平均Diceスコア0.9053、平均HD 1.5957と比較してより良い性能を達成しました。

ノイズに対する堅牢性

J-RASの堅牢性を評価するため、検索されたガイド画像とマスクにノイズを導入し、ベースラインのSegFormerモデル単独、およびクリーンなガイドを使用するJ-RAS内のSegFormerと比較しました。ACDCテストセットで、ガウスノイズ、Salt-and-Pepper（SP）ノイズ、Dropoutノイズの3種類のノイズを適用しました。

**Table 7.** Table 7: Evaluation of the J-RAS method with SegFormer on the ACDC test set at Top-k = 1. The experiments assess the impact of introducing different noise types into the guide images and masks. Results are reported using the Dice score (↑higher is better) and Hausdorff distance HD ( ↓ lower is better).

表7に示すように、クリーンなガイドが最高のT結果（Dice 0.913、HD 1.25）をもたらしました。ノイズを追加すると、わずかな性能低下が見られましたが、J-RASはノイズの多いガイドであってもベースラインのSegFormerモデルを上回り、ガイドの摂動に対する強力な堅牢性を示しました。

クロスデータセット汎化能力

J-RASフレームワークは、セグメンテーションモデルと検索モデルの2つの主要コンポーネントで構成されています。これまでの実験では、両モジュールは同じデータセットで訓練および評価されていました。堅牢性と汎化能力をさらに検証するため、セグメンテーションと検索が異なるデータセットで実行されるクロスデータセット設定を、J-RAS内のSegFormerを使用して評価しました。具体的には、(i) M&Msをセグメンテーションし、ACDCからガイダンスを検索する、および (ii) ACDCをセグメンテーションし、M&Msから検索するという2つの相補的なシナリオを検討しました。これらの実験は、J-RASが両シナリオでアウトオブディストリビューション（OOD）ガイダンスを効果的に活用できるかどうかを評価するものです。結果は、J-RASがインディストリビューション設定（同じデータセットでの検索とセグメンテーション）だけでなく、両方のクロスデータセット設定でも性能を向上させることを示しました。これは、両データセットが同じ心臓構造を持ち、一貫した解剖学的構造を持っているためです。

改善は一般的に、検索とセグメンテーションが同じデータセット内で整合している場合に安定していますが、ACDCとM&Msの役割を逆にした場合でも性能向上は同程度です。クロスデータセット設定では、高いTop-k値でわずかな変動が観察されますが、これはおそらく、クエリ画像と検索されたガイド間の意味的整合性に影響を与えるドメインシフトが原因と考えられます。クロスデータセット検索は一般的に性能を向上させますが、ネガティブトランスファーを導入するケースも観察されます。OOD検索は、正解クラスが存在しない領域で解剖学的構造を予測するなど、偽陽性につながる可能性があります。インディストリビューション検索がこのような偽陽性を修正できるのに対し、OOD検索はそれらを解決するのに効果が低い場合があります。

まとめと今後の展望

本記事では、医療画像セグメンテーションの精度と堅牢性を飛躍的に向上させる新しいフレームワークJ-RASをご紹介しました。J-RASは、セグメンテーションモデルと検索モデルを「コントラスト学習」と「教師あり学習」を通じて「ジョイント最適化」することで、両モデルが「相互適応」するという独自のメカニズムを確立します。これにより、検索モデルはセグメンテーションタスクに特化した特徴を学習し、セグメンテーションモデルは検索された画像-マスクペアを効果的なガイダンスとして活用できるようになります。主要な評価結果として、ACDCデータセットにおいて、J-RASはU-Net、TransUNet、SegFormer、SAMといった様々なバックボーンモデルの性能を一貫して向上させました。特にSegFormerは、J-RASとの組み合わせで平均ダイス係数0.9115、ハウスドルフ距離1.1489と優れた結果を示しました。Top-K検索の検討では、K=2がほとんどのケースでバランスの取れた性能を提供することが明らかになりました。また、J-RASは乳がん超音波、COVID-19胸部CT、心臓MRI（ACDC、M&Ms）といった異なる画像モダリティに対しても効果を発揮し、特にノイズが多く境界が曖昧なモダリティで顕著な改善が見られました。ノイズが導入されたガイド画像に対しても高い堅牢性を示し、クロスデータセット設定においても優れた汎化能力を発揮することが確認されました。

本研究の成果は多岐にわたりますが、今後の展望としていくつかの点が挙げられます。現状のJ-RASは、心臓、肺、乳腺超音波といった特定の画像モダリティに焦点を当てて評価されていますが、より多様な解剖学的部位や疾患、画像モダリティでの適用可能性を探ることで、その汎用性をさらに高めることができるでしょう。また、Top-K検索の選択における飽和や、特定のクエリ画像の品質が低い場合にわずかな性能低下が見られたケースについて、さらなる分析と改善策の検討が必要です。例えば、動的に最適なKを決定する戦略や、低品質の検索結果に対するフィルタリングメカニズムを強化することが考えられます。J-RASの相互適応メカニズムは、医療画像AIの新たな可能性を切り開くものであり、今後、より複雑な医療タスクやリアルワールドの臨床環境での応用が期待されます。将来的には、より多様なデータソースや、特定の失敗事例に対するさらなる詳細な分析を通じて、モデルの堅牢性と信頼性を向上させることが課題となります。

補足図表

Figure 8

Figure 9

Figure 10

Figure 11

Figure 12

Figure 13

Figure 14

Figure 15

Table 8

用語集

セグメンテーション: 画像内の特定の領域（臓器や病変など）をピクセル単位で識別し、境界線を明確に描画する技術。
ドメインシフト: AIモデルの訓練データと、実際に適用されるデータの特性（例：スキャナーの種類、対象者集団）が異なることによる性能低下現象。
コントラスト学習: 類似するデータ同士は近く、非類似のデータ同士は遠くなるように特徴表現を学習させる手法。
ジョイント最適化: 複数の異なるAIモデルやタスクを同時に訓練し、互いに連携させて全体性能を向上させる学習プロセス。
相互適応: 複数のAIモデルが互いの学習結果に基づいて動的に調整し、全体としての性能を高めていく仕組み。
ダイス係数: 画像セグメンテーションの評価指標の一つで、予測された領域と正解の領域との重なり具合を示す。1に近いほど高性能。
ハウスドルフ距離: 画像セグメンテーションの評価指標の一つで、予測された境界線と正解の境界線との間の最大距離を示す。0に近いほど高性能。
U-Net: 医療画像セグメンテーションで広く用いられる畳み込みニューラルネットワーク（CNN）の一種。
TransUNet: U-NetのアーキテクチャにVision Transformerの要素を取り入れたセグメンテーションモデル。
SegFormer: 効率的なマルチスケール特徴表現とグローバルな注意機構を持つTransformerベースのセグメンテーションモデル。
SAM (Segment Anything Model): 大規模なデータで事前学習された汎用的なセグメンテーション基盤モデル。
Transformer (トランスフォーマー): 自然言語処理や画像処理で用いられる、入力データ内の関係性を捉える「アテンション機構」を核とするニューラルネットワークのアーキテクチャ。
畳み込みニューラルネットワーク (CNN): 画像認識やセグメンテーションに特化したニューラルネットワークで、畳み込み層を用いて画像から特徴を抽出する。