マルチモーダル組織画像レジストレーションの多段階フレームワーク

9月 12, 2026 · 論文解説

🎧 この記事を音声で聴く（AI生成Podcast）

解説対象論文: A Multistep Registration Framework for Multimodal Histology Across Same and Consecutive Sections
Journal of Imaging Informatics in Medicine｜被引用数: 0（2026年9月12日時点）

H&E染色と最新の顕微鏡技術を組み合わせたマルチモーダルデジタル病理は、診断において非常に重要な情報を提供します。しかし、見た目が大きく異なる画像や、異なる連続切片から取得されたH&Eと他のモダリティ間の正確な位置合わせ（レジストレーション）は、依然として大きな課題です。本記事では、この課題を克服するための新しい多段階レジストレーションワークフローについて詳しく解説します。

研究サマリー（FINER & PICO）

Feasible実施可能性	提案ワークフローは既存ツールを統合し、現実的なマルチモーダル組織学に対応可能。
Ethical倫理面	ヒト組織データは既存コホートから使用され、倫理的配慮はなされている。
Interesting面白さ	見た目が大きく異なる画像や連続切片間のレジストレーション課題への新規アプローチ。
Novel新規性	ロバストな初期化、B-スプライン、TPSを組み合わせた多段階ワークフローの新規性。
Relevant切実さ	マルチモーダルデジタル病理学における構造・分子情報の統合に直接貢献。
Measurable測定可能性	ランドマーク誤差と境界誤差という補完的な指標で性能を定量的に評価。
Modifiable派生・改善	既存の登録手法を段階的に組み合わせ、将来の改善余地が大きい。
Structured文章構造	多段階のレジストレーションワークフローは明確な構造を持つ。
PICO / PECO対象・介入・比較・結果	人間組織のH&E画像（対象）とnMM/SRS画像（介入）の正確なレジストレーション（比較）により、アノテーション転送の信頼性向上（結果）。

はじめに：デジタル病理学の新たな地平

どうも、Beyond the Pixelです。マルチモーダルデジタル病理学は、ヘマトキシリン・エオシン（H&E）染色画像と最先端の顕微鏡技術を組み合わせることで、構造的および分子的な補完情報を得られる、現代の病理診断における重要な技術です。これにより、組織の形態だけでなく、その生化学的特性まで詳細に分析することが可能になります。しかし、これらの異なるモダリティ間で画像を正確に位置合わせ（レジストレーション）することは、特に画像の見た目が大きく異なったり、同じ組織の異なる連続切片から画像が取得されたりする場合に、非常に困難な課題となります。正確なレジストレーションは、共同での可視化、関心領域の伝播、アノテーション（注釈）の転送、そして組織学的に定義された構造内のシグナルの定量分析を可能にするため、マルチモーダルデジタル病理学における極めて重要なステップです。

**Figure 1.** Fig. 1 Overview of the tissue imaging datasets and sectioning sce- narios. Two data scenarios are illustrated. Top: same-section dataset, where nonlinear multimodal microscopy (nMM) and H&E images are available from the same tissue section. The nMM data include imaging channels such as coherent anti-Stokes Raman scattering (CARS), two-photon excited fluorescence (TPEF), and second har- monic generation (SHG) [26]. Bottom: consecutive-section dataset, where adjacent sections from the same tissue are imaged using dif-**解説:** 本図は、組織画像データの取得シナリオの概要を示しています。上段は、非線形マルチモーダル顕微鏡（nMM）とH&E画像が同一の組織切片から得られる「同一切片シナリオ」です。下段は、隣接する切片からH&Eとコヒーレントラマン散乱（CRS）イメージングがそれぞれ行われる「連続切片シナリオ」を示しています。

この論文では、この複雑な課題に対応するため、ロバストな多段階マルチモーダルレジストレーションワークフローが提案されています。

なぜマルチモーダル画像の位置合わせは難しいのか

同じ物理的な組織切片から複数のモダリティ（例: H&Eと非線形マルチモーダル顕微鏡（nMM））画像が取得される場合でも、取得パスの違い、サンプリングと解像度の差、わずかな組織処理の影響により、小さな位置ずれや局所的な歪みが生じます。このため、ピクセル単位での正確な対応を得るにはレジストレーションが不可欠です。さらに、複数の顕微鏡技術が単一のスライドではなく、連続した切片に適用されることがよくあります。これは、H&E、免疫組織化学、SRS（刺激ラマン散乱）、質量分析イメージング、nMMなど、異なる染色やイメージングモダリティを用いて、同じ検体から補完的な情報を得るためです。しかし、連続切片は同じ組織ブロックの隣接する面であるため、全く同じではありません。切断、マウント、染色などの機械的・化学的処理によって、組織の伸び、圧縮、折り畳み、組織の消失が生じ、外形や内部の形状が変化することがあります。また、切断角度や切片の厚さのわずかな変化も、腺、血管、腫瘍領域の見た目や位置に影響を与え、ある切片には存在する構造が次の切片にはない場合もあります。さらに、H&EとSRSなどのモダリティ間の違いは、コントラスト、強度、テクスチャに大きなバリエーションを生み出します。その結果、異なる切片やモダリティの対応する位置が、形状や見た目で一致しないことがあり、レジストレーションは部分的な重なりと不均一な画像統計の条件下で機能する必要があります。標準的なレジストレーション手法、例えば剛体変換やアフィン変換は、大域的な位置や拡大・縮小は補正できますが、非線形な組織変形や欠損領域には対応できません。相互情報量や正規化相互相関などの類似度に基づく強度ベースのレジストレーションは、画像間の強度関係が比較的安定していることを前提としていますが、マルチモーダル組織学ではこの前提が頻繁に破られます。

提案された多段階レジストレーションワークフロー

本研究で提案されたレジストレーションワークフローは、マルチモーダル剛体レジストレーション、非剛体レジストレーション、そして薄板スプライン（TPS）による微調整を組み合わせた多段階のアプローチです。このワークフローは、複数の顕微鏡技術で取得された組織切片の間の幾何学的および外観上の大きな違いがある場合でも、ロバストなアライメント（位置合わせ）を実現することを目的としています。

**Figure 2.** Fig. 2 Overview of the proposed multimodal registration work- flow. The pipeline begins with a pair of multimodal images and an initial preprocessing stage. Rigid alignment is performed using the MS-HLMO framework, which extracts multimodal features through a multiscale process including Gaussian pyramid construction, odd- log-Gabor feature extraction, weighted partial main orientation map- ping, and a generalized GLOH-like descriptor. Feature correspond- ences are obtained using a multiscale matching strategy and used解説: 本図は、提案されているマルチモーダルレジストレーションワークフローの概要を示しています。このパイプラインは、マルチモーダル画像ペアの初期前処理から始まり、MS-HLMOフレームワークを用いた剛体アライメント、B-スプライン変形モデルを用いた非剛体レジストレーションによる微調整、そしてオプションの薄板スプライン（TPS）による微調整へと続きます。最終的に、点ベースおよびマスク境界ベースの評価指標でレジストレーション精度が評価されます。

剛体アライメント：MS-HLMOによる初期化

まず、MS-HLMO（多尺度局所主方向ヒストグラム）というマルチモーダル特徴ベースの手法を用いて、剛体アライメントが実行されます。MS-HLMOは、H&E画像と固定画像からマルチモーダルなキーポイント対応を抽出し、アフィン変換を推定します。これにより、粗いレベルでの位置合わせが可能となり、後続の非剛体レジストレーションの信頼性の高い出発点を提供します。

非剛体レジストレーション：B-スプラインによる詳細な変形

剛体アライメント後、B-スプライン変換を用いた非剛体レジストレーションが実行されます。B-スプラインは、局所的な変形を柔軟にモデル化できるため、組織の歪みや変形をより正確に補償できます。これは、組織切片の切断や処理によって生じる微細な形状変化に対応するために重要です。

薄板スプライン（TPS）による最終調整

最終段階として、B-スプラインの結果に薄板スプライン（TPS）による微調整が適用され、残存する局所的な位置ずれをさらに補正します。TPSは、指定された点群に基づいて滑らかな変形場を生成し、より高い精度での位置合わせを実現します。ただし、TPSの結果は、ランドマークレジストレーションの精度がB-スプラインの結果よりも改善された場合にのみ採用され、不必要な調整は避ける設計になっています。

評価方法とデータセット

本研究では、提案手法の性能を評価するために、2つの異なるデータセットが用いられました。一つはヒトの腸管炎症性腸疾患（IBD）切片で、非線形マルチモーダル顕微鏡（nMM）とH&E染色画像が同じ切片から取得されています。もう一つは頭頸部癌の生検組織で、H&Eとコヒーレントラマン散乱（CRS）イメージング、特に単一バンド刺激ラマン散乱（SRS）画像が、隣接する凍結切片から取得されています。レジストレーションの性能は、点ベースと境界ベースの補完的な指標を用いて定量化されました。

点ベースのランドマーク評価

局所的なアライメント性能を評価するため、固定画像と移動画像の間で手動で対応するランドマーク（目印となる点）が提供されました。提案されたレジストレーションワークフローによって推定された変換は、これらのランドマークに適用され、変換された点と参照点の間のユークリッド距離がレジストレーション誤差として計算されます。中央値相対ターゲットレジストレーション誤差（MMrTRE）と平均相対ターゲットレジストレーション誤差（AMrTRE）が主要な指標として用いられました。

**Figure 3.** Fig. 3 Workflow of the point-based registration evaluation. Manu- ally selected corresponding points are first placed on the images to generate evaluation landmarks. The transformation estimated by the proposed registration workflow is then applied to the moving-image landmarks to map them into the fixed image space. The transformed解説: 本図は、点ベースのレジストレーション評価のワークフローを示しています。手動で選択された対応点を用いて評価ランドマークを生成し、提案されたレジストレーションワークフローによって推定された変換をこれらのランドマークに適用します。変換された点と参照点の間のユークリッド距離が計算され、レジストレーション誤差として反映されます。

マスクベースの境界評価

レジストレーション性能は、組織境界のレベルでも評価されました。H&Eスライドには専門家による複数のアノテーションマスクが提供されており、本研究では組織とスライド背景を区別する背景マスクが使用されました。最終的な変換がH&E背景マスクに適用された後、その変形された背景マスクの境界が、固定画像から導出された背景マスクの境界と比較されました。平均対称表面距離（ASSD）とプールされた距離分布の90パーセンタイル（P90）が、境界ベースの指標として計算されました。これらの指標は、H&Eアノテーションがターゲット画像内の組織領域とどの程度一致しているかを定量的に評価します。

定性的・定量的な評価結果

定性的な評価では、チェッカーボード表示やオーバーレイ画像を用いてレジストレーション性能が視覚的に評価されました。H&EとnMMの同じ組織切片のレジストレーション結果を示す代表的な結腸サンプルでは、提案された手法がSIFTやVALISよりも一貫した視覚的対応を生成し、より滑らかな組織境界と局所的な剪断の減少を示しました。H&EとSRSの連続切片のサンプルについても、提案手法はMS-HLMO単独よりも境界に沿った局所的な位置ずれを低減し、より緊密な対応を実現しました。これは、MS-HLMOの上に非剛体レジストレーションと微調整を追加することが、より挑戦的な連続切片設定において有効であることを示しています。

定量的結果：誤差の改善

定量的な結果は

**Table 1.** Table 1 Quantitative evaluation of registration performance for H&E–SRS and H&E–nMM datasets. Results are reported using point-based metrics (median and mean relative target registration error, MMrTRE and AMrTRE) and boundary-based metrics derived解説: 本表は、H&EとSRS、およびH&EとnMMのデータセットにおけるレジストレーション性能の定量的評価結果をまとめたものです。点ベースの指標（MMrTREおよびAMrTRE）と、組織マスクから導出された境界ベースの指標（正規化平均対称表面距離ASSDおよび90パーセンタイル境界距離P90）が報告されています。値が小さいほど、より良いアライメントを示します。

にまとめられています。H&EとSRSのペアでは、提案手法はMS-HLMO単独と比較して、中央値ランドマーク誤差（MMrTRE）を0.01459から0.01204に、マスク境界誤差（ASSD）を0.0482から0.0115に低減しました。これは、組み合わせた剛体および非剛体アプローチが、H&EとSRSのペアの組織外形の一貫したアライメントを生成することを示しています。H&EとnMMのペアでは、B-スプラインレジストレーションが最も小さいランドマーク誤差（MMrTRE = 0.00177）を示しましたが、提案手法は最も低い境界誤差（ASSD = 0.028085）を達成しました。この結果は、点精度と境界アライメントの間にトレードオフが存在する可能性を示唆しています。この場合、提案手法は境界ベースの精度を優先していると言えます。

アノテーション転送の実現

提案されたレジストレーションワークフローは、H&EとSRS画像間のアノテーション転送を可能にします。

**Figure 5.** Fig. 5 Annotation transfer between H&E and SRS using the proposed registration workflow. Two representative samples are shown (rows). For each sample, the columns display (from left to right) the origi- nal H&E image, the corresponding H&E annotation mask, the SRS image, a checkerboard visualization of the registered H&E and SRS images, and the annotation mask transferred from H&E to SRS using解説: 本図は、提案されたレジストレーションワークフローを用いたH&EとSRS画像間のアノテーション転送の例を示しています。各サンプルについて、H&E画像、H&Eアノテーションマスク、SRS画像、登録されたH&EとSRSのチェッカーボード表示、そしてH&EからSRSへ転送されたアノテーションマスクが示されています。チェッカーボード表示はレジストレーション後のモダリティ間の空間的対応を視覚化し、転送されたマスクはSRS画像内の組織範囲と密接に一致していることを示しています。

は、H&Eスライド上の背景マスクが最終変換を用いて変形され、SRS画像に重ね合わされた例を示しています。レジストレーション後、変形された背景マスクはSRS画像内の組織範囲と密接に一致しており、外側の境界にわずかな残存偏差があるのみです。この結果は、計算された変換がモダリティ間でアノテーションを確実に伝播させ、下流のタスク（例: セグメンテーションや領域ベースの定量的分析）に再利用できることを実証しています。

考察と今後の展望

本研究で提案された多段階レジストレーションワークフローは、MS-HLMOに基づく剛体初期化と、B-スプライン非剛体レジストレーションおよびTPS微調整を組み合わせることで、H&EとnMM（同一切片）およびH&EとSRS（連続切片）の両方のシナリオでロバストなアライメントを実現しました。特に、見た目の違いが大きいマルチモーダルレジストレーションタスクにおいて、SIFTやVALISといった標準的な手法が失敗する可能性がある中で、提案手法は視覚的に一貫したアライメントを生成しました。これは、スプラインベースの変形モデルと組み合わせたマルチモーダル特徴ベースの初期化が、複雑な組織学的変動に対処するために有効であることを裏付けています。点ベースおよび境界ベースの指標がレジストレーション性能の異なる側面を捉えることが示されました。H&EとSRSの連続切片の場合、非剛体レジストレーションと微調整は、局所的および大域的アライメントの両方を改善しました。一方、H&EとnMMの同一切片の場合、B-スプラインレジストレーションはランドマークエラーを最小限に抑えましたが、提案手法は境界アライメントを改善しました。これは、組織アノテーションの転送や境界ベースの領域分析に依存する実用的なアプリケーションにおいて特に価値があります。本研究にはいくつかの限界もあります。検討されたデータセットは、限られた数の切片（H&EとnMMが20ペア、H&EとSRSが5ペア）と組織タイプで構成されており、ランドマークおよびマスクのアノテーションは、全体的な組織背景など特定の構造に限定されていました。また、現在の実装は外部ソフトウェア（MATLAB、Elastix、Transformix）に依存しており、完全に自動化されたパイプラインへの直接的な展開を制限する可能性があります。さらに、提案された多段階ワークフローは、よりシンプルなレジストレーションアプローチと比較して、処理時間が長くなるという計算コストの課題があります。これは、特に挑戦的なマルチモーダル組織学データセットにおいて、改善された境界アライメントを得るためのトレードオフです。今後の展望としては、より詳細な領域および構造のアノテーションを組み込むことで、異なる組織区画や形態を区別した評価が可能になります。また、特徴抽出や変形正則化に学習ベースのコンポーネントを統合することで、重度のアーチファクトや反復的なテクスチャが存在する場合のロバスト性をさらに向上させることができます。さらに、提案ワークフローの計算最適化、例えば個々のレジストレーション段階の実行時間の短縮や、レジストレーション精度を損なうことなくより効率的な実装への統合も検討すべきです。最後に、より大規模な連続切片データセットに本手法を適用することで、3D再構築シナリオにおける性能の系統的な評価が可能になります。

まとめ

本論文では、MS-HLMOに基づく剛体初期化、B-スプライン非剛体レジストレーション、およびTPS微調整を組み合わせた多段階マルチモーダルレジストレーションワークフローを提示しました。H&EとnMMの同一切片、およびH&EとSRSの隣接連続切片という2つの代表的なシナリオで評価した結果、提案手法は両方のデータセットでロバストなマルチモーダルアライメントを生成しました。定性的には、提案手法がすべての場合で一貫したチェッカーボードとオーバーレイを提供した唯一のアプローチでした。H&EとSRSのデータセットでは、提案ワークフローはMS-HLMOと比較して、ランドマーク誤差と境界誤差の両方を低減しました。H&Eとマルチモーダルデータセットでは、B-スプラインレジストレーションが最も小さいランドマーク誤差を達成した一方で、提案手法はすべての手法の中で最も低い境界誤差（ASSDおよびP90）を達成しました。本研究は、点ベースと境界ベースの指標がレジストレーション品質の補完的な側面を捉えることを示し、アノテーション転送と定量分析の適合性を判断するためには両方の視点が必要であることを実証しました。提案されたワークフローは、マルチモーダルおよび非同一の組織データをロバストに位置合わせし、モダリティ間での信頼性の高いアノテーション転送をサポートする変換を提供します。これは、H&Eからの構造情報とSRSやnMMなどの異なるモダリティを組み合わせ、下流分析のために正確な空間的対応に依存するマルチモーダルデジタル病理ワークフローにとって不可欠な特性です。

用語集

H&E染色: ヘマトキシリンとエオシンを用いた組織染色法。細胞核や細胞質・細胞外タンパク質を色分けし、組織構造を鮮明に表示する病理診断のゴールデンスタンダード。
レジストレーション: 複数の画像を共通の空間座標系に正確に位置合わせする処理。異なるモダリティの画像を比較・統合するために不可欠。
マルチモーダルデジタル病理: H&E染色画像と、非線形マルチモーダル顕微鏡（nMM）やコヒーレントラマン散乱（CRS）などの高度なイメージング技術を組み合わせ、形態学的・分子的な情報を統合する病理学。
MS-HLMO (Multiscale Histogram of Local Main Orientations): マルチモーダル画像間で特徴点を抽出し、剛体変換（位置、回転、拡大縮小）を推定するための手法。
B-スプライン変換: 組織の伸びや圧縮、歪みなど、非線形な局所的変形を柔軟に補正するための非剛体レジストレーション手法。
薄板スプライン（TPS）: B-スプラインで補正しきれなかった残存する局所的な位置ずれを、さらに精密に修正するための変形手法。
ランドマーク誤差: 画像上の目印となる点の位置ずれを測定する、レジストレーションの点ベース評価指標。
境界誤差: 組織領域の輪郭（境界）がどの程度正確に一致しているかを測定する、レジストレーションのマスクベース評価指標。
非線形マルチモーダル顕微鏡（nMM）: CARS、TPEF、SHGなど複数の非線形光学技術を組み合わせ、ラベルフリーで組織の生化学的組成や構造を可視化する顕微鏡。
コヒーレントラマン散乱（CRS）/刺激ラマン散乱（SRS）: 特定の分子振動を検出することで、化学選択的なコントラストを提供するラベルフリー顕微鏡技術。