膝関節2D/3D登録の精度を革新：姿勢認識型深層知覚類似度「FluoroLPIPS」

8月 25, 2026 · 論文解説

🎧 この記事を音声で聴く（AI生成Podcast）

解説対象論文: Pose-aware deep perceptual similarity for iterative 2D/3D registration of knee joints using contrastive learning
International Journal of Computer Assisted Radiology and Surgery｜被引用数: 0（2026年8月25日時点）

コンピュータ支援整形外科分析における関節運動学の正確な把握には、フッ素透視X線画像と術前CTモデル間の高精度な2D/3D登録が不可欠です。しかし、従来の類似度指標は、限られたキャプチャ範囲やノイズ、オクルージョンへの感度といった課題を抱えていました。本研究では、これらの課題を克服するため、コントラスト学習を用いた姿勢認識型深層知覚類似度「FluoroLPIPS」を提案し、2D/3D登録の精度と堅牢性を大幅に向上させました。

研究サマリー（FINER & PICO）

Feasible実施可能性	既存の2D/3D登録手法の課題を解決し、実用的な精度と堅牢性を達成しており実現可能です。
Ethical倫理面	倫理プロトコル承認済みデータを使用し、対象者から書面による同意を得ている点で倫理的です。
Interesting面白さ	従来の類似度指標の課題を解決し、低コントラスト条件でも優れた性能を発揮する点で興味深いです。
Novel新規性	姿勢認識型深層知覚類似度という新しい評価指標をコントラスト学習で提案しており新規性があります。
Relevant切実さ	コンピュータ支援整形外科分析や生体力学研究における関節運動学解析の精度向上に寄与し関連性が高いです。
Measurable測定可能性	翻訳誤差と回転誤差、成功率を用いて定量的評価を行っており測定可能です。
Modifiable派生・改善	提案手法はプラグアンドプレイ型であり、既存の反復登録フレームワークに統合可能で変更可能です。
Structured文章構造	目的、方法、結果、結論が明確に記述されており、構造化されています。
PICO / PECO対象・介入・比較・結果	P(膝関節動態解析が必要な対象者), I(姿勢認識型深層知覚類似度を用いた2D/3D登録), C(従来の類似度指標), O(登録精度と堅牢性の向上、キャプチャ範囲の拡大)です。

はじめに：関節運動学解析の課題

どうも、Beyond the Pixelです。関節の動きをリアルタイムで詳細に評価するフッ素透視画像は、コンピュータ支援整形外科分析や生体力学研究において非常に重要なツールです。特に、生体内で機能的な負荷がかかった状態での運動学（物体の動きを記述する学問分野）を、侵襲的なマーカーなしで捉えることができる点は大きな利点です。このフッ素透視画像から正確な3D運動学情報を再構築するために不可欠なのが、2D/3D登録（2次元のX線画像と3次元のCTモデルを位置合わせする技術）です。具体的には、対象者ごとに術前CTモデル（手術前に撮影したCTスキャンから作成された3次元の骨モデル）を作成し、運動中のフッ素透視X線画像（リアルタイムで関節の動きを捉えるX線画像）シーケンスの各フレームに対し、この3Dモデルを2DのX線画像に厳密に位置合わせすることで、各骨の3D姿勢（ポーズ）を時系列で推定します。このフレームごとの姿勢情報を用いて、生体内での膝関節運動学が再構築されるのです。2D/3D登録の精度は、膝関節置換術の評価、インプラントの追跡、動的筋骨格分析といった応用における再構築された関節運動の信頼性に直結します。従来の関節の剛体2D/3D登録フレームワークには、深層学習に基づく姿勢予測と、モデルと画像の最適化という二つの主要な戦略があります。深層ネットワークは初期姿勢を提供し、探索空間を大幅に削減できますが、定量的な運動学分析に求められるサブミリメートルおよびサブ度（非常に高い精度を意味する）の精度を達成することは稀です。そのため、ほとんどの高精度なパイプラインでは、その後の最適化に基づく洗練段階に依然として依存しており、そこでモデルと画像の類似度指標（画像とモデルのどれだけ似ているかを数値化する評価基準）を収束するまで反復的に最適化します。しかし、実際のフッ素透視画像においてロバスト（堅牢性があり、安定している）な洗練を達成することは困難です。モデルと画像の最適化は、ターゲットX線画像とCTセグメントからデジタル再構成されたX線画像（DRR）の間で測定される画像類似度指標の選択に大きく依存します。LNCC（局所正規化相互相関）、GCC（勾配相関係数）、MIND、さらにはハイブリッド指標といった従来の類似度指標は、低線量でノイズ（画像に混入する不要な信号）が多く、アーティファクトが発生しやすいフッ素透視画像では識別能力が不足することがよくあります。その結果、最適化の損失ランドスケープ（最適化問題における損失関数の形状）は非常に非凸になり、初期位置が真の姿勢からわずかにずれているだけでも、局所最小値（最適化が停滞しやすい偽の最小値）に陥りやすくなります。このような実際のシナリオから生じる問題が、信頼性の高い2D/3D剛体登録を自動化するために必要な精度とキャプチャ範囲（登録アルゴリズムが初期位置のずれを許容できる範囲）を制限していました。

姿勢認識型深層知覚類似度「FluoroLPIPS」の提案

最近の学習ベースの類似度に関する進展は、画像登録タスクにおいて有望な成果を示しています。LPIPS（画像の知覚的な類似度を評価するための深層学習ベースの指標）のような初期の知覚類似度指標は、CNN（畳み込みニューラルネットワーク）を活用して、構造的類似度と相関する高レベルの視覚特徴を抽出しました。しかし、これらの指標は2D-2D画像間の不一致を処理するように設計されており、2D/3D登録に不可欠な3D姿勢の認識には対応していませんでした。この研究では、コントラスト学習（類似するサンプル同士は近づけ、異なるサンプル同士は遠ざけるように学習させる手法）とジオデシック距離学習（空間内の最短経路を学習する手法）にインスパイアされた、姿勢認識型深層知覚類似度指標をフッ素透視-CT 2D/3D登録のために提案しています。この手法は、LPIPSに似た微分可能な知覚バックボーンを採用していますが、トリプレットコントラスト学習の定式化（3つのサンプル（アンカー、ポジティブ、ネガティブ）を用いて学習する方式）の中にジオデシック距離駆動型のマージン（境界）を導入しています。これにより、ポジティブDRRサンプル（正しい姿勢でレンダリングされたDRR）とネガティブDRRサンプル（意図的にずらした姿勢でレンダリングされたDRR）が制御された姿勢摂動を用いて生成され、知覚類似度が剛体変換の不一致と明確に結びつけられます。この設計により、ネットワークは幾何学的に一貫性のある、変形のない埋め込みを学習するよう促されます。さらに、動的な姿勢依存マージンは、大きな摂動範囲にわたる学習を安定させ、凸性（最適化が容易な損失関数の特性）を維持しながらキャプチャ範囲を拡大します。この学習された指標は、微分可能な2D/3D登録フレームワークに統合され、結果として滑らかで堅牢な損失ランドスケープを生み出し、シングルプレーンおよびデュアルプレーンの両方のフッ素透視シナリオにおける収束の信頼性を向上させます。

研究方法：データセットと学習フレームワーク

本研究では、2種類のデータが使用されました。一つは、生体内運動試験から取得された実際のフッ素透視画像（シングルプレーンおよびデュアルプレーンシステム使用）です。もう一つは、社内の微分可能レンダラー（レンダリング結果に対して勾配計算が可能なレンダリング手法）を使用して生成された合成DRR（Digitally Reconstructed Radiography: 3次元モデルからX線画像をシミュレーションしたもの）です。

**Figure 1.** Fig. 1 Fluoroscopic datasets collected using single- and dual-plane imaging systems解説: 本研究で収集されたシングルプレーンおよびデュアルプレーンのフッ素透視X線画像データセットの例です。シングルプレーンは単一のX線源、デュアルプレーンは二つのX線源を使用します。

シングルプレーンフッ素透視データセットは過去10年間にわたって収集され、22の対象者から深膝屈曲、立位、スクワット、膝屈曲という4種類の運動軌跡データが含まれていました。このデータはシングルプレーン追跡フッ素透視システムで取得され、訓練されたオペレーターによって手動でアノテーション（注釈付け）され、ゴールデンスタンダード（最も信頼性の高い基準）の姿勢が提供されました。十分な規模とアノテーションの質により、このデータセットは提案する深層類似度指標の訓練と検証に使用されました。デュアルプレーンフッ素透視データセットは、最近、最先端のデュアルプレーン追跡システムを用いて健康な対象者から収集されました。シングルプレーンシステムと比較して、デュアルプレーンはより複雑な実験構成のため、ノイズレベルが高く、アーティファクト（画像上の不要な構造）によるオクルージョン（画像の一部が隠れる現象）が強くなります。デュアルプレーン画像のうち、高い信頼度で手動アノテーションされたものは限られていたため、このデータセットは、提案手法が異なる撮像装置間でどの程度汎化（適用）できるかを評価するためのゼロショット能力（未学習のデータや条件に対しても性能を発揮する能力）テストにのみ使用されました。合成DRRは、軟組織を含む完全なCTボリュームからではなく、事前にセグメント化された対象者特有の骨モデル（大腿骨または脛骨のみ）から生成されました。レンダリングされた画像は、登録精度と計算効率のバランスを取るため、512×512ピクセルの解像度で生成されました。堅牢性（安定性）を向上させるために、訓練中にはガウスノイズやソルトアンドペッパーノイズといった現実的な画像ノイズが追加されました。これらのDRRは、摂動（意図的なずれ）された姿勢またはゴールデンスタンダードの姿勢が適用されたかどうかに応じて、コントラスト学習中のポジティブサンプルおよびネガティブサンプルとして機能しました。フッ素透視の各フレームに対して、手動で確立された基準姿勢に対し、制御された剛体3D姿勢摂動（並進および回転）を用いて微分可能DRRレンダラーによってポジティブサンプルとネガティブサンプルが生成されます。実際のフッ素透視画像は、ドメインシフト（データ分布のずれ）を避けるためにアンカーとしてのみ使用されます。ポジティブDRRサンプルは、摂動されていない基準姿勢でレンダリングされ、解剖学的アライメント（位置合わせ）を維持し、アンカーに視覚的に近いX線画像を生成します。ネガティブサンプルは、幾何学的ミスアライメント（ずれ）を引き起こす姿勢摂動を適用してレンダリングされます。

**Figure 2.** Fig. 2 Pose-driven contrastive sampling using ﬂuoroscopic images as anchors and DRRs rendered at true/perturbed poses as positive/negative samples, with perturbation magnitudes gradually reduced following a curriculum learning strategy解説: 姿勢に基づいたコントラスト学習サンプリングの概念図です。実際のフッ素透視画像（アンカー）に対し、正しい姿勢でレンダリングされたDRRをポジティブサンプル、意図的にずらした姿勢でレンダリングされたDRRをネガティブサンプルとして生成します。これにより、3D姿勢のずれを反映した知覚類似度を学習します。

提案するFluoroLPIPSは、フッ素透視画像とDRR間の外観ギャップを埋めつつ、剛体姿勢の不一致に対する感度を維持するために、VGG16バックボーン（画像認識タスクで広く使われる深層学習モデルVGG16の主要なネットワーク層）をベースに構築され、選択されたマルチスケール特徴層から知覚類似度を計算します。現在の実装では、反復登録における構造感度と計算効率の最適なトレードオフを提供すると判明した、最も高い解像度を持つ5つの特徴ステージすべてを使用して類似度が評価されました。各選択された特徴ステージには、距離計算の前に、専用の放射線画像適応型特徴モジュール（RAFM）が取り付けられました。

**Figure 4.** Fig. 4 Architecture of the proposed FluoroLPIPS network and its pose-aware contrastive learning framework for perceptual similarity learning. The ﬁgure illustrates the overall learning framework schematically; in practice, femur and tibia were processed separately as independent rigid registration targets解説: 提案するFluoroLPIPSネットワークのアーキテクチャと、姿勢認識型のコントラスト学習フレームワークを示しています。VGG16をベースとし、複数の特徴層から知覚的類似度を計算します。フッ素透視画像とDRRの間のギャップを埋めるための放射線画像適応型特徴モジュール（RAFM）が導入されています。

学習が完了すると、ネットワークパラメータは固定されます。学習された類似度指標は、PyTorch3Dベースのレンダラーを使用した完全に微分可能な2D/3D登録フレームワークに組み込まれます。初期姿勢推定が与えられると、レンダラーはDRRを生成し、学習された知覚距離を最小化するように、実際のフッ素透視画像に対して反復的に位置合わせされます。

**Figure 5.** Fig. 5 Iterative 2D/3D registration using FluoroLPIPS and differentiable renderer解説: FluoroLPIPSと微分可能レンダラーを用いた反復的な2D/3D登録のプロセスを示しています。初期の姿勢推定からDRRが生成され、これを実際のフッ素透視画像とFluoroLPIPSで比較し、知覚距離を最小化するように姿勢が反復的に更新されます。

実験結果：高精度な登録と堅牢性

提案する姿勢認識型類似度が、滑らかで最適化可能な目的関数（損失関数）を生成するかを調査するため、まず制御された摂動下での損失ランドスケープ（最適化問題における損失関数の形状）を分析しました。FluoroLPIPSは、評価された摂動範囲内で、より滑らかで単調な損失ランドスケープを一貫して生成し、基準姿勢の周りに明確な最小値を示し、ベースラインの類似度指標よりも明らかな偽の局所最小値が少ないことが分かりました。

**Figure 6.** Fig. 6 Representative 1D and 2D slices of the registration loss land- scapefordifferentsimilaritymetrics.Theplotsshowsimilarityvariation under controlled perturbations of selected pose parameters around the解説: 異なる類似度指標を用いた登録の損失ランドスケープの代表的な1次元および2次元スライスを示しています。FluoroLPIPSは、基準姿勢の周りでより滑らかで明確な最小値を持つ損失ランドスケープを生成し、従来の指標よりも安定した最適化挙動を示します。

対照的に、従来の指標は、滑らかな勾配を示すもの、強い局所最小値を持つもの、キャプチャ範囲が狭いもの、不明瞭なものがありました。標準のLPIPSは部分的な滑らかさを示しましたが、小さな幾何学的変化に対する感度が不足していました。FluoroLPIPSは、低コントラスト画像（デュアルプレーン）においても、評価された摂動範囲内でより滑らかな2D損失ランドスケープを示し、基準姿勢の周りに明確な最小値と、より少ない明らかな偽の局所最小値を示しました。この結果として得られる経験的な損失ランドスケープは、勾配ベースの最適化の安定性を向上させ、基準姿勢の周りでの成功した収束の範囲を広げます。最適化における提案する類似度指標の実用的な影響を定量化するため、大規模なランダム摂動評価を実施しました。各フッ素透視フレームに対し、±10mmまでの平面内並進と±10度までの回転オフセットをサンプリングすることで100個のランダムな摂動が生成され、実際のフッ素透視に基づく運動捕捉シナリオを代表する多様な初期条件セットが作成されました。各摂動された姿勢は、GCC、LNCC、標準LPIPS、または提案するFluoroLPIPSによって駆動される微分可能登録パイプラインを使用して、その後洗練されました。各試行について、最終的な並進誤差と回転誤差は、対応する手動で確立された基準姿勢に対して計算されました。並進誤差は3つの並進軸に沿って個別に報告され、回転誤差はジオデシック回転距離を使用して定量化されました。最終的な並進誤差が1mm未満、最終的な回転誤差が1度未満の場合、登録試行は成功と見なされました。これらのサブミリメートルおよびサブ度の閾値は、フッ素透視に基づく関節運動学分析が臨床的および生体力学的に意味のあるものとして維持するために、通常必要とされる精度であるため、選択されました。定量的な結果は、FluoroLPIPSが、両方の解剖学的構造と撮像構成において、すべてのベースライン類似度指標を一貫して上回ることを示しています。

**Table 1.** Table 1 Registration performance under random pose perturbations for femur and tibia on single-plane and dual-plane ﬂuoroscopic data. Translation errors are reported per axis. Success rate (SR) is deﬁned as ﬁnal translation error < 1 mm and rotation error < 1◦**解説:** シングルプレーンおよびデュアルプレーンのフッ素透視データにおける、大腿骨と脛骨に対するランダムな姿勢摂動下での登録性能の定量的な結果です。FluoroLPIPSは、すべてのベースライン類似度指標を一貫して上回り、高い成功率と低い姿勢誤差を示しています。

シングルプレーンフッ素透視データでは、FluoroLPIPSは、より厳格な成功基準（1mm/1度）の下で、大腿骨と脛骨の両方で98%を超える成功率を達成し、平面内方向（Tx, Ty）でサブミリメートル精度とサブ度回転誤差を達成しました。対照的に、従来の指標と標準LPIPSは、同じ初期条件の下で、大幅に大きな誤差と収束信頼性の低下を示しました。予想通り、装置の違い、撮像モダリティの違い、およびノイズの増加により、デュアルプレーンデータ（ゼロショット評価）では全体的な性能が低下しました。それにもかかわらず、FluoroLPIPSは競合する指標よりも明らかに優れた性能を維持し、著しく高い成功率と低い姿勢誤差を達成しました。これらの結果は、提案する類似度指標が初期化の不確実性とノイズに対してより優れた堅牢性を示すことを示しています。収束信頼性の改善は、ランダム化された初期化の下での成功した登録試行と失敗した登録試行の経験的分布を視覚化した図でもさらに示されています。

**Figure 8.** Fig. 8 Empirical convergence behavior of different similarity metrics under randomized pose perturbations. Each point represents one reg- istration trial, with successful convergence shown in green and failed convergence shown in red. The x-axis indicates the initial Euclidean解説: ランダムな姿勢摂動下における異なる類似度指標の収束挙動を示しています。各点は個々の登録試行を表し、成功した収束は緑、失敗は赤で色分けされています。FluoroLPIPSは他の基準指標と比較して失敗クラスターが少なく、より広範囲の初期条件で収束することを示唆しています。

ベースライン指標と比較して、FluoroLPIPSは、同等の摂動量の下で明らかな失敗クラスターが少なく、評価された摂動範囲内で望ましくない局所最小値に向かう傾向が少ないことを示唆しています。類似度の注目領域を可視化することで、GCCやLNCCなどの指標が低レベルの強度相関に依存し、ノイズやオクルージョンに敏感な拡散的または曖昧な応答マップを生み出すことが示されました。

**Figure 9.** Fig. 9 Heatmap visualizations of correlation responses for LNCC and GCC, together with multilayer feature activations of FluoroLPIPS解説: LNCC、GCC、およびFluoroLPIPSの多層特徴活性化における相関応答のヒートマップ可視化です。FluoroLPIPSは、解剖学的に意味のある領域に強く焦点を当て、DRRとフッ素透視画像間の高次元の対応を捉えています。

対照的に、FluoroLPIPSは、複数の特徴層にわたって構造情報に基づいた活性化パターンを生成し、解剖学的に意味のある領域に強く焦点を当て、DRRとフッ素透視画像間の高次元の対応を捉えています。

まとめと今後の展望

本研究は、反復的なフッ素透視-CT 2D/3D登録において、学習された知覚類似度指標に姿勢認識を組み込む効果を検証しました。結果として、類似度関数に姿勢に関する教師あり学習を組み込むことで、従来の指標や標準LPIPSと比較して、損失ランドスケープの滑らかさ、収束信頼性、および効果的なキャプチャ範囲が向上することが示されました。FluoroLPIPSは、従来の類似度指標と比較して、より滑らかでほぼ凸状の損失ランドスケープを一貫して示します。GCCやLNCCのような従来の指標は、固定された強度ベースまたは特徴ベースの操作（例：勾配フィルター）に依存しており、フッ素透視画像によく見られるノイズ、オクルージョン、コントラスト変動に敏感です。これらの影響は、しばしば非凸の損失曲面や局所最小値をもたらします。対照的に、深層ネットワークは、このような低レベルの操作を暗黙的に一般化しつつ、幾何学的な位置合わせに有用でない画像変動（ガウスノイズや反射性モーションマーカーによるオクルージョンなど）を抑制することができます。FluoroLPIPSは、最適化におけるランダムな姿勢摂動下で、有効なキャプチャ範囲を大幅に拡大します。従来の指標や標準LPIPSが真の姿勢から離れて初期化された場合に収束に失敗することが多いのに対し、FluoroLPIPSはより広範囲の初期条件にわたって一貫して収束します。この改善は、学習された指標が、大きな姿勢誤差においても意味のある降下方向を提供し、最適値の近くで感度を維持する能力を反映しています。さらに、FluoroLPIPSの撮像構成を超えた強力な汎化能力も注目すべき点です。シングルプレーンフッ素透視データのみで訓練されたにもかかわらず、追加の微調整なしでデュアルプレーン取得データにも効果的に汎化します。多くの学習ベースの登録アプローチは、特定の撮像形状や取得プロトコルに密接に結びついているため、その適用が制限されることがあります。いくつかの研究の限界も認識しておく必要があります。第一に、提案する指標の性能は、CT由来の解剖学的モデルの精度と画像キャリブレーションに依存します。また、現在の方法は剛体の単一骨登録に焦点を当てており、多骨またはインプラント-骨システムへのアプローチの拡張は今後の課題です。さらに、マルチスケール処理、パッチベース類似度、関心領域マスキングなど、潜在的に堅牢性をさらに向上させる可能性のある追加の指標強化戦略については、明示的に評価されていません。また、手動で確立された基準姿勢には、残留誤差が含まれている可能性があり、これはフッ素透視に基づく2D/3D登録研究でよく見られる限界です。今後の展望として、本研究で提案された類似度指標は、教師あり学習や最適化において中心的な役割を果たす、学習ベースの再構成および登録フレームワークに応用できる可能性があります。さらなる改善としては、アーキテクチャの改良や、マルチビューおよび時系列フッ素透視シーケンスの利用が考えられます。結論として、本研究は、姿勢認識型深層知覚類似度を学習することが、最適化ベースの2D/3D登録において、従来の類似度指標や一般的な知覚損失に対する効果的な代替手段となることを示しました。コントラスト姿勢監視を通じて、知覚類似度を剛体変換の不一致と位置合わせすることで、FluoroLPIPSはプラグアンドプレイ型（すぐに利用できる）の指標として、反復登録フレームワークの柔軟性を維持しつつ、最適化の挙動を改善します。

用語集

2D/3D登録: 2次元のX線画像と3次元のCTモデルを位置合わせする技術。
フッ素透視X線画像: リアルタイムで関節の動きを捉えるX線画像。
術前CTモデル: 手術前に撮影したCTスキャンから作成された3次元の骨モデル。
運動学: 物体の動きを記述する学問分野。ここでは関節の動きを指す。
類似度指標: 画像とモデルのどれだけ似ているかを数値化する評価基準。
キャプチャ範囲: 登録アルゴリズムが初期位置のずれを許容できる範囲。
ノイズ: 画像に混入する不要な信号。
オクルージョン: 画像の一部が別の物体によって隠れる現象。
LPIPS: 画像の知覚的な類似度を評価するための深層学習ベースの指標。
コントラスト学習: 類似するサンプル同士は近づけ、異なるサンプル同士は遠ざけるように学習させる手法。
DRR: 3次元モデルからX線画像をシミュレーションしたもの。
VGG16バックボーン: 画像認識タスクで広く使われる深層学習モデルVGG16の主要なネットワーク層。
微分可能レンダラー: レンダリング結果に対して勾配計算が可能なレンダリング手法。
損失ランドスケープ: 最適化問題における損失関数の形状。滑らかなほど最適化が容易。
ゼロショット能力: 未学習のデータや条件に対しても性能を発揮する能力。
ゴールデンスタンダード: 最も信頼性の高い基準、標準。