腹腔鏡下胆嚢摘出術の安全性をAIで高める：CVS認識の新アプローチ

August 22, 2026 · 論文解説

🎧 この記事を音声で聴く（AI生成Podcast）

解説対象論文: Enhancing critical view of safety recognition using vision foundation models and state-space temporal modeling
International Journal of Computer Assisted Radiology and Surgery｜被引用数: 0（2026年8月21日時点）

腹腔鏡下胆嚢摘出術における胆管損傷のリスクを低減するための重要な指標である「クリティカル・ビュー・オブ・セーフティ（CVS）」の自動認識は、手術中の視覚的な課題から困難を伴います。本記事では、この課題に対し、視覚基盤モデルとステートスペース時系列モデリングを組み合わせた新しいRGB-D時空間フレームワークを紹介します。これにより、手術の安全基準の認識精度と信頼性が大幅に向上し、より安全な医療行為への道を開く可能性を探ります。

研究サマリー（FINER & PICO）

Feasible実施可能性	大規模なラベル付きデータなしで、自己教師あり学習と効率的な時系列モデリングを組み合わせ、実現可能性を示しました。
Ethical倫理面	既存の倫理的承認データセットを使用し、人間の対象者に関する新たな倫理承認は不要でした。
Interesting面白さ	外科手術の安全性向上に直結するCVS認識という、臨床的に極めて重要な課題に取り組みました。
Novel新規性	深度情報を組み込んだDINOv2と、深度認識型Spatio-temporal MambaによるCVS認識は新規性があります。
Relevant切実さ	胆管損傷という深刻な合併症の予防に貢献し、手術の安全性を高める可能性を秘めています。
Measurable測定可能性	mAPとBalanced Accuracyという標準的な指標を用い、ベースラインと比較して明確な性能改善を定量的に示しました。
Modifiable派生・改善	DINOv2基盤モデルは外科領域に特化して適応され、Swin Transformerとの組み合わせでモジュール化されたフレームワークです。
Structured文章構造	DINOv2とSwin Transformerによる空間エンコーディング、Spatio-temporal Mambaによる時系列モデリングの明確な構造です。
PICO / PECO対象・介入・比較・結果	P: 腹腔鏡下胆嚢摘出術を受ける対象者、I: 視覚基盤モデルと時空間ステートスペースモデリングによる自動CVS認識、C: 従来のRGBのみのモデルや注意機構ベースのモデル、O: 胆管損傷リスク低減のためのCVS認識精度向上。

手術の安全性を革新するAI：クリティカル・ビュー・オブ・セーフティ（CVS）自動認識の最前線

どうも、Beyond the Pixelです。腹腔鏡下胆嚢摘出術は、最も一般的に行われる腹部手術の一つですが、手術中に胆管などの重要な解剖学的構造を誤って認識してしまうことで、重篤な合併症である胆管損傷（BDI）のリスクを伴います。このリスクを低減するために、「クリティカル・ビュー・オブ・セーフティ（CVS）」という臨床的に義務付けられた安全基準が導入されています。しかし、手術中にCVSが達成されているかを自動で、かつ信頼性高く認識することは、術野の遮蔽、深度情報の曖昧さ、そしてCVSが時間とともに徐々に形成されていくという特性から、依然として大きな課題でした。本記事では、この課題に対し、視覚基盤モデルとステートスペース時系列モデリングを組み合わせた新しいRGB-D時空間フレームワークを紹介する画期的な研究論文（Enhancing critical view of safety recognition using vision foundation models and state-space temporal modeling）をご紹介します。このアプローチは、手術の安全基準の認識精度と信頼性を大幅に向上させ、より安全な医療行為への道を開く可能性を探るものです。

なぜCVSの自動認識は難しいのか？

CVSは、肝嚢胞三角（hepatocystic triangle）の明確な露出、嚢胞板（cystic plate）のクリアランス、そして2つの独立した管状構造（胆嚢管と胆嚢動脈）の特定という3つの基準を確保することで、嚢胞管と胆嚢動脈の安全な結紮および切離を可能にするものです。これまでも、手作業で設計された幾何学的特徴やテクスチャ記述子、あるいは深層学習によるセグメンテーションモデルを用いて主要な構造を特定し、ルールベースでCVSを評価する試みが行われてきました。しかし、これらの既存手法の多くは、単一フレームのRGB画像に依存しており、実際の腹腔鏡手術で頻繁に発生する器具による遮蔽、出血、激しい動き、視界不良といった状況下でのロバスト性（頑健性）に課題がありました。CVSは瞬間的な視覚的証拠だけで定義されるものではなく、組織平面の動的な露出によって時間とともに安定した解剖学的確認が必要となるため、時系列的な変化を捉えることが不可欠です。また、深度情報も、遮蔽の解決や組織の分離状態の評価に役立つ重要な幾何学的手がかりとなりますが、これまでのCVS検出では十分に活用されていませんでした。

革新的なアプローチ：RGB-D時空間フレームワーク

本研究では、単眼の内視鏡動画から、CVSの複数ラベル自動認識のためのロバストで臨床的に解釈可能なフレームワークを開発しました。このフレームワークは、大きく3つの主要モジュールから構成されています。

**Figure 1.** Fig. 1 Overview of the proposed RGB-D spatio-temporal framework for automated Critical View of Safety (CVS) recognition. (U) Unsuper- vised branch: a DINOv2 foundation encoder adapted to four-channel RGB-D input via self-distillation, providing domain-robust patch-level embeddings without CVS annotations. (S) Supervised branch: a Swin Transformer trained end-to-end with CVS labels for hierarchically localized spatial feature extraction. Concatenated token outputs from解説: 提案されたRGB-D時空間フレームワークの全体像を示しています。画像から深度マップを生成し、DINOv2とSwin Transformerで特徴を抽出し、Spatio-temporal Mambaで時系列処理を行い、CVS基準（C1, C2, C3）を認識する流れを表しています。

フレームごとのRGB-Dエンコーディング: まず、各フレームの視覚的表現を生成します。ここでは、DINOv2と呼ばれる視覚基盤モデルと、Swin Transformerというモデルが並行して使用されます。DINOv2は、ラベルなしで大量の画像から学習された汎用的な特徴を抽出し、限られた外科データでも高い汎化性能を発揮します。本研究では、深度情報を組み込むため、DINOv2をRGB-D（赤・緑・青のカラー情報と深度情報）入力に対応するように拡張しました。Swin Transformerは、DINOv2が捉える大域的な意味情報に加え、肝嚢胞三角の輪郭や管状構造の分離など、CVS認識に不可欠なきめ細かく局所的な空間情報を階層的に抽出します。これら2つのモデルからの出力は連結され、各フレームの包括的な表現を形成します。
時系列蓄積: 各フレームから得られた表現は、一定の長さ（例えば4フレーム分）の時系列シーケンスとして積み重ねられます。
時空間ステートスペースモデリング（Spatio-temporal Mamba）: 蓄積された時系列シーケンスは、Spatio-temporal Mambaという独自のモジュールで処理されます。これは、ステートスペースモデル（SSM）の一種であり、時系列データにおける長距離依存性（過去のフレームが現在のフレームに与える影響）を、Transformerのような注意機構に比べて線形計算量で効率的にモデル化できます。本研究のSpatio-temporal Mambaは、一般的なビデオSSMとは異なり、以下の2つの点でCVS認識に特化しています。
- 深度認識型選択的ゲーティング: 深度情報が組み込まれたRGB-Dトークン（画像内の特定領域の情報を符号化したもの）に基づいて、手術器具による遮蔽や反射、組織の変形によって生じるノイズの多い領域を「選択的」に抑制します。これにより、不安定な視覚情報に惑わされず、真にCVSに関連する解剖学的変化に焦点を当てることができます。
- デュアルエンコーダ融合: DINOv2とSwin Transformerという異なるエンコーダからの異種トークン（異なる性質を持つ情報）を統合することで、大域的な意味情報と局所的な解剖学的情報の両方を考慮した時系列推論を可能にします。

この時空間モデリング戦略により、CVSの臨床的定義に沿った、空間的な解剖学的証拠とその時間的な持続性の両方を捉えることが可能になります。最終的に、モデルは3つのCVS基準（C1: 肝嚢胞三角の露出、C2: 嚢胞板のクリアランス、C3: 2つの独立した管状構造の特定）それぞれに対する信頼度スコアを出力します。

実験と確かな成果

この新しいフレームワークは、腹腔鏡下胆嚢摘出術におけるCVS自動認識のために特別に設計された公開データセット「EndoScapes-CVS201」を用いて評価されました。このデータセットは、多様な対象者の解剖学的構造、カメラ視点、照明条件、手術スタイルを含む、複数の医療施設から収集された内視鏡動画フレームで構成されており、汎化性の高いCVS認識モデルを開発するための大きな課題を提示します。本研究では、このデータセットの公式な分割と評価プロトコルに厳密に従い、他のEndoScapesサブセットからの補助的なアノテーション（バウンディングボックスやセグメンテーション）は一切使用せずに、モデルを訓練・評価しました。

RGB-D入力の構築においては、EndoScapes-CVS201が単眼のRGBフレームしか提供しないため、最新の単眼深度推定モデル「Depth Anything V3」を用いてフレームごとの深度マップを生成し、RGBフレームと空間的に位置合わせして結合することで、4チャンネルのRGB-D表現を作成しました。

訓練は2段階で行われました。まず、DINOv2基盤モデルを、CVSのアノテーションなしで外科領域のRGB-Dフレームを用いて自己教師あり学習で適応させました（Stage I）。これにより、領域横断的に頑健な特徴表現を獲得します。次に、この凍結されたDINOv2基盤エンコーダに、Swin Transformerと提案されたSpatio-temporal Mambaモジュール、そして分類ヘッドを統合し、CVSラベルを用いてエンドツーエンドで最適化しました（Stage II）。訓練では、アノテーションの曖昧さを考慮し、過信を防ぐためにラベルスムージング（ϵ=0.1）を適用しました。

評価指標としては、CVS認識で一般的に使用されるmAP（mean Average Precision、平均適合率）とBalanced Accuracy（バランス精度）を用いました。これらの指標は、モデルが陽性フレームと陰性フレームを区別する能力と、クラスの不均衡があるデータセットでの性能を評価するのに適しています。

**Table 1.** Table 1 Quantitative evaluation for baselines and the proposed model in mAP and Balanced Accuracy. Bold italic indicates best performance among all models; bold underline indicates second best performed models. The same color-code used in other tables解説: CVS認識におけるベースラインモデルと提案モデルのmAP（平均適合率）とBalanced Accuracy（バランス精度）を比較した定量的評価結果です。提案モデル（F+S+M）が、CVSの各基準および平均で最も高い性能を示しています。

実験の結果、提案されたRGB-D時空間フレームワークは、従来のRGBのみのアーキテクチャや、注意機構ベースの時系列ベースラインと比較して、mAPとBalanced Accuracyの両方で一貫して優れた性能を示すことが実証されました。特に、他の研究で補助的に使用されることのあるバウンディングボックスやセグメンテーションのアノテーションを使用していないにもかかわらず、同等かそれ以上の性能を達成している点は注目に値します。これは、DINOv2による汎化性の高い表現学習、Swin Transformerによる階層的な空間エンコーディング、そして深度認識型Spatio-temporal Mambaによる効率的な時系列モデリングが、内視鏡CVS認識において極めて有効であることを裏付けています。

モデル内部の可視化：何を見ているのか

提案フレームワークがどのようにCVSを認識しているかをより深く理解するために、モジュールレベルの注意領域と時系列活性化の可視化を行いました。

**Figure 2.** Fig. 2 Qualitative visualization of module-level attention and tem- poral activation in the proposed framework. (Row 1) Continuous 4 input frames. (Row 2) Attention maps from the DINOv2-based founda- tion branch, showing broadly distributed yet structured responses over instrument regions, anatomical boundaries, and depth-discontinuous edges, reﬂecting globally informative semantic-geometric represen- tation learning. (Row 3) Attention maps from the supervised Swin Transformer branch, exhibiting highly localized focus on the hepato-**解説:** 提案フレームワークにおけるモジュールレベルの注意領域と時系列活性化の定性的な可視化です。上段は入力フレーム、2段目はDINOv2基盤エンコーダの注意マップ、3段目はSwin Transformerの注意マップ、下段はSpatio-temporal Mambaモジュールの平均時系列活性化を示しています。

DINOv2基盤エンコーダが生成する自己注意マップを見ると、シーン全体にわたって広く分布しながらも構造化された注意パターンが示されました。具体的には、このモデルは一般的な器具の位置、コントラストの高い解剖学的境界、そしてRGB-D表現によって導入される深度の不連続なエッジ領域に注意を払っています。これは、基盤モデルが汎用的な意味的および幾何学的な手がかりを捉えていることを示唆しており、その汎用性と転移学習能力を反映しています。

対照的に、Swin Transformerブランチからの注意マップは、より集中的なものです。Swin Transformerは主に肝嚢胞三角領域に焦点を当て、胆嚢管や胆嚢動脈といったCVSに関連する特定の解剖学的構造へと、フレーム間で動的に注意をシフトさせることが観察されました。この挙動は、教師あり学習によるファインチューニングが、広範な基盤的特徴を臨床基準に合わせたタスク固有の空間表現へと洗練させていることを示しています。

時系列推論を分析するために、Spatio-temporal Mambaモジュールの4フレームの時系列窓における平均活性化を可視化しました。活性化スコアは時間とともに変化し、モデルが進行する解剖学的露出に対してどれほど敏感であるかを反映しています。特に、肝嚢胞三角が最適な視野角で完全に露出しているときに最も高い活性化が一貫して発生しており、これは臨床的にCVSが確立されている状態と一致します。部分的な露出や一時的な遮蔽があるフレームでは、活性化が大幅に低下しており、モデルが時期尚早なCVS予測を抑制する能力があることを示しています。

アブレーション研究：各要素の重要性

個々のコンポーネントの貢献度を定量的に評価するため、アブレーション研究を実施しました。

**Table 2.** Table 2 Quantitative evaluation for ablation studies. Various models are compared. mAP and Balanced Accuracy are reported for detailed comparison. F, S, and M represent DinoV2 based visual foundation解説: アブレーションスタディの定量的評価結果です。深度情報、DINOv2基盤モデル、Spatio-temporal Mambaの有無や代替モジュールでの比較を行い、各コンポーネントがmAPとBalanced Accuracyに与える影響を分析しています。

RGB-D入力の貢献: 深度情報を含めることで、従来のRGBフレームのみを使用した場合と比較して、CVSのすべての基準でmAPとBalanced Accuracyが大幅に改善することが示されました。これは、遮蔽、組織の分離、器具の干渉といった曖昧な状況を解消するために、幾何学的な手がかりがどれほど重要であるかを示しています。
基盤モデル事前学習の貢献: DINOv2エンコーダを取り除くと（Swin TransformerとMambaのみの場合）、性能が一貫して低下しました。これは、DINOv2埋め込みが、汎化性を高める頑健で意味的に豊かな表現を提供することを確認しています。
Spatio-temporal Mambaの優位性: 提案された深度認識型Spatio-temporal Mambaは、標準的なMambaや注意機構ベースのTimeSFormerと比較して、優れたmAPとBalanced Accuracyを達成しました。これにより、CVS形成に関連する進行性の解剖学的変化を捉えるために、選択的な時空間ゲーティングを備えた線形計算量のステートスペースモデリングが有効であることが示されました。
データセット横断的な汎化性: EndoScapes-CVS201で訓練されたモデルを独立したMT-CVSデータセットで評価したところ、DINOv2基盤と深度認識型Spatio-temporal Mambaを組み合わせたモデルが最も高い転移性能を示しました。これは、基盤モデルの事前学習と時空間ステートスペース推論が、未知の臨床データ分布への適応性を高めることを強調しています。

最後に、時系列窓サイズ（T）の選択を正当化するために、1fpsのサンプリングレートでT∈{1, 2, 4, 8}（それぞれ1秒、2秒、4秒、8秒の文脈に対応）のアブレーションを行いました。

**Table 3.** Table 3 Ablation over temporal window size T at a ﬁxed sampling rate of 1fps. All models use the full F+S+M conﬁguration trained on Endo. CVS201 and evaluated on Endo. CVS201, isolating the effect of解説: 時系列窓サイズTの異なる設定（1フレーム、2秒、4秒、8秒）におけるアブレーション評価結果です。4秒の窓サイズ（T=4）が、mAPおよびBalanced Accuracyで最も高い性能を示しており、適切な時系列コンテキストの重要性を示しています。

T=1（時系列的な集約なし）の場合、時空間Mambaモジュールはフレームレベルの分類器として機能し、性能は最も低くなりました。Tが1から4に増加するにつれて、性能は一貫して向上し、信頼性の高いCVS認識には時系列的な文脈が不可欠であることが確認されました。T=8では、性能は横ばいになるか、わずかに低下しました。これは、4秒の窓サイズが、肝嚢胞三角が安定して完全に露出しているかどうかを確認するのに十分な証拠を捉えるのに適している一方で、8秒の窓は、器具の交換、灌流の一時停止、牽引の調整など、質的に異なる解剖のサブフェーズを含むことが多く、これらが交差する曖昧さが深度認識型ゲーティングメカニズムの選択性を低下させるためであると考えられます。したがって、T=4という窓サイズは、CVS確認の臨床的リズムと時系列的な文脈を一致させる、合理的な選択であると言えます。

今後の展望と研究の限界

本研究は、RGB-D知覚と基盤モデル、そして効率的な時系列ステートスペースモデリングを統合することが、ロバストでスケーラブルな外科手術シーン理解に向けた有望な方向性であることを示しました。しかし、この研究にもいくつかの限界があり、今後の展望が示されています。

将来の研究では、メトリック深度（実際の距離を反映した深度情報）のより密接な統合、不確実性を考慮した時系列推論、そして実世界のロボット支援手術システムにおける追加の外科的安全性およびワークフロータスクへの拡張が探求されるでしょう。例えば、不確実性の高い状況下でのモデルの判断を専門家がより信頼できるようにするための機能や、手術中の他の安全チェックや手順の自動認識への応用などが考えられます。この技術がさらに発展することで、手術の安全性が向上し、対象者にとってより良い転帰がもたらされることが期待されます。

用語集

腹腔鏡下胆嚢摘出術 (Laparoscopic Cholecystectomy): 腹部に小さな切開を行い、内視鏡（腹腔鏡）と手術器具を使って胆嚢を摘出する手術です。
クリティカル・ビュー・オブ・セーフティ (Critical View of Safety, CVS): 腹腔鏡下胆嚢摘出術において、胆管損傷を防ぐために解剖学的構造を安全に確認するための臨床的な基準です。
胆管損傷 (Bile Duct Injury, BDI): 胆嚢摘出術中に胆管が誤って損傷を受ける合併症で、重篤な結果を招くことがあります。
RGB-D入力: 通常のカラー画像（赤、緑、青の3チャンネル）に深度情報（Depth）を加えた4チャンネルの入力データです。
視覚基盤モデル (Vision Foundation Model): 大規模なデータで自己教師あり学習を行い、様々な視覚タスクに適用可能な汎用的な特徴表現を学習したモデルです（例: DINOv2）。
DINOv2: 自己教師あり学習によって、ラベルなしでロバストな視覚特徴を学習する基盤モデルの一種です。
Swin Transformer: 階層的な特徴抽出とシフトウィンドウによる自己注意機構を用いることで、様々なスケールの空間情報を効率的に捉えるTransformerモデルです。
Spatio-temporal Mamba (時空間マンバ): ステートスペースモデル（SSM）の一種で、時系列データにおける長距離依存性を線形計算量で効率的にモデル化し、空間と時間の情報を同時に扱います。
ステートスペースモデル (State-Space Model, SSM): 時系列データの状態の進化を数学的に記述するモデルで、特にMambaでは選択的メカニズムにより効率的な時系列モデリングを実現します。
mAP (mean Average Precision): 物体検出や多クラス分類タスクでよく用いられる評価指標で、適合率と再現率の曲線下面積の平均を表します。
Balanced Accuracy (バランス精度): 陽性クラスと陰性クラスの感度（真陽性率）と特異度（真陰性率）の平均で、クラスの不均衡があるデータセットで特に有用な評価指標です。