リアルタイムセマンティック3D再構成で内視鏡手術の精度と自動化を飛躍させる「Perseus」

August 4, 2026 · 論文解説

🎧 この記事を音声で聴く（AI生成Podcast）

解説対象論文: Perseus: perception with semantic endoscopic understanding and SLAM
International Journal of Computer Assisted Radiology and Surgery｜被引用数: 0（2026年8月4日時点）

内視鏡を用いた自然開口部手術（NOTES）は、対象者の負担を減らす画期的な手法ですが、術野の視認性や空間把握の難しさという課題があります。今回ご紹介する「Perseus」は、この課題を解決するため、AIによるセグメンテーションと深度推定、そしてリアルタイム3次元再構成技術（SLAM）を統合した革新的な知覚パイプラインです。この技術により、手術対象領域を正確に認識し、3次元空間で可視化することで、専門家の手術支援や将来的な自動化への道を拓きます。本記事では、その詳細と可能性を深掘りします。

研究サマリー（FINER & PICO）

Feasible実施可能性	学習ベースのモジュールとリアルタイムSLAMを組み合わせたパイプラインにより、既存技術を活用しつつ実現可能性を示しています。
Ethical倫理面	本研究はファントムや死体を使用し、倫理的な懸念を最小限に抑えつつ、将来の臨床応用への基礎を築いています。
Interesting面白さ	自然開口部手術の課題解決に向け、セマンティック情報を付加したリアルタイム3D再構成という新規性が高いアプローチです。
Novel新規性	リアルタイムSLAMとセマンティックセグメンテーションの統合により、手術支援や自動化のための新しい知覚パイプラインを提案しています。
Relevant切実さ	自然開口部手術の困難さを軽減し、専門家によるガイダンスや将来的な手術自動化に貢献することで、臨床的意義が高いです。
Measurable測定可能性	再構成精度、処理時間、セグメンテーション精度などが定量的指標で評価されており、明確な測定結果が示されています。
Modifiable派生・改善	プラグアンドプレイ設計と学習モデルの切り替えにより、異なる解剖学的構造や実験条件への適応が容易です。
Structured文章構造	学習ベースのセグメンテーション、深度推定、リアルタイム3D再構成といった明確なモジュール構成で実現されています。
PICO / PECO対象・介入・比較・結果	対象者（P）: 自然開口部手術を受ける対象者、介入（I）: Perseusパイプラインによるセマンティック3D再構成、比較（C）: 既存のオフラインSfM法、結果（O）: 手術環境理解の向上と自動化支援。

はじめに：自然開口部手術（NOTES）が抱える課題

どうも、Beyond the Pixelです。自然開口部手術（NOTES）は、体内の自然な開口部（口、尿道、肛門、膣など）を利用して、外科的な切開を最小限に抑える手術アプローチです。これにより、対象者の回復時間の短縮が期待できますが、その反面、術野の視認性や空間的な向きの把握が難しく、高い専門性が求められるという課題を抱えています。このような制限は、専門家による手術ガイダンスや手術の自動化を実現するために、手術環境のより正確な理解が不可欠であることを示しています。本記事では、この課題を解決するために提案された新しい知覚パイプライン「Perseus」についてご紹介します。このパイプラインは、セマンティック（意味的）な情報を持つ3次元再構成を生成することで、手術中の状況認識を向上させ、将来的な自動化や専門家によるガイドを支援する可能性を秘めています。

Perseusパイプラインの概要：リアルタイムな手術環境の理解

Perseusは、単眼内視鏡動画からリアルタイムでセマンティック情報を持った3次元再構成を作成する知覚パイプラインです。このシステムは、学習ベースのセグメンテーション（画像分割）、深度推定、および3次元再構成の各モジュールを統合しています。これにより、腫瘍や前立腺葉の境界線を特定し、単眼動画から密な3次元点群を生成することが可能になります。さらに、2次元のラベル情報を3次元空間に伝播させることで、手術環境のリアルタイムセグメンテーションマップを生成します。また、ロボットアームの姿勢データとの位置合わせ（Registration）を利用して、単眼画像からのマッピングにおけるスケール曖昧性（scale ambiguity）を解決し、ロボット手術において意味情報が付加されたリアルタイム再構成の活用を可能にしています。

**Figure 1.** Fig. 1 Diagram showing the overall workﬂow. We use depth estimations and target segmentation masks in the SLAM system to create segmented point clouds of the surgical scene. We use estimated and robot camera poses to scale and register these reconstructions, to be used in downstream tasks解説: この図は、Perseusの全体的なワークフローを示しています。深度推定と対象のセグメンテーションマスクがSLAMシステムで使用され、手術シーンのセグメンテーション点群が作成されます。これらの再構成は、推定されたカメラ姿勢とロボットカメラ姿勢を用いてスケーリングされ、位置合わせされて、後続のタスクに利用されます。

この図は、Perseusの全体的なワークフローを示しています。深度推定と対象のセグメンテーションマスクがSLAMシステムで使用され、手術シーンのセグメンテーション点群が作成されます。これらの再構成は、推定されたカメラ姿勢とロボットカメラ姿勢を用いてスケーリングされ、位置合わせされて、後続のタスクに利用されます。

キーとなる技術要素

Perseusパイプラインは以下の主要な技術で構成されています。

1. セグメンテーションと単眼深度推定（MDE）
腫瘍の特定や組織の領域を区別するために、U-NetスタイルのアーキテクチャにSAM2をエンコーダバックボーンとして統合した学習ベースのセグメンテーションモデルが使用されます。このモデルは、気道閉塞（CAO）と良性前立腺肥大症（BPH）のそれぞれに対して個別に訓練されています。また、内視鏡画像には深度情報がないため、3次元CTデータと2次元内視鏡動画データを統合したMDEフレームワークを採用しています。これにより、UnityでレンダリングされたCTセグメンテーションデータから絶対深度マップを生成し、ドメイン適応を経てDepthAnythingV2モデルを微調整することで、正確な深度推定を実現しています。

2. リアルタイム3次元再構成
リアルタイムな3次元再構成には、DROID-SLAMが採用されています。DROID-SLAMは、深層学習を用いてカメラ姿勢の推定とピクセルごとの深度値を反復的に更新・修正します。本研究では、内視鏡からの単眼画像ストリームを補強するために、カスタマイズされたMDEモデルを統合し、擬似RGB-Dパイプライン（RGB-D SLAM）として活用しています。これにより、高価な深度カメラを使用することなく、リアルタイムで密な点群を生成できます。

**Figure 3.** Fig. 3 (a) Example endoscope images, (b) segmentation overlays, (c) monocular depth estimation results, (d) segmented 3D reconstructions. Top row shows central airway obstruction and bottom row shows the benign prostatic hyperplasia case解説: この図は、単眼内視鏡画像、セグメンテーションのオーバーレイ、単眼深度推定の結果、およびセグメンテーションされた3次元再構成の例を示しています。上段は中央気道閉塞、下段は良性前立腺肥大症のケースです。

この図は、単眼内視鏡画像、セグメンテーションのオーバーレイ、単眼深度推定の結果、およびセグメンテーションされた3次元再構成の例を示しています。上段は気道閉塞、下段は良性前立腺肥大症のケースです。これにより、関心領域が3D空間で視覚化されていることがわかります。

3. セグメンテーションされた再構成の生成
3次元点群内のターゲット領域を識別するために、画像ストリームの各フレームでセグメンテーションモデルが実行されます。再構成アルゴリズムの逆投影ステップにおいて、セグメンテーションマスクは最終的な逆深度マップのサイズに合わせて再スケーリングされ、深度画像から取得した3次元点群のインデックス付けに利用されます。セグメンテーション領域に該当するピクセルに対応する点は個別に保存され、異なる色で可視化されます。

4. 再構成のスケーリングと位置合わせ
単眼再構成におけるスケール曖昧性を克服し、推定されたマップを手術環境に位置合わせするために、カメラの動きのロボット運動学データが使用されます。ロボットアームの姿勢データを読み取り、「アイ・イン・ハンドキャリブレーション」を適用することで、ロボットが保持するカメラの姿勢情報が取得されます。その後、Umeyamaアルゴリズムを用いて、SLAMから推定されたカメラ姿勢（グローバルバンドル調整後）とロボットが保持するカメラ姿勢の並進成分を位置合わせします。このステップはオフラインで実行され、再構成の品質に影響を与えることなく、再構成されたマップに対して単一のグローバルスケール係数（および剛体アライメント）を推定します。これにより、以前の研究で必要とされた基準マークが不要となり、セグメンテーションされた3次元マップを物理的なシーンに即座にスケーリングし、位置合わせすることが可能になります。

実験と結果：精度とリアルタイム性の向上

研究チームは、気道閉塞（CAO）と良性前立腺肥大症（BPH）の2つの臨床問題に焦点を当て、シーププックと鶏の胸肉で模倣したCAOファントムと、対象者CTスキャンをモデルにしたハイドロゲルBPHファントムを使用して実験を行いました。これには、Virtuoso Surgical内視鏡システムを用いた単眼動画の記録が含まれています。グランドトゥルース（真値）の幾何形状を得るために、ファントムのCTスキャンも取得され、手動で解剖学的構造がセグメンテーションされました。

1. 再構成品質の評価
再構成精度を定量的に評価するため、研究チームは3D再構成を、CTスキャンから得られたセグメンテーションされたグランドトゥルース点群に手動でスケーリングおよび位置合わせしました。比較基準として、以前の研究で用いられたStructure-from-Motion（SfM）パイプラインと、MDEを統合しないSLAM（RGB SLAM）、およびMDEを統合したSLAM（RGB-D SLAM）を比較しました。

**Table 1.** Table 1 Average quantitative evaluation results for 3D reconstruction methods. ↑ indicates higher is better, ↓ indicates lower is better. Best results in the category are given bold and the second best is underlined. SLAM processing times are reported before and after bundle adjustment (BA)**解説:** この表は、3D再構成方法の平均定量的評価結果を示しています。中央気道閉塞と良性前立腺肥大症の両方について、SfM、RGB SLAM、RGB-D SLAMの性能が、再構成精度（メディアン最近傍点距離、Chamfer距離、Hausdorff距離）、処理時間、セグメンテーション精度、再構成点数、カバレッジなどの指標で比較されています。

この表は、3D再構成方法の平均定量的評価結果を示しています。↑は数値が高いほど良い、↓は低いほど良いことを示します。本研究で提案されたSLAMベースのアプローチは、SfMベースラインと比較して処理時間を短縮し、再構成精度を維持または向上させていることがわかります。特に、RGB-D SLAMは、中央気道閉塞および良性前立腺肥大症の両方で、一つ片側Chamfer距離および一つ片側Hausdorff距離において優れた結果を示しています。

SLAMアルゴリズムは、SfMパイプラインよりも迅速かつ正確な再構成を実現しました。SLAMアルゴリズムの密な再構成は、深度推定に依存しており、観測が少ない領域へのカバレッジを拡大し、再構成される点数を増加させます。両方のSLAMメソッドは、SfMアルゴリズムと比較して再構成密度とカバレッジが高いことが示されました。

**Figure 4.** Fig. 4 Example evaluation of reconstructions with registration to CT scan point cloud. Heatmaps indicate distance to the closest point解説: この図は、CTスキャン点群への位置合わせによる再構成の評価例を示しており、ヒートマップは最も近い点への距離を示しています。中央気道閉塞と良性前立腺肥大症のそれぞれのケースで、SfM、RGB SLAM、RGB-D SLAMの再構成が比較されています。

この図は、CTスキャン点群への位置合わせによる再構成の評価例を示しており、ヒートマップは最も近い点への距離を示しています。提案されたSLAMベースのアプローチは、SfMよりも密で正確な再構成を提供していることがわかります。

さらに、水没した前立腺ファントムの実験や、死体気道の探索など、困難なシナリオでもロバスト性（頑健性）が示されました。

**Figure 5.** Fig. 5 Reconstruction quality evaluation on submerged prostate phantoms. CD: One-sided Chamfer distance, HD: One-sided Hausdorff distance解説: この図は、水没した前立腺ファントムにおける再構成品質の評価を示しています。SfMが位置合わせに失敗した状況でも、RGB SLAMとRGB-D SLAMが再構成に成功し、Chamfer距離（CD）とHausdorff距離（HD）が示されています。

この図は、水没した前立腺ファントムにおける再構成品質の評価を示しています。SfMが失敗したシナリオでもSLAMが再構成に成功していることがわかります。また、

**Figure 6.** Fig. 6 Qualitative examples showing reconstruction generalizability with RGB-D SLAM reconstructions and example frames from corresponding videos. (a) Reconstruction of a cadaver central airway. (b) Reconstruction of submerged prostate phantom, mid-operation, after one of the lobes is resected解説: この図は、RGB-D SLAM再構成による一般化能力を示す定性的な例と、対応する動画のフレームです。死体中央気道の再構成（a）と、水没した前立腺ファントムの中央手術後の再構成（b）の例が示されています。

この図は、RGB-D SLAM再構成による一般化能力を示す定性的な例と、対応する動画のフレームです。死体中央気道の再構成（a）と、水没した前立腺ファントムの中央手術後の再構成（b）の例が示されています。

2. 位置合わせ精度の評価
位置合わせとスケーリングの評価のため、ロボットカメラ姿勢を伴う追加の探索シーケンスが各解剖学的構造で収集されました。位置合わせの精度を評価するために、ロボットが保持するカメラ姿勢とRGB-D SLAMアルゴリズムから推定された位置合わせ済みカメラ姿勢との間でRMSEが計算されました。

**Table 2.** Table 2 Evaluation of registration and scaling accuracy解説: この表は、位置合わせとスケーリングの精度評価結果を示しています。中央気道と前立腺のケースにおいて、スケール比（%）と姿勢RMSE（mm）が報告されています。

この表は、位置合わせとスケーリング精度の評価結果を示しています。中央気道ではスケール比98.17%、姿勢RMSE 0.67mm、前立腺ではスケール比98.23%、姿勢RMSE 1.12mmという結果が得られました。

3. 完全なパイプライン評価
メインの実験および結果セクションでは、再構成性能を個別に評価し、代替の再構成アプローチと比較しました。 Appendix 1では、Virtuoso Surgical内視鏡システムを用いたテストデータセットで完全なパイプラインを評価しています。

**Table 3.** Table 3 Average quantitative evaluation results for the RGB-D pipeline with automated scaling using pose registration解説: この表は、自動化された姿勢位置合わせを用いたRGB-Dパイプラインの平均定量的評価結果を報告しています。中央気道閉塞、空気入り良性前立腺肥大症、水没良性前立腺肥大症のケースについて、再構成精度（メディアン最近傍点距離、Chamfer距離、Hausdorff距離）、セグメンテーション精度、再構成点数などの指標が示されています。

この表は、自動化された姿勢位置合わせを用いたRGB-Dパイプラインの平均定量的評価結果を、2つのCAOケース、1つの空気入りBPHケース、および1つの水没BPHケースについて報告しています。この評価は、ロボットセットアップへの依存を減らしつつ、点群品質と幾何学的精度をより直接的に評価できるものです。

研究の限界と今後の展望

このパイプラインは、学習ベースのコンポーネントに大きく依存しています。水中のようなシナリオでは、水中での画像と空気中での画像との間にドメインギャップ（domain gap）があるため、MDEの使用が必ずしも再構成を改善しない場合があることが示されました。また、本パイプラインはシーンの変形を考慮していません。手術が進むにつれて手術環境は大きく変化するため、中間的な再構成を用いてシーン表現を更新する必要があるかもしれません。気道の硬質な性質により気道閉塞（CAO）ではこの限界は顕著ではありませんが、他の手術では課題となります。

今後の研究では、変形モデリングや超音波などの他のモダリティの統合により知覚機能を向上させる予定です。また、下流のタスクや実際の臨床動画での知覚パイプラインのテストも計画されています。

まとめ

本研究では、自然開口部手術（NOTES）のためにセグメンテーションされた3次元再構成を作成するパイプライン「Perseus」が発表されました。この3次元マップは、手術環境の理解と自動化を支援する可能性を秘めています。CTスキャンから得られたグランドトゥルース（真値）の幾何形状との比較により、処理時間と再構成精度の両方で改善が観察されました。このパイプラインはプラグアンドプレイ設計であり、使用されているSLAMアーキテクチャの一般化能力により、セグメンテーションおよび深度推定モデルを変更するだけで、他の解剖学的構造や手術にも拡張可能です。これにより、ドメインシフトに対しても全体として提案されたパイプラインは汎用性を持つことが示唆されます。

用語集

自然開口部手術（NOTES）: 体内の自然な開口部を利用し、体表面の切開を最小限に抑える手術法です。
セグメンテーション: 画像内の特定の領域（例: 腫瘍、臓器）を区別・識別する画像処理技術です。
深度推定: 2次元画像から、各ピクセルまでの距離（深度）を推定する技術です。
3次元再構成: 2次元画像や深度情報から、対象物の3次元形状をデジタルで構築することです。
SLAM: 自己位置推定と環境地図作成を同時に行う技術（Simultaneous Localization and Mapping）です。
MDE: 単眼カメラの画像から深度情報を推定する技術（Monocular Depth Estimation）です。
Structure-from-Motion (SfM): 複数の画像から対象物の3次元構造とカメラ位置を推定するオフライン処理の技術です。
U-Net: 医療画像セグメンテーションによく用いられる畳み込みニューラルネットワーク（CNN）の一種です。
SAM2: 多様な画像・動画のセグメンテーションを可能にする大規模な基盤モデルです（Segment Anything in Images and Videos 2）。
DROID-SLAM: 深層学習を用いてリアルタイムで高精度な3次元再構成とカメラ姿勢推定を行うアルゴリズムです。
Chamfer距離: 2つの点群間の類似度を測る指標の一つで、点群間の平均的な距離の近さを表します。
Hausdorff距離: 2つの点群間の最大距離を測る指標で、最も離れた点の距離を表します。
RMSE: 二乗平均平方根誤差（Root Mean Square Error）の略で、測定値と真値の差の大きさを示す指標です。
Pinholeカメラモデル: カメラが光を一点から取り込む理想的なモデルで、画像と3次元空間の関係を記述します。
ICP: 2つの点群を重ね合わせるための反復的なアルゴリズム（Iterative Closest Point）です。
Umeyamaアルゴリズム: 2つの点群間の最適な剛体変換（回転、並進、スケール）を求めるアルゴリズムです。
CAO: 気道が狭くなることによって呼吸が困難になる状態（Central Airway Obstruction）です。
BPH: 前立腺が肥大し、排尿困難などの症状を引き起こす状態（Benign Prostatic Hyperplasia）です。