ロボット手術のポート配置を革新！マーカー不要ARシステム「ARport」の力

August 16, 2026 · 論文解説

🎧 この記事を音声で聴く（AI生成Podcast）

解説対象論文: ARport: an augmented reality system for markerless image-guided port placement in robotic surgery
International Journal of Computer Assisted Radiology and Surgery｜被引用数: 0（2026年8月16日時点）

ロボット支援手術において、手術器具を挿入するポート（トロカール）の正確な配置は、手術の視認性や器具の操作性に大きく影響する重要なステップです。しかし、現在のポート配置は専門家の経験に頼る部分が多く、術前の緻密な計画が術中に正確に反映されないという課題がありました。このギャップを埋めるため、今回ご紹介する「ARport」は、拡張現実（AR）を活用し、術前に計画されたポート配置を対象者の体表面に自動で重ね合わせることで、直感的な手術準備ガイドを提供する革新的なシステムです。

研究サマリー（FINER & PICO）

Feasible実施可能性	既存のHoloLens 2とGPU搭載ワークステーションを組み合わせ、リアルタイム処理を実現しており、技術的な実現可能性は実証されている。
Ethical倫理面	本研究は人体ファントム実験であり、人や動物を対象とした研究は含まれないため倫理的問題は発生していない。
Interesting面白さ	術前計画をARで体表面に直接可視化するマーカーレスのポート配置支援システムは、ロボット手術の効率化と精度向上に貢献する点で非常に興味深い。
Novel新規性	外部センサーやマーカーを使用せず、AI基盤モデルとOST-HMDを統合したマーカーレスARシステムによるポート配置ガイダンスは新規性がある。
Relevant切実さ	ロボット支援手術の重要なステップであるポート配置の精度と効率を向上させ、手術の複雑性や対象者の外傷を低減する可能性があり、臨床的に非常に有用である。
Measurable測定可能性	再構築精度はチェッカーボード、位置合わせ精度は解剖学的ランドマークのTREを用いて定量的に評価されており、サブセンチメートル級の誤差として測定されている。
Modifiable派生・改善	今後の研究で深度センサーのバイアス補正、軟部組織変形補償、リアルな環境下でのロバスト性向上、ユーザビリティ改善など、システムを改善・拡張する計画が提示されている。
Structured文章構造	論文は目的、方法、結果、結論が明確に記述されており、技術的な詳細や実験評価も構造化されて提示されている。
PICO / PECO対象・介入・比較・結果	Population(対象者): ロボット支援手術を受ける対象者。Intervention(介入): ARportシステムを用いたポート配置支援。Comparison(比較): 従来の経験依存的なポート配置。Outcome(結果): ポート配置の精度向上と効率化。

ロボット手術におけるポート配置の課題

どうも、Beyond the Pixelです。ロボット支援手術は、低侵襲性や高精度な操作性から広く普及していますが、手術器具を挿入するポート（トロカール）の正確な配置は、術野の視認性や器具の操作性に直接影響を与える極めて重要なステップです。最適でないポート配置は、器具の可動域を制限したり、追加のポート挿入が必要になったりすることで、手術の複雑性を増し、対象者への負担を増大させる可能性があります。通常、術前にはCTやMRIデータを用いて最適なポート配置が計画されますが、現在のところ、これらの計画を術中に正確に対象者の体表面に反映させる標準化されたガイダンスが不足しています。結果として、ポート位置の決定は専門家の経験や解剖学的ランドマーク（目印）に大きく依存しており、経験によって精度が左右されるプロセスとなっていました。

**Figure 1.** Fig. 1 Port placement in robotic surgery. Upper: Heuristic, experience- dependent port placement. Bottom: AR-assisted port placement with intuitive in situ guidance解説: ロボット手術におけるポート配置の様子を示しています。上段は専門家の経験に基づいた手動での配置、下段はARportシステムが術前計画を体表に重ね合わせて直感的なガイダンスを提供する様子です。

既存のポート配置支援システムにはいくつかの限界がありました。初期のシステムは固定ディスプレイや2Dレーザープロジェクションに頼っていましたが、これらは没入感のある3D知覚や専門家中心のインタラクションを提供できませんでした。また、一部のシステムは複雑なキャリブレーション（調整）や追加の追跡ハードウェアを必要とし、ルーチン臨床ワークフローへの導入を妨げていました。例えば、フィデューシャルマーカー（位置決めの目印）や光学的に追跡される腹腔鏡、術中Cアームなどを統合した包括的なフレームワークも提案されましたが、広範なハードウェアと手間のかかるセットアップが実用性を制限していました。レーザーベースのシステムはポート計画を腹部に投影できましたが、真の3D深度を伝えることはできず、均一な投影面が必要であるため、やはり使いやすさに制約がありました。光学シースルー型ヘッドマウントディスプレイ（OST-HMD）は、術中可視化と専門家中心の空間認識を統合する、より効率的なソリューションとして期待されています。最近ではHoloLens 2を利用した術中ポート局在化システムも提案されましたが、手動での位置合わせに依存していたため、手順の流れを中断し、ポート位置の精度に不確実性を生じさせていました。

マーカーレスARシステム「ARport」の登場

これらの課題に対処するため、本研究では「ARport」が提案されています。これは、AI（人工知能）を活用した拡張現実（AR）システムで、直感的かつ自動的なポート局在化（位置特定）を目的としています。ARportの主な貢献は以下の3点にまとめられます。1. ポート配置のための直感的なARガイダンスシステム: ARportは、術前に計画されたトロカール（ポート）の配置を対象者の体表面に重ね合わせ、手術準備段階で直接的かつ視覚的なガイダンスを提供します。2. AI駆動型およびマーカーレス実装: AI認識と光学シースルー型ヘッドマウントディスプレイ（OST-HMD）を統合したインテリジェントなARフレームワークを提案しています。これにより、外部センサーや物理的なマーカーに頼ることなくARレジストレーション（位置合わせ）を実現し、セットアップの複雑さを最小限に抑え、臨床現場へのシームレスな統合を可能にします。3. 実物大手術ファントムでの検証: 人体とほぼ同じ大きさの手術ファントム（模擬モデル）を用いて、実際の条件下でARportのワークフロー全体を検証し、その実現可能性と精度を実証しています。

ARportシステムの技術的基盤

ARportシステムは、Microsoft HoloLens 2（HL2）上に実装され、術前のトロカール計画を対象者に直接可視化することで、直感的なポート配置を可能にします。

**Figure 2.** Fig.2 The ARport system integrates reconstruction, segmentation, reg- istration, and visualization on the HL2. It reconstructs the operative scene from raw RGB–depth–pose streams, extracts the abdominal sur- face through a foundation model, performs surface-based registration,**解説:** ARportシステムの全体的なパイプラインを示しています。HoloLens 2で取得したデータからシーンを再構築し、基礎モデルを用いて人体表面をセグメンテーション（領域分割）し、術前CTデータとの位置合わせを行い、計画されたポート位置や臓器を対象者の体表に可視化する流れです。

このシステムは、再構築、セグメンテーション（領域分割）、レジストレーション（位置合わせ）、そして可視化という一連のパイプラインを統合しています。まず、HL2はRGB（カラー）、深度、および6自由度（6-DoF）ポーズデータをストリーミングし、これらはリアルタイムで手術シーンの3D再構築のために色付き点群に融合されます。この再構築に基づき、基礎モデル（大規模なデータで事前学習され、様々なタスクに応用可能な汎用性の高いAIモデル）であるSegment Anything Model (SAM) を利用した2Dセグメンテーションから3Dボクセルマスクを初期化し、反復的な3D-2Dフィードバックループを通じて動的に洗練させることで、人体表面が抽出されます。

**Figure 3.** Fig. 3 Illustration of segmentation mask expansion and self-correction. Upper: New viewpoints enable progressive mask growth. Bottom: Motion or occlusion triggers automatic self-correction. A video demonstration of the mask expansion and self-correction mechanism is available online解説: セグメンテーション（領域分割）マスクの動的な拡張と自己修正の仕組みを示しています。上段はカメラ視点が変わるにつれてマスクが徐々に成長する様子、下段は対象物の動きや遮蔽（さえぎり）が起こった際にシステムが自動でマスクを修正する様子です。

抽出された表面は、CT-to-sceneレジストレーションをガイドし、術前解剖モデルを抽出された対象者の体表面に位置合わせします。これにより、計画されたトロカール配置や内部臓器のその場での（in situ）可視化が可能になります。

精度の検証：ファントム実験

研究者たちは、ARportシステムの精度と性能を評価するために、実物大の3Dプリントされた人体ファントム（人体の模擬モデル）を用いた実験を行いました。評価対象として、腎尿管全摘術、子宮全摘術、膀胱全摘術の3つの代表的なロボット支援手術が選ばれ、これらの手術に対する臨床ポートテンプレートが確立された手術ガイドラインから採用されました。リアルワールド3D再構築の評価: リアルワールド3D再構築の幾何学的精度を定量的に評価するため、既知のメートル単位の幾何学を持つ平面チェッカーボード（格子模様の板）がゴールデンスタンダードとして使用されました。

**Figure 4.** Fig. 4 Evaluation of reconstruction. a Assessment procedure: ground- truth points qk are directly extracted from the checkerboard; recon- structed points pk are computed from HL2 sensor data. b Visualization解説: リアルワールド3D再構築の評価方法と結果を示しています。(a)はチェッカーボードを用いて、HoloLens 2のセンサーデータから再構築された点（pk）と、基準となる真の点（qk）を比較する手順です。(b)は再構築された点の位置と誤差を色で表現した可視化結果です。

HL2マッピングパイプラインから得られた再構築されたチェッカーボードの角は、理想的なチェッカーボードモデルと比較され、再構築誤差は観察距離と傾斜角度に関して分析されました。結果として、本システムは低傾斜角度の近距離ではサブセンチメートル（1cm未満）の再構築精度を達成しました。誤差は観察距離が大きくなるにつれて、また傾斜角度が大きくなるにつれて増加する傾向が見られました。これは主に深度の信頼性低下と透視歪みの増加によるものです。

**Table 1.** Table 1 Reconstruction accuracy across viewing distances and tilt angles解説: 異なる観察距離と傾斜角度における3D再構築の精度（ユークリッド誤差）をまとめた表です。平均、標準偏差、中央値、最小値、最大値、および正規化誤差（NME）が示されており、近距離で傾斜角が小さいほど誤差が小さい傾向が読み取れます。

エンドツーエンドの遅延（センサー取得からリモート処理、ヘッドセットへのレンダリングまで）は平均890ms、更新レートは5fpsでした。これは手術準備やポート位置特定を目的としているため、実験では十分な性能とされています。CT-to-sceneレジストレーションの評価: CT-to-sceneレジストレーションの精度は、CTデータから製作された実物大の人体ファントムを使用して評価されました。両目の角、両口の角、両乳頭、へそ、両股間のランドマーク、両指先、両つま先など、身体の様々な領域に分布する13の解剖学的ランドマーク（目印）がCT由来の表面モデル上で特定され、評価のためのフィデューシャル（目印）として使用されました。位置合わせの精度は、ターゲットレジストレーション誤差（TRE）を用いて定量化されました。TREは、マーカーレスARベースの位置合わせによって予測されたフィデューシャルの位置と、物理ファントム上でデジタル化された対応する位置との間のユークリッド距離（直線距離）を測定します。

**Table 2.** Table 2 Registration accuracy across body regions and anatomical landmarks解説: 身体の各部位と解剖学的ランドマークにおけるCT-to-scene位置合わせの精度（ターゲットレジストレーション誤差、TRE）をまとめた表です。ランドマークごとのTREの平均、標準偏差、中央値、最小値、最大値に加えて、可視領域までの距離（DVA）と体幹正中矢状面までの距離（DMP）が示されています。

全体として、可視領域に近く、体幹の正中矢状面（体の左右を分ける仮想の面）に近いランドマークほどTRE値が小さくなる傾向が見られました。これは、位置合わせ中に観察される表面が主に円筒状の腹部領域に分布しているため、頭尾軸周りの小さな回転に対する感度が低下することと一致しています。

**Figure 5.** Fig. 5 Visualization of cannula alignment on the phantom. Cannulas transformed using the ﬁducial-based reference alignment are shown as semitransparent, while those obtained from the markerless AR-based registration are shown as solid解説: 人体ファントム上でのカニューラ（ポート挿入管）の位置合わせの可視化を示しています。半透明の円筒はフィデューシャル（目印）ベースの参照位置合わせによるカニューラ、実線の円筒はマーカーレスARベースの位置合わせによるカニューラを示しており、術前計画がファントム上に適切に重ね合わされている様子です。

ARportの可能性と今後の展望

ARportは、ロボット支援手術における術前計画のポート配置を、手術準備段階で対象者の体表面に直接可視化するという実用的なニーズに対応しています。本システムは、HL2からの生データ取得、シーン再構築、基礎モデルベースのセグメンテーション、マーカーレスCT-to-sceneレジストレーション、そして最終的な計画ポート位置のレンダリングという、完全なエンドツーエンドのパイプラインを実装しています。追加の追跡ハードウェアや手動での位置合わせなしで機能し、手術準備プロセスへのシームレスな統合を可能にします。実物大の人体ファントムを用いた実験では、サブセンチメートル級の局在化誤差で、正確かつ安定したポート配置が実証されました。これは、従来の専門家の経験に基づいたポート配置におけるセンチメートル単位の不確実性と比較しても有意義な精度であり、ポート配置の精度と再現性を向上させる可能性を示唆しています。しかし、臨床展開前にはいくつかの限界が残されています。まず、ARportの現在のレジストレーション誤差（5～10mm）は、従来の外科ナビゲーションシステム（通常約5mm以内）よりも高いです。この精度差は、HL2深度センサーの系統的な測定バイアスに主因があり、今後の研究では対象者特有のキャリブレーションを通じて、このハードウェアに起因するバイアスをミリメートル以下のレベルに軽減する promising な道筋が示されています。次に、現在の評価は硬いファントム条件下で行われたため、腹壁の軟部組織のコンプライアンス（柔らかさや変形性）は考慮されていません。臨床現場では、ニューモペリトネウム（腹腔鏡手術で腹部を膨らませるためにガスを注入すること）が非剛体変形を引き起こし、術前計画と術中物理サイトとの空間的対応を変化させる可能性があります。将来の研究では、変形補償アルゴリズムの開発と、ニューモペリトネウムをシミュレートする現実的で変形可能なファントムでの検証が必要とされています。第三に、現実の術室環境下でのARportのロバスト性（堅牢性）はさらなる調査が必要です。ARportは手術の初期段階でのポート位置転写を意図しているため、関連する腹部表面は通常、手術器具やロボットアームによって遮蔽されていません。このセットアップ段階のワークフローでは、術室の照明がシステム性能に影響を与える重要な要因となります。強いまたは不安定な手術照明は、キャプチャされたRGBフレームに露出過度やちらつきのアーティファクト（ノイズ）を引き起こし、色付き点群の再構築やSAMベースのセグメンテーションに直接影響を与える可能性があります。これらの劣化した視覚入力は、マスク伝播をさらに損ない、位置合わせプロセス中のFPFH記述子のロバスト性を低下させる可能性があります。臨床適応性を向上させるため、現実的な照明条件下で各モジュールを検証および洗練するための臨床データセットの収集が計画されています。加えて、長時間の使用、特に動的な動きや環境の微妙な変化の下での位置安定性の系統的な評価も行われる予定です。第四に、ARportはOST-HMDに展開されているため、その臨床的有用性はユーザビリティ（使いやすさ）とヒューマンファクターに大きく依存しますが、これらはこの予備研究では評価されていません。将来の研究には、手術ワークフロー、認知負荷、人間工学的快適さに対するシステムの影響を評価するための正式なユーザー研究が含まれる予定です。このような評価は、ARインターフェースが視覚的疲労や注意散漫を引き起こすことなく直感的なガイダンスを提供し、最終的に研究室のプロトタイプから実用的な臨床ツールへのシームレスな移行を促進するために不可欠です。

まとめ

ARportは、ロボット支援手術におけるマーカーレス画像誘導ポート配置のためのAI駆動型ARシステムです。制御された実物大ファントム研究を通じて、概念実証（プルーフオブコンセプト）としてその技術的な実現可能性が示されました。今後の研究は、OST-HMDにおけるセンサー由来の再構築バイアスの軽減による位置合わせ精度の向上、ニューモペリトネウムを考慮した変形補償の組み込み、現実的な術室条件下および対象者データでのシステム検証、そして臨床展開前のユーザビリティ、ワークフロー統合、人間工学的側面を評価するための正式なユーザー研究に焦点を当てていきます。このARportシステムは、ロボット手術の精度と効率を飛躍的に向上させる可能性を秘めており、今後の発展が非常に期待されます。

用語集

拡張現実 (AR): 現実世界の映像に、コンピューターで生成した情報を重ね合わせて表示する技術。
ポート配置: ロボット支援手術などで、手術器具を体内に挿入するために作られる小さな切開部（ポート、またはトロカール）の位置を決めること。
トロカール: ロボット支援手術や腹腔鏡手術で、細い筒状の器具を体内に挿入するための医療器具。
HoloLens 2 (HL2): Microsoft社製の光学シースルー型ヘッドマウントディスプレイ（OST-HMD）。ARを実現するためのデバイス。
光学シースルー型ヘッドマウントディスプレイ (OST-HMD): 装着者が現実の景色を直接見ることができ、その視界に仮想情報を重ねて表示するタイプのウェアラブルディスプレイ。
マーカーレス登録: 目印となる物理的なマーカー（印）を対象者に貼り付けることなく、画像処理技術のみで三次元的な位置合わせを行う手法。
基礎モデル (Foundation Model): 大規模なデータで事前学習され、様々なタスクに応用可能な汎用性の高いAIモデル。本研究ではSAMが使用された。
セグメンテーション: 画像の中から特定の対象物の領域を識別し、分離する画像処理技術。
レジストレーション (位置合わせ): 異なる画像データや3Dモデル間で、対応する点や面を重ね合わせることで、空間的な位置関係を一致させる処理。
ターゲットレジストレーション誤差 (TRE): 位置合わせの精度を評価する指標の一つで、真の位置と推定された位置との間の距離。
ファントム: 医療画像診断や手術のシミュレーションにおいて、人体の代わりとして用いられる模擬モデル。
三次元再構築: 複数の2D画像や深度情報から、対象物の3D形状を復元する技術。
CTスキャン: コンピュータ断層撮影。X線を用いて身体の内部を画像化する検査。
メッシュ: 3Dモデルを構成する多数の小さな三角形や四角形の面。
ロボット支援手術: 専門家がロボットアームを遠隔操作して行う手術。高精度な操作が可能。
ニューモペリトネウム: 腹腔鏡手術において、腹部を膨らませて術野を確保するために腹腔内にガスを注入すること。