心臓外科手術動画におけるAI解剖学的構造セグメンテーションの進歩

August 8, 2026 · 論文解説

🎧 この記事を音声で聴く（AI生成Podcast）

解説対象論文: Artificial intelligence-supported segmentation of cardiac anatomy in open-heart surgery videos
Journal of Robotic Surgery｜被引用数: 0（2026年8月7日時点）

先天性心臓外科手術における解剖学的構造の正確な識別は、手術の安全性とロボット支援システムの開発に不可欠です。しかし、動的な組織の動き、隠蔽、解剖学的多様性により、手術動画のアノテーションは困難を伴います。本研究は、人間参加型のアプローチと、ファインチューニングされたSAM 2およびYOLOv11を組み合わせたハイブリッドフレームワークを開発・評価することで、この課題に対処しました。これにより、平均IoUが92.2%に向上し、アノテーション時間が約40分の1に短縮されるなど、堅牢な解剖学的追跡と効率的なデータセット作成が実証され、将来のAI支援型心臓外科アプリケーションの基盤を築きました。

研究サマリー（FINER & PICO）

Feasible実施可能性	日常の外科動画記録と既存のモデル（SAM 2, YOLOv11）を基に、人間参加型ワークフローで実現可能。
Ethical倫理面	スウェーデン倫理審査機関の承認を受け、対象者の同意取得とデータ匿名化が実施されており倫理的です。
Interesting面白さ	動的な開心手術環境における解剖学的構造のロバストな追跡を可能にし、ロボット支援手術に応用できる点で興味深い。
Novel新規性	先天性心臓外科手術動画における基盤モデルを用いた解剖学的セグメンテーションと効率的なアノテーションワークフローを初めて統合的に提示。
Relevant切実さ	外科手術の安全性向上、支援ロボットシステムの開発、術中の解剖学的認識の継続的な提供に貢献し、関連性が高い。
Measurable測定可能性	IoU、IoU≥90%のフレーム割合、アノテーション時間削減率を用いて性能を定量的に評価しています。
Modifiable派生・改善	既存の基盤モデルSAM 2をファインチューニングし、GUIとYOLOv11を組み合わせて改良可能なフレームワークを構築。
Structured文章構造	論文は「はじめに」「材料と方法」「結果」「考察」「結論」の標準的な構造で構成されており、追跡評価は3つの異なる条件で実施。
PICO / PECO対象・介入・比較・結果	先天性心臓外科手術動画において、SAM 2とYOLOv11を組み合わせた人間参加型パイプラインがセグメンテーション精度とアノテーション効率を向上。

はじめに：心臓外科手術における課題

どうも、Beyond the Pixelです。先天性心臓外科手術では、正確な解剖学的構造の識別が手術の安全性にとって極めて重要です。また、手術支援ロボットシステムを開発する上でも、この識別能力は不可欠となります。しかし、実際に動画から心臓の構造を特定し、アノテーション（ラベル付け）を行う作業は、非常に困難な挑戦です。組織が動的に変化し、手術器具によって構造が隠れたり、対象者ごとの解剖学的多様性があったりするため、この作業をスケーラブル（拡張可能）に行うことは長年の課題でした。本研究は、先天性心臓外科手術の動画において、人間参加型（human-in-the-loop）のセグメンテーションと追跡のパイプラインを開発し、その有効性を評価することを目的としています。この新しいアプローチは、将来的な手術支援およびロボット心臓手術アプリケーションのための、スケーラブルなフレームワークを提供します。

革新的なAIアプローチ：SAM 2とYOLOv11の融合

本研究では、動的な開心手術環境における堅牢な解剖学的追跡を実現するため、最先端のAI技術を組み合わせたハイブリッドフレームワークが導入されました。このシステムは、特に先天性心臓外科手術の課題に対応するために設計されています。

人間参加型セグメンテーションパイプライン

本研究の核となるのは、人間参加型のセグメンテーションワークフローです。これは、YOLOv11という物体検出モデルと、SAM 2（Segment Anything Model 2）という基盤セグメンテーションモデルを組み合わせたものです。YOLOv11は心臓の構造を検出するために使用され、SAM 2は検出された構造のマスクを生成し、動画全体で追跡するために利用されました。このワークフローは、専用のグラフィカルユーザーインターフェース（GUI）を通じて効率化されています。GUIを使用すると、専門家は動画の最初のフレームで対象となる解剖学的構造に点（プロンプト）を配置するだけで、SAM 2が自動的にセグメンテーションマスクを生成し、フレームごとにそのマスクを伝播させることができます。これにより、アノテーションの作成と修正が迅速に行え、手作業によるトレースと比較してアノテーション時間を約40分の1に短縮することが可能になりました。

**Figure 1.** Fig. 1 Graphical user interface for interactive segmentation. The user places positive point prompts (blue points) on the target anatomy, and the resulting segmentation mask is displayed as a yellow overlay for immediate visual assessment. The interface allows the user to review the propagated segmentation and iteratively add further prompts if cor rection is required解説: グラフィカルユーザーインターフェース（GUI）を介した対話型セグメンテーションの例を示しています。ユーザーがターゲットとなる解剖学的構造（ここでは右心室）に正の点プロンプト（青い点）を配置すると、結果として得られるセグメンテーションマスクが黄色いオーバーレイとして即座に表示されます。このインターフェースは、伝播されたセグメンテーションをレビューし、修正が必要な場合にさらにプロンプトを反復的に追加することを可能にします。

また、このGUIは、伝播されたセグメンテーションの視覚化、レビュー、修正を可能にし、エラーが特定された場合には追加のプロンプトを追加して伝播を再開することで、満足のいくセグメンテーション品質が達成されるまで反復的な改善が行われます。

データセットの構築とファインチューニング

この研究のために、日常的に記録された先天性心臓外科手術の動画から、27,461フレームを含む72の注釈付きビデオクリップで構成される大規模なデータセットが作成されました。SAM 2モデルは、40例の手術から得られた65クリップ（21,394フレーム）を使用してファインチューニングされました。YOLOモデルは、最高品質のセグメンテーションを持つクリップのサブセット（17例の手術から得られた31クリップ、14,970画像）で訓練され、さらに9クリップ（2,687フレーム）が検証に用いられました。訓練や検証に使用されていない3つの独立した手術例からの6つのビデオクリップ（2,400フレーム）を使用して、独立した追跡評価が実施されました。セグメンテーションの対象として、サイズ、視認性、臨床的関連性に基づいて、大動脈、右心房、右心室の3つの解剖学的構造が選択されました。

驚くべき性能向上とアノテーション効率

このハイブリッドフレームワークと人間参加型のアプローチは、心臓外科手術動画における解剖学的構造のセグメンテーションと追跡において、目覚ましい性能向上と効率性をもたらしました。

SAM 2のセグメンテーション精度向上

ファインチューニングされたSAM 2は、事前学習済みモデルと比較して、時間的な追跡性能が大幅に向上しました。独立した評価データセットにおいて、平均IoUは82.1%から92.2%に増加し、IoUが90%以上のフレームの割合は48.2%から72.3%へと向上しました。特に大動脈と心房のセグメンテーション性能が改善され、心室の性能は事前学習済みモデルと同等でした。

**Figure 4.** Fig. 4 Mean Intersection over Union (IoU) for the fine-tuned and pretrained SAM 2 models across the evaluated heart structures解説: ファインチューニングされたSAM 2モデルと事前学習済みSAM 2モデルの、評価された心臓構造（大動脈、心房、心室）における平均IoU（Intersection over Union）を比較したグラフです。ファインチューニングにより大動脈と心房で平均IoUが向上していることが示されていますが、心室では事前学習済みモデルと同等の性能です。

全体として、IoUが90%以上のフレームの割合も統計的に有意な改善を示しました。

**Figure 5.** Fig. 5 Percentage of frames with IoU ≥ 90% for the fine-tuned and pretrained SAM 2 models across the evaluated heart structures解説: ファインチューニングされたSAM 2モデルと事前学習済みSAM 2モデルの、評価された心臓構造（大動脈、心房、心室）においてIoUが90%以上であるフレームの割合を示したボックスプロットです。ファインチューニングにより、大動脈と心房でIoUが90%以上のフレームの割合が顕著に増加していることが分かります。

YOLOの検出性能

YOLOv11の検出性能は、独立した追跡評価データセット（2,400フレーム）で評価されました。信頼度閾値を50%から85%に上げると、検出の対象となるフレームの割合（検出範囲）は減少しますが、残った検出の平均IoU（局所化精度）は向上するというトレードオフが確認されました。例えば、信頼度閾値85%では心室が60.2%のフレームで保持されたのに対し、心房と大動脈はそれぞれ12.7%、11.4%に留まりました。

**Figure 6.** Fig. 6 Percentage of frames retained by YOLO at confidence thresholds of 50% and 85% for each cardiac structure. Increasing the confidence threshold reduces the proportion of accepted detections across all structures解説: YOLOモデルが50%と85%の信頼度閾値で保持したフレームの割合を、各心臓構造（大動脈、心房、心室）について示しています。信頼度閾値を上げると、すべての構造で受け入れられる検出の割合が減少することが示されています。

一方、この高閾値では、大動脈の平均IoUが61.8%から87.2%に、心房が64.2%から73.4%に、心室が84.3%から89.8%に向上しました。

**Figure 7.** Fig. 7 Mean IoU of retained YOLO detections at confidence thresholds of 50% and 85% for each cardiac structure. Mean IoU was calculated only for frames in which a detection was retained解説: YOLOが保持した検出の平均IoUを、50%と85%の信頼度閾値で各心臓構造（大動脈、心房、心室）について比較したグラフです。平均IoUは、検出が保持されたフレームについてのみ計算されています。信頼度閾値が高いほど、検出されるフレーム数は減少するものの、検出の精度（IoU）が向上することを示しています。

モニタリングと再初期化の役割

ファインチューニングされたモデルでは、評価された10秒クリップおよび追加の2つの30秒ビデオにおいて、追跡のずれは限定的でした。そのため、定期的なモニタリングとYOLO検出またはグラウンドトゥルースデータからの再初期化を行っても、セグメンテーション性能のさらなる改善はほとんど見られませんでした。これは、ファインチューニングされたモデルが非常に安定した追跡性能を示したためと考えられます。再初期化は、オブジェクトの境界近くからランダムにサンプリングされた点プロンプトを使用して行われました。

**Figure 2.** Fig. 2 Example of the point sampling strategy used for reinitialization. Positive point prompts are sampled randomly from within the segmen tation mask near the object boundary. For clarity, only six sampled points are shown解説: 再初期化に使用される点サンプリング戦略の例を示しています。セグメンテーションマスクのオブジェクト境界近くから、ランダムに正の点プロンプトがサンプリングされます。ここでは、分かりやすさのために6つのサンプリングされた点のみが表示されています。

2つの独立した30秒評価動画では、ファインチューニングされたSAM 2モデルは、連続伝播の場合、グランドトゥルースからの再初期化、YOLOセグメンテーションからの再初期化の場合と、いずれにおいても同様の平均IoUを維持しました。

**Figure 8.** Fig. 8 Mean Intersection over Union (IoU) for two independent 30 s evaluation videos. Results are shown for the fine-tuned SAM 2 model with continuous propagation (blue), the fine-tuned model with periodic reinitialization from ground-truth segmentations (orange), the fine-**解説:** 2つの独立した30秒評価動画における平均IoU（Intersection over Union）を示しています。ファインチューニングされたSAM 2モデルの連続伝播（青）、グラウンドトゥルースからの定期的な再初期化を伴うファインチューニングモデル（オレンジ）、YOLOセグメンテーションからの定期的な再初期化を伴うファインチューニングモデル（緑）、および事前学習済みSAM 2モデル（赤）の結果が示されています。再初期化は、連続伝播と比較して追跡性能を改善しなかったことを示しています。

また、IoUが90%以上のフレームの割合も、再初期化戦略に関わらず同様に高い水準を維持していました。

**Figure 9.** Fig. 9 Percentage of frames with IoU ≥ 90% for the two independent 30 s evaluation videos. Results are shown for the fine-tuned SAM 2 model with continuous propagation (blue), the fine-tuned model with periodic reinitialization from ground-truth segmentations (orange), the解説: 2つの独立した30秒評価動画におけるIoUが90%以上であるフレームの割合を示したボックスプロットです。結果は、連続伝播の場合のファインチューニングされたSAM 2モデル（青）、グラウンドトゥルースからの定期的な再初期化を伴うファインチューニングモデル（オレンジ）、YOLOセグメンテーションからの定期的な再初期化を伴うファインチューニングモデル（緑）、および事前学習済みSAM 2モデル（赤）について示されています。ファインチューニングされたモデルは、再初期化戦略に関わらず一貫して高い追跡性能を維持したことを示しています。

圧倒的なアノテーション効率

本研究で開発されたGUI支援ワークフローは、アノテーション効率において著しい改善を示しました。ある心臓専門家による手動のフレームごとのトレースでは、9フレームのセグメンテーションに25分28秒（1フレームあたり163秒）を要しました。一方、GUIを使用した場合、391フレームのビデオクリップで許容できるセグメンテーション品質を達成するのに11分57秒（1フレームあたり1.8秒）しかかかりませんでした。より精密な手動トレースに匹敵する品質を目指した場合でも、約70フレームごとに修正が必要となり、1フレームあたり推定3.8秒で済みました。これは、手動トレースと比較して、アノテーション時間が約40分の1に短縮されたことを意味します。最終的に、合計27,461フレームのデータセットは、GUI支援ワークフローを用いて約30時間（1フレームあたり約4秒）でアノテーションされました。この結果は、伝播ベースのセグメンテーションと的を絞った人間の修正を組み合わせることで、効率的なデータセット生成が可能であることを明確に示しています。

研究の意義と将来展望

本研究は、基盤モデルベースのセグメンテーションパイプラインが、先天性開心手術における解剖学的追跡に効果的に応用できることを示しました。領域適応型SAM 2と人間参加型アノテーション、伝播ベースの追跡の組み合わせにより、大規模な手術動画データセットの効率的な作成と、時間的な追跡安定性の向上が実現しました。これらの成果は、挑戦的な開心手術環境における伝播ベースのセグメンテーションの実現可能性を実証するものです。他の研究がSAM 2のファインチューニングによる一般的な医療ドメインでの性能向上を示しているのに対し、本研究は特に先天性開心手術という特異な環境に焦点を当て、長期的な時間伝播と効率的なアノテーションを可能にする既存の基盤モデルの適応方法を示しています。このアプローチは、将来的に術中の解剖学的認識を継続的に提供することで、開心手術における支援システムに貢献し、視覚的ガイダンスや手術シーンの理解をサポートする可能性があります。これは、将来の文脈認識型支援システムやロボットシステムの重要な前提条件と考えられます。

限界と今後の課題

本研究にはいくつかの限界点が存在します。第一に、データセットは単一の医療施設から固定されたカメラ設定で取得され、独立した評価も限られた手術例で実施されたため、広範な解剖学的バリエーションや手術手順、記録条件、施設間での汎化性については、より大規模な多施設検証研究が必要です。第二に、大動脈、右心房、右心室の3つの大きな心臓外構造のみが対象とされました。より小さく、複雑な形態を持つ、または隠蔽されやすい心臓内構造については、さらに大きな課題となる可能性があります。第三に、参照セグメンテーションは、独立した複数の専門家による手動アノテーションではなく、半自動の人間参加型ワークフローによって生成されました。不確実なケースは専門家とレビューされましたが、正式な評価は行われていません。第四に、YOLO検出の範囲は解剖学的構造によって大きく異なり、再初期化の頻度と有効性に影響を与えました。第五に、コンクルーエンス指標は手動で設計され、パラメータは経験的に選択されました。将来の研究で、系統的な最適化と感度分析が必要です。最後に、アノテーション効率は、単一の専門家による概念実証としての時間測定であり、複数のアノテーターとデータセットでの反復測定が必要です。また、本研究ではオフラインでの追跡性能とアノテーション効率を評価しましたが、リアルタイム性能、遅延、およびロボットシステムや術中システムへの統合は今後の課題となります。

用語集

セグメンテーション: 画像の中から特定の領域（ここでは心臓の構造）をピクセル単位で識別し、分離する技術です。
IoU (Intersection over Union): セグメンテーションの精度を測る指標で、予測された領域と実際の領域の重なり具合を示します。100%に近いほど高精度です。
SAM 2 (Segment Anything Model 2): 広範な視覚ドメインで高い汎化能力を持つ基盤モデルです。少数のプロンプトからオブジェクトのセグメンテーションマスクを生成します。
YOLOv11 (You Only Look Once version 11): リアルタイム物体検出に特化した深層学習モデルで、画像内のオブジェクトを迅速かつ正確に識別します。
ファインチューニング: 事前学習済みのモデルを、特定のタスクやデータセットに合わせて再訓練し、性能を向上させるプロセスです。
人間参加型 (Human-in-the-loop): AIシステムが自動で行う作業に対し、必要に応じて人間の専門家が介入し、修正や指導を行う仕組みです。
アノテーション: 画像や動画データに、機械学習モデルが学習するために必要なラベル（ここでは解剖学的構造の輪郭）を付与する作業です。
GUI (Graphical User Interface): マウス操作などでコンピュータを直感的に利用するための視覚的なインターフェースです。
コンクルーエンス指標: SAM 2のセグメンテーションとYOLOの検出結果を比較し、追跡のずれを検出するためのカスタム指標です。