オープンウェイトLLM「LLaMA 3.1」による脳MRI報告書からの自動情報抽出：オランダ語レポートの構造化と課題

解説対象論文: Automatic extraction of structured information from brain MRI reports using an open-weight large language model
European Radiology｜被引用数: 0（2026年8月20日時点）

自由記述形式の放射線診断報告書は、その柔軟性ゆえに、大規模なデータ分析や臨床研究での再利用を困難にしています。本研究では、オープンウェイトの大規模言語モデル（LLM）であるLLaMA 3.1が、特にオランダ語で書かれた脳神経放射線科の自由記述レポートから、構造化された臨床情報を自動的に抽出する可能性を詳細に評価しました。これにより、認知症ケアにおける大規模データ分析と意思決定支援の新たな道が開かれる可能性があります。

Feasible実施可能性	既存のワークフローを中断せずに大規模データ再利用を可能にし、認知症ケア研究を支援します。
Ethical倫理面	オープンウェイトLLMのローカル展開によりデータプライバシーを確保し、医療情報管理要件に準拠します。
Interesting面白さ	オランダ語の自由記述脳MRIレポートから30変数を自動抽出するLLaMA 3.1の能力を評価します。
Novel新規性	オランダ語の放射線レポート構造化にオープンウェイトLLMをfew-shotプロンプティングで評価した初の体系的な研究です。
Relevant切実さ	大規模データ分析を容易にし、レポートの一貫性を向上させ、臨床研究と意思決定をサポートします。
Measurable測定可能性	バランス精度、正確度、平均絶対誤差、テキスト類似度を用いてモデル性能を定量的に評価します。
Modifiable派生・改善	Few-shotプロンプティングや専門用語マッピングにより、モデル性能を向上できる可能性を示唆します。
Structured文章構造	自由記述の放射線レポートから、カテゴリ変数、数値変数、自由記述テキストを含む30の構造化変数を抽出します。
PICO / PECO対象・介入・比較・結果	対象者：認知症の診断を受けた対象者の脳MRIレポート。介入：LLaMA 3.1による自動情報抽出。比較：人間評価者、ゼロショットプロンプティング。アウトカム：レポートからの構造化情報抽出精度。

はじめに：自由記述レポートの課題とLLMの可能性

どうも、Beyond the Pixelです。医療画像の診断報告書は、その多くが専門家による自由記述形式で作成されています。この自由記述形式は、複雑な症例を柔軟に記述できる利点がある一方で、大規模なデータ分析や研究での利用を制限するという課題を抱えています。欧州放射線学会（ESR）をはじめとする専門機関は、一貫性のある構造化報告（SR）の導入を推進していますが、技術的な障壁や専門家のワークフローとの衝突により、その普及はまだ限定的です。
このような背景から、自由記述レポートから構造化されたデータを自動的に抽出するニーズが高まっています。特に認知症ケアのような複雑な疾患領域では、詳細な所見や専門的な評価指標が含まれるため、自動化されたソリューションが不可欠です。近年、OpenAIのGPT-4のような大規模言語モデル（LLM）が、自由記述レポートを構造化されたフォーマットに変換する可能性が注目されています。これらのモデルは、大量のテキストデータで学習しており、最小限の注釈データで高度な言語タスクを実行できます。しかし、多くがプロプライエタリモデルに依存しているため、データ転送に伴うプライバシーの懸念があり、臨床現場での導入が課題となっています。そこで、ローカルでの展開が可能なオープンウェイトLLMの検証が求められています。

研究デザイン：オランダ語脳MRIレポートとLLaMA 3.1

本研究は、オランダ語の脳神経放射線科レポートから構造化情報を抽出するオープンウェイトLLMであるLLaMA 3.1の包括的な評価を行いました。2016年から2021年にかけて、三次記憶クリニックにおける947件の脳MRIレポートが分析対象となりました。これらのレポートは、コンサルタントの脳神経放射線科専門家によって作成されたものです。訓練を受けた医学生が30の変数を手動で注釈付けし、評価者間信頼性を評価するために100件のレポートは二重に注釈付けされました。
LLMとしては、オープンウェイトのLLaMA 3.1（Meta, 2024年7月）を使用しました。このモデルは、ローカル展開が可能であるため、医療機関のデータガバナンス要件に適合します。また、オランダ語の処理能力も確認されています。8Bと70Bのバージョンが使用されました（405Bは計算制約により除外）。プロンプトは、抽出ガイドライン、各変数を定義するJSONテンプレート、および自由記述レポートで構成されました。

この図は、LLaMA 3.1を使用したデータ抽出パイプラインのグラフィカルな概要を示しています。後処理では、モデルによって生成されたテキストを抽出し、JSON検証に失敗した応答は「missing」に置き換えられました。評価は、カテゴリ変数にはバランス精度、カウント変数には正確度と平均絶対誤差（MAE）、自由記述テキストにはテキスト類似度を用いて行われました。

結果：人間レベルの精度とfew-shotプロンプティングの力

LLaMA 3.1は、オランダ語の脳MRIレポートから24の脳神経放射線科変数を抽出する上で、非常に有望なゼロショット性能を示しました。全体として、人間の評価者と比較しても遜色ない結果が得られています。

人間評価者との比較と評価者間信頼性

LLaMA 3.1は、標準化された視覚的評価尺度において高い性能を発揮しました。例えば、左内側側頭葉萎縮（MTA）で1.00、右MTAで0.98、Fazekasスコアで1.00、全般的皮質萎縮（GCA）全体で0.85のバランス精度を達成し、これらはすべて人間の評価者と同等の性能でした（p > 0.05）。脳梗塞の言及検出は0.83、微小出血の言及検出は0.86とわずかに低かったものの、少なくとも一人の評価者と同等でした。病変部位の抽出では高いテキスト類似度（梗塞で0.95、微小出血で0.96）を達成しました。
一方で、数値変数は課題が多く、特に梗塞のカウントでは抽出精度が0.66から0.78の範囲で、評価者1よりも有意に低い結果でした（p < 0.05）。ただし、MAEが低いことから、数値が抽出された場合にはほとんどが正確であったことが示唆されます。低精度は、実際の病変数とレポートに情報がないケースとの混同に起因します。

この表は、LLaMA 3.1と2人の人間評価者による各変数における合意注釈に対する定量的性能と、2人の評価者間の評価者間信頼性（IRR）を示しています。

入力言語の影響

オランダ語レポートと英語翻訳レポートを用いたモデルの抽出性能を比較した結果、ほとんどの変数で同等の性能が示されました。しかし、「splinter infarcts（破片状梗塞）」というオランダ語特有の記述的な用語の扱いは課題となりました。この用語は、小さく線状の皮質小脳梗塞を指しますが、英語文献には直接的な同等語がないため、LLaMA 3.1の英語翻訳では「small infarct（小さな梗塞）」と頻繁に翻訳され、形態学的特異性が失われました。プロンプトにこの用語の翻訳マッピングを含めることで、性能を改善できることが示されました。

この表は、オランダ語のオリジナルレポートと、LLaMA 3.1およびOPUS-MTによる英語翻訳を用いたゼロショット情報抽出性能を比較しています。また、LLaMA 3.1による翻訳がOPUS-MTよりも優れていることが、翻訳品質評価によって裏付けられました（LLaMA 3.1の94%が「良好」と評価されたのに対し、OPUS-MTは26%）。

Few-shotプロンプティングの有効性

Few-shotプロンプティングは、モデル性能を大幅に改善することが示されました。特に構造的類似性に基づく例の選択は、ゼロショット設定を統計的に有意に上回る最高の全体性能（平均ランク1.50）を達成しました。この手法は、数値変数で特に顕著な改善が見られました。例えば、梗塞のカウントでは、ゼロショットの精度0.66がfew-shotプロンプティングでは0.81に向上し、微小出血のカウントでも0.80から0.93に向上しました。

この表は、固定例、ランダム選択例、構造的（Jaccard）類似性に基づく例、および意味的類似性に基づく例を用いたfew-shot情報抽出性能を示しています。

計算時間とエラー分析

すべてのプロンプティング手法において、推論時間は30秒未満でした。Few-shotプロンプティングは推論時間を約7%増加させますが、ランダム選択が最速（0.30ms）、意味的類似性に基づく選択が最も遅い（170.43ms）という結果でした。

この表は、各手法における例の選択とモデルのプロンプトにかかる計算時間の概要を示しています。

分析の結果、主な誤分類は、「missing（欠落）」クラスと明確な否定を示すラベル（例：「なし」「存在しない」）との混同、およびカウント変数における「missing」と「ゼロ」の混同であることが分かりました。これは、モデルが異常が明示的に否定されているケースと、関連情報が提供されていないケースを区別できないことに起因します。

この図は、few-shotプロンプティングと構造的類似性に基づく選択を用いて得られた、左MTA、GCA全体、脳梗塞の有無、微小出血の有無、脳梗塞数、微小出血数という4つのカテゴリ変数および2つのカウント変数に関する、10のランダム分割における各テストセットで正規化された混同行列を示しています。
また、順序尺度変数では、隣接するスコア間の不確実性（例：「1から2」のGCAスコアが「1」または「2」に誤分類される）に関連するエラーが優勢でした。モデルは、専門家がスコアを明記していない場合でも、以前の知識に基づいてスコアを推測するなどの幻覚を示すことがありました。これは、概念間の混同やモデルの推論によるものです。

考察：オープンウェイトLLMの臨床的意義と今後の展望

本研究は、オープンウェイトLLMであるLLaMA 3.1が、自由記述のオランダ語放射線レポートから構造化された臨床情報を抽出する上で大きな可能性を秘めていることを示しました。特に、few-shotプロンプティングと適切な例の選択を組み合わせることで、ほとんどの変数で人間レベルの精度に近づく性能向上が見られました。このモデルは、主に英語データで訓練されているにもかかわらず、オランダ語の医学用語を解釈し処理する強力な能力を示しています。
オープンウェイトモデルは、データを外部サーバーに転送する必要がないため、プライバシー上の懸念を軽減し、病院がデータガバナンスと監査ログを維持できるという重要な利点があります。これにより、医療機器規制（MDR）のような規制や安全性の枠組みへの準拠が簡素化される可能性があります。本研究の実験設定（2つのNVIDIA H100 GPUを使用）では、データ抽出はレポートあたり30秒未満で完了し、1時間あたり約120レポートの処理能力があります。これは、大規模なデータレジストリの生成や遡及的なレポート構造化といったバッチ指向の用途において、十分なスループットです。

研究の限界と今後の展望

本研究は、三次記憶クリニックにおけるオランダ語の放射線レポートに特化しており、外部検証は行われていません。これは、結果の汎用性を制限する可能性があります。また、LLaMA 3.1を使用しましたが、より新しいオープンウェイトLLMや、腫瘍学など特定の臨床推論を必要とする領域に特化した医療専門LLMとの比較も今後の重要な研究方向です。
Few-shotプロンプティングは軽量な代替手段として有効でしたが、chain-of-thoughtプロンプティングや検索拡張生成（RAG）などのより高度なアプローチが、さらなる性能向上をもたらす可能性があります。しかし、これらは計算資源や実装の要求が高いため、本研究では除外されました。また、本研究では静的なプロンプトが使用されましたが、動的なプロンプト生成技術の探索も今後の課題です。将来的には、MRI画像と放射線レポートの両方を入力として統合するマルチモーダルな設定にこのアプローチを拡張することで、より包括的で正確な臨床情報抽出が可能になるでしょう。

結論

本研究は、オープンウェイトLLMが自由記述の放射線レポートから構造化された臨床情報を抽出する上で大きな可能性を秘めていることを実証しました。情報に基づいた例の選択を用いたfew-shotプロンプティングは、性能を大幅に向上させ、ほとんどの変数で人間レベルの精度に近づきました。複雑なケースや曖昧なケースには課題が残るものの、オランダ語の医学テキストを処理するモデルの有効性は、自由記述レポートの事後構造化のためのスケーラブルなツールとしてのLLMの可能性を強調しています。今後の研究では、このアプローチを他のモデルで検証し、他の臨床領域に拡大し、マルチモーダル統合を探索することで、様々な研究設定での適用性を高める必要があります。

用語集

• LLM（大規模言語モデル）: 大量のテキストデータで学習し、自然言語を理解・生成する人工知能モデル。
• Few-shotプロンプティング: 少数の例を提示することで、モデルに特定のタスクを学習させる手法。
• Zero-shotプロンプティング: 例を一切提示せず、モデルがタスクを遂行する能力を評価する手法。
• 構造化報告（SR）: 放射線レポートを自由記述ではなく、事前に定義された形式や項目に沿って作成すること。
• 評価者間信頼性（IRR）: 複数の評価者が同じ対象を評価した際の一致度を示す指標。
• MTA（内側側頭葉萎縮）: 脳の内側側頭葉の萎縮度を示す視覚的評価スコア。
• GCA（全般的皮質萎縮）: 脳全体の皮質萎縮度を示す視覚的評価スコア。
• Fazekasスコア: 脳の白質病変の程度を評価する視覚的スコア。
• Microbleed（微小出血）: 脳内の微細な出血。
• Infarct（梗塞）: 血流不足により組織が壊死すること。脳梗塞など。
• ゴールデンスタンダード: 比較対象となる最も信頼性の高い評価基準や手法。