どうも、Beyond the Pixelです。近年、医科学画像診断の分野では、ディープラーニングの進歩が目覚ましく、診断精度の向上や専門家の負担軽減に貢献する技術が次々と生まれています。特に、大規模言語モデル（LLM）の発展は、医科学分野におけるAIの可能性を大きく広げています。今回ご紹介する「CXR-LLaVA」は、胸部X線（CXR）画像を解釈し、専門家レベルのレポートを生成することを目指して開発された、オープンソースのマルチモーダル大規模言語モデルです。本研究は、人間の放射線専門家が持つ画像解釈スキルをAIが模倣できる可能性を示しています。
Table 1. Table 1 Countries of collection, years of publication, and numbers of frontal chest radiographs in the publicly available datasets used for model training and evaluation解説: モデルの学習と評価に用いられた公開データセットの収集国、公開年、および正面胸部X線画像の枚数を示しています。データセットは、病理学的所見がラベル付けされた学習データセット1と、自由記述形式の放射線レポートを含む学習データセット2に分けられています。また、内部テストセットと外部テストセットの構成も示されています。
開発プロセスは主に2つのステップで構成されています。
Figure 1. Fig. 1 CXR-LLaVA training process. a Initially, the image encoder was trained on a basic classification task to differentiate between normal and abnormal CXRs, thereby acquiring fundamental representations of CXRs. b Subsequently, the model underwent training with pairs of CXRs and their corresponding pathological findings. This training employed the contrastive language-image pre-training (CLIP) strategy to foster shared representations between images and text. c The image encoder was then assimilated into CXR-LLaVA, initiating the alignment of image representations with the large language model (LLM). In this phase, training focused on pairs of CXR images and radiologic reports, with updates confined to the projection layer. d Upon successful alignment of the image encoder with the LLM, an instruction fine-tuning process was undertaken. This involved a variety of radiologic reports and question-answer pairs, aiming to refine the model’s capability to interpret CXRs and facilitate more informative interactions. Please note that the figure abstracts from the detailed neural network information, omitting elements such as tokenizer, batch normalization, projection, and linear classification layers解説: CXR-LLaVAの学習プロセスを示しています。(a)初期段階では、画像エンコーダーが正常な胸部X線画像と異常な画像を分類する基本的なタスクで学習されます。(b)次に、胸部X線画像とその病理学的所見のペアを用いて、CLIP戦略に基づいて学習が進行し、画像とテキスト間で共通の表現を学習します。(c)画像エンコーダーがCXR-LLaVAに組み込まれ、画像表現と大規模言語モデル（LLM）とのアライメント（連携）が行われます。(d)最後に、放射線レポートや質問応答ペアを用いた指示チューニングにより、モデルの解釈能力が洗練されます。
Figure 2. Fig. 2 Model evaluation flow diagram. a Evaluation of datasets with ground-truth free-text radiologic reports, including the MIMIC internal test set and the Indiana external test set. Pathologic labels were obtained using the CheXpert-Labeler from both the original reports and the model-generated reports, with a subsequent comparison of these results. b Evaluation of datasets with established ground-truth pathologic labels, specifically the CheXpert internal test set, involved directly generating pathologic labels from the model using a label generation prompt解説: モデルの評価フローを示しています。(a)MIMIC内部テストセットやIndiana外部テストセットのように、真の自由記述形式放射線レポートが存在するデータセットの評価では、CXR-LLaVAが生成したレポートと元のレポート（真値）の両方からCheXpert-Labelerを用いて病理学的ラベルを抽出し、F1スコアで比較します。(b)CheXpert内部テストセットのように、確立された真値の病理学的ラベルが存在するデータセットの評価では、CXR-LLaVAが直接生成した病理学的ラベルと真値のラベルをF1スコアで比較します。
Table 2. Table 2 Model performance with the MIMIC internal test set解説: MIMIC内部テストセットにおける各病理学的ラベルごとのモデル性能を示しています。CXR-LLaVAは、平均F1スコア0.81を達成し、GPT-4-vision（0.62）およびGemini-Pro-Vision（0.68）のモデルを上回っています。
Table 4. Table 4 Model performance with the Indiana external test set解説: Indiana外部テストセットにおける各病理学的ラベルごとのモデル性能を示しています。CXR-LLaVAは全体平均F1スコア0.56を達成し、特に心肥大（0.62）、浮腫（0.67）、肺炎（0.63）の検出で優れていました。しかし、気胸の検出性能は顕著に低く（0.05）なっています。
Table 5. Table 5 Evaluation of radiologic report acceptability by human radiologists from the Indiana external test set解説: Indiana外部テストセットにおける人間の放射線専門家による放射線レポートの受容可能性評価を示しています。CXR-LLaVAが生成したレポートは51.3%が「修正なしで受容可能」（Class A）と評価され、真値レポートの54.0%とほぼ同等でした。自律的なレポート生成の成功率（Class A + B）はCXR-LLaVAで72.7%に達しましたが、真値レポートの84.0%よりわずかに低く、この差は統計的に有意でした。
Figure 3. Fig. 3 An example of a chest radiograph from the CheXpert internal test set. While the model identified the presence of pleural effusions, atelectasis, and lung opacity, it omitted details about the central catheter (support device)解説: CheXpert内部テストセットの胸部X線画像の例を示しています。モデルは胸水、無気肺、肺の透過性低下を識別していますが、中心静脈カテーテル（支持デバイス）に関する詳細を省略しています。
この例では胸水、無気肺、肺の透過性低下を認識していますが、中心静脈カテーテルには言及していません。
Figure 4. Fig. 4 An example of a chest radiograph from the CheXpert internal test set. The model appropriately recognized the left pleural effusion but failed to identify the left pneumothorax and left pleural drainage catheter. The left pneumothorax is a clinically significant finding, indicating that further improvements to the model are necessary解説: CheXpert内部テストセットの胸部X線画像の例を示しています。モデルは左胸水を適切に認識・記述していますが、左気胸と左胸腔ドレナージカテーテルは検出できていません。左気胸は臨床的に重要な所見であり、モデルのさらなる改善が必要であることを示しています。
Figure 5. Fig. 5 An example of a chest radiograph from the Indiana external test set. The model’s interpretation included information about bilateral pulmonary nodules and suggested a possible diagnosis of lung metastasis or infection, which is reasonable. It also recommended that an additional chest CT scan might be helpful. However, the model could not detect the implanted venous access device解説: Indiana外部テストセットの胸部X線画像の例を示しています。モデルは両側肺結節の存在を識別し、肺転移や感染症を鑑別診断として提案しています。また、追加の胸部CTスキャンが有用であると推奨していますが、体内に埋め込まれた静脈アクセスデバイスは検出できていません。
Figure 6. Fig. 6 An example of a chest radiograph from the Indiana external test set. The model’s interpretation identified right upper lobe consolidation and proposed pneumonia as a possible diagnosis, which is reasonable. Nonetheless, the model failed to detect a small left upper lung nodule (black arrow)解説: Indiana外部テストセットの胸部X線画像の例を示しています。モデルの解釈は右上葉の浸潤影を特定し、肺炎を可能な診断として提案しており、これは妥当です。しかし、モデルは小さな左上肺結節（黒い矢印）を検出できていません。
Table 3. Table 3 presents the model’s pathology detection per- formance on the CheXpert internal test set [25]. The model achieved an average F1 score of 0.57, a sensitivity of 0.90, and a specificity of 0.67 for five pathological findings: atelectasis, cardiomegaly, consolidation, edema, and pleural effusion. While it performed relatively well in identifying lung opacity, atelectasis, and pleural effusion, its effectiveness in detecting consolidation was lower. This average F1 score of 0.57 is marginally lower than that of CheXzero, which achieved 0.61, and slightly below the 0.62 F1 score reported for human radiologists. No established F1 scores from CheXzero and human radi- ologists are available for diagnosing lung opacity and解説: CheXpert内部テストセットにおける各病理学的ラベルごとのモデル性能を示しています。CXR-LLaVAは、5つの主要な病理に対して平均F1スコア0.57を達成しました。これはCheXzero（0.61）や人間の放射線専門家（0.62）よりわずかに低いものの、肺透過性低下、支持デバイス、無気肺の識別において優れた能力を示しています。⚠ 自動抽出画像の検証で一致を確認できませんでした。正確な内容は元論文のTable 3をご参照ください。
Leave a Reply