傳統醫療 LLM 基準測試的困境

當前醫療領域的大型語言模型（LLM）評估嚴重依賴靜態、模板化的基準測試。這些測試包括選擇題、問答題等形式，看似客觀卻無法反映臨床實務的動態本質。

例如，一位臨床醫師在實際工作中需要：

  • 根據患者主訴即時調整問診策略
  • 在資訊不完整的情況下做出判斷
  • 同時處理多位患者的複雜病情
  • 平衡診斷準確性與時間效率

傳統基準測試忽略這些關鍵因素，導致 benchmark 表現與臨床實用性之間存在巨大落差。這正是 MedArena 研究要解決的核心問題。

MedArena：臨床醫師視角的評估新範式

MedArena 提出創新的評估方法：直接收集臨床醫師在實際工作情境中對不同 LLM 輸出結果的偏好資料。這種方法跳脫了「標準答案」的思維，轉而關注醫師在真實臨床決策中的實際需求。

研究團隊讓臨床醫師比較不同 LLM 生成的臨床建議，評估項目包括：

  • 診斷建議的準確性與完整性
  • 處方建議的安全性与合理性
  • 醫病溝通的清晰度與同理心
  • 臨床決策的實用性與可執行性

提示詞工程在醫療 LLM 中的關鍵角色

MedArena 的研究結果顯示，同一個 LLM 在不同提示詞設計下的表現差異顯著。這凸顯了提示詞工程在醫療 AI 應用中的核心地位。

有效的醫療提示詞設計應包含：

  • 角色明確： 指定 AI 為「具有 [專科] 背景的臨床助理」
  • 情境說明： 提供患者年齡、性別、主要症狀等關鍵資訊
  • 輸出格式： 明確定義診斷思路、治療建議、注意事項等結構
  • 安全邊界： 標註需要人類醫師確認的關鍵決策點

實際應用案例

假設要設計一個協助門診問診的提示詞：

你是具有 10 年臨床經驗的內科主治醫師。請根據以下患者資訊：
- 症狀：持續性頭痛 2 週
- 伴随症狀：輕度噁心、視力模糊
- 既往史：無特殊

請提供：
1. 可能的鑑別診斷（按可能性排序）
2. 建議的檢查項目
3. 需特別注意的警示徵兆
注意：最終診斷需由實際臨床檢查確認

對醫療 AI 發展的啟示

MedArena 研究揭示了醫療 LLM 發展的三大方向：

1. 從實驗室到臨床場景

評估指標必須納入臨床醫師的實際使用體驗，而非僅依賴學術基準。

2. 提示詞即醫療器材

如同藥物需要處方規範，醫療提示詞也需要標準化與驗證流程。

3. 人機協作模式

AI 的角色是輔助而非取代，提示詞設計應強化醫師的判斷能力而非依賴度。

結論與建議

MedArena 的出現標誌著醫療 AI 評估從「技術指標導向」邁向「臨床價值導向」的重要轉變。對於從事醫療 AI 開發與應用的專業人士，建議：

  • 在模型評估中納入臨床醫師回饋機制
  • 建立醫療提示詞的最佳實踐庫
  • 持續追蹤 AI 輸出在真實臨床情境中的表現

唯有如此，才能真正縮小 AI 技術與臨床需求之間的鴻溝。