核心問題：法律 LLM 為何容易產生幻覺？

大型語言模型（LLM）在短上下文任務上表現優異，但在處理長法律文件時準確度大幅下降。這是因為法律文書通常包含數十頁甚至數百頁的條款、判例和法規，遠超過一般模型的處理能力。

在法律領域，準確性至關重要。模型產生的「幻覺」（hallucination）可能導致：

  • 錯誤條款引用：捏造不存在的法律條文
  • 錯誤判例引用：提供虛假的法院判決
  • 法律意見偏差：生成不符合法規的建議

這些錯誤會嚴重損害法律專業人員對 AI 系統的信任，也無法符合資料隱私的要求——許多法律機構需要在本地部署模型，防止敏感資料外洩。

解決方案：元資料豐富化 RAG 管道

傳統的檢索增強生成（RAG）在法律場域效果有限。研究者提出「元資料豐富化」方法，透過以下步驟強化檢索品質：

步驟一：文件結構標註

為法律文件添加結構化元資料，包括：

  • 文件類型（合約、判決書、法規等）
  • 適用法域（國家、地區）
  • 涉及的法律領域（民事、刑事、商事等）
  • 生效日期與修訂歷史

步驟二：語義標籤生成

使用小型模型自動產生文件的語義標籤，例如：「智慧財產權侵權」、「勞動糾紛」、「不動產交易」等。這些標籤可作為檢索時的過濾條件。

步驟三：混合檢索策略

結合向量檢索與關鍵字檢索，並利用元資料進行結果過濾與排序，確保檢索到的內容與查詢高度相關。

直接偏好優化（DPO）的實務應用

除了改進檢索系統，研究者還引入直接偏好優化（Direct Preference Optimization, DPO）來微調語言模型。DPO 的核心概念是：

不需人類標註的獎勵模型，而是直接學習人類偏好的排序結果。具體做法如下：

  • 收集偏好資料：讓模型對同一問題生成多個答案，由法律專家排序
  • 訓練目標：模型學習「好的答案應該具有哪些特徵」
  • 迭代優化：持續收集反饋，逐步提升模型輸出品質

DPO 的優勢在於訓練穩定、計算效率高，特別適合需要在本地部署的小型模型。

實作整合：完整工作流設計

將元資料豐富化 RAG 與 DPO 整合的完整工作流如下：

  1. 文件预处理：解析 PDF、Word 等法律文件，提取文字與結構
  2. 元資料生成：自動產生結構化與語義元資料
  3. 向量建庫：將文件切片向量化，建立檢索索引
  4. 偏好資料收集：建立法律問答對，並收集專家偏好排序
  5. DPO 微調：使用偏好資料微調小型 LLM
  6. 推理部署：結合檢索系統與微調模型，提供法律問答服務

此工作流可在本地伺服器執行，確保敏感法律資料不會離開機構網路。

成效評估與實用建議

根據研究，元資料豐富化 RAG 配合 DPO 可顯著降低法律 LLM 的幻覺率。實務上，建議注意以下要點：

  • 元資料品質：確保元資料準確且結構化，定期審核更新
  • 偏好資料多樣性：涵蓋不同法律領域與文書類型
  • 模型選擇：根據硬體資源選擇適合的本地部署模型
  • 持續監控：建立回饋機制，持續優化系統

這套方法特別適合律師事務所、法務部門與法律科技公司，可在保障資料隱私的前提下，提供可靠的法律 AI 輔助工具。