為什麼傳統檢索方式效率低落？
記憶增強代理（Memory-Augmented Agents）是 AI 領域的重要進展，它們能夠維護多個專門化的記憶存儲（specialized stores），用於儲存不同類型的資訊。然而，現有系統存在一個關鍵問題：每當收到查詢時，系統會從所有記憶存儲中同時檢索資料。
這種「全面檢索」策略造成兩大問題：
- 成本增加：檢索所有存儲會消耗大量計算資源和 token
- 雜訊干擾：引入與查詢無關的上下文，降低答案品質
根據研究數據，均勻檢索（uniform retrieval）方式產生的上下文 tokens 數量可觀，但其中大量資訊對回答問題並無幫助。這就像在口袋裡翻找東西時，明明只需要檢查一個口袋，卻把所有口袋都翻了個遍——浪費時間且效率低落。
什麼是 Store Routing 問題？
研究人員將記憶檢索重新定義為「store routing」問題。簡單來說，就是讓系統學會「該去哪個記憶存儲找答案」。這類似於快遞系統中的路由選擇：快遞員需要根據包裹目的地，選擇最有效的配送路線。
在記憶增強代理中，每個存儲可能專門存放不同類型的資訊，例如：
- 事實性知識存儲
- 對話歷史存儲
- 程式碼範例存儲
- 領域專業知識存儲
理想的路由系統應該能夠：
- 理解查詢的意圖和類型
- 判斷哪些存儲可能包含相關資訊
- 只檢索最有可能包含答案的存儲
如何評估路由效果？三大關鍵指標
研究採用三個核心指標來評估 store routing 的效果：
1. 覆蓋率（Coverage）
衡量路由決策是否能夠找到所有相關資訊。計算方式為：路由選擇的存儲中包含答案的比例。高覆蓋率代表重要的資訊不被遺漏。
2. 精確匹配（Exact Match）
評估檢索結果是否直接包含正確答案。這是最嚴格的指標，要求檢索內容與標準答案完全一致。
3. Token 效率（Token Efficiency）
衡量達成目標所需的上下文 tokens 數量。這個指標直接關聯到計算成本——tokens 越少，成本越低。
研究結果顯示，神諭路由器（Oracle Router）——即知道最佳選擇的理論最佳系統——能夠在保持高準確度的同時，大幅減少使用的上下文 tokens 數量。這證明了智能路由選擇的巨大潛力。
實作步驟：如何構建成本敏感的路由系統
要實現有效的 store routing，可以遵循以下步驟：
步驟一：定義存儲分類
首先明確定義記憶存儲的類型和職責。例如：
memory_stores = {
"factual": "儲存事實性知識",
"conversational": "儲存對話歷史",
"technical": "儲存技術文件",
"contextual": "儲存情境資訊"
}步驟二：訓練路由分類器
使用機器學習模型，根據查詢內容預測應該存取哪些存儲。可以訓練一個小型分類器，輸入為查詢特徵，輸出為各存儲的存取機率。
步驟三：設定成本閾值
定義檢索成本上限，確保系統在效率與準確度之間取得平衡。例如：
def should_retrieve(store_name, query, cost_threshold=100):
relevance_score = router.predict(store_name, query)
return relevance_score > threshold and current_cost < cost_threshold步驟四：持續優化
根據實際效能回饋，持續調整路由策略和成本閾值。
結論與應用建議
成本敏感路由代表了記憶檢索的重要演進方向。透過智能選擇性地檢索相關存儲，系統可以在以下方面獲得改善：
- 降低營運成本：減少不必要的 token 消耗
- 提升回應品質：避免無關資訊干擾答案
- 加快回應速度：減少檢索和處理時間
對於開發記憶增強代理的團隊，建議從以下方向開始：先分析現有系統的存儲使用模式，識別高頻但低效的檢索場景，再逐步導入路由機制進行優化。