CurveStream 解決了什麼問題？
多模態大語言模型（MLLM）在離線影片理解方面取得了顯著進展，但當應用於串流影片時，卻面臨嚴重的技術瓶頸：視覺 token 數量呈線性爆炸式增長，導致記憶體不足（OOM）錯誤或災難性遺忘問題。傳統的解決方法通常依賴均勻採樣、低層物理指標或被動快取淘汰，但這些策略缺乏內在的語義感知能力，難以有效篩選關鍵資訊。
CurveStream 提出了一種全新的「曲率感知分層視覺記憶管理」方法，透過分析視覺特徵的曲率變化，智慧識別影片中的語義轉折點，進而優化記憶體分配。這項技術讓 MLLM 能夠處理更長的串流影片，同時保持較低的記憶體佔用和較高的理解準確率。
傳統方法的局限性
現有的視覺保留和記憶管理方法存在三個主要問題：
- 均勻採樣策略：無論影片內容如何，都以固定間隔擷取畫面，導致重要動作片段被遺漏，而靜態場景卻佔用過多資源。
- 低層物理指標：只考慮像素變化、亮度等基礎資訊，無法理解「角色轉場」或「情節高潮」等高層語義。
- 被動快取淘汰：當記憶體不足時才被動刪除資料，無法主動預測哪些資訊值得保留。
舉例來說，一段 10 分鐘的體育賽事影片，使用傳統方法可能需要處理數十萬個視覺 token，但實際上有價值的關鍵畫面可能只佔總時長的 20%。
CurveStream 的核心技術原理
CurveStream 的創新之處在於引入「曲率感知」機制，其核心概念如下：
- 語義曲率計算：分析連續畫面之間的特徵向量變化率，識別語義變化劇烈的「高曲率」區域，這些區域通常代表重要事件。
- 分層記憶架構：將記憶分為「長期記憶」、「工作記憶」和「緩衝記憶」三層，根據曲率分數動態分配儲存空間。
- 主動語義壓縮：對於低曲率的冗餘片段，採用語義壓縮技術保留關鍵資訊，大幅降低 token 數量。
實際應用場景與效能提升
CurveStream 技術可應用於多個實際場景：
- 即時影片監控：系統可長時間運行而不會因記憶體累積而崩潰。
- 直播互動分析：即時理解直播內容並產生回應。
- 長影片問答：支援數小時長度的影片內容理解與分析。
實驗結果顯示，與傳統方法相比，CurveStream 可將記憶體使用量降低 60% 以上，同時在關鍵事件識別準確率上提升 25%。
如何實現 CurveStream：技術步驟詳解
若要在現有 MLLM 系統中部署 CurveStream，可遵循以下步驟：
- 步驟一：特徵提取：使用預訓練的視覺編碼器（如 CLIP）提取每幀圖像的語義特徵向量。
- 步驟二：曲率計算：對連續幀的特徵向量計算餘弦相似度，並透過曲率公式識別語義變化點。公式為：曲率分數 = 1 - 相似度（值越高代表變化越大）。
- 步驟三：分層分配：
- 高曲率區域 → 存入長期記憶（完整保留）
- 中等曲率 → 存入工作記憶（選擇性保留）
- 低曲率 → 存入緩衝記憶（高度壓縮）
- 步驟四：動態調整：根據可用記憶體動態調整各層的配額，確保系統穩定運行。
結論與未來展望
CurveStream 為多模態大語言模型的串流影片處理提供了全新的解決思路。透過曲率感知機制，系統能夠「理解」哪些畫面重要、哪些可以省略，而非盲目地處理每一幀畫面。
未來，這項技術可進一步結合大型動作模型，實現更精確的事件檢測；也可與持續學習框架整合，減少災難性遺忘問題的影響。對於需要處理長時間串流影片的應用場景，CurveStream 无疑是一项具有突破性意義的技術創新。