V-JEPA 2 核心架構：為何不需要像素解碼器？

V-JEPA 2 是 Meta 推出的新一代視頻聯合嵌入預測架構，採用完全不同的自監督學習策略。傳統的重建式模型需要像素解碼器來還原輸入影像，但 V-JEPA 2 採用「掩碼預測」機制，只需要在潛在空間（latent space）中預測被遮蔽的表示即可。這種設計大幅降低了計算成本，同時避免了像素級重建帶來的細節損失問題。

然而，這種設計也帶來一個挑戰：由於沒有像素解碼器，研究人員無法直接「看見」模型到底學到了什麼。傳統的重建損失（reconstruction loss）在這裡並不適用，這使得模型可解釋性變得更加困難。

VQ Probe 技術：解讀模型潛在表示的關鍵

為了克服這個問題，Meta 研究團隊開發了 VQ Probe（向量量化探針）技術。這種方法的核心理念是：將一個可學習的量化層連接到冻结的編碼器（frozen encoder）輸出端，然后透過監督式學習來訓練這個探針，使其能夠識別特定的物理屬性。

具體來說，VQ Probe 會將編碼器輸出的連續向量映射到離散的碼本（codebook）中，然後分析這些離散表示是否能夠編碼物體的形狀、位置、運動等物理特徵。研究結果顯示，這種方法能夠發現「統計顯著」的物理結構，證明 V-JEPA 2 確實在潛在空間中學習到了有意義的物理表示。

實作步驟：如何自己動手做 VQ Probe 分析

以下是進行 VQ Probe 實驗的基本流程：

  • 第一步：準備預訓練模型 - 下載 V-JEPA 2 的預訓練編碼器權重，確保輸入影片格式符合模型要求（通常是固定幀數的影片片段）。
  • 第二步：設計 VQ 探針架構 - 在編碼器輸出端連接一個向量量化層，包含一個離散碼本和投影網絡。碼本大小通常設置為 256 或 512 個離散 token。
  • 第三步：訓練與評估 - 使用帶有物理標籤的數據集（如物體邊界、動作類別）進行監督訓練。透過準確率、FID 等指標評估模型是否學到了物理結構。

發現的物理結構：模型到底看到了什麼？

研究結果顯示，VQ Probe 能夠識別出多種類型的物理結構：

  • 物體邊界與形狀 - 編碼器能夠區分不同物體的輪廓，即使在訓練時從未進行像素級的分割監督。
  • 空間關係 - 模型理解物體之間的相對位置關係，如上下、前後等。
  • 運動模式 - 能夠識別物體的移動軌跡和速度變化，這對於影片理解至關重要。

這些發現證明了「嵌入預測」範式的有效性：即使不直接重建像素，模型也能夠通過預測任務學習到豐富的物理世界表示。

應用前景與研究展望

V-JEPA 2 與 VQ Probe 的結合開啟了多個研究方向。首先，這種方法可以應用於機器人技術中的環境理解，讓機器人能夠從影片中學習物理規律而不需要人工標註。其次，在醫療影像分析領域，這種自監督方法可以幫助識別異常結構，降低對專家標籤的依賴。

未來的研究方向包括：擴展到更多的物理屬性（如材质、光照）、結合大型語言模型進行多模態理解，以及優化 VQ Probe 的碼本設計以獲得更好的重建品質。