什麼是 Geometric Latent Diffusion (GLD)？

Geometric Latent Diffusion（簡稱 GLD）是一個創新的多視角擴散生成框架，專為了解決新視角合成（Novel View Synthesis，NVS）的幾何一致性問題而設計。與傳統方法不同，GLD 巧妙地改造了幾何基礎模型（Geometric Foundation Models）的特徵空間，將其轉化為可用於擴散生成任務的潛在空間。

這項技術的核心突破在於：過去的多視角生成方法通常在「視角無關」的 VAE 潛在空間中運作，導致不同視角之間的幾何關係難以保持一致。GLD 透過利用幾何基礎模型本身具有的幾何感知能力，建立了一個更具幾何一致性的潛在表示，從而生成視角連貫的多視角圖像。

為什麼傳統方法在多視角合成上遇到瓶頸？

視角無關潛在空間的局限性

現有的單圖像生成技術在擴散模型的帮助下已取得驚人進展，但這些進展主要集中於單一視角的生成。當要生成同一物體的多個視角時，傳統方法面臨嚴峻挑戰。

主要原因在於：大多數現有方法採用「視角無關」（view-independent）的 VAE 潛在空間。這種設計雖然簡化了單圖像生成任務，卻忽略了不同視角之間必須保持的幾何約束。例如，當你從正面看到一輛車的左側時，從側面生成時應該仍能看見相同的左側車門，這種簡單的幾何關係在傳統框架中難以保證。

幾何一致性的重要性

多視角合成的核心挑戰在於幾何一致性——確保從不同角度觀看時，場景的幾何結構保持正確且連貫。想像一下：如果從正面看見一個人拿著一把紅色的傘，但從側面看時傘變成了藍色，這就是幾何不一致。

GLD 的出現正是為了解決這個根本問題，透過重新利用幾何基礎模型中已經學習到的幾何知識，建立一個天然的幾何一致潛在空間。

GLD 框架的核心技術原理

改造幾何基礎模型的特徵空間

GLD 的核心創新在於「重新利用」（repurposing）幾何基礎模型。具體來說，研究團隊採用了預訓練的幾何基礎模型（如 depth estimation 或 surface normal prediction 模型），這些模型本身就對場景的幾何結構有深入理解。

改造過程包含以下關鍵步驟：

  • 特徵提取： 從幾何基礎模型中提取具有幾何感知的特徵表示
  • 潛在空間建構： 將這些特徵投影到一個專門設計的潛在空間中
  • 擴散模型訓練： 在這個幾何一致的潛在空間上訓練擴散模型
  • 多視角生成： 透過條件機制，根據單一輸入視角生成多個新視角

幾何潛在擴散的優勢

與傳統 VAE 潛在空間相比，GLD 的幾何潛在空間具有以下優勢：

  • 幾何感知： 特徵本身包含豐富的幾何資訊，如深度、表面法線等
  • 視角連貫： 不同視角的生成結果自然保持幾何一致性
  • 語義保留： 物體的顏色、紋理等語義特徵在多視角間保持一致

GLD 的應用場景與實際價值

GLD 框架的出現為多個領域帶來了新的可能性：

  • 3D 內容創作： 設計師可以從單一視角圖像快速生成完整的 3D 模型視角，大幅提升創作效率
  • 虛擬實境（VR）： 為 VR 場景生成多視角一致性內容，提供更沉浸式的體驗
  • 機器人視覺： 幫助機器人從少量視角理解物體的完整 3D 結構
  • 電影特效： 可快速生成同一物體的多個拍攝角度，減少實際拍攝成本

結論與未來展望

Geometric Latent Diffusion (GLD) 代表了多視角合成領域的重要突破。透過巧妙地重新利用幾何基礎模型的特徵空間，GLD 成功解決了傳統方法中幾何一致性不足的問題。這種「改造而非從頭訓練」的思路，不僅更加高效，也為生成式 AI 的發展開闢了新的方向。

隨著技術的持續發展，我們可以期待看到更多基於幾何基礎模型的生成式應用，進一步推動 AI 在 3D 視覺理解與生成領域的進步。