FluidWorld：不用Transformer的預測世界模型

答案是肯定的！FluidWorld證明了反應-擴散（Reaction-Diffusion）動態系統可以作為有效的預測基底，而且在計算效率上顯著優於Transformer架構。這種新方法避免了Self-Attention的O(N²)計算複雜度，同時提供明確的空間歸納偏置，讓模型能更自然地處理空間資訊。

世界模型（World Model）的核心目標是學習預測環境的未來狀態，支援規劃與心理模擬。傳統方法預設使用Transformer在潛在空間中進行預測，但代價高昂。FluidWorld提出一個根本性問題：Self-Attention對於預測性世界模型是否真的必要？

傳統世界模型的困境

目前主流的世界模型採用Transformer架構，這種設計存在兩個主要問題：

  • O(N²)計算複雜度：Self-Attention機制需要計算所有Token兩兩之間的注意力權重，當輸入長度增加時，計算成本呈平方級增長。
  • 缺乏空間歸納偏置：Transformer雖然強大，但對空間結構沒有先驗假設，必須從大量資料中學習，這在處理圖像、地理資訊等空間資料時效率較低。

例如，在處理100x100像素的影像時，Self-Attention需要計算10,000個位置之間的所有關係，計算量達到1億次操作，這對即時應用來說是不可行的。

FluidWorld的創新解決方案

FluidWorld採用反應-擴散系統作為計算基底，這是一種模擬液體或氣體擴散过程的數學模型。其核心思想是：

  • 連續空間表示：不同於Transformer的離散Token，反應-擴散系統在連續空間中運作，自然捕捉空間鄰近關係。
  • 局部交互：每個位置的狀態只受鄰近區域影響，計算複雜度降至O(N)，大幅提升效率。
  • 物理啟發：反應-擴散遵循真實世界的物理規律，提供天然的空間歸納偏置。

這種設計讓FluidWorld能夠用更少的計算資源達到與Transformer相當甚至更好的預測效果。

實作步驟與範例

若要實作FluidWorld概念，可遵循以下步驟：

步驟一：建立網格表示

將環境狀態映射到二維網格，每個網格點儲存狀態向量。例如，機器人周圍的障礙物分布可用二值網格表示。

步驟二：定義反應-擴散方程

∂u/∂t = D∇²u + f(u,v) ∂v/∂t = D∇²v + g(u,v)

其中u和v代表兩種化學物質濃度，D為擴散係數，f和g為反應函數，可使用類神經網路學習。

步驟三：訓練反應函數

使用監督學習，讓網路學習如何根據當前狀態預測下一時刻的化學物質濃度變化。

步驟四：進行長期預測

透過迭代求解偏微分方程，模擬環境在多個時間步後的演化，實現世界模型的規劃功能。

實驗結果與優勢

FluidWorld的實驗顯示，這種方法在多個任務上展現優勢：

  • 計算效率提升：推理速度比Transformer快數倍，記憶體需求更低。
  • 空間任務表現優異：在需要理解空間結構的任務中，反應-擴散系統展現更強的泛化能力。
  • 可解釋性：動態系統的行為更容易視覺化與分析，有助於理解模型的決策過程。

這項研究為世界模型的發展開闢了新道路，證明了Transformer並非唯一選擇。對於需要在邊緣設備上部署或處理高解析度空間資料的應用，FluidWorld提供了一個極具吸引力的替代方案。