傳統的 AI 草圖生成系統往往只能一次性生成完整圖像，無法像人類藝術家那樣思考「應該先畫什麼、再畫什麼」。最新研究終於突破了這個限制：透過結合多模態語言模型與創新的多回合過程獎勵強化學習，AI 代理現在能夠逐步、一部分一部分地生成向量草圖。

研究核心：什麼是多回合過程獎勵強化學習？

傳統的強化學習通常只在任務完成後給予獎勵（結果獎勵），但草圖繪製是一個連續的決策過程。研究團隊開發的「過程獎勵」（Process Reward）機制，能夠在 AI 代理的每一步繪製動作後立即評估該動作的品質，類似於人類繪畫老師在每筆落下時就給予指導。

具體來說，系統會評估：

  • 當前筆劃是否位於正確的空間位置
  • 筆劃的形狀是否符合該零件的預期輪廓
  • 筆劃的順序是否合理
  • 與已繪製部分的銜接是否自然

ControlSketch-Part 數據集：突破性的自動註釋流程

這項研究的另一項重要貢獻是 ControlSketch-Part 數據集。研究團隊開發了一套通用的自動註釋管道，能夠將向量草圖自動分割成具有語義的零件層級區域。這解決了過去缺乏大規模、部分級別註釋草圖數據的問題。

自動註釋流程包含三個主要步驟：

  1. 輪廓檢測：使用視覺模型識別草圖中的主要線條
  2. 語義分割：基於形狀和上下文將線條歸類到不同零件
  3. 層級驗證：確保零件之間的層級關係正確

多模態語言模型：AI 代理的大腦

系統採用多模態語言模型作為核心代理，使其能夠同時理解視覺資訊（當前草圖狀態）和語言指令（任務描述）。這就像給 AI 安裝了一雙「眼睛」和一顆「會思考的大腦」。

在實際運作中，模型會接收以下輸入：

  • 目前的草圖視覺狀態
  • 目標對象的文字描述（如「一隻貓」）
  • 歷史繪製動作的記錄

然後輸出：下一步應該繪製哪個零件、使用什麼形狀、以及在什麼位置。

實際應用場景與未來展望

這項技術的應用潛力廣泛。在設計領域，設計師可以給予 AI 高層次的創意指令（如「畫一隻正在奔跑的狗」），AI 會像人類一樣先勾勒整體輪廓，再逐步添加細節，最終完成作品。

在教育場景中，這種逐步繪製的能力可以用於：

  • 互動式繪畫教學系統
  • 動畫自動生成的前期草圖階段
  • 遊戲中的即時角色創作

總結：從「一步到位」到「循序漸進」的AI

這項研究最重要的意義，在於讓 AI 學習了人類解決問題的核心思維方式：分解問題、按步驟執行、即時修正。透過監督式微調建立基礎能力，再以多回合過程獎勵強化學習優化決策品質，AI 代理首次展現出接近人類的「創作思維」。

未來，這種逐步生成的範式可能會擴展到更多領域，如 3D 模型建構、室內設計、工業產品設計等，讓 AI 真正成為人類創意的得力助手。