什麼是極限數獨基準測試？

極限數獨（Extreme Sudoku）是一種極度困難的數獨謎題，其特色在於候選數字數量最少，需要候選人具備極強的邏輯推理與constraint-satisfaction能力。Reddit用戶近期提出將極限數獨作為大型語言模型（LLM）的基準測試，目標是測試AI在「原生狀態」下的解題能力——不使用任何思維鏈（Chain of Thought）、外部工具或答案回溯技術。 這種測試方法的核心價值在於：它能夠客觀評估LLM本身的推理深度，而非依賴提示詞技巧或外部輔助。極限數獨的規則簡單明確，但解答過程需要嚴格的constraint propagation（約束傳播），這正好考驗模型處理複雜邏輯關係的能力。

為什麼選擇constraint-satisfaction作為測試指標？

Constraint-satisfaction是人工智慧領域的核心問題之一。在數獨中，每個數字必須滿足三個約束條件：行唯一性、列唯一性、宮唯一性。當模型嘗試解題時，它需要在龐大的搜索空間中找到同時滿足所有約束的解答。 傳統的LLM測試往往依賴文字理解或知識回憶，但極限數獨 benchmark 聚焦於結構化推理能力。這種測試方法的優點包括：
  • 客觀評估：數獨只有正確或錯誤的解答，沒有主觀評分空間
  • 難度可控：可通過調整候選數字數量控制題目難度
  • 可重複性高：相同題目可測試不同模型的表現差異

原生求解：不使用CoT或工具的意義

在提示詞工程領域，常見的做法是使用Chain of Thought（思維鏈）來引導LLM逐步推理。然而，這項 benchmark 的設計者刻意不使用CoT，目的是測試模型的「原生」推理能力。 所謂「原生求解」包含三個限制：
  • 無CoT：不提供逐步推理的提示詞
  • 無工具：不允許調用計算器、程式碼執行器等輔助
  • 無回溯：模型不能夠在發現錯誤後回頭修改答案
這種測試方式揭示了LLM在「單次嘗試」中能夠達到的推理深度極限。對於提示詞工程師而言，這提供了重要的參考資訊：哪些問題適合使用原生提示，哪些需要引入CoT或其他技術。

測試結果的啟示

根據測試結果，LLM在極限數獨上的表現呈現以下特點：
  1. 上下文長度限制：複雜的數獨需要追蹤大量候選數字，可能超出模型的上下文窗口
  2. 模式識別能力：模型善於識別常見的數獨模式，但在罕見組合上表現較差
  3. 確定性 vs 機率性：數獨需要絕對精確，LLM的機率性質有時會導致錯誤
這些發現對提示詞工程具有重要意義：當任務需要100%準確性時，僅依賴LLM原生能力可能不足，需要結合外部驗證機制。

對提示詞工程師的實際建議

基於極限數獨 benchmark 的發現，以下是提示詞工程的最佳實踐：
  1. 清楚界定任務性質：如果是需要絕對精確的任務（如數學計算、邏輯推演），應預設需要輔助機制
  2. 善用結構化輸出：使用JSON、Markdown等格式幫助模型組織答案
  3. 考慮混合策略：結合CoT與驗證步驟，提高解答品質
  4. 理解模型極限：不要將所有問題都推向單次對話解決，必要時分段處理
極限數獨 benchmark 為我們提供了一個寶貴的視角，理解LLM在無輔助情況下的真實能力邊界，這是優化提示詞策略的重要基礎。