什麼是 EsoLang-Bench？為何用它測試 AI？

EsoLang-Bench 是一個創新的評測框架，專門使用 Esoteric Languages（深奧程式語言）來測試大型語言模型（LLMs）的真正推理能力。與傳統的數學題或邏輯謎題不同，深奧程式語言刻意設計得違反常規、語法怪異，例如知名的 Brainfuck 語言僅用 8 個符號就能完成任何運算。

這種測試方法的關鍵在於：當 AI 面對從未訓練過的怪異語法時，必須真正理解程式邏輯才能生成正確程式碼，而非依賴記憶或模式匹配。這正是「真正推理能力」與「表面模擬」的差別所在。

Esoteric Languages 的特性與挑戰

深奧程式語言並非為實用設計，而是為了挑戰程式設計的極限或單純娛樂。常見例子包括：

  • Brainfuck：僅使用 > < + - . , [ ] 八個符號，Hello World 需要数百个字符
  • Malbolge：被認為是最難懂的程式語言，設計極度複雜
  • Befunge：二維程式碼，執行方向可以改變
  • Piet ：以點陣圖圖像為程式碼

這些語言的挑戰在於：AI 必須理解狀態機概念、記憶體操作、跳轉邏輯，且無法使用常見的關鍵字或語法捷徑。

EsoLang-Bench 的評測方法與步驟

評測流程主要分為以下步驟：

步驟一：任務選擇

從基礎運算（加法、字串反轉）到複雜問題（排序、費波那契數列）建立題庫。

步驟二：Prompt 建構

提供該語言的規格說明、語法規則與預期輸出格式，要求 LLM 生成能達成目標的程式碼。

步驟三：程式執行驗證

使用官方直譯器或編譯器執行 AI 生成的程式碼，確認輸出是否正確。

步驟四：評分機制

根據任務難度與通過率計算分數，並分析失敗案例的錯誤模式。

研究發現：主流 LLM 的推理表現

根據 EsoLang-Bench 的測試結果，目前頂尖 AI 模型呈現明顯差異：

  • 高難度任務：多數模型在 Malbolge 表現極差，正確率低於 10%
  • 中等難度任務：Brainfuck 的簡單運算通過率約 40-60%
  • 關鍵發現：模型規模並非決定因素，某些較小模型在特定任務反而表現更好

這說明「真正理解」與「訓練資料覆蓋」是兩回事——即使模型見過大量正常程式碼，也不代表它能推理出陌生語言的運作方式。

對 AI 發展的啟示與未來應用

EsoLang-Bench 的價值在於提供一個「零樣本推理」的客觀指標。開發者可以用它來：

  • 識別模型的真實推理瓶頸
  • 比較不同模型的泛化能力
  • 針對性改進訓練策略或 Prompt 設計

這個研究也提醒我們：AI 在熟悉領域的優異表現，可能掩蓋了它在陌生情境下的推理缺陷。真正的通用智慧，需要能面對從未見過的挑戰。