研究發現：LLM 為何會「忘記」你的指令？
最新神經科學研究揭示了一個令人驚訝的事實：大型語言模型（LLMs）在處理長對話時遺忘初始指令的方式，與 ADHD（注意力不足過動症）患者的大腦運作機制存在驚人的相似性。
這項研究的核心發現是：無論是人類大腦還是 AI 模型，當注意力資源不足時，較早收到的資訊都會被「稀釋」或遺忘。對於 LLM 而言，這意味著在長上下文對話中，系統提示詞（System Prompt）的影響力會隨著對話推進而逐漸減弱。
Attention 機制：LLM 與人腦的共同弱點
Transformer 架構中的 Attention 機制與人類前額葉皮層的注意力分配有相似之處。當模型需要處理大量 tokens 時，它會自動將「注意力」分配給最近出現的資訊，而較早的指令則因為權重降低而被「遺忘」。
具體例子：
- 情境一：你在提示詞開頭要求「用繁體中文回答」，但在 20 輪對話後，模型可能開始混用簡體中文
- 情境二：你設定了「禁止透露內部資訊」的安全指令，但在長對話中，模型可能逐漸放寬這個限制
- 情境三：複雜的角色扮演指令，在多輪互動後可能出現角色「走鐘」的情況
5 個實用技巧：讓你的提示詞更「抗遺忘」
技巧一：重複關鍵指令
在長對話中，定期（每 5-10 輪）重新強調核心要求。例如：
記住：你必須用繁體中文回答，且禁止透露任何內部資訊。
技巧二：使用結構化提示詞
將重要指令放在明確的區塊中，使用清晰的分隔符：
## 核心要求
1. 始終使用繁體中文
2. 回答長度控制在 200 字以內
## 輸出格式
- 使用項目符號列表
- 每點不超過 20 字
技巧三：設定「系統性回顧」機制
要求模型在關鍵節點回顧初始指令：
在進入下一階段前，請先確認你仍然遵守以下要求：[列出核心指令]
技巧四：控制上下文長度
當對話過長時，考慮使用對話摘要工具壓縮歷史記錄，保留關鍵指令而非完整對話。
技巧五：使用「約束性提示詞」
在指令中加入明確的邊界條件：
無論對話多長，你都必須遵守這個規則：[具體規則]。如果需要偏離，請先徵求我的同意。
結語：理解 AI 的「注意力」限制
這項研究給我們的重要啟示是：無論是設計 AI 系統還是與 AI 互動，我們都需要考慮「注意力」的限制。透過理解 LLM 的 Attention 機制，我們可以設計出更穩定、更可靠的提示詞。
未來的提示詞工程趨勢將更加注重「持久性」設計，讓 AI 系統能夠在漫長的對話旅程中，始終牢記我們的核心需求。