1.從即時工程到語境工程
在過去的幾年裡,人工智慧開發人員最常用的詞是「提示工程」--如何使用最合適的指令使模型顯示出預期的結果。
但今天,我們面臨一個更大的問題:如何 當人工智慧不再只是回答問題而是長時間自主運行時,我們是否會為人工智慧安排思考空間?
就是在那裡 語境工程 的用武之
2.什麼是「上下文工程」?
在大型語言模型(LLM)中,「上下文」是指模型在推理過程中可以看到的所有信息:
系統命令、對話歷史記錄、工具調用、外部數據、……
上下文工程是 如何將最有價值的信息放入有限的上下文窗口中,讓模型在關鍵時刻能夠「正確思考」。
它不再只是「寫提示」,而是 一種數據管理和注意力設計工程.
對於開發人員來說,這意味著每個令牌(文本單位)都必須最大限度地利用其潛力。
3.為什麼上下文工程如此重要?
LLM的「注意力預算」與人類相同。
隨著上下文變得更長,模型的焦點變得分散,準確性下降。這種現象被稱為 語境腐爛.
Transformer架構允許每個代幣關注所有其他代幣,這意味著上下文越大,平方順序中的注意力連結增加得越多,模型的「理解焦點」就會被稀釋。
因此, 上下文是有限的資源.
正如人類需要選擇性地關注一樣,人工智慧也需要被設計為「選擇性地思考」。
4.創建有效背景的原則
為了保持模型「專注」,Anthropic提出了幾項關鍵策略:
- 清除系統故障
- 用簡單明了的語言表達預期的行為。
- 不要寫複雜的邏輯,也不要給出空洞的指導。
- 「恰到好處」的命令是能夠給出方向並保持靈活性的命令。
- 簡化且高效的工具
- 每個工具都有明確的功能,並有明確的名稱。
- 避免重疊或模糊的工具設計。
- 工具應該幫助模型有效地獲取信息,而不是減慢其思維速度。
- 典型的少鏡頭例子
- 您不需要列出所有邊界情況。
- 只要挑出代表使命核心的「經典案例」,就能給模型最強的行為暗示。
總的原則是: 使上下文「信息密度高但量小」.
5.動態上下文和「實時檢索」
傳統的上下文是靜態的:所有信息在推理之前都會立即反饋給模型。
但更高級的策略是 及時檢索.
這樣,人工智慧代理就像人類一樣行事--僅在需要時尋找數據。
Claude Code使用了這種設計:
它不會立即讀取整個資料庫,而是使用工具在運行時動態加載片段、查詢結果、文件摘要等。
這種「按需思維」使模型在探索性的同時保持輕鬆。
6.長期任務中的三大技能
當任務需要持續數小時並跨越多輪推理時,克勞德採用三種策略來保持一致性:
- 壓實
將長對話或程式歷史記錄濃縮為摘要,僅保留關鍵信息。
就像一個人記筆記一樣,濃縮了「本質語境」。 - 結構化筆記
該模型定期將進度寫入外部筆記本,例如NOTES.md。
這使得它能夠在多階段任務期間保留記憶,並在上下文重置的情況下從筆記中「回憶」。 - 子代理架構
一個主代理負責規劃,多個子代理各自處理特殊任務,然後將結果壓縮回主代理。
這種分層方法不僅減輕了內存負擔,還提高了任務的準確性。
7.結論:背景是一種稀缺資源
語境工程是從「命令」到「認知設計」的轉變。
未來,隨著模型變得越來越智能,人類將不再需要手工決定行為。
然而上下文的精細管理仍然是人工智慧穩定可控的核心。
「做最簡單且有效的事情。」
--人視應用人工智慧團隊
原文: https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents
管材: