GAAP: Guaranteed Accounting for Agent Privacy — An AI Agent Execution Environment to Safeguard User Data (2026)論文重點GAAPGuaranteed Accounting for Agent Privacy是一個專為AI Agent設計的執行環境透過資訊流控制Information Flow Control, IFC技術在不信任AI模型、不信任用戶提示、不信任Agent本身的前提下確定性地保證用戶私密數據不會被未經授權地洩露給外部服務或模型提供商。評估結果顯示GAAP能夠阻擋所有數據洩露攻擊——包括那些能讓其他尖端系統洩露用戶數據的攻擊——同時對Agent的實用性影響極小。核心研究內容問題定義AI Agent要成為真正通用的個人助理必然需要存取用戶的私密數據——從電子郵件憑證、支付信息到個人身份信息PII。然而這帶來了嚴重的安全與隱私風險對抗性攻擊攻擊者可透過提示注入Prompt Injection等方式攻擊AI模型誘導其洩露用戶數據。OWASP在2025年已將提示注入列為LLM的頭號安全威脅。模型提供商不可信用戶被迫將私密數據交給可能不誠信或已被入侵的模型提供商。模型自身的不可靠性即便沒有惡意攻擊AI Agent也可能產生幻覺hallucination或執行錯誤操作導致數據意外洩露。創新方法GAAP的核心創新在於不試圖讓AI模型變得「可信」而是從架構層面消除對其信任的需求。具體包括動態權限收集透過動態且引導式的用戶提示GAAP在Agent執行過程中逐步收集用戶對數據分享的權限規範。資訊流控制的增強GAAP在傳統IFC基礎上引入了四個新組件——私有數據庫Private Data DB、權限數據庫Permission DB、揭露日誌Disclosure Log和註釋框架Annotation Framework。這些組件使GAAP能夠追蹤私密資訊在單一任務內跨執行步驟的流動以及跨多個時間分離的任務之間的流動。程式碼生成與靜態分析GAAP不允許Agent直接調用外部服務而是要求其生成程式碼工件Code Artifact再由GAAP的IFC核心執行該程式碼並進行資訊流分析。這種設計使得GAAP能夠以確定性方式判斷每次API呼叫是否構成未經授權的數據揭露。跨任務的記憶與追蹤不同於現有IFC系統僅追蹤單次任務內的污點傳播GAAP透過揭露日誌記錄所有歷史數據揭露實現跨任務的間接數據流追蹤。研究成果安全性成果在一個假設敵對者能觀察AI模型的輸入、控制其輸出文字、程式碼、工具調用並控制部分或全部外部服務的威脅模型下GAAP保證敵對者無法學到任何用戶私密數據——除非該揭露已獲得用戶明確授權。這項保證是確定性的不依賴任何AI模型來檢測或阻止數據洩露。實用性成果評估確認GAAP在阻擋所有數據揭露攻擊的同時對Agent的實用性Utility沒有顯著影響。與現有系統的對比論文透過詳細的特徵比較Table 1展示了GAAP在多個維度上的優勢——包括數據揭露保證、無需信任標籤、無需信任LLM、動態用戶定義的數據政策等——這些都是現有IFC系統如CaMeL、Fides、Prudentia或政策推導系統如Conseca、Miniscope所不具備的。實際落地應用的可能性GAAP的設計使其具備相當高的落地可行性本地部署GAAP應部署在Agent執行的環境中——通常是用戶的本地機器。這使得用戶可以將數據託付給GAAP而非遠端的AI Agent提供商。雲端部署若模型提供商提供託管式Agent也可在自家雲端環境中部署GAAP仍能防範提示注入等模型層面的攻擊。開源計劃作者已計劃將GAAP作為開源軟體釋出這將大幅降低採用門檻。與現有生態整合GAAP的互動透過模型上下文協定Model Context Protocol, MCP進行中介每個服務都有對應的MCP伺服器這意味著它可以自然地融入當前快速成長的Agent工具生態。技術細節核心架構GAAP的整體架構如論文Figure 2所示用戶提示 Agent上下文 GAAP系統提示 ↓ [GAAP IFC核心] ↓ ┌─────────┼─────────┐ ↓ ↓ ↓ [私有數據DB] [權限DB] [揭露日誌] ↓ ↓ ↓ └─────────┼─────────┘ ↓ [外部服務呼叫] (郵件/檔案系統/Web伺服器...)執行流程每個Agent執行步驟的流程如下用戶向在GAAP中運行的Agent發出提示Agent透過API呼叫如get_file或查詢GAAP內部存儲來檢索私密數據GAAP追蹤所有存取當Agent嘗試呼叫外部服務時GAAP攔截並評估該呼叫是否會揭露用戶數據若GAAP能基於當前權限確定該呼叫是否可允許則直接允許或拒絕若無法確定則暫停Agent執行向用戶詢問決策IFC核心的污點追蹤機制GAAP的IFC核心採用污點分析Taint Analysis追蹤數據流動任何對GAAP私有數據庫的查找操作其返回值都會被標記tainted對應的查找鍵任何API呼叫的輸出都會被標記該API呼叫的表示如服務名稱和參數污點會透過數據依賴關係傳播——如果一個變數是從污點數據計算得出的它也會被污點化當Agent嘗試將污點數據作為參數傳遞給外部API時GAAP會檢查該數據類型, 外部方組合是否在權限數據庫中有對應的許可私有數據庫Private Data DB私有數據庫是一個鍵值存儲鍵為私密數據類型如「出生日期」、「電子郵件用戶名」值為對應的私密數據。鍵被視為公開資訊——它們會包含在GAAP的系統提示中用戶提示也可以引用這些鍵——但GAAP會追蹤值的揭露。這個設計解決了一個關鍵問題如果沒有私有數據庫Agent就必須在用戶的郵件或檔案中搜尋所需數據——這種做法既脆弱程式碼容易出錯又可能累積過多不必要的污點一個檔案可能包含多種資訊還不保證能成功找到。私有數據庫讓Agent可以直接查詢所需數據若數據不存在則向用戶請求並記住這些值以便未來重複使用。權限數據庫Permission Database權限數據庫儲存私密數據類型, 外部方配對的權限規範。這些權限是動態的——會隨著用戶執行新任務和修訂對不同方的信任假設而演變。權限數據庫的目標是最小化GAAP需要向用戶詢問許可的次數。註釋框架Annotation Framework註釋框架允許對外部工具進行高精度描述標明每個外部服務相關的各方和數據流。這使得GAAP能夠更精確地判斷一次API呼叫會將數據揭露給誰從而減少不必要的污點傳播。研究設定系統模型論文考慮的系統模型為用戶向AI Agent發出自然語言提示要求其執行各類任務訂機票、網購、發郵件等AI Agent回應提示採取行動呼叫外部服務本地或遠端MCP伺服器並在多個提示間記住上下文GAAP作為Agent的執行環境攔截所有外部服務請求確保數據揭露符合用戶權限規範部署位置通常是用戶本地機器也可部署在雲端威脅模型GAAP的威脅模型極具挑戰性敵對者能觀察AI模型的輸入提示和上下文敵對者能控制AI模型的輸出文字、程式碼、工具調用敵對者能控制部分或全部外部服務這個威脅模型涵蓋了Agent幻覺Hallucination惡意模型提供商模型投毒Model Poisoning不受信任的工具提供商提示注入攻擊Prompt Injection安全保證GAAP提供的是機密性保證而非完整性保證✅ 保證未經用戶授權私密數據不會被揭露給任何外部方包括AI模型提供商✅ 保證此保證是確定性的不依賴AI模型的正確性❌ 不保證直接包含在Agent提示中的用戶數據使用指南中已說明❌ 不保證提示的元數據時機、順序等❌ 不保證控制流完整性提示注入若未導致數據揭露GAAP不會阻止實作狀態論文發表時作者已實作GAAP原型並計劃釋出為開源軟體。綜合分析理論貢獻GAAP最大的理論貢獻在於重新定義了AI Agent隱私保護的問題邊界。現有解決方案大多試圖讓AI模型變得更「可信」——無論是透過對抗訓練、輸出過濾還是行為監測。這些方法本質上都是在模型層面解決問題但LLM的根本特性非確定性、黑箱性質、對提示的敏感性使得任何「可信」的聲稱都難以得到嚴格保證。GAAP的洞察在於與其試圖馴服AI模型不如從架構層面消除對其信任的必要性。透過將Agent的行動限制在程式碼生成與執行框架內並對所有數據流施加嚴格的資訊流控制GAAP將隱私保證從「啟發式」提升到了「確定性」的層級。與現有工作的差異論文在Related Work部分詳細比較了GAAP與多類現有系統的差異傳統IFC系統CaMeL、Fides、Prudentia這些系統需要信任標籤和可信的LLM且通常只追蹤單次任務內的污點。GAAP則無需任何信任假設並支援跨任務的污點追蹤。政策推導系統Conseca、Miniscope這些系統計算完成任務所需的最小權限集合但本質上仍假設模型和訓練是可信的。私有記憶體系統這類系統保護用戶數據免受控制模型服務基礎設施的敵對者侵害但不保護Agent透過API呼叫錯誤地將數據揭露給外部服務。GAAP與私有記憶體是互補的——私有記憶體保護查詢過程中的數據GAAP保護工具使用過程中的數據揭露。潛在局限與挑戰儘管GAAP的設計優雅且具有突破性仍有幾個值得關注的局限完整性保證的缺失GAAP不防止控制流被提示注入改變——這意味著攻擊者仍可能誘導Agent執行非預期的操作序列只要這些操作不直接導致數據揭露。在某些場景下這可能被利用來間接造成危害。提示內數據的保護盲區如果用戶直接將私密數據寫入提示中而非透過私有數據庫查詢GAAP無法保護這些數據。這需要在使用指南中明確約束用戶行為。程式碼生成的可靠性GAAP要求Agent生成正確的程式碼來完成任務。如果Agent生成的程式碼有邏輯錯誤非安全相關可能導致任務失敗影響用戶體驗。效能開銷雖然論文聲稱「對Agent實用性沒有顯著影響」但資訊流控制的分析確實會帶來一定的運行時開銷在大規模部署中可能需要進一步優化。學術意義GAAP發表於2026年正值AI Agent從概念驗證走向大規模應用的關鍵時期。論文將作業系統領域的資訊流控制技術與AI Agent系統相結合開創了一個新的研究方向——可驗證的AI Agent安全架構。這種跨領域的思路對於建立用戶對AI Agent的信任具有重要意義。實踐應用適用場景個人助理Agent需要存取郵件、日曆、支付資訊等敏感數據的個人AI助理企業級Agent處理商業機密、客戶數據、財務資訊的企業AI應用醫療/金融領域Agent受到嚴格數據保護法規如HIPAA、GDPR約束的行業應用開源Agent框架作為開源元件整合進現有的Agent開發框架中部署建議優先本地部署對於最敏感的數據建議在用戶本地機器上部署GAAP這樣用戶只需信任GAAP本身無需信任任何遠端服務提供商。分層權限策略建議用戶在首次使用某類數據或某個外部服務時仔細審查GAAP的權限請求建立基礎權限集。後續使用中可根據實際需求動態調整。與私有記憶體結合對於需要保護查詢過程隱私的場景可將GAAP與私有記憶體系統結合使用。定期審計揭露日誌GAAP的揭露日誌記錄了所有數據揭露歷史建議用戶定期審計檢查是否有異常的數據流向。開發者整合指南對於希望將GAAP整合進自家Agent系統的開發者MCP協定相容GAAP透過MCP與外部服務互動確保你的外部服務提供MCP伺服器介面數據類型定義在GAAP的私有數據庫中明確定義所有私密數據類型的鍵keys註釋外部服務使用GAAP的註釋框架為每個外部服務標註其數據接收方和數據流向系統提示設計GAAP會在用戶提示前預置系統提示引導Agent生成符合規範的程式碼未來發展方向基於GAAP的設計理念以下幾個方向值得關注完整性保證的擴展在保證機密性的基礎上進一步提供控制流完整性保證分散式GAAP支援多個GAAP實例之間的協同實現跨Agent的數據共享控制形式化驗證對GAAP的IFC核心進行形式化驗證提供數學層面的正確性證明效能最佳化針對大規模程式碼工件最佳化IFC分析的效率參考資料來源原始論文: An AI Agent Execution Environment to Safeguard User Data (arXiv:2604.19657)PDF全文: https://arxiv.org/pdf/2604.19657作者: Robert Stanley, Avi Verma, Lillian Tsai, Konstantinos Kallas, Sam Kumar (UCLA Google)