如何防止人工智慧代理在客戶服務中洩漏敏感數據

防止人工智慧客服人員洩漏敏感資料的最有效方法是確保模型接收、檢索或處理的資料量始終不超過目前客戶請求所需。不要依賴「切勿洩漏私人資訊」之類的系統提示。要為模型設定確定性控制措施:最小化並編輯輸入數據,授權所有在LLM(生命週期管理)之外的數據查找,賦予工具最小權限,隔離每個客戶的數據,在交付前驗證響應,並監控整個流程。

該設計符合當前安全指南的方向。美國國家標準與技術研究院 (NIST)於 2024 年發布、並於 2026 年更新的《生成式人工智慧概況》(NIST AI 600-1) 將隱私、安全、監控和風險管理視為生命週期關注點。 OWASP Top 10 for LLM and Generative AI Applications將提示注入、敏感資訊外洩、不當輸出處理、過度代理和系統提示洩漏列為獨立的風險。其實際意義很簡單:一個安全的客服代理需要多個獨立的控制措施,而不僅僅是一個巧妙的提示。

首先從資料路徑入手,而不是從模型提示入手。

在選擇模型或新增更多防護文字之前,請先繪製出客戶資料在系統中的流轉路徑。典型的客服人員可能會收到一則訊息,檢索 CRM 記錄,搜尋知識庫,呼叫訂單或帳單 API,產生答案,寫入日誌,並儲存對話記錄。敏感資料可能在上述任何環節外洩。

對於一個從不存取客戶特定記錄的基本常見問題解答機器人來說,主要風險在於客戶在聊天中輸入的內容以及哪些內容會被記錄下來。對於訂單狀態查詢助理來說,授權和欄位層級過濾至關重要。對於可以退款、更改地址或取消服務的客服人員來說,工具權限和交易確認與回應過濾同樣重要。

概念性的安全人工智慧客戶服務架構,展示了輸入過濾、策略防護、受限工具、監控和安全回應路徑。
安全的客戶服務代理應該有獨立的控制措施,用於輸入過濾、策略執行、工具存取、輸出處理和稽核日誌記錄,而不是僅依賴模型。

1. 在敏感資料到達模型之前將其移除。

資料最小化是最有效的首要控制措施,因為模型從未接收到的資訊不可能在其回應中重複出現。美國聯邦貿易委員會 (FTC) 的資料安全指南建議僅收集所需信息,確保其安全,並妥善銷毀。將這一理念直接應用於人工智慧上下文建構。

假設客戶詢問「我的訂單在哪裡?」。通常情況下,此模型不需要客戶的完整支付卡號、稅號、出生日期、完整地址記錄或內部詐欺記錄。您的應用程式可以驗證客戶身份,呼叫訂單服務,並將訂單號、出貨狀態、預計送達時間和已核准的支援備註等特定資訊傳遞給模型。

資料脫敏流程圖顯示,包含訂單號碼和電子郵件地址的客戶訊息在發送給 AI 模型之前會進行脫敏處理。
如果原始值對於回答支援請求並非必要,則在模型推理之前對敏感欄位進行編輯或替換。

需要編輯或標記化的內容

具體的清單取決於您的業務和法律義務,但常見的候選資訊包括支付憑證、身分驗證金鑰、政府身分識別識別、健康資訊、完整的金融帳號、私人地址、內部安全備註和機密商業資料。盡可能使用確定性檢測器,並為您自己的識別碼維護特定領域的模式。

不要以為屏蔽可見聊天記錄就夠了。同樣的策略應應用於檢索到的文件、工具回應、客服草稿、對話摘要、分析事件、追蹤記錄和錯誤日誌。

概念資料保護設定螢幕,啟用了 PII 偵測、編輯、受限知識來源和減少訊息保留功能。
個人識別資訊 (PII) 的偵測、編輯、來源限制和保留期限應在應用層強制執行。此畫面僅以概念形式展示這些控制措施,而非具體的商業產品。

2. 在LLM之外強制執行客戶授權

人工智慧模型絕不應決定客戶 A 是否可以讀取客戶 B 的記錄。授權必須在確定性應用程式程式碼或存取控制服務中完成,然後才能將資料傳回給代理程式。

這遵循NIST SP 800-207《零信任架構》的原則:基於已驗證和授權的身份而非隱式信任來授予資源存取權限。對於人工智慧代理商而言,同樣的方法意味著每個客戶關係管理 (CRM)、工單、訂單或帳單請求都應包含已驗證的用戶身份,並與所要求的資源進行比對。

安全的訂單查詢可以實現為“獲取已認證客戶 ID 和訂單 ID 的訂單狀態”,後端會在傳回包含允許清單的簡短回應之前確認訂單所有權。而危險的設計是“搜尋所有客戶記錄”,然後依賴模型來選擇正確的記錄。

最小權限圖顯示,人工智慧代理被允許閱讀支援文章和有限的訂單狀態字段,同時被阻止存取完整的客戶資料庫。
僅向代理提供其所需的最小讀寫權限。即使存在功能更強大的 API,也不應允許存取完整的客戶資料和支付資料。

3. 賦予工具最小權限,並將高風險操作與其他操作分開。

具備工具功能的代理尤其危險,因為快速注入或模型錯誤都可能導致針對真實系統的行為。 OWASP 的「過度代理」指南指出,功能過剩、權限過大和自主性過高是導致代理行為損害的核心原因。

不要授予同一位客服人員對所有記錄都擁有讀寫權限的通用CRM憑證。應根據用途劃分權限。例如,知識庫客服人員可能只需要對已核准的幫助內容擁有唯讀權限。訂單狀態查詢工具可能只需要傳回出貨資訊。退款工具可能需要單獨的權限範圍、交易限額,並且在執行前需要手動或客戶確認。

對於影響較大的操作,應在後端程式碼中強制執行業務規則。模型可以建議“退款訂單 123”,但應用程式應獨立驗證已認證客戶、退款資格、金額、幣種、交易狀態和批准要求。

4. 將客戶訊息和檢索到的內容視為不可信的輸入

提示注入並非僅限於客戶輸入「忽略您的指示」。 OWASP提示注入指南指出,間接指示也可以透過文件、網頁、工具結果、圖像或模型處理的其他內容傳遞。

這在客戶服務中至關重要,因為客服人員經常需要查閱工單歷史記錄、電子郵件往來、上傳的文件、產品頁面或客戶關係管理系統(CRM)備註。隱藏在這些資料來源中的惡意指令應該只是數據,而不應該成為客服人員的操控依據。

使用已核准的檢索來源列表,將可信任指令與不可信內容分開,在可行的情況下對檢索到的材料進行清理或轉換,並在工具邊界處設定授權檢查。當檢索到的文件請求金鑰、憑證、無關記錄或工具操作時,無論模型如何決定,其所在的應用程式都應阻止這些操作。

客服聊天記錄顯示,客服人員拒絕提供完整的支付卡號或 CVV 碼,並將客戶引導至經過驗證的支援管道。
拒絕回應在面向客戶的層面很有用,但更強的保護措施是確保代理商一開始就無法取得被禁止的支付資料。

5. 使用系統提示來規範行為,而不是將其作為安全邊界。

清晰的系統提示仍然很有價值。它可以告知客服人員不要洩露機密信息,不要洩露其他客戶的信息,必要時要求核實,以及將疑難情況上報。但它應該被視為對模型的策略指導,而不是保護資料的機制。

OWASP 的系統提示洩漏指南明確警告不要將憑證、連接字串、敏感權限結構或其他機密資訊放置在系統提示字元中。該指南還建議在 LLM 之外強制執行關鍵控制措施,例如授權和權限分離。

概念系統提示編輯器列出規則,不洩露敏感數據,僅使用當前對話訊息,並將不確定的請求上報。
系統提示規則可以塑造行為和升級,但在確定性系統中,金鑰和存取控制邏輯應該存在於提示之外。

6. 在模型輸出到達客戶或其他系統前進行檢查。

假設模型偶爾會產生不應該產生的內容。建立一個輸出門,在交付之前檢查回應中是否存在敏感資料模式、跨客戶識別碼、密鑰、不支援的連結、危險標記或違反業務策略的值。

OWASP 的《不當輸出處理指南》建議將模型輸出視為不可信數據,並在將其傳遞給下游組件之前對其進行驗證或清理。在客戶服務中,這既適用於向使用者顯示的文本,也適用於用於 API 呼叫的結構化輸出。

例如,如果模型產生一個用於更改郵寄地址的 JSON 工具請求,則需要驗證模式、驗證客戶身份、檢查目標帳戶是否屬於當前會話、拒絕意外字段,並在操作涉及敏感資訊時要求確認。切勿僅僅因為輸出「看起來結構化」就執行模型產生的 SQL、shell 命令、URL 或資料庫識別碼。

7. 隔離客戶記憶、檢索和對話狀態

跨客戶外洩通常源自於檢索或狀態管理,而非基礎模型本身。跨租戶共享向量索引、會話快取、長期記憶或搜尋結果的客戶服務系統,需要在檢索前進行嚴格的過濾。

在將文件傳回給模型之前,請先進行租戶和使用者授權。不要檢索過多的記錄,然後要求 LLM 丟棄它不應該看到的記錄。模型應該只接收目前已認證使用者有權存取的記錄。

使用獨立的命名空間、行級策略、文件存取控制清單 (ACL) 或資料層強制執行的等效隔離措施。測試反例:客戶 A 搜尋客戶 B 的電子郵件地址、訂單 ID、支援工單和部分帳號。正確的結果是,任何未經授權的文件都不能進入模型上下文。

概念審計日誌畫面列出了被阻止的敏感資料請求、被編輯的 PII 事件、策略違規以及允許的正常回應。
審計事件應區分被阻止的檢索、編輯、策略違規和允許的回應,以便團隊能夠追蹤客戶資料如何透過代理傳輸。

8. 安全記錄、持續監測並偵測洩漏

日誌記錄對於事件回應至關重要,但日誌本身也可能成為您試圖保護的敏感資料的另一個副本。在記錄足夠的上下文資訊以便調查決策的同時,請對敏感欄位進行減敏或標記化處理。限制日誌存取權限,定義保留期限,並預設避免擷取包含客戶機密資訊的原始提示和工具有效負載。

NIST SP 800-53 修訂版 5.1包含稽核和問責控制措施,強調選擇和審查與安全相關的事件類型,以便對事件進行調查。對於人工智慧支援系統而言,有用的事件包括資料存取被拒絕、資料編輯觸發、異常檢索量、重複的提示注入嘗試、工具呼叫被阻止、跨租戶授權失敗以及輸出策略違規。

概念安全監控儀表板,顯示已分析的對話、潛在洩漏警報、安全回應指標和最近的敏感資料事件。
同時監控預防事件和險些發生的事件。被拒絕的跨客戶查找或被編輯的輸出數量激增可能揭示出新的攻擊模式或資料流中斷。

在產品發布前以及提示、模型、工具、檢索索引、存取策略或記憶體行為發生重大變更後,運行一套可重複的安全測試套件。測試內容包括:直接提示注入、在檢索到的文件中間接注入、請求其他客戶的資料、編碼或混淆的標識符、工具濫用、多次嘗試繞過策略以及試圖使代理暴露其內部上下文。

哪些控制措施對不同的客服人員來說最重要?

代理類型最高優先權控制為什麼
公共常見問題機器人輸入最小化、安全日誌記錄、提示注入過濾、輸出檢查它根本不應該需要客戶的私人記錄。
訂單狀態助手強式身分驗證、所有權檢查、欄位級 API 回應、租用戶隔離它需要一些客戶數據,但僅限於已驗證用戶和當前訂單。
帳戶支援代理最小權限CRM工具、PII脫敏、輸出DLP、記憶體隔離、權限提升它可以處理更豐富的個人數據,並可能存取多個系統。
退款或取消代理以上所有內容,再加上確定性業務規則、交易限額、確認和審計追蹤。代理可以改變現實世界的狀態,因此資訊外洩和未經授權的行為都至關重要。
多租戶企業支援平台租戶感知檢索、範圍化服務識別、文件存取控制清單強制執行、每個租戶的日誌記錄一次簡單的檢索錯誤就可能將一個組織的資料暴露給另一個組織。

在將代理程式部署到客戶面前之前,請先查看一份部署清單。

  • 繪製出敏感資料可能進入、檢索、產生、記錄或儲存的每個位置。
  • 移除模型不需要的字段,並在不需要原始值時標記標識符。
  • 在檢索私有資料之前驗證客戶身份,並授權 LLM 以外的每個資源。
  • 賦予每個工具實現其單一功能所需的最低功能和資料範圍。
  • 請勿在提示訊息中顯示憑證、API 金鑰、連線字串和安全關鍵權限邏輯。
  • 將使用者內容、文件、搜尋結果和模型輸出視為不可信輸入。
  • 在工具參數到達使用者或下游系統之前對其進行驗證和過濾。
  • 在檢索資料之前強制執行租用戶和文件權限,而不是在模型看到資料之後。
  • 對追蹤和日誌中的敏感欄位進行屏蔽,並限制對監控系統的存取。
  • 持續測試直接和間接提示注入、跨客戶存取和高風險工具操作。

如何判斷控制功能是否正常運作

不要僅根據聊天機器人禮貌地拒絕可疑請求的頻率來衡量安全性。也要衡量底層系統是否阻止了敏感資料進入模型上下文,或透過回應或工具操作阻止了敏感資料外洩。

有用的工程指標包括:私有資料請求在檢索前被封鎖的百分比、跨租用戶授權失敗率、已知測試案例的編輯精確度、敏感輸出阻止率、未經授權的工具呼叫嘗試次數、需要確認的高風險操作百分比,以及從偵測到調查所需的時間。確保測試資料集是合成的或妥善管理,以免安全評估引發新的隱私問題。

結論

最安全的客服AI代理並非安全提示最長的那個,而是運行在狹窄且可審計的資料路徑中的那個。只提供它目前已驗證客戶所需的記錄、目前任務所需的工具以及呼叫該工具所需的權限。在推理之前過濾數據,在推理之後驗證輸出,並獨立於模型強制執行身份驗證和授權。

將模型級指令作為防線,而非最終屏障。當敏感資料受到確定性存取控制、最小化上下文、最小權限工具、租用戶隔離、輸出驗證、安全性日誌記錄和持續測試的保護時,即使出現注入錯誤或模型錯誤,也很難導致客戶資料外洩。

官方參考資料

留下評論

如何使用 Local Ollama 自動產生 SEO 元標題和描述

如何使用 Local Ollama 自動產生 SEO 元標題和描述

建立本地 Ollama 工作流程,批量產生結構化的 SEO 標題和元描述,驗證輸出,並將結果標記出來以供手動審核。

Modern Real Estate Listing Presentation PowerPoint Template Free: A Practical Seller-Ready Slide Blueprint

Modern Real Estate Listing Presentation PowerPoint Template Free: A Practical Seller-Ready Slide Blueprint

Use this free modern real estate listing presentation PowerPoint blueprint to organize pricing, marketing, property prep, agent value, and seller next steps.

適用於Excel的可列印建築工程估價範本:小型承包商的實用指南

適用於Excel的可列印建築工程估價範本:小型承包商的實用指南

在 Excel 中建立一個可列印的建築工程估價模板,其中包含清晰的人工、材料、公式、加價、排除項和可直接列印的客戶總計。

如何為 Luma Dream Machine 產生電影級光照提示

如何為 Luma Dream Machine 產生電影級光照提示

利用實用的電影級照明公式、可重複使用的配方、範例和快速故障排除清單,建立更強大的 Luma Dream Machine 視訊提示。

Minimalist Investor Pitch Deck PowerPoint Template for Tech Startups: What to Include and How to Structure It

Minimalist Investor Pitch Deck PowerPoint Template for Tech Startups: What to Include and How to Structure It

Build a minimalist tech startup investor pitch deck in PowerPoint with the right slide order, clear design rules, traction metrics, and investor-ready appendix.

如何阻止Excel自動將數字轉換為日期

如何阻止Excel自動將數字轉換為日期

阻止 Excel 將程式碼、ID 和分數轉換為日期。使用文字格式、撇號、匯入控制項和最新的 Microsoft 365 選項。

如何在 ComfyUI 中減少 SDXL 工作流程的渲染時間

如何在 ComfyUI 中減少 SDXL 工作流程的渲染時間

透過減少採樣工作、控制解析度和批次大小、簡化節點、使用快取以及安全地調整 VRAM 和注意力來加快 ComfyUI SDXL 渲染速度。

Free Rental Property Expense & Income Tracker Excel Template: Simple Landlord Workbook

Free Rental Property Expense & Income Tracker Excel Template: Simple Landlord Workbook

Build a practical rental property income and expense tracker in Excel with clear categories, formulas, monthly summaries, and tax-ready recordkeeping guidance.

如何為個人文檔建立私有的本地AI知識庫

如何為個人文檔建立私有的本地AI知識庫

使用 Ollama、AnythingLLM、本地嵌入和 RAG 建立私人本地 AI 知識庫。學習四步驟設定、隱私檢查、測試和備份。

如何在不遺失關鍵證據的情況下修復長文檔分析中的「上下文視窗超出範圍」錯誤

如何在不遺失關鍵證據的情況下修復長文檔分析中的「上下文視窗超出範圍」錯誤

透過修剪輸入、分割文件、使用檢索以及驗證最終答案是否涵蓋來源文件來修復長文檔分析中的上下文視窗錯誤。