如何為個人文檔建立私有的本地AI知識庫

最簡單實用的方案：在自己的電腦上執行語言模型、嵌入模型、文件索引和聊天介面。一個簡單的方案是使用 Ollama 進行本機模型服務，再加上自架的 AnythingLLM，用於文件匯入、檢索增強生成 (RAG) 和聊天功能。將向量資料庫放在本地，使用持久性存儲，避免使用雲端模型提供者，並測試答案是否確實基於本地文件。

範例：在本指南中，假設喬丹正在整理一個私人收藏，其中包括家庭使用手冊、保險PDF文件、會議記錄、個人理財參考資料和一些專案報告。喬丹是虛構人物。下文所述的文件、問題、答案和結果僅用於說明工作流程，並非測試結果或使用者評價。

本指南採用四步驟設置，確保隱私邊界清晰易懂。它適用於希望進行本地文件搜尋和問答的個人使用者或小型可信任家庭。如果您需要企業級身分控制、多節點可用性、集中式稽核或監理保障，則應視為初始架構，而非完整的合規解決方案。

「私有本地人工智慧知識庫」的真正意義

本地知識庫與在文件上訓練模型並不相同。在典型的 RAG 工作流程中，系統從文件中提取文本，將文本分割成塊，將這些塊轉換為數值嵌入，將它們存儲在向量數據庫中，為每個問題檢索相關的塊，並將這些塊作為上下文發送給語言模型。

AnythingLLM 目前的文件描述了附加文件和嵌入文件兩種工作流程。附加文件可以在上下文視窗允許的情況下將全文插入聊天窗口，而 RAG 則會從嵌入文件中檢索較小的相關片段。其目前的本機 LanceDB 文件也指出，預設的實例級 LanceDB 會將文件文字和嵌入內容保存在 AnythingLLM 應用程式內部。請參閱AnythingLLM 文件工作流程文件和AnythingLLM LanceDB 文件。

開始之前：確定隱私邊界

關鍵問題不在於“應用是否在本地運行？”，而是“哪些組件可以將文檔文本或提示信息發送到外部設備？” 即使是本地用戶界面，也可以配置為調用雲端 LLM、雲端嵌入 API、網路搜尋或遠端工具。對於私人部署，除非您已明確接受外部提供者的資料共享風險，否則請將 LLM、嵌入器和向量資料庫保留在本地。

AnythingLLM 文件中記錄了匿名遙測功能，並提供了停用該功能的方法。其隱私文件也區分了從一個工作區移除文件和從文件庫中徹底刪除文件。要徹底清除 AnythingLLM 中的文檔，目前的文檔建議從「我的文檔」中刪除文檔，這將移除已解析的原始程式碼、快取的嵌入程式碼以及工作區引用。在新增敏感內容之前，請務必查看AnythingLLM 的隱私和資料處理文件。

您還需要足夠的記憶體來運行所選的本地模型。模型大小沒有絕對的正確答案，因為可用速度取決於 CPU、GPU、RAM 或 VRAM、量化、上下文長度以及檢索的文件數量。建議從一個能夠輕鬆運行的模型開始，而不是選擇一個機器勉強能夠載入的最大模型。

步驟 1：安裝 Ollama 並準備本地聊天和嵌入模型

請依照適用於您作業系統的最新說明安裝 Ollama。 Ollama 支援 macOS、Windows 和 Linux 系統，其本機 API 預設使用 11434 連接埠。官方的Ollama 快速入門指南是取得最新安裝說明和指令語法的最佳來源。

安裝完成後，請下載一個適合您硬體的聊天模型。這裡故意不指定具體的模型，因為模型目錄會不斷變化，硬體需求也會有所不同。典型的命令格式如下：

ollama pull <chat-model-name>

對於 RAG，您還需要一個嵌入模型。 Ollama 目前的嵌入文件（2026 年 9 月查閱）列出了諸如 `std::vector`、`std::vector`embeddinggemma和qwen3-embedding`std::vector`等模型作為建議的嵌入選項。您可以在Ollama 嵌入文件all-minilm中查看目前清單。例如：

ollama pull embeddinggemma

不要因為聊天模型出現在模型下拉式選單中就將其用作嵌入模型。 AnythingLLM 目前的 Ollama 嵌入器文件明確警告，Ollama 可能會在同一個清單中同時顯示聊天模型和嵌入模型。請使用實際的嵌入模型進行文件索引。請參閱AnythingLLM Ollama 嵌入器設定。

對於 Jordan 的虛構設定而言，現階段的目標很簡單：無需將家庭檔案傳送到遠端 API，即可實現生成和嵌入。

步驟 2：在本地運行 AnythingLLM 並啟用持久性存儲，然後將其連接到 Ollama。

AnythingLLM 提供桌面版和自架版兩種選擇。本指南使用 Docker 方案，因為其儲存邊界明確且易於備份。其目前的本機 Docker 文件指導使用者拉取映像，並強調需要持久存儲，否則在容器重建時應用程式資料可能會遺失。文件還指出 Web 應用程式可透過以下位址存取：[此處應填寫 Web 應用程式的網址] http://localhost:3001。請使用AnythingLLM 官方的本地 Docker 指南，而不是從論壇複製舊命令。

docker pull mintplexlabs/anythingllm:latest

執行容器時，請透過將主機目錄掛載到容器來保留 AnythingLLM 的儲存空間/app/server/storage。供應商文件特別指出持久掛載是必要的。請將該儲存目錄保存在備份計畫中包含的磁碟上。

然後將 LLM 提供者配置為 Ollama。如果 AnythingLLM 直接運作在主機上，則文件中記錄的預設 Ollama 位址為 [此處應填入預設位址] http://127.0.0.1:11434。如果 AnythingLLM 在 Docker 容器內運行，而 Ollama 運行在主機上，則不要localhost在容器內部使用該位址。 AnythingLLM 的 Docker 網路文件指出，在受支援的桌面平台上應使用該位址http://host.docker.internal:11434；在 Linux 系統上，文件中172.17.0.1針對此主機連線模式進行了說明。請參閱AnythingLLM 的本機主機網路說明和Ollama LLM 配置。

在設定中，選擇 Ollama 作為 LLM 提供程序，如果需要，也可以選擇將其作為嵌入提供者。選擇用於產生的聊天模型和用於索引的嵌入模型。將這些角色分開可以避免常見的配置錯誤。

Jordan 創建了一個名為「個人知識庫」的工作空間，並避免連接雲端模型提供者。這使得後續的審計更容易確定預期的邊界：本地使用者介面、本地 LLM、本地嵌入、本地向量。

步驟 3：新增文檔，選擇 RAG 格式（紅黃綠藍靛紫）或全文附件，並驗證匯入情況

不要一開始就上傳整個硬碟。先上傳一小部分代表性的文檔，這些文檔的內容你都非常熟悉。這樣，你就可以在索引規模擴大之前，以一種可控的方式檢測出提取或檢索問題。

以 Jordan 的例子為例，一個有用的第一批文件可能包含一個可搜尋的 PDF 文件、一個 DOCX 文件和一個純文字或 Markdown 格式的筆記。如果掃描的 PDF 文件包含圖像而不是可選擇的文本，請確認您選擇的文檔處理方法是否能夠真正提取所需的文本；即使您認為文件可以正常讀取，但對於 RAG 來說，它仍然可能生成空白或質量很差的文本表示。

AnythingLLM 目前支援兩種主要的文件行為：

• 附件文件：當全文內容適合模型上下文窗口，並且您希望模型能夠看到該主題的完整文件時，此功能非常有用。
• 嵌入 RAG 文件：適用於大型或可重複使用的文件集合。系統會將內容分塊、嵌入，並檢索與問題相關的部分。

目前的 AnythingLLM 文件指南指出，嵌入到工作區的文件可以在該工作區內的所有執行緒中存取。這很方便，但也意味著在多用戶部署中，工作區成員資格是隱私模型的一部分。請務必將個人工作區與任何共享工作區分開來。

嵌入完成後，提出一個答案只出現在一個文件中的問題。然後提出一個不出現在任何文件中的細節。第一個問題測試檢索能力；第二個問題測驗模型是否能夠接受不確定性，而不是憑空捏造答案。

如果檢索效果不佳，應該調整哪些設定？

AnythingLLM 提供了工作區層級的 RAG 控制選項，例如搜尋偏好、最大上下文片段數和文件相似度閾值。其文件建議首先檢查工作區設置，而不是假設基礎模型有問題。當答案跨越多個部分時，增加檢索到的上下文可能會有所幫助，但發送過多的片段也可能包含無關文字並佔用上下文視窗容量。

如果在索引後變更嵌入模型，請重新嵌入受影響的文檔，以確保儲存的向量和查詢向量來自同一個嵌入空間。混合使用來自不同模型的嵌入並非有效的檢索策略。

第四步：測試可靠的答案，保護隱私，備份知識庫

知識庫只有在能夠辨識錯誤時才有用。建立一個基於可直接驗證事實的小型評估清單。例如：

• 要求提供一份文件中逐字逐句出現的日期、金額、產品型號或保單條款。
• 提出一個需要從兩個文件中獲取事實資訊的跨文件問題。
• 故意提出一個無法回答的問題，並檢查回答是否捏造了資訊來源。
• 用不同的措詞提出同樣的問題，看看檢索結果是否穩定。
• 開啟來源文件，手動確認每項重要聲明。

在喬丹看來，一個好的接受規則並非“答案聽起來正確”，而是“答案與來源相符，包含必要的背景信息，並且在來源不包含相關信息時也能安全地被否定”。這條規則對於稅務、保險、法律文件、醫療記錄或財務決策尤其重要。

設定完成後請將其保密。

本地推理可以減少資料洩露，但隱私仍然取決於配置。請使用以下控制項作為實用檢查清單：

• 除非有意確保遠端存取安全，否則請將 AnythingLLM 服務綁定到本機或受信任的專用網路。
• 除非您了解這些整合會傳輸什麼內容，否則請勿將雲端 LLM、雲端嵌入、網路搜尋、瀏覽器或代理整合新增至包含敏感資料的工作區。
• 如果您的隱私權政策要求不使用任何產品遙測數據，請停用匿名遙測功能。
• 使用作業系統自帶的磁碟加密和帳戶權限。即使攻擊者獲得了對電腦的存取權限，本地向量資料庫仍然是可讀資料。
• 當您打算在 AnythingLLM 中完全刪除敏感文件時，請從文件庫中刪除敏感文件，而不僅僅是從一個工作區中刪除。
• 補丁 Ollama、AnythingLLM、Docker 和宿主機作業系統。 「離線」不應意味著「從未維護」。

備份那些難以重新製作的部分

原始文件仍然是您的權威來源，但 AnythingLLM 儲存目錄包含應用程式資料庫、已解析的文件、向量資料以及必要的配置，以避免磁碟故障後需要重建所有內容。請備份原始文件資料夾和 AnythingLLM 的持久性儲存。如果您使用 Docker 磁碟區而不是綁定掛載的主機目錄，請遵循 Docker 官方的磁碟區備份和還原文件。

測試復原功能，而不僅僅是建立備份。只有當您能夠將備份還原到另一個目錄或機器，啟動本機堆疊，開啟工作區並正確檢索已知資訊時，備份才能被驗證有效。

這種配置何時合適——以及何時不合適。

如果您優先考慮將個人文件保存在自己控制的硬體上，並且樂於運行本地軟體，同時希望在一個規模適中的文檔庫中實現語義搜尋和自然語言回應，那麼這種架構非常適合您。此外，當網路連線不穩定或您希望在下載模型後獲得可預測的本地成本時，這種架構也很有用。

如果您的電腦無法運行合適的本機模型，或者您需要從家庭網路以外的多個裝置無縫訪問，又或者您需要企業級身分驗證、稽核、法律保留、集中式金鑰管理或有保障的支持，那麼這種方式就不太合適。在這些情況下，更合適的解決方案可能是託管的私人部署或企業級 RAG 平台，而不是單一 PC 的設定。

一份簡潔的設定清單

• 安裝 Ollama 並驗證本地模型推理。
• 安裝專用的嵌入模型，例如 Ollama 目前嵌入文件中列出的模型。
• 使用持久性儲存本地運行 AnythingLLM。
• 使用適用於您的部署方法的正確主機位址，將 AnythingLLM 連接到本機 Ollama 端點。
• 如果目標是僅檢索本機文檔，則可以使用本機向量資料庫，例如 AnythingLLM 的預設 LanceDB。
• 建立一個範圍較窄的工作區。
• 先從幾個已知的文檔入手，驗證擷取結果。
• 對於大型可重複使用集合，請使用 RAG；僅當文件與模型上下文完全匹配時，才使用全文附件。
• 在信任系統之前，請先測試可回答和不可回答的問題。
• 根據您的隱私權要求，停用不必要的外部整合和遙測功能。
• 同時備份來源文件和持久性應用程式存儲，然後測試復原。

官方參考資料

• Ollama 快速入門
• Ollama 嵌入
• AnythingLLM 本機 Docker 安裝
• AnythingLLM Docker 本機主機網絡
• AnythingLLM Ollama LLM 配置
• AnythingLLM Ollama 嵌入器配置
• AnythingLLM 在聊天中使用文檔
• AnythingLLM 隱私與資料處理
• Docker 捲和備份/還原