개인 문서를 위한 비공개 로컬 AI 지식 기반 설정 방법

가장 간단하고 실용적인 해결책은 언어 모델, 임베디드 모델, 문서 인덱스 및 채팅 인터페이스를 자신의 컴퓨터에서 실행하는 것입니다. 간단한 스택으로는 로컬 모델 제공을 위한 Ollama와 문서 수집, 검색 증강 생성(RAG) 및 채팅을 위한 자체 호스팅 AnythingLLM이 있습니다. 벡터 데이터베이스를 로컬에 유지하고, 영구 저장소를 사용하며, 클라우드 모델 제공업체를 피하고, 답변이 실제로 자신의 파일에 기반한 것인지 테스트하십시오.

예시: 이 가이드 전체를 통해 조던이 가정 매뉴얼, 보험 관련 PDF 파일, 회의록, 개인 재정 참고서, 그리고 몇 가지 프로젝트 보고서 등을 포함하는 개인 자료들을 정리하고 있다고 가정해 보겠습니다. 조던은 가상의 인물입니다. 아래에 설명된 파일, 질문, 답변 및 결과는 작업 흐름을 설명하기 위한 예시일 뿐이며, 실제 테스트 결과나 사용 후기가 아닙니다.

이 가이드는 개인정보 보호 경계를 명확하게 이해할 수 있도록 4단계 설정 과정을 제시합니다. 이 설정은 로컬 문서 검색 및 질문 답변 기능을 원하는 개인 또는 소규모 가족 구성원에게 적합합니다. 기업 수준의 ID 관리, 다중 노드 가용성, 중앙 집중식 감사 또는 규제 준수 보장이 필요한 경우에는 이 가이드를 완전한 규정 준수 솔루션이 아닌 시작 아키텍처로 활용해야 합니다.

“개인 로컬 AI 지식 기반”이란 실제로 무엇을 의미하는가?

로컬 지식 기반은 문서로 모델을 학습시키는 것과는 다릅니다. 일반적인 RAG 워크플로에서는 시스템이 파일에서 텍스트를 추출하고, 텍스트를 청크로 분할하고, 이러한 청크를 숫자 임베딩으로 변환하여 벡터 데이터베이스에 저장한 다음, 각 질문에 대한 관련 청크를 검색하여 해당 청크만 언어 모델에 컨텍스트로 전송합니다.

AnythingLLM의 최신 문서에는 첨부 문서 및 내장 문서 워크플로가 모두 설명되어 있습니다. 첨부 문서는 컨텍스트 창에서 허용하는 경우 전체 텍스트를 채팅에 표시할 수 있으며, RAG는 내장 문서에서 관련성이 높은 작은 부분을 추출합니다. 최신 로컬 LanceDB 문서에는 기본 인스턴스 LanceDB가 문서 텍스트와 내장 내용을 AnythingLLM 애플리케이션 내부에 저장한다고 명시되어 있습니다. AnythingLLM 문서 워크플로 문서 및 AnythingLLM LanceDB 문서를 참조하십시오 .

시작하기 전에: 개인 정보 보호 범위를 정하세요

핵심 질문은 "앱이 로컬에 있습니까?"가 아니라 "어떤 구성 요소가 문서 텍스트나 프롬프트를 외부 장치로 전송할 수 있습니까?"입니다. 로컬 UI도 클라우드 LLM, 클라우드 임베딩 API, 웹 검색 또는 원격 도구를 호출하도록 구성할 수 있습니다. 개인 정보 보호를 위한 설정의 경우, 외부 공급업체와의 데이터 공유에 따른 영향을 의도적으로 수용한 경우가 아니라면 LLM, 임베더 및 벡터 데이터베이스를 로컬에 유지하는 것이 좋습니다.

AnythingLLM은 익명 원격 측정 데이터를 기록하고 이를 비활성화하는 방법을 제공합니다. 또한 개인정보 보호 관련 문서에서는 워크스페이스에서 문서를 제거하는 것과 문서 라이브러리에서 완전히 삭제하는 것을 구분하고 있습니다. AnythingLLM 내에서 문서를 완전히 삭제하려면 현재 문서에 따르면 ' 내 문서' 에서 문서를 삭제해야 합니다 . 이렇게 하면 파싱된 소스 코드와 캐시된 임베딩, 워크스페이스 참조까지 모두 제거됩니다. 민감한 자료를 추가하기 전에 AnythingLLM의 개인정보 보호 및 데이터 처리 관련 문서를 검토하십시오 .

선택한 로컬 모델을 로드하려면 충분한 메모리가 필요합니다. 사용 가능한 속도는 CPU, GPU, RAM 또는 VRAM, 양자화 방식, 컨텍스트 길이, 검색된 문서 수에 따라 달라지므로 모델 크기에 대한 단일한 정답은 없습니다. 컴퓨터에서 로드하기 어려울 정도로 큰 모델을 선택하기보다는 컴퓨터에 무리 없이 로드할 수 있는 크기의 모델부터 시작하는 것이 좋습니다.

1단계: Ollama를 설치하고 로컬 채팅 및 임베딩 모델을 준비합니다.

운영 체제에 맞는 최신 설치 지침에 따라 Ollama를 설치하세요. Ollama는 macOS, Windows 및 Linux에서 사용할 수 있으며, 로컬 API는 기본적으로 11434번 포트에서 제공됩니다. 공식 Ollama 빠른 시작 가이드를 참고하면 최신 설치 및 명령 구문을 확인할 수 있습니다.

설치 후, 하드웨어에 맞는 채팅 모델을 다운로드하세요. 모델 카탈로그는 계속 변경되고 하드웨어 요구 사항도 다양하기 때문에 정확한 모델은 여기에 명시되어 있지 않습니다. 일반적인 명령어는 다음과 같습니다.

ollama pull <chat-model-name>

RAG를 사용하려면 임베딩 모델도 필요합니다. 2026년 9월 기준으로 확인된 Ollama의 최신 임베딩 문서에는 embeddinggemma, qwen3-embedding, 와 같은 모델이 권장 임베딩 선택 사항으로 나열되어 있습니다. Ollama 임베딩 문서all-minilm 에서 최신 목록을 확인할 수 있습니다 . 예를 들면 다음과 같습니다.

ollama pull embeddinggemma

모델 드롭다운 메뉴에 일반 채팅 모델이 있다고 해서 임베딩 모델로 사용하지 마십시오. AnythingLLM의 최신 Ollama 임베더 문서에서는 Ollama가 동일한 목록에 채팅 모델과 임베딩 모델을 모두 표시할 수 있음을 명시적으로 경고하고 있습니다. 문서 인덱싱에는 실제 임베딩 모델을 사용하십시오. AnythingLLM Ollama 임베더 설정 방법을 참조하십시오 .

조던의 가상 시나리오에서 이 단계의 목표는 간단합니다. 가구 문서를 원격 API로 전송하지 않고도 생성과 임베딩이 모두 가능해야 합니다.

2단계: AnythingLLM을 영구 저장소를 사용하여 로컬에서 실행하고 Ollama에 연결합니다.

AnythingLLM은 데스크톱 및 자체 호스팅 옵션을 제공합니다. 이 가이드에서는 스토리지 경계가 명확하고 백업이 용이한 Docker 방식을 사용합니다. 현재 AnythingLLM의 로컬 Docker 문서에서는 이미지를 다운로드하는 방법을 안내하고 있으며, 컨테이너를 다시 생성할 때 애플리케이션 데이터가 손실될 수 있으므로 영구 스토리지가 필수적임을 강조합니다. 또한 웹 애플리케이션은 에서 접속할 수 있다고 명시되어 있습니다 http://localhost:3001. 포럼에서 오래된 명령어를 복사하는 대신 AnythingLLM 공식 로컬 Docker 가이드를 참조하십시오.

docker pull mintplexlabs/anythingllm:latest

컨테이너를 실행할 때 AnythingLLM의 스토리지를 보존하려면 호스트 디렉터리를 마운트하십시오 /app/server/storage. 공급업체 문서에서는 영구 마운트가 필수적이라고 명시하고 있습니다. 해당 스토리지 디렉터리는 백업 계획에 포함된 디스크에 보관하십시오.

다음으로 LLM 공급자를 Ollama로 구성하십시오. AnythingLLM이 호스트에서 직접 실행되는 경우, 문서에 명시된 기본 Ollama 주소는 입니다 . AnythingLLM이 Docker 컨테이너 내부에서 실행되고 Ollama가 호스트에서 실행되는 경우, 컨테이너 내부에서 http://127.0.0.1:11434를 사용하지 마십시오 . AnythingLLM의 Docker 네트워킹 문서에서는 지원되는 데스크톱 플랫폼에서 를 사용하도록 권장하고 있으며, Linux에서는 이 호스트 연결 패턴에 대해 를 사용하도록 문서화되어 있습니다 . AnythingLLM의 localhost 네트워킹 참고 사항 및 Ollama LLM 구성을 참조하십시오 .localhosthttp://host.docker.internal:11434172.17.0.1

설정에서 LLM 제공업체와 (필요한 경우) 임베딩 제공업체로 모두 Ollama를 선택하세요. 생성용 채팅 모델과 인덱싱용 임베딩 모델을 선택합니다. 이러한 역할을 분리하면 흔히 발생하는 구성 오류를 방지할 수 있습니다.

조던은 "개인 지식 기반"이라는 작업 공간을 만들고 클라우드 모델 제공업체와의 연결을 피합니다. 이렇게 하면 나중에 의도한 경계(로컬 UI, 로컬 LLM, 로컬 임베딩, 로컬 벡터)를 쉽게 검증할 수 있습니다.

3단계: 문서를 추가하고, RAG 첨부 파일 또는 전체 텍스트 첨부 파일 중에서 선택한 후, 문서가 제대로 업로드되었는지 확인합니다.

드라이브 전체를 업로드하는 것으로 시작하지 마십시오. 내용이 잘 알려진 소수의 대표적인 문서 세트부터 시작하세요. 이렇게 하면 인덱스가 커지기 전에 추출 또는 검색 문제를 체계적으로 감지할 수 있습니다.

조던의 예시에서 유용한 첫 번째 데이터 묶음에는 검색 가능한 PDF 파일 하나, DOCX 파일 하나, 일반 텍스트 또는 마크다운 노트 하나가 포함될 수 있습니다. 스캔한 PDF 파일에 선택 가능한 텍스트 대신 이미지가 포함된 경우, 선택한 문서 처리 경로가 필요한 텍스트를 제대로 추출하는지 확인하십시오. 사람이 읽기에는 문제가 없어 보이는 파일이라도 RAG에서는 텍스트가 비어 있거나 제대로 추출되지 않을 수 있습니다.

AnythingLLM은 현재 크게 두 가지 문서 동작을 지원합니다.

• 첨부 문서: 전체 텍스트가 모델의 컨텍스트 창에 들어갈 때, 그리고 모델이 해당 스레드의 전체 파일을 볼 수 있도록 하려는 경우에 유용합니다.
• RAG를 사용한 임베디드 문서: 규모가 크거나 재사용 가능한 컬렉션에 유용합니다. 시스템은 콘텐츠를 청크로 분할하여 임베디드한 후 질문과 관련된 부분을 검색합니다.

현재 AnythingLLM 문서 가이드에 따르면 워크스페이스에 포함된 문서는 해당 워크스페이스 내의 모든 스레드에서 사용할 수 있습니다. 이는 편리하지만, 다중 사용자 환경에서는 워크스페이스 멤버십이 개인 정보 보호 모델의 일부가 되어야 함을 의미합니다. 따라서 개인 워크스페이스는 공유 워크스페이스와 분리하여 관리해야 합니다.

데이터를 임베딩한 후, 답이 오직 하나의 파일에만 나타나는 질문을 던지세요. 그런 다음 어떤 파일에도 나타나지 않는 세부 정보를 묻는 질문을 하세요. 첫 번째 질문은 검색 기능을 테스트하고, 두 번째 질문은 모델이 답을 임의로 만들어내는 대신 불확실성을 인정하는지 여부를 테스트합니다.

검색 성능이 약할 경우 어떤 부분을 조정해야 할까요?

AnythingLLM은 검색 기본 설정, 최대 컨텍스트 스니펫, 문서 유사성 임계값과 같은 작업 공간 수준의 RAG 제어 기능을 제공합니다. 해당 문서에서는 기본 모델이 문제라고 가정하기보다는 작업 공간 설정부터 시작할 것을 권장합니다. 답변이 여러 섹션에 걸쳐 있는 경우 검색된 컨텍스트를 늘리는 것이 도움이 될 수 있지만, 너무 많은 청크를 전송하면 관련 없는 텍스트가 추가되고 컨텍스트 창 용량을 소모할 수 있습니다.

인덱싱 후 임베딩 모델을 변경하는 경우, 영향을 받는 문서를 다시 임베딩하여 저장된 벡터와 쿼리 벡터가 동일한 임베딩 공간에서 가져오도록 해야 합니다. 서로 다른 모델의 임베딩을 혼합하는 것은 의미 있는 검색 전략이 아닙니다.

4단계: 검증된 답변을 테스트하고, 개인정보를 보호하고, 지식 기반을 백업합니다.

지식 기반은 오류를 감지할 수 있을 때만 유용합니다. 직접 검증할 수 있는 사실들을 바탕으로 간단한 평가 목록을 만들어 보세요. 예를 들면 다음과 같습니다.

• 날짜, 금액, 제품 모델 또는 보험 약관 조항 중 어느 하나라도 원문 그대로 명시된 것을 요청하십시오.
• 두 파일에서 사실을 가져와야 하는 문서 간 질문을 하세요.
• 일부러 답하기 어려운 질문을 던지고, 답변이 출처를 조작하지 않았는지 확인하십시오.
• 질문의 표현을 바꿔서 다시 질문해 보고, 기억 회상이 안정적인지 확인해 보세요.
• 원본 문서를 열고 모든 중요한 주장을 수동으로 확인하십시오.

조던에게 있어 좋은 수용 기준은 "답이 그럴듯하게 들린다"가 아닙니다. 그것은 "답이 출처와 일치하고, 필요한 맥락을 포함하며, 출처에 정보가 없을 때에도 안전하게 틀렸다는 것을 입증할 수 있다"는 것입니다. 이 기준은 특히 세금, 보험, 법률 문서, 의료 기록 또는 재정적 결정과 같은 분야에서 중요합니다.

설정이 완료되면 그 과정을 비공개로 유지하세요.

로컬 추론은 데이터 노출을 줄여주지만, 개인 정보 보호는 여전히 구성에 따라 달라집니다. 다음 제어 항목을 실용적인 체크리스트로 활용하세요.

• 원격 액세스가 의도적으로 보안 설정된 경우가 아니라면 AnythingLLM 서비스를 로컬 컴퓨터 또는 신뢰할 수 있는 개인 네트워크에 묶어 두십시오.
• 민감한 자료가 포함된 작업 공간에 클라우드 LLM, 클라우드 임베딩, 웹 검색, 브라우저 또는 에이전트 통합 기능을 추가하기 전에 해당 통합 기능이 전송하는 정보를 정확히 이해해야 합니다.
• 개인정보 보호 정책에서 제품 원격 측정을 일절 허용하지 않는 경우 익명 원격 측정 기능을 비활성화하세요.
• 운영 체제의 디스크 암호화 및 계정 권한을 활용하세요. 공격자가 시스템에 접근 권한을 얻으면 로컬 벡터 데이터베이스도 여전히 읽을 수 있는 데이터입니다.
• AnythingLLM 내에서 민감한 파일을 완전히 삭제하려면 특정 작업 공간에서만 삭제하는 것이 아니라 문서 라이브러리 전체에서 삭제해야 합니다.
• Ollama, AnythingLLM, Docker 및 호스트 운영 체제에 패치를 적용하십시오. "오프라인"이라고 해서 "유지보수가 전혀 이루어지지 않음"을 의미하는 것은 아닙니다.

재현하기 어려운 부분은 백업해 두세요.

원본 문서는 여전히 가장 신뢰할 수 있는 자료이지만, AnythingLLM 저장 디렉터리에는 애플리케이션 데이터베이스, 파싱된 문서, 벡터 데이터 및 디스크 오류 발생 후 모든 것을 다시 구축하지 않도록 필요한 구성 정보가 포함되어 있습니다. 원본 문서 폴더와 AnythingLLM의 영구 저장소를 모두 백업하십시오. 호스트 디렉터리를 바인드 마운트하는 대신 Docker 볼륨을 사용하는 경우 Docker의 공식 볼륨 백업 및 복원 문서를 참조하십시오 .

백업 생성뿐 아니라 복원도 테스트해야 합니다. 백업은 다른 디렉터리나 시스템으로 복원하고, 로컬 스택을 시작하고, 작업 공간을 열고, 알려진 사실을 정확하게 검색할 수 있을 때 비로소 검증된 것입니다.

이러한 구성이 적합한 경우와 적합하지 않은 경우는 언제일까요?

이 아키텍처는 사용자가 직접 제어하는 ​​하드웨어에 개인 문서를 보관하는 것이 우선시되고, 로컬 소프트웨어 실행에 익숙하며, 소규모 문서 라이브러리에서 의미 검색 및 자연어 기반 답변을 원하는 경우에 적합합니다. 또한 인터넷 연결이 불안정하거나 모델 다운로드 후 로컬 비용을 예측하고 싶을 때도 유용합니다.

컴퓨터에서 적절한 로컬 모델을 실행할 수 없거나, 홈 네트워크 외부의 여러 장치에서 원활한 액세스가 필요하거나, 엔터프라이즈급 ID 관리, 감사, 법적 보존, ​​중앙 집중식 키 관리 또는 보장된 지원이 필요한 경우에는 단일 PC 구성이 적합하지 않을 수 있습니다. 이러한 경우에는 단일 PC 구성보다는 관리형 프라이빗 배포 또는 엔터프라이즈 RAG 플랫폼이 더 적합한 해결책일 수 있습니다.

간략한 설치 체크리스트

• Ollama를 설치하고 로컬 모델 추론을 검증하세요.
• Ollama의 최신 임베딩 문서에 나와 있는 것과 같은 전용 임베딩 모델을 설치하십시오.
• AnythingLLM을 영구 저장소를 사용하여 로컬에서 실행하세요.
• 배포 방법에 맞는 호스트 주소를 사용하여 AnythingLLM을 로컬 Ollama 엔드포인트에 연결하십시오.
• 로컬에서만 문서를 검색하는 것이 목표라면 AnythingLLM의 기본 LanceDB와 같은 로컬 벡터 데이터베이스를 사용하십시오.
• 범위를 좁힌 작업 공간을 만드세요.
• 먼저 몇 가지 알려진 문서를 사용하여 추출 과정을 검증하십시오.
• 대규모 재사용 컬렉션에는 RAG를 사용하고, 문서가 모델 컨텍스트에 적합한 경우에만 전체 텍스트 첨부를 사용하십시오.
• 시스템을 신뢰하기 전에 답변 가능한 질문과 답변 불가능한 질문을 모두 테스트해 보세요.
• 개인정보 보호 요구사항에 따라 불필요한 외부 연동 및 원격 측정 기능을 비활성화하세요.
• 원본 문서와 애플리케이션 영구 저장소를 모두 백업한 다음 복원을 테스트하십시오.

공식 참고 자료

• 올라마 퀵스타트
• 올라마 임베딩
• AnythingLLM 로컬 Docker 설치
• AnythingLLM Docker 로컬호스트 네트워킹
• AnythingLLM 올라마 LLM 구성
• AnythingLLM Ollama 임베더 구성
• AnythingLLM 채팅에서 문서 사용하기
• AnythingLLM 개인정보 보호 및 데이터 처리
• Docker 볼륨 및 백업/복원