La respuesta práctica más sencilla: ejecuta el modelo de lenguaje, el modelo de incrustación, el índice de documentos y la interfaz de chat en tu propio ordenador. Una pila sencilla consiste en Ollama para el servicio de modelos local, junto con AnythingLLM autoalojado para la ingesta de documentos, la generación aumentada de recuperación (RAG) y el chat. Mantén la base de datos de vectores localmente, utiliza almacenamiento persistente, evita los proveedores de modelos en la nube y comprueba que las respuestas se basan realmente en tus archivos.
Ejemplo ilustrativo: a lo largo de esta guía, imagina que Jordan está organizando una colección personal que incluye manuales del hogar, documentos PDF sobre seguros, actas de reuniones, una guía de finanzas personales y algunos informes de proyectos. Jordan es un personaje ficticio. Los archivos, preguntas, respuestas y resultados que se describen a continuación son ejemplos para explicar el flujo de trabajo, no resultados de pruebas ni testimonios.
Esta guía utiliza una configuración de cuatro pasos para que el límite de privacidad sea comprensible. Es adecuada para una persona o un pequeño grupo familiar de confianza que desee realizar búsquedas de documentos y responder preguntas localmente. Si necesita controles de identidad empresariales, disponibilidad en múltiples nodos, auditoría centralizada o garantías regulatorias, debe considerar esta guía como una arquitectura inicial, no como una solución de cumplimiento completa.
Una base de conocimiento local no es lo mismo que entrenar un modelo con tus documentos. En un flujo de trabajo RAG típico, el sistema extrae texto de tus archivos, lo divide en fragmentos, convierte esos fragmentos en incrustaciones numéricas, los almacena en una base de datos vectorial, recupera los fragmentos relevantes para cada pregunta y envía solo esos fragmentos al modelo de lenguaje como contexto.
La documentación actual de AnythingLLM describe los flujos de trabajo de documentos adjuntos e incrustados. Los documentos adjuntos pueden insertar texto completo en un chat cuando la ventana de contexto lo permite, mientras que RAG recupera fragmentos relevantes de los documentos incrustados. Su documentación actual de LanceDB local también indica que la instancia predeterminada de LanceDB almacena el texto y las incrustaciones de los documentos dentro de la aplicación AnythingLLM. Consulte la documentación del flujo de trabajo de documentos de AnythingLLM y la documentación de LanceDB de AnythingLLM .
| Componente | Rol en la pila local | Elección que respeta la privacidad |
|---|---|---|
| Ollama | Ejecuta el modelo de chat y, opcionalmente, un modelo de incrustación en su máquina. | Utilice un modelo local, no un punto final de modelo alojado en la nube. |
| Cualquier cosaLLM | Proporciona la interfaz de usuario, la gestión de documentos, la segmentación, el formato RAG y la organización del espacio de trabajo. | Ejecútalo localmente y mantén su directorio de almacenamiento persistente. |
| Modelo de incrustación | Convierte fragmentos de documentos y consultas en vectores para la recuperación semántica. | Utilice un incrustador local si los documentos no deben enviarse a un servicio externo. |
| LanceDB | Almacena vectores utilizados para encontrar pasajes relevantes. | Mantén la instancia local predeterminada a menos que necesites intencionalmente una base de datos remota. |
| Archivos originales y copias de seguridad | Sigue siendo la fuente autorizada. | Protéjalos con los controles de acceso habituales del sistema operativo, cifrado y copias de seguridad. |
La pregunta clave no es "¿La aplicación es local?", sino "¿Qué componentes pueden enviar texto o mensajes de documentos fuera del equipo?". Una interfaz de usuario local aún puede configurarse para llamar a un LLM en la nube, una API de incrustación en la nube, una búsqueda web o herramientas remotas. Para una configuración privada, mantenga el LLM, el incrustador y la base de datos vectorial en local, a menos que haya aceptado deliberadamente las implicaciones de compartir datos de un proveedor externo.
AnythingLLM documenta la telemetría anónima y ofrece una forma de desactivarla. Su documentación sobre privacidad también distingue entre eliminar un documento de un espacio de trabajo y eliminarlo por completo de la biblioteca de documentos. Para eliminarlo por completo dentro de AnythingLLM, la documentación actual indica que se debe eliminar el documento de Mis documentos , lo que elimina el código fuente analizado, las incrustaciones en caché y las referencias al espacio de trabajo. Consulte la documentación de privacidad y gestión de datos de AnythingLLM antes de agregar material confidencial.
También necesitas suficiente memoria para el modelo local que elijas. No existe un tamaño de modelo único y correcto, ya que la velocidad útil depende de la CPU, la GPU, la RAM o la VRAM, la cuantización, la longitud del contexto y la cantidad de documentos recuperados. Empieza con un modelo que se ajuste cómodamente en lugar de elegir el modelo más grande que tu máquina apenas pueda cargar.
Instala Ollama siguiendo las instrucciones vigentes para tu sistema operativo. Ollama está disponible para macOS, Windows y Linux, y su API local se ejecuta en el puerto 11434 por defecto. La guía de inicio rápido oficial de Ollama es la mejor fuente para obtener información actualizada sobre la instalación y la sintaxis de los comandos.
Tras la instalación, seleccione un modelo de chat que se adapte a su hardware. El modelo exacto no se especifica aquí, ya que el catálogo de modelos cambia y los requisitos de hardware varían. Un comando típico tiene este formato:
ollama pull <chat-model-name>Para RAG, también necesitas un modelo de incrustación. La documentación actual de incrustaciones de Ollama, revisada en septiembre de 2026, enumera modelos como embeddinggemma, qwen3-embedding, y all-minilmcomo opciones de incrustación recomendadas. Puedes revisar la lista actual en la documentación de incrustaciones de Ollama . Por ejemplo:
ollama pull embeddinggemmaNo utilice un modelo de chat normal como modelo de incrustación solo porque aparezca en un menú desplegable de modelos. La documentación actual del incrustador Ollama de AnythingLLM advierte explícitamente que Ollama puede mostrar tanto modelos de chat como modelos de incrustación en la misma lista. Utilice un modelo de incrustación real para la indexación de documentos. Consulte la configuración del incrustador Ollama de AnythingLLM .
En el caso del modelo ficticio de Jordan, el objetivo en esta etapa es sencillo: tanto la generación como la incrustación deberían ser posibles sin necesidad de enviar los documentos domésticos a una API remota.
AnythingLLM ofrece opciones de escritorio y autoalojadas. Esta guía utiliza Docker porque el almacenamiento es explícito y fácil de respaldar. Su documentación actual de Docker local indica a los usuarios que descarguen la imagen y enfatiza que se requiere almacenamiento persistente, de lo contrario, se pueden perder datos de la aplicación al recrear el contenedor. También indica que la aplicación web está disponible en [dirección web] http://localhost:3001. Utilice la guía oficial de Docker local de AnythingLLM en lugar de copiar un comando antiguo de un foro.
docker pull mintplexlabs/anythingllm:latestAl ejecutar el contenedor, preserve el almacenamiento de AnythingLLM montando un directorio del host en /app/server/storage. La documentación del proveedor especifica que el montaje persistente es necesario. Mantenga ese directorio de almacenamiento en un disco incluido en su plan de copia de seguridad.
Luego configure el proveedor LLM como Ollama. Si AnythingLLM se ejecuta directamente en el host, la dirección Ollama predeterminada documentada es http://127.0.0.1:11434. Si AnythingLLM se ejecuta dentro de Docker mientras Ollama se ejecuta en el host, no use localhostdesde dentro del contenedor. La documentación de redes de Docker de AnythingLLM dice que use http://host.docker.internal:11434en plataformas de escritorio compatibles; en Linux documenta 172.17.0.1para este patrón de conexión de host. Consulte la nota de redes de localhost de AnythingLLM y la configuración LLM de Ollama .
En la configuración, seleccione Ollama como proveedor de LLM y, si lo desea, como proveedor de incrustación. Seleccione el modelo de chat para la generación y el modelo de incrustación para la indexación. Mantener estas funciones separadas evita un error de configuración común.
Jordan crea un espacio de trabajo llamado "Base de Conocimiento Personal" y evita conectarse a proveedores de modelos en la nube. Esto facilita la auditoría posterior del límite previsto: interfaz de usuario local, modelo de lenguaje natural local, incrustaciones locales, vectores locales.
No empieces subiendo todo tu disco duro. Comienza con un pequeño conjunto representativo de documentos cuyo contenido conozcas bien. Esto te permitirá detectar problemas de extracción o recuperación de forma controlada antes de que el índice crezca.
En el ejemplo de Jordan, un primer lote útil podría incluir un PDF con texto seleccionable, un archivo DOCX y una nota en texto plano o Markdown. Si los PDF escaneados contienen imágenes en lugar de texto seleccionable, confirme que el método de procesamiento de documentos elegido extrae el texto necesario; un archivo que le parezca legible aún puede generar una representación de texto vacía o deficiente para RAG.
AnythingLLM actualmente admite dos comportamientos generales de documentos:
La guía de documentación actual de AnythingLLM indica que los documentos integrados en un espacio de trabajo estarán disponibles para todos los subprocesos de ese espacio. Esto resulta práctico, pero también implica que la pertenencia a un espacio de trabajo forma parte de su modelo de privacidad en implementaciones multiusuario. Mantenga los espacios de trabajo personales separados de cualquier espacio de trabajo compartido.
Tras la incrustación, formule una pregunta cuya respuesta aparezca en un solo archivo. A continuación, solicite un detalle que no aparezca en ningún archivo. La primera pregunta evalúa la recuperación; la segunda evalúa si el modelo admite incertidumbre en lugar de inventar una respuesta.
AnythingLLM expone controles RAG a nivel de espacio de trabajo, como preferencias de búsqueda, fragmentos de contexto máximos y umbral de similitud de documentos. Su documentación recomienda comenzar con la configuración del espacio de trabajo en lugar de asumir que el problema reside en el modelo base. Aumentar el contexto recuperado puede ser útil cuando la respuesta abarca varias secciones, pero enviar demasiados fragmentos también puede añadir texto irrelevante y consumir la capacidad de la ventana de contexto.
Si modifica los modelos de incrustación después de la indexación, vuelva a incrustar los documentos afectados de manera que los vectores almacenados y los vectores de consulta provengan del mismo espacio de incrustación. Combinar incrustaciones de diferentes modelos no constituye una estrategia de recuperación eficaz.
Una base de conocimientos solo es útil si se puede detectar cuándo es errónea. Crea una pequeña lista de evaluación a partir de hechos que puedas verificar directamente. Por ejemplo:
Para Jordan, una buena regla de aceptación no es que "la respuesta parezca correcta", sino que "la respuesta coincida con la fuente, incluya el contexto necesario y falle de forma segura cuando la fuente no contenga la información". Esta regla es especialmente importante en el ámbito de los impuestos, los seguros, los documentos legales, los historiales médicos o las decisiones financieras.
La inferencia local reduce la exposición de datos, pero la privacidad sigue dependiendo de la configuración. Utilice estos controles como una lista de verificación práctica:
Los documentos originales siguen siendo la fuente de información principal, pero el directorio de almacenamiento de AnythingLLM contiene la base de datos de la aplicación, los documentos analizados, los datos vectoriales y la configuración necesaria para evitar tener que reconstruir todo tras un fallo del disco. Realice una copia de seguridad tanto de la carpeta de documentos original como del almacenamiento persistente de AnythingLLM. Si utiliza volúmenes de Docker en lugar de un directorio del host montado mediante enlace, siga la documentación oficial de Docker sobre copias de seguridad y restauración de volúmenes .
Pruebe la restauración, no solo la creación de copias de seguridad. Una copia de seguridad solo se considera válida cuando puede restaurarla en otro directorio o máquina, iniciar la pila local, abrir el espacio de trabajo y recuperar correctamente un dato conocido.
Esta arquitectura resulta ideal si su prioridad es almacenar documentos personales en hardware que usted controla, si se siente cómodo ejecutando software localmente y si desea realizar búsquedas semánticas y obtener respuestas en lenguaje natural en una biblioteca de documentos de tamaño moderado. También es útil cuando el acceso a internet es inestable o si desea prever los costos locales tras la descarga de los modelos.
Resulta menos adecuado si su equipo no puede ejecutar un modelo local apropiado, necesita acceso sin interrupciones desde múltiples dispositivos fuera de su red doméstica o requiere identidad, auditoría, retenciones legales, administración centralizada de claves o soporte garantizado de nivel empresarial. En esos casos, la solución más apropiada podría ser una implementación privada administrada o una plataforma RAG empresarial, en lugar de una configuración de un solo PC.
Crea un flujo de trabajo local de Ollama que genere títulos SEO estructurados y meta descripciones de forma masiva, valide la salida y marque los resultados para su revisión humana.
Utilice esta plantilla gratuita de PowerPoint para presentaciones modernas de listados inmobiliarios para organizar precios, marketing, preparación de la propiedad, valor del agente y próximos pasos para el vendedor.
Crea una plantilla imprimible de presupuesto para trabajos de construcción en Excel con información clara sobre mano de obra, materiales, fórmulas, márgenes de beneficio, exclusiones y totales para el cliente listos para imprimir.
Crea indicaciones de vídeo más impactantes para Luma Dream Machine con una fórmula práctica de iluminación cinematográfica, recetas reutilizables, ejemplos y una lista de verificación para la resolución rápida de problemas.
Build a minimalist tech startup investor pitch deck in PowerPoint with the right slide order, clear design rules, traction metrics, and investor-ready appendix.
Evita que Excel convierta códigos, identificadores y fracciones en fechas. Utiliza el formato de texto, los apóstrofes, los controles de importación y las opciones actuales de Microsoft 365.
Acelera la renderización de ComfyUI SDXL reduciendo el trabajo de muestreo, controlando la resolución y el tamaño del lote, simplificando los nodos, utilizando el almacenamiento en caché y ajustando la VRAM y la atención de forma segura.
Crea en Excel un práctico sistema de seguimiento de ingresos y gastos de propiedades de alquiler con categorías claras, fórmulas, resúmenes mensuales y guías para el registro de datos que faciliten la declaración de impuestos.
Crea una base de conocimiento de IA local y privada con Ollama, AnythingLLM, incrustaciones locales y RAG. Aprende la configuración en cuatro pasos, las comprobaciones de privacidad, las pruebas y las copias de seguridad.
Corrija los errores de la ventana de contexto en el análisis de documentos largos recortando la entrada, dividiendo los archivos, utilizando la recuperación y verificando que la respuesta final cubra la fuente.
