كيفية إنشاء قاعدة معرفية محلية خاصة بالذكاء الاصطناعي للمستندات الشخصية

أبسط حل عملي: شغّل نموذج اللغة، ونموذج التضمين، وفهرس المستندات، وواجهة الدردشة على جهازك. يُعدّ Ollama خيارًا بسيطًا لتشغيل النموذج محليًا، بالإضافة إلى AnythingLLM المُستضاف ذاتيًا لاستيعاب المستندات، وإنشاء النماذج المُعززة بالاسترجاع (RAG)، والدردشة. احتفظ بقاعدة بيانات المتجهات محليًا، واستخدم التخزين الدائم، وتجنّب استخدام موفري النماذج السحابية، واختبر أن الإجابات تستند بالفعل إلى ملفاتك.

مثال توضيحي: خلال هذا الدليل، تخيل أن جوردان يقوم بتنظيم مجموعة خاصة تتضمن كتيبات منزلية، وملفات PDF للتأمين، ومحاضر اجتماعات، ومرجعًا للتمويل الشخصي، وبعض تقارير المشاريع. جوردان شخصية خيالية. الملفات والأسئلة والأجوبة والنتائج الموضحة أدناه هي أمثلة لشرح سير العمل، وليست نتائج اختبار أو شهادة.

يستخدم هذا الدليل إعدادًا من أربع خطوات لضمان وضوح حدود الخصوصية. وهو مناسب لشخص واحد أو أسرة صغيرة موثوقة ترغب في البحث عن المستندات محليًا والإجابة على الأسئلة. إذا كنت بحاجة إلى ضوابط هوية مؤسسية، أو توفر متعدد العقد، أو تدقيق مركزي، أو ضمانات تنظيمية، فيجب عليك اعتبار هذا الدليل بنيةً أوليةً وليس حلاً كاملاً للامتثال.

ما المقصود فعلياً بـ "قاعدة المعرفة الخاصة بالذكاء الاصطناعي المحلي"

إن قاعدة المعرفة المحلية لا تُعادل تدريب نموذج على مستنداتك. في سير عمل RAG النموذجي، يستخرج النظام النص من ملفاتك، ويقسمه إلى أجزاء، ويحول هذه الأجزاء إلى تمثيلات رقمية، ويخزنها في قاعدة بيانات متجهة، ويسترجع الأجزاء ذات الصلة بكل سؤال، ويرسل هذه الأجزاء فقط إلى نموذج اللغة كسياق.

تصف وثائق AnythingLLM الحالية كلاً من سير عمل المستندات المرفقة والمستندات المضمنة. يمكن للمستندات المرفقة إدراج النص الكامل في المحادثة عندما تسمح نافذة السياق بذلك، بينما تسترجع RAG أجزاءً أصغر ذات صلة من المستندات المضمنة. كما تنص وثائق LanceDB المحلية الحالية على أن LanceDB الافتراضي على المثيل يحتفظ بنص المستند والبيانات المضمنة داخل تطبيق AnythingLLM. راجع وثائق سير عمل المستندات في AnythingLLM ووثائق LanceDB الخاصة بـ AnythingLLM .

قبل البدء: حدد حدود الخصوصية

السؤال الأساسي ليس "هل التطبيق محلي؟" بل "ما هي المكونات التي يمكنها إرسال نصوص المستندات أو المطالبات من الجهاز؟". يمكن تهيئة واجهة المستخدم المحلية لاستدعاء نظام إدارة التعلم السحابي، أو واجهة برمجة تطبيقات التضمين السحابية، أو البحث عبر الويب، أو الأدوات عن بُعد. في حالة الإعداد الخاص، يُنصح بإبقاء نظام إدارة التعلم، وأداة التضمين، وقاعدة بيانات المتجهات محلية، إلا إذا كنت قد قبلت عن قصد تبعات مشاركة البيانات مع مزود خارجي.

يوثّق برنامج AnythingLLM بيانات القياس عن بُعد المجهولة، ويوفر طريقة لتعطيلها. كما يُفرّق توثيق الخصوصية بين إزالة مستند من مساحة عمل واحدة وحذفه نهائيًا من مكتبة المستندات. وللحذف الكامل داخل AnythingLLM، تنصّ الوثائق الحالية على حذف المستند من " مستنداتي" ، ما يؤدي إلى إزالة المصدر المُحلّل والتضمينات المُخزّنة مؤقتًا، بالإضافة إلى مراجع مساحة العمل. يُرجى مراجعة وثائق الخصوصية ومعالجة البيانات الخاصة ببرنامج AnythingLLM قبل إضافة أي مواد حساسة.

تحتاج أيضًا إلى ذاكرة كافية للنموذج المحلي الذي اخترته. لا يوجد حجم نموذج مثالي واحد، لأن السرعة الفعلية تعتمد على وحدة المعالجة المركزية، ووحدة معالجة الرسومات، وذاكرة الوصول العشوائي (RAM) أو ذاكرة الفيديو (VRAM)، والتكميم، وطول السياق، وعدد المستندات المسترجعة. ابدأ بنموذج مناسب بدلاً من اختيار أكبر نموذج بالكاد يستطيع جهازك تحميله.

الخطوة 1: تثبيت أولاما وإعداد نماذج الدردشة المحلية والتضمين

قم بتثبيت Ollama باتباع التعليمات الحالية لنظام التشغيل الخاص بك. يتوفر Ollama لأنظمة macOS وWindows وLinux، ويتم تشغيل واجهة برمجة التطبيقات المحلية الخاصة به على المنفذ 11434 افتراضيًا. يُعد دليل البدء السريع الرسمي لـ Ollama أفضل مصدر للتثبيت الحالي وبنية الأوامر.

بعد التثبيت، اختر نموذج دردشة مناسبًا لجهازك. لم يتم تحديد النموذج بدقة هنا لأن قائمة النماذج تتغير ومتطلبات الأجهزة تختلف. عادةً ما يكون شكل الأمر كالتالي:

ollama pull <chat-model-name>

بالنسبة لـ RAG، أنت بحاجة أيضًا إلى نموذج تضمين. تُدرج وثائق التضمين الحالية لـ Ollama، والتي تمت مراجعتها في سبتمبر 2026، نماذج مثل و embeddinggemmaو qwen3-embeddingكخيارات all-minilmتضمين مُوصى بها. يمكنك مراجعة القائمة الحالية في وثائق تضمين Ollama . على سبيل المثال:

ollama pull embeddinggemma

لا تستخدم نموذج دردشة عادي كنموذج تضمين لمجرد ظهوره في قائمة النماذج المنسدلة. تحذر وثائق مُضمِّن Ollama الحالية في AnythingLLM صراحةً من أن Ollama قد يعرض نماذج الدردشة ونماذج التضمين في القائمة نفسها. استخدم نموذج تضمين فعلي لفهرسة المستندات. راجع إعداد مُضمِّن Ollama في AnythingLLM .

بالنسبة للإعداد الخيالي لجوردان، فإن الهدف في هذه المرحلة بسيط: يجب أن يكون كل من الإنشاء والتضمين ممكنًا دون إرسال مستندات الأسرة إلى واجهة برمجة تطبيقات بعيدة.

الخطوة الثانية: تشغيل AnythingLLM محليًا باستخدام وحدة تخزين دائمة وربطه بـ Ollama

يُقدّم AnythingLLM خيارات سطح المكتب والاستضافة الذاتية. يستخدم هذا الدليل طريقة Docker لأنّ حدود التخزين واضحة وسهلة النسخ الاحتياطي. تُوجّه وثائق Docker المحلية الحالية المستخدمين إلى سحب الصورة، وتُشدّد على ضرورة وجود وحدة تخزين دائمة، وإلا فقد تُفقد بيانات التطبيق عند إعادة إنشاء الحاوية. كما تُشير إلى أنّ تطبيق الويب مُتاح على الرابط التالي: [رابط غير مُحدد]. http://localhost:3001استخدم دليل AnythingLLM الرسمي لـ Docker المحلي بدلاً من نسخ أمر قديم من منتدى.

docker pull mintplexlabs/anythingllm:latest

عند تشغيل الحاوية، احتفظ بمساحة تخزين AnythingLLM عن طريق ربط دليل مضيف بها /app/server/storage. تشير وثائق المورّد تحديدًا إلى الربط الدائم كضرورة. احتفظ بدليل التخزين هذا على قرص مُضمّن في خطة النسخ الاحتياطي.

ثم قم بتهيئة موفر إدارة دورة حياة التطبيقات (LLM) كـ Ollama. إذا كان AnythingLLM يعمل مباشرةً على المضيف، فسيكون عنوان Ollama الافتراضي الموثق هو http://127.0.0.1:11434. إذا كان AnythingLLM يعمل داخل Docker بينما يعمل Ollama على المضيف، فلا تستخدم localhostمن داخل الحاوية. تشير وثائق شبكة Docker الخاصة بـ AnythingLLM إلى استخدام http://host.docker.internal:11434على منصات سطح المكتب المدعومة؛ أما على Linux، فتوثّق هذه الوثائق 172.17.0.1نمط اتصال المضيف هذا. راجع ملاحظة شبكة localhost الخاصة بـ AnythingLLM وتكوين Ollama LLM .

في الإعدادات، اختر Ollama كمزود LLM، ومزود التضمين إن رغبت. حدد نموذج المحادثة للإنشاء ونموذج التضمين للفهرسة. فصل هذين الدورين يمنع حدوث خطأ شائع في التكوين.

يُنشئ جوردان مساحة عمل تُسمى "قاعدة المعرفة الشخصية" ويتجنب ربطها بموفري نماذج الحوسبة السحابية. وهذا يُسهّل تدقيق الحدود المقصودة لاحقًا: واجهة المستخدم المحلية، ونموذج التعلم المحلي، والتضمينات المحلية، والمتجهات المحلية.

الخطوة 3: أضف المستندات، واختر بين RAG أو المرفق النصي الكامل، وتحقق من عملية الاستيراد

لا تبدأ بتحميل محرك الأقراص بالكامل. ابدأ بمجموعة صغيرة وممثلة من المستندات التي تعرف محتواها جيدًا. يمنحك هذا طريقة مضبوطة لاكتشاف مشاكل الاستخراج أو الاسترجاع قبل أن يتضخم الفهرس.

في مثال جوردان، قد تتضمن الدفعة الأولى المفيدة ملف PDF قابلًا للبحث، وملف DOCX، وملاحظة نصية عادية أو ملاحظة Markdown. إذا كانت ملفات PDF الممسوحة ضوئيًا تحتوي على صور بدلًا من نص قابل للتحديد، فتأكد من أن مسار معالجة المستندات الذي اخترته يستخرج النص المطلوب بالفعل؛ فقد ينتج عن ملف يبدو مقروءًا لك نص فارغ أو رديء الجودة لبرنامج RAG.

يدعم برنامج AnythingLLM حاليًا سلوكين رئيسيين للمستندات:

• المستندات المرفقة: مفيدة عندما يتناسب النص الكامل مع نافذة سياق النموذج وتريد أن يرى النموذج الملف الكامل لهذا الموضوع.
• المستندات المضمنة بتقنية RAG: مفيدة للمجموعات الكبيرة أو القابلة لإعادة الاستخدام. يقوم النظام بتقسيم المحتوى، وتضمينه، واسترجاع الأجزاء ذات الصلة بالسؤال.

يشير دليل وثائق AnythingLLM الحالي إلى أن المستندات المضمنة في مساحة عمل تصبح متاحة عبر جميع سلاسل العمل في تلك المساحة. هذا أمرٌ مريح، ولكنه يعني أيضاً أن عضوية مساحة العمل جزءٌ من نموذج الخصوصية الخاص بك في عمليات النشر متعددة المستخدمين. لذا، احرص على فصل مساحات العمل الشخصية عن أي مساحة عمل مشتركة.

بعد تضمين البيانات، اطرح سؤالاً تظهر إجابته في ملف واحد فقط. ثم اطلب تفصيلاً لا يظهر في أي ملف. يختبر السؤال الأول عملية الاسترجاع، بينما يختبر الثاني ما إذا كان النموذج يقبل عدم اليقين بدلاً من ابتكار إجابة.

ما الذي يجب ضبطه إذا كانت عملية الاسترجاع ضعيفة؟

يُتيح AnythingLLM عناصر تحكم RAG على مستوى مساحة العمل، مثل تفضيلات البحث، والحد الأقصى لمقتطفات السياق، وعتبة تشابه المستندات. وتوصي وثائقه بالبدء بإعدادات مساحة العمل بدلاً من افتراض أن المشكلة تكمن في النموذج الأساسي. قد يُفيد زيادة حجم السياق المُسترجع عندما يمتد الجواب على عدة أقسام، ولكن إرسال عدد كبير جدًا من الأجزاء قد يُضيف نصوصًا غير ذات صلة ويستهلك مساحة نافذة السياق.

إذا قمت بتغيير نماذج التضمين بعد الفهرسة، فأعد تضمين المستندات المتأثرة بحيث تأتي المتجهات المخزنة ومتجهات الاستعلام من نفس فضاء التضمين. إن دمج التضمينات من نماذج مختلفة ليس استراتيجية استرجاع فعالة.

الخطوة الرابعة: اختبار الإجابات المنطقية، وتأمين الخصوصية، وإنشاء نسخة احتياطية من قاعدة المعرفة

لا تُفيد قاعدة المعرفة إلا إذا استطعتَ اكتشاف أخطائها. أنشئ قائمة تقييم صغيرة من الحقائق التي يمكنك التحقق منها مباشرةً. على سبيل المثال:

• اطلب تاريخًا أو مبلغًا أو طراز منتج أو بندًا من بنود السياسة يظهر حرفيًا في مستند واحد.
• اطرح سؤالاً شاملاً يتطلب معلومات من ملفين.
• اطرح سؤالاً لا يمكن الإجابة عليه عمداً، وتأكد من أن الإجابة لا تتضمن اختلاق مصدر.
• اطرح نفس السؤال بصياغة مختلفة لمعرفة ما إذا كان الاسترجاع مستقرًا.
• افتح المستند الأصلي وقم بتأكيد كل ادعاء ذي أهمية بالغة يدويًا.

بالنسبة لجوردان، فإن قاعدة القبول الجيدة ليست "أن تبدو الإجابة صحيحة"، بل هي "أن تتطابق الإجابة مع المصدر، وأن تتضمن السياق اللازم، وأن تفشل بشكل آمن عندما لا يحتوي المصدر على المعلومات المطلوبة". وتكتسب هذه القاعدة أهمية خاصة فيما يتعلق بالضرائب والتأمين والوثائق القانونية والسجلات الطبية والقرارات المالية.

احتفظ بالإعدادات سرية بعد أن تعمل.

يقلل الاستدلال المحلي من انكشاف البيانات، لكن الخصوصية لا تزال تعتمد على الإعدادات. استخدم عناصر التحكم هذه كقائمة مرجعية عملية:

• قم بربط خدمة AnythingLLM بالجهاز المحلي أو بشبكة خاصة موثوقة ما لم يتم تأمين الوصول عن بعد بشكل متعمد.
• لا تقم بإضافة خدمات إدارة التعلم السحابية، أو التضمين السحابي، أو البحث عبر الويب، أو المتصفح، أو عمليات تكامل الوكيل إلى مساحة عمل تحتوي على مواد حساسة إلا إذا كنت تفهم ما تنقله عمليات التكامل هذه.
• قم بتعطيل خاصية جمع البيانات عن بُعد المجهولة إذا كانت سياسة الخصوصية الخاصة بك تتطلب عدم جمع أي بيانات عن بُعد للمنتج.
• استخدم تشفير القرص وصلاحيات الحساب في نظام التشغيل. تظل قاعدة بيانات المتجهات المحلية قابلة للقراءة حتى لو تمكن مهاجم من الوصول إلى الجهاز.
• احذف الملفات الحساسة من مكتبة المستندات، وليس فقط من مساحة عمل واحدة، عندما تنوي مسحها بالكامل داخل AnythingLLM.
• قم بتحديث Ollama و AnythingLLM و Docker ونظام التشغيل المضيف. لا ينبغي أن تعني عبارة "غير متصل بالإنترنت" "لم تتم صيانته مطلقًا".

قم بعمل نسخ احتياطية للأجزاء التي يصعب إعادة إنشائها

تظل المستندات الأصلية هي المصدر الموثوق، ولكن يحتوي مجلد تخزين AnythingLLM على قاعدة بيانات التطبيق، والمستندات المُحللة، وبيانات المتجهات، والإعدادات اللازمة لتجنب إعادة بناء كل شيء بعد تعطل القرص. قم بعمل نسخة احتياطية من كلٍ من مجلد المستندات الأصلي ومجلد التخزين الدائم لـ AnythingLLM. إذا كنت تستخدم وحدات تخزين Docker بدلاً من مجلد مضيف مُثبَّت، فاتبع وثائق Docker الرسمية الخاصة بعمل نسخ احتياطية واستعادة وحدات التخزين .

اختبر عملية الاستعادة، وليس مجرد إنشاء نسخة احتياطية. لا تُعتبر النسخة الاحتياطية موثوقة إلا عند القدرة على استعادتها إلى مجلد أو جهاز آخر، وتشغيل النظام المحلي، وفتح مساحة العمل، واستعادة معلومة معروفة بشكل صحيح.

متى يكون هذا الإعداد مناسبًا - ومتى لا يكون كذلك

يُعدّ هذا التصميم مناسبًا تمامًا عندما تكون أولويتك هي الاحتفاظ بالمستندات الشخصية على أجهزة تتحكم بها، وتجيد تشغيل البرامج محليًا، وترغب في البحث الدلالي بالإضافة إلى الحصول على إجابات باللغة الطبيعية عبر مكتبة مستندات صغيرة. كما أنه مفيد أيضًا عندما يكون الاتصال بالإنترنت غير مستقر أو عندما ترغب في تكاليف محلية متوقعة بعد تنزيل النماذج.

يُعدّ هذا الخيار أقل ملاءمةً إذا كان جهاز الكمبيوتر الخاص بك لا يستطيع تشغيل نموذج محلي مناسب، أو إذا كنت بحاجة إلى وصول سلس من أجهزة متعددة خارج شبكتك المنزلية، أو إذا كنت تتطلب إدارة هوية على مستوى المؤسسات، أو تدقيقًا، أو حفظًا قانونيًا، أو إدارة مركزية للمفاتيح، أو دعمًا مضمونًا. في هذه الحالات، قد يكون الحل الأمثل هو نشر خاص مُدار أو منصة RAG للمؤسسات بدلاً من إعداد جهاز كمبيوتر واحد.

قائمة إعداد مختصرة

• قم بتثبيت Ollama وتحقق من استنتاج النموذج المحلي.
• قم بتثبيت نموذج تضمين مخصص مثل النموذج المدرج في وثائق التضمين الحالية الخاصة بـ Ollama.
• قم بتشغيل AnythingLLM محليًا باستخدام وحدة تخزين دائمة.
• قم بتوصيل AnythingLLM بنقطة نهاية Ollama المحلية باستخدام عنوان المضيف الصحيح لطريقة النشر الخاصة بك.
• استخدم قاعدة بيانات متجهات محلية مثل LanceDB الافتراضية الخاصة بـ AnythingLLM عندما يكون الهدف هو استرجاع المستندات محليًا فقط.
• أنشئ مساحة عمل ذات نطاق ضيق.
• ابدأ ببضع وثائق معروفة وتحقق من عملية الاستخراج.
• استخدم RAG للمجموعات الكبيرة القابلة لإعادة الاستخدام، واستخدم المرفقات النصية الكاملة فقط عندما يتناسب المستند بشكل مريح مع سياق النموذج.
• اختبر الأسئلة التي يمكن الإجابة عليها وتلك التي لا يمكن الإجابة عليها قبل الوثوق بالنظام.
• قم بتعطيل عمليات التكامل الخارجية غير الضرورية وبيانات القياس عن بُعد وفقًا لمتطلبات الخصوصية الخاصة بك.
• قم بعمل نسخة احتياطية من كل من المستندات المصدرية ووحدة تخزين التطبيق الدائمة، ثم اختبر عملية الاستعادة.

المراجع الرسمية

• دليل البدء السريع لأولاما
• تضمينات أولاما
• تثبيت دوكر محليًا من AnythingLLM
• AnythingLLM Docker Localhost Networking
• تكوين برنامج AnythingLLM Ollama LLM
• تكوين برنامج AnythingLLM Ollama Embedder
• استخدام المستندات في الدردشة (AnythingLLM)
• خصوصية ومعالجة البيانات في AnythingLLM
• وحدات تخزين Docker والنسخ الاحتياطي/الاستعادة