التوليد المعزز للاسترجاع (RAG)

كيف يعمل التوليد المعزز للاسترجاع

تتضمن عملية RAG عادةً مرحلتين رئيسيتين:

1. الاسترجاع: عندما يقوم المستخدم بتقديم مطالبة أو استعلام، يقوم النظام أولاً بالبحث في قاعدة معرفية محددة عن المعلومات ذات الصلة. يمكن أن تكون هذه القاعدة المعرفية مجموعة من المستندات أو صفحات الويب أو إدخالات في قاعدة بيانات متجهة. وغالبًا ما تستخدم آلية الاسترجاع تقنيات مثل البحث الدلالي للعثور على أجزاء نصية مرتبطة بالسياق بالاستعلام، وليس فقط مطابقة الكلمات المفتاحية. تعمل هذه المقتطفات المسترجعة كأساس سياقي للمرحلة التالية. غالبًا ما تستفيد هذه العملية من التضمينات لتمثيل معنى كل من الاستعلام والمستندات.
2. توليد: يتم دمج الاستعلام الأصلي والمقتطفات السياقية المسترجعة في مطالبة معززة. يتم بعد ذلك إدخال هذه المطالبة المعززة في LLM. يستخدم LLM كلاً من الاستعلام والسياق المقدم لإنشاء إجابة. وهذا يضمن أن الإجابة لا تكون ذات صلة بالاستعلام فحسب، بل أيضًا مستندة إلى المعلومات المسترجعة، والتي غالبًا ما تكون أكثر حداثة أو أكثر تحديدًا. تم تفصيل العمل التأسيسي حول RAG في الورقة البحثية"التوليد المعزز للاسترجاع لمهام معالجة اللغات الطبيعية كثيفة المعرفة".

الفوائد والتطبيقات

يوفر RAG العديد من المزايا مقارنةً باستخدام الآليات المعيارية LLMs القياسية وحدها:

• تحسين الدقة والموثوقية: من خلال تأصيل الردود في البيانات الواقعية المسترجعة، يقلل RAG بشكل كبير من احتمالية توليد نظام LLM لمعلومات غير صحيحة أو ملفقة(هلوسات). وهذا يزيد من ثقة المستخدم ودقة النظام بشكل عام.
• الوصول إلى المعلومات الحالية: عادةً ما يتم تدريب النماذج ذات المستوى المنخفض على مجموعات بيانات ثابتة، مما يعني أن انقطاعها المعرفي يمنعها من معرفة الأحداث أو البيانات التي تظهر بعد تدريبها. يسمح RAG للنماذج بالوصول إلى أحدث المعلومات من المصادر الخارجية ودمجها دون الحاجة إلى إعادة التدريب المستمر.
• خصوصية المجال: يمكن تهيئة RAG لاسترداد المعلومات من قواعد معرفية محددة ومنسقة (على سبيل المثال، مواقع الويكي الداخلية للشركة، والوثائق التقنية، ومجموعات بيانات محددة). وهذا يُمكِّن الآلية من تقديم إجابات على مستوى الخبراء في مجالات متخصصة.
• الشفافية المحسّنة: نظرًا لأن الاستجابة التي تم إنشاؤها تستند إلى المستندات المسترجعة، فغالبًا ما يكون من الممكن الاستشهاد بالمصادر، مما يوفر للمستخدمين الشفافية والقدرة على التحقق من المعلومات. وهذا يتماشى مع مبادئ الذكاء الاصطناعي القابل للتفسير (XAI) وأخلاقيات الذكاء الاصطناعي.
• الفعالية من حيث التكلفة: إن تحديث القاعدة المعرفية لـ RAG أرخص وأسرع بشكل عام من إعادة التدريب أو الضبط الدقيق لنموذج لغوي كبير.

أمثلة من العالم الحقيقي:

1. روبوتات الدردشة الآلية لدعم العملاء: يمكن للشركة استخدام RAG لتشغيل روبوتات الدردشة الآلية لدعم العملاء. عندما يطرح العميل سؤالاً، يسترجع النظام المعلومات ذات الصلة من كتيبات منتجات الشركة والأسئلة الشائعة ومقالات قاعدة المعرفة. ثم يستخدم روبوتات الدردشة الآلية هذا السياق لتوليد إجابة دقيقة ومفيدة، مع إمكانية التكامل مع منصات مثل Zendesk.
2. البحث المؤسسي وإدارة المعرفة: يمكن للموظفين الاستعلام عن مستندات الشركة الداخلية المخزنة في أنظمة مثل SharePoint أو قواعد البيانات الأخرى. يقوم RAG باسترداد الأقسام ذات الصلة من مستودعات المستندات التي يُحتمل أن تكون ضخمة ويقوم بتجميع الإجابات، مما يساعد الموظفين في العثور على المعلومات بسرعة دون غربلة المستندات يدوياً.

RAG مقابل المفاهيم ذات الصلة

من المفيد التمييز بين RAG والطرق الأخرى المستخدمة لتحسين أداء LLM:

• الضبط الدقيق: تعمل عملية الضبط الدقيق على تكييف نموذج LLM المدرب مسبقًا مع مهمة أو مجال معين من خلال مواصلة عملية التدريب على مجموعة بيانات أصغر ومتخصصة. على عكس RAG، يعمل الضبط الدقيق على تعديل الأوزان الداخلية للنموذج. يعد الضبط الدقيق جيدًا لتكييف الأسلوب أو تعلم مهام محددة، في حين أن RAG أفضل لدمج المعرفة الواقعية والحديثة. تقدم تقنيات مثل الضبط الدقيق الفعال للمعلمات (PEFT) اختلافات في هذا النهج.
• هندسة الموجهات: ينطوي ذلك على صياغة مطالبة الإدخال المعطاة إلى أداة LLM بعناية لاستنباط الاستجابة المطلوبة. بينما تدمج RAG السياق المسترجع في المطالبة، تركز هندسة الموجهات على هيكلة استعلام المستخدم وتعليماته يدويًا.
• إثراء المطالبة: على غرار RAG في زيادة المطالبة، قد يضيف إثراء المطالبة سياقًا من تاريخ المستخدم أو تدفق المحادثة، لكن RAG يركز تحديدًا على استرجاع البيانات الواقعية الخارجية من قاعدة معرفية لتأسيس عملية التوليد.

توفر أطر عمل مثل LangChain وLlamaIndex أدوات لبناء خطوط أنابيب RAG وغيرها من تطبيقات LLM المعقدة.

يمثل RAG خطوة مهمة نحو إنشاء أنظمة ذكاء اصطناعي أكثر دراية وموثوقية، وسد الفجوة بين القوة التوليدية الهائلة التي تتمتع بها الآلات ذات القدرة التوليدية الهائلة والحاجة إلى الدقة الواقعية والوصول إلى المعلومات الديناميكية. على الرغم من استخدامها في المقام الأول مع النصوص، إلا أن الفكرة الأساسية لزيادة التوليد بالمعلومات المسترجعة قابلة للتطبيق من الناحية المفاهيمية في مجالات أخرى. على سبيل المثال، في مجال الرؤية الحاسوبية، يمكن للمرء أن يتخيل استرجاع الأمثلة المرئية أو البيانات الوصفية ذات الصلة لتوجيه توليد الصور أو تحليلها، على الرغم من أن هذا لا يزال مجال بحث ناشئ. وتساعد منصات مثل Ultralytics HUB في إدارة النماذج ومجموعات البيانات، وهي مكونات حاسمة يمكن أن تكون بمثابة مصادر للمعرفة في تطبيقات RAG متعددة الوسائط في المستقبل التي تتضمن نماذج مثل Ultralytics YOLO. يمكن أن يوفر استكشاف مجموعات بيانات الرؤية الحاسوبية المتاحة رؤى حول نوع المعلومات المنظمة التي قد تكون مفيدة لمثل هذه الأنظمة.