اكتشف كيف تعمل تقنية تقطير المعرفة على ضغط نماذج الذكاء الاصطناعي من أجل استدلال أسرع ودقة محسّنة وكفاءة نشر الأجهزة المتطورة.
تقطير المعرفة هي تقنية ضغط النماذج المستخدمة في التعلم الآلي لنقل المعرفة من نموذج كبير ومعقد ("المعلم") إلى نموذج أصغر وأبسط ("الطالب"). الهدف هو تدريب نموذج الطالب لتحقيق أداء مماثل لنموذج المعلم، على الرغم من أن الطالب لديه عدد أقل من المعلمات وأقل تكلفة من الناحية الحسابية. هذا مفيد بشكل خاص لنشر النماذج على الأجهزة ذات الموارد المحدودة أو في التطبيقات التي تتطلب أوقات استنتاج سريعة.
تتمثل الفكرة الأساسية وراء عملية تقطير المعرفة في استخدام المخرجات الناعمة (الاحتمالات) لنموذج المعلم كأهداف تدريبية لنموذج الطالب، بالإضافة إلى التسميات الثابتة (الحقيقة الأساسية) أو بدلاً منها. يمكن لنماذج المعلم، التي غالبًا ما يتم تدريبها مسبقًا على مجموعات بيانات واسعة، أن تلتقط العلاقات المعقدة في البيانات وتعميمها بشكل جيد. من خلال التعلم من هذه الأهداف الناعمة، يمكن لنموذج الطالب أن يتعلم معلومات أكثر ثراءً مما قد يتعلمه بمجرد التعلم من التسميات الثابتة وحدها. تتضمن هذه العملية في كثير من الأحيان استخدام "درجة حرارة" أعلى في دالة softmax أثناء استدلال المعلم لتخفيف توزيع الاحتمالات، مما يوفر معلومات أكثر دقة للطالب.
يوفر تقطير المعرفة العديد من المزايا، مما يجعلها تقنية قيّمة في مختلف تطبيقات الذكاء الاصطناعي:
تنتشر تطبيقات تقطير المعرفة في العالم الحقيقي على نطاق واسع:
في حين أن تقطير المعرفة هو أسلوب ضغط النموذج، إلا أنه يختلف عن الأساليب الأخرى مثل تشذيب النموذج وتكميم النموذج. يقلل تشذيب النماذج من حجم النموذج عن طريق إزالة الروابط (الأوزان) الأقل أهمية، بينما يقلل التقطير الكمي للنموذج من دقة أوزان النموذج لاستخدام ذاكرة وحساب أقل. من ناحية أخرى، تقوم عملية تقطير المعرفة بتدريب نموذج جديد أصغر من الصفر باستخدام معرفة نموذج أكبر. يمكن أيضًا الجمع بين هذه التقنيات؛ على سبيل المثال، يمكن تشذيب النموذج المقطّر أو تكميمه لتحقيق قدر أكبر من الضغط والكفاءة. يمكن استخدام أدوات مثل مجموعة أدوات ضغط النماذج من سوني (MCT) و OpenVINO يمكن استخدامها لتحسين النماذج بشكل أكبر بعد التقطير للنشر على الحافة.
