اكتشف BERT، نموذج البرمجة اللغوية العصبية الثوري Google. تعرّف على كيفية تحويل فهم السياق ثنائي الاتجاه لمهام الذكاء الاصطناعي مثل البحث وروبوتات الدردشة.
BERT، وهي اختصار لـ BERT، وهي اختصار لـ BERT، وهي اختصار لـ BERT، وهي عبارة عن تقنية بارزة في مجال التدريب المسبق لمعالجة اللغات الطبيعية (NLP) طورها باحثون في Google AI Language. طُرحت هذه التقنية في عام 2018 من خلال الورقة البحثية المؤثرة"BERT: التدريب المسبق للمحوّلات ثنائية الاتجاه العميقة لفهم اللغة"، وقد أحدثت ثورة في كيفية فهم الآلات للغة البشرية. كانت واحدة من أوائل التمثيلات اللغوية ثنائية الاتجاه العميقة غير الخاضعة للإشراف، والتي تم تدريبها مسبقًا باستخدام مجموعة نصوص عادية فقط مثل ويكيبيديا. تستفيد BERT من بنية Transformer القوية، وتحديدًا جزء التشفير، لمعالجة الكلمات فيما يتعلق بجميع الكلمات الأخرى في الجملة في وقت واحد، وليس بالتتابع. وهذا يسمح بفهم أعمق للسياق مقارنةً بالنماذج أحادية الاتجاه السابقة.
على عكس النماذج السابقة التي عالجت النص في اتجاه واحد (إما من اليسار إلى اليمين أو من اليمين إلى اليسار)، يعالج برنامج BERT تسلسل الكلمات بالكامل في وقت واحد باستخدام مشفر المحول وآلية الانتباه الذاتي. هذا النهج ثنائي الاتجاه يسمح له بفهم سياق الكلمة بناءً على الكلمات المحيطة بها، سواءً التي تسبقها أو تليها. على سبيل المثال، يستطيع برنامج BERT التفريق بين معنى كلمة "بنك" في عبارة "أحتاج للذهاب إلى البنك لسحب النقود" مقابل "كانت ضفة النهر موحلة" من خلال النظر في سياق الجملة بالكامل.
يتعلم برنامج BERT هذه العلاقات اللغوية المعقدة خلال مرحلة ما قبل التدريب على كميات هائلة من البيانات النصية. يتضمن ذلك مهمتين رئيسيتين غير خاضعتين للإشراف:
تكون نتيجة هذا التدريب المسبق نموذجًا ذا تضمينات لغوية غنية تلتقط بناء الجملة والدلالات. يمكن بعد ذلك تكييف نموذج BERT المدرب مسبقًا أو"ضبطه" بسرعة لمختلف مهام البرمجة اللغوية العصبية النهائية المحددة باستخدام مجموعات بيانات أصغر خاصة بالمهام. هذه العملية للاستفادة من المعرفة المدربة مسبقًا هي شكل من أشكال التعلّم التحويلي.
أدت قدرة BERT على فهم الفروق اللغوية الدقيقة إلى تحسينات كبيرة في العديد من تطبيقات الذكاء الاصطناعي في العالم الحقيقي:
على الرغم من استخدام BERT في المقام الأول في البرمجة اللغوية العصبية، إلا أن بنية المحولات التي شاع استخدامها ألهمت أيضًا التطورات في مجال الرؤية الحاسوبية، مثل محولات الرؤية (ViT) المستخدمة في نماذج مثل RT-DETR. تعمل منصات مثل Ultralytics HUB على تسهيل تدريب ونشر نماذج الذكاء الاصطناعي المختلفة، بما في ذلك النماذج المبنية على مبادئ المحولات.
AR
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
TR
VI
