اكتشف BERT، نموذج البرمجة اللغوية العصبية الثوري Google. تعرّف على كيفية تحويل فهم السياق ثنائي الاتجاه لمهام الذكاء الاصطناعي مثل البحث وروبوتات الدردشة.
BERT, which stands for Bidirectional Encoder Representations from Transformers, is a landmark technique for Natural Language Processing (NLP) pre-training developed by researchers at Google AI Language. طُرحت هذه التقنية في عام 2018، وقد أحدثت ثورة في كيفية فهم الآلات للغة البشرية من خلال كونها أول تمثيل لغوي ثنائي الاتجاه وغير خاضع للإشراف، تم تدريبه مسبقًا باستخدام مجموعة نصوص عادية فقط. وهو يستفيد من بنية Transformer القوية، وتحديداً الجزء الخاص بالتشفير، لمعالجة الكلمات فيما يتعلق بجميع الكلمات الأخرى في الجملة، بدلاً من معالجتها بالتسلسل.
على عكس النماذج السابقة التي عالجت النص في اتجاه واحد (إما من اليسار إلى اليمين أو من اليمين إلى اليسار)، يعالج برنامج BERT تسلسل الكلمات بالكامل في وقت واحد. هذا النهج ثنائي الاتجاه يسمح له بفهم سياق الكلمة بناءً على الكلمات المحيطة بها، سواءً التي تسبقها أو تليها. تخيل أنك تحاول فهم معنى كلمة "بنك" في عبارة "ذهبت إلى البنك لإيداع المال" مقابل "جلست على ضفة النهر". تساعده ثنائية الاتجاه في BERT على التمييز بين هذه المعاني بفعالية. وهو يتعلم هذه العلاقات من خلال تدريبه مسبقًا على كميات هائلة من البيانات النصية، مثل ويكيبيديا، باستخدام تقنيات مثل نمذجة اللغة المقنعة (التنبؤ بالكلمات المخفية) والتنبؤ بالجملة التالية. يمكن بعد ذلك تكييف النموذج الناتج المُدرَّب مسبقًا، والذي يحتوي على تضمينات لغوية غنية، أو"ضبطه" بسرعة لمهام محددة في البرمجة اللغوية العصبية النهائية باستخدام مجموعات بيانات أصغر خاصة بالمهام.
وقد أدت قدرة BERT على فهم الفروق اللغوية الدقيقة إلى تحسينات كبيرة في مختلف التطبيقات:
وتشمل التطبيقات الأخرى تحسين أدوات تلخيص النصوص وتعزيز أنظمة الترجمة الآلية.
تركز BERT في المقام الأول على ترميز النص لفهم المهام. تتناقض طبيعته ثنائية الاتجاه مع النماذج الأحادية الاتجاه السابقة مثل الشبكات العصبية الأساسية المتكررة (RNNs). وعلى الرغم من استناده أيضًا إلى بنية المحولات، إلا أن BERT يختلف عن نماذج مثل GPT (المحول التوليدي المدرب مسبقًا)، والتي عادةً ما تكون مُحسّنة لتوليد النص بدلاً من مجرد ترميزه. كما تم تكييف بنية المحولات نفسها لمهام الرؤية الحاسوبية، كما رأينا في نماذج مثل محول الرؤية (ViT)، مما يدل على مرونة البنية التي تتجاوز حدود البرمجة اللغوية العصبية. العديد من نماذج BERT المدربة مسبقًا متاحة بسهولة من خلال منصات مثل Hugging Face ويمكن دمجها في مهام سير العمل باستخدام أدوات مثل Ultralytics HUB.
AR
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
TR
VI
