النظام الميغابايت الجديد لشركة ميتا: اختراق في التغلب على العقبات لـ GPTs

يمكن للنماذج التنبؤية الإحصائية آلياً ترجمة النصوص وتلخيص البيانات وإنشاء محتوى مناسب لأغراض مختلفة مثل التسويق.

تهدف Megabyte من Meta إلى التغلب على العقبات التي تواجهها أنظمة GPT الأخرى مثل GPT-4 من OpenAi و ChatGPT.

ميجابايت مختلف عن نماذج GPT الأخرى لأنه لا يستخدم التوكينة.

يتكون نموذج الميجابايت من محول محلي ومحول عالمي.

مقدمة

الابتكار التكنولوجي غير طريقة تفاعل البشر وأداء مهام مختلفة بما في ذلك الشخصية أو الأعمال التجارية. يمكن للذكاء الاصطناعي، المعروف أيضًا باسم تعلم الآلة، أن يقوم بأنشطة مختلفة مثل كتابة المقالات أو وضع الخطط المالية. في هذه المقالة نناقش أهمية Generative Pre-trained Transformer (GPT) في معالجة اللغة الطبيعية وتطبيقاتها. سنركز أيضًا على نظام ميجابايت Meta الذي يتغلب على عدة عقبات لـ GPTs.

أهمية GPTs في معالجة اللغة الطبيعية

للمولد المدرب مسبقًا (GPTs) فوائد عديدة في مختلف قطاعات الاقتصاد حيث يعززون الإنتاجية ويزيدون الوعي الاجتماعي. أولاً، من المهم أن نعلم أن GPTs ينشئون نصوصًا تشبه الإنسان في مواضيع مختلفة.

تستخدم GPTs معلمات مختلفة لمعالجة البيانات وتقديمها بطرق سهلة الفهم.. هناك تطبيقات مختلفة تستخدم GPTs لإنشاء قيمة للبشر والمجتمع بشكل عام.

على العموم ، تعتبر GPTs مكونات مهمة في تطبيقات الذكاء الاصطناعي التي تترجم المعلومات من لغة إلى أخرى. كما أنها تولد وتلخص حجمًا كبيرًا من البيانات في معلومات سهلة الفهم. في بعض الحالات ، تمكن GPTs من إنشاء محتوى مناسب لأغراض مختلفة مثل القصائد ومشاركات المدونات والمقالات الأكاديمية والمواد التسويقية والالتفاتات ، وغيرها.

يمكن للشركات أيضًا استخدام GPTs لتشغيل الروبوتات الدردشة والمساعدين الافتراضيين الذين يمكنهم التفاعل مع الأشخاص الحقيقيين بطريقة محادثة، مما يساعدهم على فهم جوانب الأعمال أو الاجتماعية المختلفة. لأغراض الأعمال، يمكنها توليد تحليل المشاعر حول أي موضوع أو مجال من المصالح. كمثال، هناك بروتوكولات تعتمد على الذكاء الاصطناعي التي تولد توجهات سوق العملات الرقمية مما يمكن التجار والمستثمرين الآخرين من اتخاذ قرارات استثمارية مستنيرة.

تشمل الحالات الأخرى لـ GPT في معالجة اللغة الطبيعية وتطبيقات الذكاء الاصطناعي إنشاء المحتوى لتسويق المنتجات وخدمة العملاء وتحليل المعلومات المالية واستخراج البيانات والتقارير، وغيرها.

قيود نماذج جي بي تي التقليدية

على الرغم من وجود مختلفة أنواع GPTs تم إنشاؤها من قبل منصات مختلفة مثل ChatGPT و Openai، ومعظمها لديها قيود خطيرة.

أفضل نماذج الذكاء الاصطناعي الإنشائي الحالية بما في ذلك GPT-4 لـ OpenAI و ChatGPT نستخدم معمارية المحول التي قدمها باحثو جوجل. يتسبب زيادة مقاييس الانتباه الذاتي وطول المدخلات والمخرجات في تحدي لأن كل كلمة تحتاج إلى انتباه. في الأساس، تعمل هذه النظام جيدًا عند استخدام عدد قليل من الكلمات كمدخلات.

مع ذلك، يستخدم أسلوب الميجابايت طريقة مختلفة تقسم سلاسل المدخلات والمخرجات إلى أجزاء بدلاً من الرموز. كما يمكن لهذا الأسلوب التعامل مع العديد من الكلمات أكثر من النماذج الحالية.

بالإضافة إلى ذلك، يحل نهج ميتا مشكلة قابلية التوسع التي تعاني منها معظم النماذج الموجودة حاليًا في السوق. ببساطة، يتيح نموذج الميجابايت لشبكة إعادة التغذية الواحدة التفاعل مع حزمة تتكون من عدة رموز. وبالتالي، يعمل نظام الميجابايت في ميتا بشكل متوازٍ بدلاً من تتابعي. وهذا يزيد من كفاءته حتى إذا كانت النموذج الأساسي يحتوي على العديد من المعلمات.

اقرأ أيضًا: الميتا ميتافيرس: ما الذي يعمل عليه الشركة؟

بعض النماذج مثل الشبكات العصبية العميقة معقدة للغاية في الفهم والشرح مما قد يقلل من الثقة والمساءلة ويثير مخاوف أخلاقية. ولذلك، هناك حاجة إلى نماذج أبسط مثل Meta Ai التي يسهل شرحها. وذلك لأن معظم المستخدمين يودون معرفة كيفية عمل النظام ليضعوا ثقتهم فيه.

مشكلة أخرى هي أن بعض هذه النماذج تتطلب الكثير من البيانات لتكون موثوقة ومدربة. ومع ذلك، قد لا تكون هذه البيانات متاحة مما يقلل من كفاءتها. بالإضافة إلى ذلك، تؤثر المشاكل المتعلقة بالخصوصية والتحيز والضجيج والأمان ونقص البيانات سلبًا على قوة وأداء معظم نماذج GPT.

معظم النماذج الذكاء الاصطناعي التقليدية مكلفة وتستهلك الكثير من الطاقة عند إجراء الحسابات. يحدث ذلك لأن معظم الأنظمة مكثفة حسابياً. وبالتالي، فإنها تستهلك العديد من الموارد وتزيد من تكاليف البيئة.

بالإضافة إلى ذلك، يتمتع معظم هذه النماذج بتوافق منخفض نتيجة لاختلافات في توحيد المعايير. وبالتالي، من الصعب جدًا بالنسبة لهم أن يتكاملوا لأنهم يستخدمون لغات وأطر عمل وتنسيقات مختلفة. ومع ذلك، يمكن أن تعزز التنسيقات المفتوحة مثل ONNX أو المترجمات العالمية تواصلهم.

من المهم أن ندرك أن تم تصميم بنية Meta AI بطريقة تتغلب فيها على معظم هذه المشاكل.

نظام ميغابايت ميتا

قامت شركة Meta AI بتطوير جديد النظام GPT المسمى Megabyte بهدف تجاوز التمثيل الرمزي الذي يستخدمه معظم نماذج GPT. يقوم نظام تحويل الجيل المدرب (GPT) بمعالجة كميات كبيرة من البيانات مثل مقاطع الفيديو والنصوص مثل الروايات دون استخدام التمثيل الرمزي.

كنقطة، يعمل التجزئة بطريقة مشابهة لضغط الملفات من خلال تحويل كميات كبيرة من البيانات إلى رموز. يقوم المحوّل بمعالجة الرموز لإنشاء رموز الإخراج التي يقوم النظام بفك تشفيرها.

عادةً ما يتيح تجزئة الرمز النموذجي للنماذج الذكاء الاصطناعي تحويل سلاسل البيانات الكبيرة إلى أرقام. على سبيل المثال ، يمكن للنظام تحويل عبارة مثل ‘لوني المفضل هو الأحمر’ إلى سلسلة رموز مثل ‘3666، 4004، 3124، 318، 2266، 13’ التي يتم معالجتها بعد ذلك.

ومع ذلك، يوجد حد لكمية البيانات التي يعالجها هذا الأسلوب. على سبيل المثال، الحد الأقصى لـ GPT-3.5 هو بين 3,000 و 4,000 كلمة بينما الحد الأدنى لـ GPT-4 هو بين 24,000 و 32,000.

على العكس من ذلك، ميتا لقد تخلصت من التمثيل المميز لصالح الهندسة المعمقة الجديدة التي تعتمد على نمذجة الطبقات المتعددة التي تعتمد على نمذجة نهاية إلى نهاية لأكثر من مليون بايت من البيانات. هذا إنجاز عظيم نظرًا لأنه يمكنه معالجة وثيقة تتألف من ما يصل إلى 750،000 كلمة. وهذا يعني أن نظام الميغابايت يمكنه معالجة البيانات الواردة في ثلاث روايات متوسطة الحجم.

كما هو مذكور، يتغلب الميغابايت على عقبات تتجلى في التمثيل الرمزي ناتجة عن حدود البيانات الصعبة، والكثير من الوقت المطلوب لتدريب الأنظمة واستهلاك الطاقة العالية. أيضًا، بدون تمثيل رمزي، من الممكن تدريب نماذج الذكاء الاصطناعي لدعم اللغات غير الإنجليزية التي يمكن تشفيرها في الأحرف القياسية المكونة من 8 بت، على سبيل المثال.

سوف يوسع الذكاء الاصطناعي الخاص بـ Meta في مجال العملات الرقمية الفرص الموجودة حاليًا مع مزيد من التحديثات في مجال تكنولوجيا سلسلة الكتل. على سبيل المثال ، يمكن للمطورين أن يقدموا بوتات تداول العملات الرقمية بلغاتهم الأم مثل الروسية أو الفرنسية. والأهم من ذلك ، يمكن للمنظمات المعتمدة على التفويض غير المركزي (DAOs) برمجة بروتوكولاتها بلغات محلية أيضًا.

كيف يعمل نظام ميتا ميغابايت

ميجابايت ، هندسة الفك المتعددة المقياس ، تقوم بنمذجة تسلسلات تزيد عن مليون بايت مع الحفاظ على التفاضلية من البداية إلى النهاية. يستخدم محولات متعددة المقاييس تدمج مستويات مختلفة ضمن هندستها مما يعني نمذجة الأنماط العامة والمحلية في البيانات.

في الأساس، يتكون نموذج الميجابايت من ثلاث مكونات وهي وحدة محلية، ومضمن الرقعة ووحدة عالمية (محول عالمي). تتنبأ الوحدة المحلية، المعروفة أيضًا باسم المحول المحلي، بالبايتات داخل كل رقعة بينما يتحمل المضمن مسؤولية ترميز الرقع من خلال دمج تضمينات البايت. وأخيرًا، تدخل الوحدة العالمية، المعروفة أيضًا باسم المحول العالمي، وتخرج تمثيلات الرقع المختلفة.

يُظهر الشكل التالي نظرة عامة على الميغابايت.

الشكل أعلاه يوضح بعض مكونات ميغابايت الرئيسية. أظهرت تجربة حديثة أن ميغابايت يمكن أن يكون أسرع بنسبة 40% من نموذج التحويل. من الضروري، ومع ذلك، أن نلاحظ أن ميغابايت الذي تم استخدامه خلال التجربة كان يحتوي على 1.5 مليار معلمة بينما كان لدى التحويل 350 مليون.

في العموم ، لديها ميزات عديدة على محولات التقليدية. على سبيل المثال ، يقلل من التكاليف الحسابية للشهادة الذاتية مما يجعل من الممكن التعامل مع تسلسلات طويلة.

ثانياً، يستخدم طبقات الإرسال إلى الأمام لكل مسار بدلاً من كل موضع مما يؤدي إلى استخدام كفاءة للموارد الحسابية.

أيضًا، يعزز الوازن الأعلى التوازي أثناء المعالجة مما يؤدي إلى توليد سلسلة أسرع في حين الحفاظ على الأداء العالي.

تعمل بنية Megabyte على تحسين قابلية التوسع وتقليل استهلاك الموارد وتمكين الاتصال السلس مع مختلف التطبيقات القائمة على GPT. يحقق بعض هذه الفوائد من خلال تقسيم التسلسلات الطويلة إلى تسلسلين أقصر مما يقلل من تكاليف الانتباه الذاتي. بالإضافة إلى ذلك ، تقلل مشاركة المعلمات وخوارزميات الضغط من متطلبات الموارد ل GPTs.

استنتاج

يستخدم ميجابايت ميتا نظام المحول المُعَدّ مسبقًا للجيل لمعالجة كميات كبيرة من البيانات دون استخدام التشفير الرمزي. بدلاً من ذلك، يستخدم بنية تنبؤ متعددة الطبقات تقلل التكاليف، وتعزز السرعة، وتحسن الكفاءة بالإضافة إلى زيادة التوسع وقابلية التشغيل.