نموذج اللغة الكبيرة "Shusheng Puyu" 2.0 من SenseTime مفتوح المصدر: سياق 200K ، يمكن قراءة 300000 حرف صيني في وقت واحد

أصدرت Bit Pakistan – SenseTime وShanghai الذكاء الاصطناعي Lab ، جنبا إلى جنب مع الجامعة الصينية في هونغ كونغ وجامعة فودان ، اليوم جيلا جديدا من نموذج اللغة الكبيرة Scholar Puyu 2.0 (InternLM2).

وفقا للتقارير ، يتم تدريب InternLM2 على مجموعة من 2.6 تريليون رمز. بعد إعداد الجيل الأول من العلماء و Puyu (InternLM) ، يتضمن InternLM2 اثنين من مواصفات المعلمات 7B و 20B ، بالإضافة إلى الإصدارات الأساسية والحوار ، والتي لا تزال مفتوحة المصدر وتوفر تراخيص تجارية مجانية. في الوقت الحاضر ، خضعت تقنية تنظيف البيانات وتصفيتها وراء Puyu لثلاث جولات من الترقيات التكرارية ، وتدعي أنها قادرة على تحقيق أداء رموز التدريب 1T مع بيانات الجيل الثاني باستخدام حوالي 60٪ فقط من بيانات التدريب.

وفقا للتقارير ، من خلال توسيع حجم نافذة التدريب وتحسينات ترميز الموضع ، يدعم InternLM2 سياق 200000 رمز ، وهو قادر على قبول ومعالجة محتوى الإدخال لحوالي 300000 حرف صيني (حوالي خمسمائة أو ستمائة صفحة من المستندات) في وقت واحد. InternLM2 قريب من الأداء العام ل ChatGPT على مقياس منتصف 20B.