SenseTime'ın "Shusheng Puyu" 2.0 büyük dil modeli açık kaynak kodludur: 200K bağlam, bir seferde 300.000 Çince karakter okunabilir

Bit Pakistan – SenseTime ve Shanghai AI Lab, Hong Kong Çin Üniversitesi ve Fudan Üniversitesi ile birlikte bugün yeni nesil büyük dil modeli Scholar Puyu 2.0’ı (InternLM2) piyasaya sürdü.

Raporlara göre, InternLM2 2,6 trilyon tokenden oluşan bir külliyat üzerinde eğitildi. İlk nesil akademisyenlerin ve Puyu’nun (InternLM) ayarlanmasının ardından, InternLM2, 7B ve 20B’nin iki parametre spesifikasyonunun yanı sıra açık kaynak olmaya devam eden ve ücretsiz ticari lisanslar sağlayan temel ve diyalog sürümlerini içerir. Şu anda, Puyu’nun arkasındaki veri temizleme ve filtreleme teknolojisi, üç tur yinelemeli yükseltmeden geçti ve eğitim verilerinin yalnızca yaklaşık %60’ını kullanarak ikinci nesil verilerle 1T belirteçlerini eğitme performansına ulaşabileceğini iddia ediyor.

Raporlara göre, eğitim penceresi boyutunun ve konum kodlama iyileştirmelerinin genişletilmesiyle, InternLM2 200.000 belirteç bağlamını destekliyor ve bir seferde yaklaşık 300.000 Çince karakterin (yaklaşık beş veya altı yüz sayfa belge) girdi içeriğini kabul edebiliyor ve işleyebiliyor. InternLM2, 20 milyarın ortalarında ChatGPT’nin genel performansına yakındır.