SenseTime et Shanghai AI Lab, en collaboration avec l’Université chinoise de Hong Kong et l’Université Fudan, ont publié aujourd’hui une nouvelle génération de grand modèle de langage Scholar Puyu 2.0 (InternLM2). Selon les rapports, InternLM2 est entraîné sur un corpus de 2,6 billions de jetons. Suivant la mise en place de la première génération d’érudits et de Puyu (InternLM), InternLM2 inclut deux spécifications de paramètres de 7B et 20B, ainsi que les versions de base et de dialogue, qui continuent d’être open source et fournissent des licences commerciales libres. À l’heure actuelle, la technologie de nettoyage et de filtrage des données derrière Puyu a subi trois séries de mises à niveau itératives, et elle prétend être en mesure d’atteindre les performances de l’entraînement des jetons 1T avec des données de deuxième génération en utilisant seulement environ 60 % des données d’entraînement. Selon les rapports, grâce à l’extension de la taille de la fenêtre d’entraînement et aux améliorations du codage de position, InternLM2 prend en charge le contexte de 200 000 jetons et est capable d’accepter et de traiter le contenu d’entrée d’environ 300 000 caractères chinois (environ cinq ou six cents pages de documents) à la fois. InternLM2 est proche des performances globales de ChatGPT à une échelle moyenne de 20 B.