El gran modelo de lenguaje "Shusheng Puyu" 2.0 de SenseTime es de código abierto: 200K contexto, 300.000 caracteres chinos se pueden leer a la vez

Bit Pakistan – SenseTime y Shanghai AI Lab, junto con la Universidad China de Hong Kong y la Universidad de Fudan, lanzaron hoy una nueva generación de modelo de lenguaje grande Scholar Puyu 2.0 (InternLM2).

Según los informes, InternLM2 se entrena con un corpus de 2,6 billones de tokens. Siguiendo la configuración de la primera generación de académicos y Puyu (InternLM), InternLM2 incluye dos especificaciones de parámetros de 7B y 20B, así como las versiones base y de diálogo, que siguen siendo de código abierto y proporcionan licencias comerciales gratuitas. En la actualidad, la tecnología de limpieza y filtrado de datos detrás de Puyu ha sido sometida a tres rondas de actualizaciones iterativas, y afirma poder lograr el rendimiento de entrenar tokens 1T con datos de segunda generación utilizando solo alrededor del 60% de los datos de entrenamiento.

Según los informes, a través de la expansión del tamaño de la ventana de entrenamiento y las mejoras en la codificación de posición, InternLM2 admite el contexto de 200,000 tokens y puede aceptar y procesar el contenido de entrada de aproximadamente 300,000 caracteres chinos (alrededor de quinientas o seiscientas páginas de documentos) a la vez. InternLM2 está cerca del rendimiento general de ChatGPT a una escala media de 20B.