Odaily星球日报讯 Reya Labs 在 X 平台宣布 Rank Reveal Event（排名公布事件，简称 RRE）已上线。据悉，RRE 设置当前 Season 初始排名。Season OG 在今天（5 月 27 日）开启，用户排名每周都会根据其表现而改变。 Après le RRE, des événements de classement hebdomadaires seront lancés, qui auront lieu chaque lundi midi (heure UTC). Chaque semaine, le classement des utilisateurs peut augmenter, diminuer ou rester inchangé, en fonction de leur accumulation d'expérience par rapport aux autres utilisateurs du même niveau. Par exemple, si quelqu'un est classé 3ème et se trouve dans le top 10% à la fin de la semaine, il sera promu au rang 2 ; s'il se classe dans les 10% les plus bas, cet utilisateur sera rétrogradé au rang 4. Cela signifie que les utilisateurs rivaliseront avec d'autres utilisateurs de même niveau, et non avec des baleines.

Selon Qubit, MIT doctorants ont découvert qu’un simple élagage d’une couche spécifique du transformateur peut améliorer considérablement les performances du modèle tout en réduisant la taille du modèle. L’effet se reflète principalement dans les tâches de compréhension de texte, qui peuvent atteindre jusqu’à 30%. En plus de la compréhension de texte, il convient également à l’apprentissage par renforcement. Cette opération ne doit être effectuée qu’après l’entraînement du modèle, et aucun paramètre ni donnée supplémentaire n’est requis. Le nom complet de cette méthode est « Layer-Selective Rank Reduction », ou « LASER » en abrégé. Il s’agit d’une intervention qui supprime sélectivement les composants d’ordre supérieur de la matrice de poids LLM dans une matrice de poids et une couche spécifiques du modèle Transformer. L’étude a révélé que même si plus de 90 % étaient complètement supprimés, les performances du modèle ne se dégradaient généralement pas.

Selon le rapport à domicile du webmaster du 1er août, des chercheurs de Huawei Cloud, de l'Académie chinoise des sciences et de l'Université de Pékin ont récemment proposé un nouveau cadre appelé RRTF (Rank Responses to align Test&_Teacher Feedback), qui peut améliorer efficacement le pré-formé à grande échelle Performance des modèles de langage (LLM) pour la génération de code. Le cadre RRTF améliore les performances des LLM générant du code au moyen de techniques d'alignement LLM en langage naturel et de commentaires de classement. L'équipe de recherche a également présenté le modèle PanGu-Coder2, qui a obtenu un excellent taux de réussite de 62,20 % sur le benchmark OpenAI Human_. Cette étude démontre l'efficacité de RRTF en appliquant le cadre RRTF sur StarCoder15B, surpassant PanGu-Coder et obtenant les meilleures performances parmi tous les LLM de code enregistrés. Une analyse approfondie de trois points de repère (Human_, Coder_ et LeetCode) montre que Code LLM peut être en mesure de surpasser les modèles de langage naturel d'échelle égale ou supérieure dans les tâches de génération de code. La recherche met également en évidence la valeur des données de haute qualité pour améliorer la capacité d'un modèle à suivre les instructions et à écrire du code.