SenseTimeの「Shusheng Puyu」2.0大規模言語モデルはオープンソースです:200Kコンテキスト、一度に300,000文字の漢字を読むことができます

Bit Pakistan – SenseTimeとShanghai AI Labは本日、香港中文大学と復旦大学と共同で、新世代の大規模言語モデルScholar Puyu 2.0(InternLM2)をリリースしました。

報告によると、InternLM2は2兆6,000億トークンのコーパスでトレーニングされています。 第1世代の学者とPuyu(InternLM)の設定に続いて、InternLM2には7Bと20Bの2つのパラメータ仕様と、オープンソースであり続け、無料の商用ライセンスを提供する基本バージョンとダイアログバージョンが含まれています。 現在、Puyuの背後にあるデータクリーニングおよびフィルタリングテクノロジーは、3回の反復アップグレードを経ており、トレーニングデータの約60%のみを使用して、第2世代データで1Tトークンのトレーニングのパフォーマンスを達成できると主張しています。

報告によると、トレーニングウィンドウサイズの拡張と位置コーディングの改善により、InternLM2は200,000トークンのコンテキストをサポートし、一度に約300,000の漢字(約5〜600ページのドキュメント)の入力コンテンツを受け入れて処理することができます。 InternLM2は、20Bスケール半ばでChatGPTの全体的なパフォーマンスに近いです。