商湯科技「樹生璞玉」2.0大語言模式開源:200K上下文,一次可讀30萬漢字

比特巴基斯坦 – 商湯科技和上海人工智慧實驗室聯合香港中文大學和復旦大學,今天發佈了新一代大型語言模型Scholar Puyu 2.0(InternLM2)。

據報導,InternLM2在2.6萬億個代幣的語料庫上進行訓練。 遵循第一代學者和普宇(InternLM)的設定,InternLM2包括7B和20B兩個參數規範,以及基礎版和對話版,繼續開源,提供免費商業許可。 目前,普宇背後的數據清洗過濾技術已經經歷了三輪反覆運算升級,聲稱僅用60%左右的訓練數據就能實現用二代數據訓練1T代幣的性能。

據介紹,InternLM2通過擴展訓練視窗大小和位置編碼改進,支援20萬個令牌的上下文,能夠一次性接受和處理約30萬漢字(約五六百頁文檔)的輸入內容。 InternLM2接近ChatGPT的整體性能,達到20B級。

TOKEN-3.02%
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 留言
  • 轉發
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate App
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)