Mô hình ngôn ngữ lớn "Shusheng Puyu" 2.0 của SenseTime là mã nguồn mở: 200K ngữ cảnh, 300.000 ký tự Trung Quốc có thể được đọc cùng một lúc

Bit Pakistan – SenseTime và Shanghai AI Lab, cùng với Đại học Trung Quốc Hồng Kông và Đại học Fudan, hôm nay đã phát hành một thế hệ mô hình ngôn ngữ lớn mới Scholar Puyu 2.0 (InternLM2).

Theo báo cáo, InternLM2 được đào tạo trên một kho dữ liệu 2,6 nghìn tỷ token. Theo thiết lập của thế hệ học giả đầu tiên và Puyu (InternLM), InternLM2 bao gồm hai thông số kỹ thuật tham số của 7B và 20B, cũng như các phiên bản cơ sở và đối thoại, tiếp tục là mã nguồn mở và cung cấp giấy phép thương mại miễn phí. Hiện tại, công nghệ lọc và làm sạch dữ liệu đằng sau Puyu đã trải qua ba vòng nâng cấp lặp đi lặp lại và nó tuyên bố có thể đạt được hiệu suất đào tạo mã thông báo 1T với dữ liệu thế hệ thứ hai chỉ sử dụng khoảng 60% dữ liệu đào tạo.

Theo báo cáo, thông qua việc mở rộng kích thước cửa sổ đào tạo và cải tiến mã hóa vị trí, InternLM2 hỗ trợ ngữ cảnh của 200.000 mã thông báo và có thể chấp nhận và xử lý nội dung đầu vào của khoảng 300.000 ký tự Trung Quốc (khoảng năm hoặc sáu trăm trang tài liệu) cùng một lúc. InternLM2 gần với hiệu suất tổng thể của ChatGPT ở quy mô giữa 20B.