Tether Phát hành Khung BitNet LoRA Trên Các Nền tảng

• Tether’s BitNet LoRA framework enables AI model training across smartphones, GPUs, and consumer devices.

• Hệ thống giảm tiêu thụ bộ nhớ và tăng hiệu suất, với yêu cầu VRAM thấp hơn tới 77,8%.

• Người dùng có thể tinh chỉnh các mô hình lên đến 13B tham số trên thiết bị di động, mở rộng khả năng AI tại biên.

Tether công bố một khung AI mới thông qua nền tảng QVAC Fabric, cho phép đào tạo BitNet LoRA đa nền tảng trên các thiết bị tiêu dùng. Cập nhật này cho phép các mô hình hàng tỷ tham số chạy trên điện thoại thông minh và GPU. CEO Paolo Ardoino chia sẻ về sự phát triển này, nhấn mạnh giảm chi phí và mở rộng truy cập các công cụ AI.

Đào tạo AI đa nền tảng mở rộng khả năng tiếp cận

Cập nhật QVAC Fabric giới thiệu hỗ trợ đa nền tảng cho tinh chỉnh BitNet LoRA. Điều này cho phép các mô hình AI chạy trên các phần cứng và hệ điều hành khác nhau.

Đặc biệt, khung hỗ trợ GPU từ AMD, Intel và Apple, bao gồm cả chip di động. Nó cũng sử dụng các backend Vulkan và Metal để đảm bảo tương thích.

Theo Tether, đây là lần đầu tiên BitNet LoRA hoạt động trên phạm vi rộng như vậy của các thiết bị. Do đó, người dùng có thể đào tạo mô hình trên phần cứng hàng ngày.

Hiệu suất cải thiện trên phần cứng tiêu dùng

Hệ thống giảm nhu cầu bộ nhớ và tính toán bằng cách kết hợp các kỹ thuật BitNet và LoRA. BitNet nén trọng số mô hình thành các giá trị đơn giản, trong khi LoRA giới hạn các tham số có thể đào tạo.

Cùng nhau, các phương pháp này giảm đáng kể yêu cầu phần cứng. Ví dụ, inference GPU nhanh gấp hai đến mười một lần so với CPU trên thiết bị di động.

Ngoài ra, mức sử dụng bộ nhớ giảm mạnh so với các mô hình chính xác đầy đủ. Các bài kiểm tra cho thấy sử dụng VRAM ít hơn tới 77,8% so với các hệ thống tương tự.

Tether cũng đã thể hiện khả năng tinh chỉnh trên điện thoại thông minh. Các thử nghiệm cho thấy mô hình 125 triệu tham số được đào tạo trong vài phút trên các thiết bị như Samsung S25.

Thiết bị di động và biên xử lý các mô hình lớn hơn

Khung này cho phép các mô hình lớn hơn chạy trên các thiết bị biên. Tether báo cáo đã thành công trong việc tinh chỉnh các mô hình lên đến 13 tỷ tham số trên iPhone 16.

Hơn nữa, hệ thống hỗ trợ GPU di động như Adreno, Mali và Apple Bionic. Điều này mở rộng phát triển AI vượt ra ngoài phần cứng chuyên dụng.

Theo Paolo Ardoino, phát triển AI thường phụ thuộc vào hạ tầng đắt đỏ. Ông nói rằng khung này chuyển khả năng về phía các thiết bị địa phương.

Tether bổ sung rằng hệ thống giảm sự phụ thuộc vào các nền tảng tập trung. Nó cũng cho phép người dùng đào tạo và xử lý dữ liệu trực tiếp trên thiết bị của họ.