Джерело: Xinzhiyuan
Не минуло й двох днів після випуску Llama 2, як єдиноріг Stability AI швидко налаштував модель FreeWilly, яка, як кажуть, порівнянна за продуктивністю з ChatGPT.
Щойно Llama 2 від Meta була випущена, вона підірвала всю спільноту з відкритим кодом.
Як зазначив науковець OpenAI Karpathy, це надзвичайно важливий день для всієї галузі великих мовних моделей. З усіх моделей з відкритими вагами Llama 2 є найпотужнішою.
Відтоді розрив між великими моделями з відкритим вихідним кодом і великими моделями із закритим вихідним кодом буде ще більше скорочуватися, а можливість створювати великі моделі буде рівною для всіх розробників.
Щойно Stability AI і CarperAI Labs спільно випустили модель для тонкого налаштування на основі моделі LLaMA 2 70B - FreeWilly2.
І, заснований на доопрацюванні оригінальної моделі LLaMA 65B - FreeWilly1.
Варто зазначити, що модель навчена на новому синтетичному наборі даних на основі стандартного формату Alpaca та пройшла контрольоване тонке налаштування (SFT).
У різних порівняльних тестах FreeWilly2 продемонстрував чудові можливості міркування та навіть перевершив GPT-3.5 у деяких завданнях.
Адреса моделі:
Адреса моделі:
Обидві моделі є дослідницькими експериментами та випущені за некомерційною ліцензією.
Генерація та збір даних
Stability AI сказав, що навчання моделі FreeWilly безпосередньо надихнуло документ Microsoft «Orca: прогресивне навчання на основі комплексних пояснень GPT-4».
Однак, хоча процес створення даних подібний, джерела різні.
Папір посилання:
Варіант набору даних FreeWilly містить 600 000 точок даних (приблизно 10% розміру набору даних, використовуваного в оригінальному папері Orca), а модель завантажується за допомогою високоякісного набору даних інструкцій, створеного Енріко Шипполом:
Завдяки цьому підходу Stability AI створив 500 000 прикладів, використовуючи простішу модель LLM, і додаткові 100 000 прикладів, використовуючи більш складну модель LLM.
Для справедливого порівняння Stability AI ретельно перевірив ці набори даних і вилучив приклади, отримані з порівняльного тесту.
Хоча розмір навчальної вибірки становить лише одну десяту від початкового паперу Orca, отримана модель FreeWilly не тільки добре працює в різних порівняльних тестах, але також перевіряє можливість використання методу синтетичної генерації наборів даних.
Оцінка ефективності моделі
Що стосується оцінки продуктивності, дослідники Stability AI взяли lm–harness EleutherAI і додали AGI.
Судячи з результатів, FreeWilly досягає успіху в багатьох сферах, включаючи складне міркування, розуміння тонкощів мови та відповіді на складні запитання, пов’язані з професійними сферами (наприклад, вирішення юридичних і математичних задач).
По суті, FreeWilly 2 досягла рівня, порівнянного з ChatGPT, і навіть перевершила його в деяких оцінках.
Тест GPT4ALL (0-постріл):
Оцінка AGI (0-постріл):
Крім того, команда з Hugging Face також самостійно відтворила експеримент 21 липня.
Видно, що в таблиці лідерів Open LLM FreeWilly 2 посідає перше місце з абсолютним лідерством, а середній бал на 4 відсоткові пункти вище, ніж у оригінальної версії Llama 2.
За відкрите майбутнє
Можна сказати, що FreeWilly1 і FreeWilly2 встановили новий стандарт для великих мовних моделей з відкритим кодом.
Запровадження цих двох моделей не лише значно просунуло дослідження у суміжних галузях, покращило здатність розуміння природної мови, але й підтримало виконання складних завдань.
Стабільність AI сказала, що команда дуже схвильована нескінченними можливостями, які ці моделі можуть принести спільноті ШІ, і з нетерпінням чекає на нові програми, які вони надихнуть.
Крім того, щиро дякуємо пристрасній команді дослідників, інженерів і партнерів, чиї надзвичайні зусилля та самовідданість дозволили Stability AI досягти цієї важливої віхи.
ЗАХОПЛЮЮЧИЙ ЧАС
Після випуску моделі користувач мережі «Філ Хоуз» використав фреймворк Llama v2 Тухіна Шрівастави, щоб завершити впровадження FreeWilly 2 менш ніж за хвилину.
Після 275 ГБ вагового завантаження модель працює зі швидкістю 23 токени/с.
Крім того, деякі користувачі мережі вигукували: модель, запущену спільно Stability AI і CarperAI, можна назвати кардинальною!
FreeWilly1 і FreeWilly2 мають велике інноваційне значення з точки зору відкритого вихідного коду та продуктивності, а коло ШІ відкриває захоплюючий момент.
Література:
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
