Как сообщает VentureBeat, 21 ноября Microsoft Research выпустила небольшую языковую модель для Orca 2. Сообщается, что производительность Orca 2 при тестировании сложных задач логического вывода в среде с нулевым радиочастотным доступом сопоставима с производительностью больших языковых моделей, таких как Meta Llama-2 Chat-70B, или даже в пять-десять раз больше. Orca 2, доступная в размерах 7 миллиардов и 13 миллиардов параметров, основана на оригинальной модели 13B Orca, которая несколько месяцев назад продемонстрировала мощные возможности логического вывода, имитируя пошаговые траектории логического вывода более крупных и мощных моделей. В настоящее время корпорация Майкрософт открыла исходный код двух новых моделей для дальнейшего изучения того, как разрабатывать и оценивать меньшие модели с производительностью, сопоставимой с большими моделями.

IT House выпустил сегодня статью, в которой говорится, что объем слепой кучи модели ИИ на самом деле не обязательно лучше.Это больше зависит от качества обучающих данных.Недавно Microsoft выпустила языковую модель phi-1 с 1,3 миллиардами параметров , используя высококачественное обучение набору данных «Уровень учебника», говорят, что «фактический эффект лучше, чем GPT 3.5 со 100 миллиардами параметров». Модель основана на архитектуре Transformer, и команда Microsoft использовала данные «учебного уровня» из Интернета и «логически строгий контент», обработанный с помощью GPT-3.5, а также восемь графических процессоров Nvidia A100, чтобы завершить обучение всего за 4 часа. дни . Команда Microsoft заявила, что вместо увеличения количества параметров модели улучшение качества набора данных для обучения модели может повысить точность и эффективность модели, поэтому они использовали высококачественные данные для обучения модели phi-1. . В тесте показатель phi-1 достиг 50,6%, что лучше, чем GPT-3,5 (47%) со 175 миллиардами параметров. Microsoft также заявила, что в следующий раз в HuggingFace будет открыт исходный код phi-1, и это не первый раз, когда Microsoft разрабатывает небольшой LLM.Ранее они создали Orca с 13 миллиардами параметров, которая была обучена с использованием синтетических данных GPT-4. производительность также выше, чем у ChatGPT.

Odaily Planet Daily News Согласно официальным новостям, новая Orca была официально запущена с улучшенным UX, включая ряд новых функций, предназначенных для улучшения взаимодействия с пользователем, таких как графики цен, история транзакций, полезные сообщения об ошибках, NFT pfps и т. д. . Кроме того, было сделано несколько технических обновлений, включая (но не ограничиваясь): - Умная маршрутизация: торгуйте до 6 пулов ликвидности по лучшим ценам; - Сокращение времени подтверждения; - Более точная статистика и ценовой API; - Динамические приоритетные сборы. Кроме того, команда вскоре запустит версию Orca Pro, которая может предоставить инструменты для эффективной оценки доходности и т. д.