Дебаты о вычислительной мощности графических процессоров — это старая новость. Те, кто добьется успеха в будущем, будут теми, кто освоит, где находятся данные. Поскольку глобальное создание данных продолжает стремительно расти, отстающие компании будут оставлены за бортом следующего этапа инноваций.
Резюме
Объемы данных стремительно растут, и ожидается, что глобальное создание превысит 200 зеттабайт к концу 2025 года, что больше, чем все предыдущие объемы человеческой деятельности вместе взятые.
Централизованное облачное хранилище является узким местом ИИ, увеличивая затраты на 80% из-за сборов за выгрузку и замедляя крупномасштабные передачи данных до нескольких дней.
Децентрализованные сети хранения предлагают решение, разделяя данные между независимыми узлами и встраивая криптографические доказательства для готовых к аудиту цепочек.
Регулирование, подобное Закону ЕС об ИИ, повышает ставки, заставляя предоставлять доказуемое происхождение данных — делая хранение стратегическим приоритетом, а не фоном.
Создание данных, как ожидается, достигнет 200 зеттабайт по всему миру к концу 2025 года; этого достаточно, чтобы транслировать каждый фильм, когда-либо созданный, более 100 миллиардов раз. Эта оценка включает в себя больше цифровых материалов, чем человечество сгенерировало за все предыдущие годы вместе взятые.
В тандеме с этим ростом исследовательские группы представили первую публично выпущенную триллионную языковую модель. Эта гигантская модель, чье обучающее корпус само по себе заполнило бы целые национальные архивы десять лет назад, является примером такого Левиафана, который потребляет петабайты в час.
Без систем хранения, которые могут загружать, подготавливать и передавать данные на этих новых масштабах, даже самые быстрые процессоры будут страдать от бездействия.
Централизованные облака — это новое узкое место
Большинство организаций по-прежнему полагаются на несколько гипермасштабных хранилищ, созданных для веб-приложений, а не для передовых исследований. Финансовая нагрузка жестока.
Отчет об аудите отрасли, опубликованный в апреле, показал, что скрытые расходы на выход и извлечение могут увеличить реальные затраты на хранение до 80%, что делает рутинное переобучение моделей разрушительным для бюджета. Хуже того, перемещение десятков петабайт между регионами может занять дни; вечность, когда конкурентное преимущество измеряется в циклах итерации.
Централизация, таким образом, делает больше, чем просто раздувает счета; она напрямую встраивает неравенство в экономику искусственного интеллекта, предоставляя действующим участникам с более глубокими карманами автоматическое преимущество над всеми остальными. В ответ на эту реальность другой план получает популярность, поскольку децентрализованные сети хранения, которые разбивают данные по тысячам независимых узлов, прокладывают путь к будущему, построенному на равных условиях.
Не менее важной является необходимость в прозрачных аудиторских следах, которые удовлетворяют надвигающимся требованиям раскрытия информации о том, как данные о торговле собираются, курируются и управляются. В конечном счете, регулирование станет решающим фактором в том, увидят ли модели завтрашнего дня свет или столкнутся с судебными исками.
Новый стресс-тест для хранилища
Современный ИИ теперь выходит за пределы стен центров обработки данных, внедряя модели на производственные площадки, в больницы и автономные транспортные средства. На этих границах миллисекунда, потерянная из-за медленного ввода-вывода, может вызвать сбой в производстве или угрозу безопасности.
Последние бенчмарки MLPerf Storage v2.0 подтверждают нагрузку: создание контрольной точки для рабочей нагрузки класса GPT на 10 000 ускорителях теперь занимает 37 секунд, а даже суперкластер из 100 000 GPU по-прежнему останавливается на 4,4 секунды в ожидании дисков, а не выполнения математических операций.
Если трубопроводы не смогут доставлять петабайты в кратковременных всплесках и затем реплицировать те же данные на тысячи микросайтов, то «edge-AI» останется больше концепцией, чем реальностью. Аналитики уже повторяют предупреждение о том, что пропускная способность хранения, а не память или сеть, станет главной узким местом, сдерживающим кластеры нового поколения.
Регулирование добавляет еще один уровень срочности, например, Законодательство о ИИ Европейского Союза, который вступил в силу во второй волне enforcement 2 августа — заставляя поставщиков моделей общего назначения документировать каждую часть обучающих данных… или рисковать штрафами до 7% от глобального оборота.
Централизованные силосы испытывают трудности с выполнением этого требования. Дублирующие копии затуманивают происхождение, а непрозрачные журналы выхода делают аудиторские следы настоящим кошмаром для бухгалтеров. Напротив, децентрализованные сети встраивают криптографические доказательства репликации в саму свою структуру, превращая соблюдение норм в побочный продукт, а не в дорогостоящее дополнение.
Игнорируйте хранение, рискуя опасностью
С задержкой на грани в микросекундах и юридическими штрафами, измеряемыми в миллиардах, хранение больше не является фоновым сервисом; это единственная основа, на которой завтрашний ИИ может легально и физически функционировать. Компании, которые по-прежнему рассматривают емкость как товарный элемент, рискуют как техническими долгами, так и регуляторными шоками в равной степени.
Инновации в вычислениях будут продолжать привлекать внимание, но без столь же радикального пересмотра того, где ( и как ) данные хранятся, самый современный кремний будет простаивать, поскольку затраты и риски соблюдения норм будут расти.
Соревнование за доминирование в области ИИ началось, и его выиграют те, кто поднимет хранилище на уровень первостепенного стратегического приоритета, примет децентрализацию и создаст готовые к аудиту каналы, которые масштабируются от ядра до края. Все остальные обнаружат, что никакая мощность GPU не сможет обойти узкое место, встроенное в самые основы их стека.
Кай Вавжинек является соучредителем Impossible Cloud и Impossible Cloud Network. Он опытный предприниматель с докторской степенью в области права и доказанным опытом создания успешных предприятий. Осознав необходимость в решениях уровня предприятия в пространстве web3, Кай основал Impossible Cloud Network (ICN), децентрализованную облачную платформу, направленную на создание децентрализованной альтернативы AWS. Перед ICN Кай основал Goodgame Studios, компанию по разработке онлайн-игр, и вырастил компанию до более чем 1,000 сотрудников и сгенерировал более €1 миллиарда дохода, проведя ее на биржу Nasdaq в 2018 году через обратное слияние.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Хранение, а не кремний, станет катализатором следующего прорыва в ИИ
Дебаты о вычислительной мощности графических процессоров — это старая новость. Те, кто добьется успеха в будущем, будут теми, кто освоит, где находятся данные. Поскольку глобальное создание данных продолжает стремительно расти, отстающие компании будут оставлены за бортом следующего этапа инноваций.
Резюме
Создание данных, как ожидается, достигнет 200 зеттабайт по всему миру к концу 2025 года; этого достаточно, чтобы транслировать каждый фильм, когда-либо созданный, более 100 миллиардов раз. Эта оценка включает в себя больше цифровых материалов, чем человечество сгенерировало за все предыдущие годы вместе взятые.
В тандеме с этим ростом исследовательские группы представили первую публично выпущенную триллионную языковую модель. Эта гигантская модель, чье обучающее корпус само по себе заполнило бы целые национальные архивы десять лет назад, является примером такого Левиафана, который потребляет петабайты в час.
Без систем хранения, которые могут загружать, подготавливать и передавать данные на этих новых масштабах, даже самые быстрые процессоры будут страдать от бездействия.
Централизованные облака — это новое узкое место
Большинство организаций по-прежнему полагаются на несколько гипермасштабных хранилищ, созданных для веб-приложений, а не для передовых исследований. Финансовая нагрузка жестока.
Отчет об аудите отрасли, опубликованный в апреле, показал, что скрытые расходы на выход и извлечение могут увеличить реальные затраты на хранение до 80%, что делает рутинное переобучение моделей разрушительным для бюджета. Хуже того, перемещение десятков петабайт между регионами может занять дни; вечность, когда конкурентное преимущество измеряется в циклах итерации.
Централизация, таким образом, делает больше, чем просто раздувает счета; она напрямую встраивает неравенство в экономику искусственного интеллекта, предоставляя действующим участникам с более глубокими карманами автоматическое преимущество над всеми остальными. В ответ на эту реальность другой план получает популярность, поскольку децентрализованные сети хранения, которые разбивают данные по тысячам независимых узлов, прокладывают путь к будущему, построенному на равных условиях.
Не менее важной является необходимость в прозрачных аудиторских следах, которые удовлетворяют надвигающимся требованиям раскрытия информации о том, как данные о торговле собираются, курируются и управляются. В конечном счете, регулирование станет решающим фактором в том, увидят ли модели завтрашнего дня свет или столкнутся с судебными исками.
Новый стресс-тест для хранилища
Современный ИИ теперь выходит за пределы стен центров обработки данных, внедряя модели на производственные площадки, в больницы и автономные транспортные средства. На этих границах миллисекунда, потерянная из-за медленного ввода-вывода, может вызвать сбой в производстве или угрозу безопасности.
Последние бенчмарки MLPerf Storage v2.0 подтверждают нагрузку: создание контрольной точки для рабочей нагрузки класса GPT на 10 000 ускорителях теперь занимает 37 секунд, а даже суперкластер из 100 000 GPU по-прежнему останавливается на 4,4 секунды в ожидании дисков, а не выполнения математических операций.
Если трубопроводы не смогут доставлять петабайты в кратковременных всплесках и затем реплицировать те же данные на тысячи микросайтов, то «edge-AI» останется больше концепцией, чем реальностью. Аналитики уже повторяют предупреждение о том, что пропускная способность хранения, а не память или сеть, станет главной узким местом, сдерживающим кластеры нового поколения.
Регулирование добавляет еще один уровень срочности, например, Законодательство о ИИ Европейского Союза, который вступил в силу во второй волне enforcement 2 августа — заставляя поставщиков моделей общего назначения документировать каждую часть обучающих данных… или рисковать штрафами до 7% от глобального оборота.
Централизованные силосы испытывают трудности с выполнением этого требования. Дублирующие копии затуманивают происхождение, а непрозрачные журналы выхода делают аудиторские следы настоящим кошмаром для бухгалтеров. Напротив, децентрализованные сети встраивают криптографические доказательства репликации в саму свою структуру, превращая соблюдение норм в побочный продукт, а не в дорогостоящее дополнение.
Игнорируйте хранение, рискуя опасностью
С задержкой на грани в микросекундах и юридическими штрафами, измеряемыми в миллиардах, хранение больше не является фоновым сервисом; это единственная основа, на которой завтрашний ИИ может легально и физически функционировать. Компании, которые по-прежнему рассматривают емкость как товарный элемент, рискуют как техническими долгами, так и регуляторными шоками в равной степени.
Инновации в вычислениях будут продолжать привлекать внимание, но без столь же радикального пересмотра того, где ( и как ) данные хранятся, самый современный кремний будет простаивать, поскольку затраты и риски соблюдения норм будут расти.
Соревнование за доминирование в области ИИ началось, и его выиграют те, кто поднимет хранилище на уровень первостепенного стратегического приоритета, примет децентрализацию и создаст готовые к аудиту каналы, которые масштабируются от ядра до края. Все остальные обнаружат, что никакая мощность GPU не сможет обойти узкое место, встроенное в самые основы их стека.
! Кай Вавзинек
Кай Вавжинек
Кай Вавжинек является соучредителем Impossible Cloud и Impossible Cloud Network. Он опытный предприниматель с докторской степенью в области права и доказанным опытом создания успешных предприятий. Осознав необходимость в решениях уровня предприятия в пространстве web3, Кай основал Impossible Cloud Network (ICN), децентрализованную облачную платформу, направленную на создание децентрализованной альтернативы AWS. Перед ICN Кай основал Goodgame Studios, компанию по разработке онлайн-игр, и вырастил компанию до более чем 1,000 сотрудников и сгенерировал более €1 миллиарда дохода, проведя ее на биржу Nasdaq в 2018 году через обратное слияние.