算力服務:大模型時代的新商業模式

大模型訓練對算力的需求促使算力正在成爲一種新的商業模式。雖然當前大模型"煉丹"熱潮可能會過去,但算力服務商需要未雨綢繆,爲市場需求的變化做好準備。

近期,有研究人員利用全球40年的天氣數據,用200張GPU卡進行了爲期約2個月的預訓練,最終訓練出了參數量達億級的氣象大模型。按照每小時7.8元的GPU使用成本計算,這個垂直領域大模型的訓練成本可能超過200萬元。如果是訓練通用大模型,成本可能會增加百倍。

目前中國已有超過百個10億參數規模的大模型。然而,行業蜂擁而上開發大模型卻面臨高端GPU短缺的困境。算力成本高企,缺乏算力和資金成爲擺在行業面前最直接的問題。

高端GPU的短缺問題在短期內難以解決。大模型的爆發導致市場對算力需求快速增長,但供給量增速遠遠跟不上。雖然長遠來看算力供給一定會從賣方市場進入買方市場,但這個過程需要多長時間仍是未知數。

面對這一局面,業內普遍認爲,隨着大模型市場的競爭加劇,市場也會從狂熱逐漸回歸理性,企業也會根據預期的變化來控制成本、調整策略。

爲應對算力短缺,企業採取了多種方法:

1. 使用更高質量的數據進行訓練,提升訓練效率。

2. 提升基礎架構能力,實現大規模GPU集羣的穩定運行。

3. 優化算力卡資源調度,提高資源利用率。

4. 改進網路性能,提高大規模分布式訓練的效率。

5. 從雲計算架構轉向超算架構,降低成本。

6. 使用國產平台進行大模型訓練和推理,替代英偉達GPU。

算力已經在市場需求和技術迭代中,逐漸形成了一種新的服務模式。算力服務以多樣化算力爲基礎,以算力網路爲連結,以有效供給算力爲目標。它不僅包括算力,還統一封裝了存儲、網路等資源,以服務形式(如API)完成算力交付。

在算力產業鏈中,上遊企業主要供應基礎算力資源,中遊企業負責算力生產和供給,下遊企業則依靠算力服務提供增值服務。這種模式相比企業自建算力環境,在成本和技術上都更具優勢。

隨着大模型高性能計算需求的常態化,算力服務正快速形成獨特的產業鏈和商業模式。雖然當前高端GPU短缺、算力成本高企等問題仍然存在,但長遠來看,算力作爲一種服務的趨勢已經確立。算力服務商需要隨時準備,在市場需求變化時能夠及時調整策略。