每個人都在談論 @karpathy autoresearch,但你們大多數人根本不知道它實際做了什麼。


有一個訓練腳本 (train(dot)py),用來訓練一個小型語言模型,基本上就是一個嬰兒GPT。而有一個指令文件 (program(dot)md),用來告訴AI代理該做什麼。
你按下開始。代理會調整訓練腳本,訓練5分鐘,檢查分數。更好?保持。更差?還原。重複100次,整夜讓你睡覺。
就這麼簡單。
它實際在優化的是:模型架構。不是預測。不是交易。也不是你的投資組合。
像這樣的問題:
→ 4層還是8層?
→ 最佳學習率?
→ AdamW還是Muon優化器?
→ 哪個批次大小在這台特定GPU上效果最好?
最佳架構取決於你的硬體。H100需要完全不同的模型,跟你的MacBook不一樣。autoresearch會自動找到最適合你機器的配置。
你可以用它做的事情:
> 建立一個寫程式的小型LLM,autoresearch找到最佳架構,你用你的資料集訓練
> 創建一個離線在手機上運行的輕量級聊天機器人
> 用你自己的寫作訓練一個模型,讓它聽起來像你
> 在一夜之內測試「RoPE是否比ALiBi更適合小模型?」100個變體,而不是花3週做博士研究
> 為樹莓派或邊緣設備優化模型
你不能做的事情:
> 預測股價
> 找交易優勢
> 分析試算表
> 預測體育比賽結果
autoresearch是一個為想要建立語言模型的人設計的工具,而不是用來使用它的。Karpathy建立了一個自主循環,讓AI改善AI。真正的天才。但它解決的是一個非常特定的問題。
而那個問題可能不是你的。沒關係,就不要假裝它是別的東西。
查看原文
post-image
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 留言
  • 轉發
  • 分享
留言
0/400
暫無留言