兩篇研究論文，不同角度卻指向同一個問題——什麼是concept？

想像語言存在於二維座標系。X軸是時間維度，詞彙隨著時間流動被組織成句子。Y軸是意義維度，我們之所以選擇某個詞而不是另一個，背後是意義的驅動。

最近SAEs系列的研究成果很有意思，它揭示了神經網絡模型在Y軸上是如何運作的——模型學會了提取和表達具有明確語義的概念特徵。換句話說，模型的計算過程中存在某些"節點"，它們對應的不是隨意的神經激活，而是有具體含義的概念表達。這意味著意義在深度學習模型內部是可以被分解、可以被觀察的。