2017年問世的Transformer架構(編者注:一種深度學習模型),被認為是目前人工智能大模型的技術基石。其基于簡單的神經元和復雜的網絡架構,在尺度定律的驅動下,通過增加網絡規模、算力資源和數據量提升模型智能水平,并取得了巨大成功。

但這就是AI的未來嗎?我們是繼續沿著Transformer架構的道路不斷擴充參數規模,還是回過頭來,向這個世界上最精巧的智能系統——人類大腦,尋求啟發?

當前學術界對此仍存在較大爭論。支持者,如諾貝爾物理學獎得主、深度學習之父杰弗里·辛頓,圖靈獎得主、紐約大學教授楊立昆等著名學者堅持神經科學是AI發展的重要靈感來源。杰弗里·辛頓曾明確表示,克服人工智能局限的關鍵在于建立計算機、科學和生物學之間的橋梁。反對者則認為,AI的重要成果并未受到神經科學機制的啟發,將來或許也不用。

但是,單一路線的系統性風險不容忽視:其在效率、可解釋性等方面的內在局限,會沿技術棧被放大并傳導至所有下游應用,如Transformer架構在處理長序列時存在二次復雜度增長的問題,嚴重限制了其在長文本、科學計算等場景中的應用。科學家們有責任前瞻地回答這樣的問題:單純追求規模的增長是否能持續推動AI系統向更高階段發展?我們是否應該尋求其他突破性的研究方向,來進一步優化現有系統?

在筆者看來,類腦計算,或許將成為未來AI的發展方向。

人腦作為已知最高效的智能系統,以約20瓦的功耗支撐千億級神經元和千萬億級突觸的復雜動態網絡,其能效遠超現有任何AI系統。這種高效的信息處理機制,尤其是事件驅動、稀疏計算、多尺度動力學等特性,為構建下一代低功耗、高性能AI模型提供了寶貴借鑒。神經科學,尤其是其對人腦工作機制的研究,正為AI未來發展提供一條全新的路徑。

然而,神經科學與AI技術之間存在一個明顯的鴻溝。從當前的研究來看,神經科學主要側重于精細的結構和生理細節,強調神經元之間的復雜連接以及大腦尺度的動力學,而AI技術則更注重抽象的結構和計算的高效性,尤其是在大規模并行計算方面。例如,GPU(圖形處理器)在處理大規模并行計算時,能夠實現高效的計算能力,但卻難以高效支持當前神經科學所關注的精細結構和神經元建模。這也就造成了神經科學和AI之間的鴻溝——當前AI模型往往難以將神經科學中的復雜結構融入進來,更遑論將其擴展到大規模的計算模型中。

盡管關于未來AI實現路徑的爭議仍在,盡管存在這樣那樣的困難,但AI研究者們給出了選擇——腦科學與人工智能的結合已逐漸成為現實,各主要發達國家都把類腦計算、神經網絡等的研發,列為未來重點發展的領域。

想在類腦計算領域占據領先地位,就要繼續強化前沿交叉研究,加強與神經科學、心理學、數學、計算機科學、量子科學等學科的交叉,拓展深化人工智能基礎理論研究范疇,推動下一代人工智能技術在基礎模型架構、高效學習范式和復雜認知推理等方面的突破。

可喜的是,中國在這一方向上已經取得若干突破。以筆者所在的研究組為例,我們日前成功研發了類腦大模型“瞬悉1.0”(SpikingBrain)。經過測評,其在多個核心性能上實現了突破。首先,它在極低數據量下實現了高效訓練,顯著提升了長序列訓練效率。其次,它的推理效率得到數量級提升,特別是在超長序列處理上展現出顯著優勢。這使其在“人工智能+”場景下,如法律/醫學文檔分析、復雜多智能體模擬、腦機接口、高能粒子物理實驗等超長序列日常應用和科學任務建模場景等,具有顯著的潛在效率優勢。再次,它構建了國產自主可控的類腦大模型生態,支持將現有Transformer模型高效轉換為類腦脈沖架構。最后,它設計了多尺度稀疏機制,為低功耗的類腦大模型運行提供了有力支撐。

沿著這個方向,我們或可找到一條融合神經元豐富動力學特性,具有生物合理性和計算高效性的神經網絡新路徑,構建新一代通用智能模型,從而探索腦科學與人工智能基礎模型架構之間的橋梁。

(作者:李國齊、姚滿,分別系中國科學院自動化研究所研究員;助理研究員)