人工智能的發展深受模仿人類大腦的啟發，尤其是在當前的類腦神經形態系統中。例如，利用生物可解釋的脈沖神經網絡（SNN），并結合IBM的TrueNorth和英特爾的Loihi等CMOS數字硬件加速器，來模擬大腦的計算功能和效率。然而，在硬件中復現大腦功能仍然面臨巨大的挑戰，這不僅受到摩爾定律放緩以及馮·諾依曼架構計算瓶頸的限制，而且涉及脈沖神經網絡自身訓練過程中的困難。

針對這一問題，微電子所尚大山研究員與南方科技大學深港微電子學院王中銳博士合作，開發了一種基于液體狀態機（Liquid State Machine, LSM）技術實現多模態時序脈沖數據的學習方法。液體狀態機是一種脈沖形式的儲池計算，它是循環脈沖神經網絡的一種簡化形式，能夠將時序輸入信號通過神經元的非線性激活函數轉換到高維空間中，并通過簡單的線性回歸方法有效地讀出。LSM中循環連接層的權重始終保持固定，訓練僅需要調節輸出層的權重，這使得訓練復雜度和時間大降低。

在硬件方面，團隊利用憶阻器的本征隨機性構建大規模隨機電阻陣列，并將其作為LSM網絡的初始化權重，展現了低成本和可擴展的優勢。在軟件方面，LSM巧妙的利用了隨機電阻陣列所帶來的物理隨機投影，通過存內計算的方式完成多時序脈沖輸入的特征提取過程，并顯著降低了脈沖神經網絡的訓練成本。團隊通過軟-硬協同優化技術，在基于FPGA的板級測試平臺上實現了視覺和聲音的多模態對齊檢索，并進行了接近實用場景的腦機接口的視覺和聲音對齊任務的仿真驗證。與傳統數字硬件系統相比，該方法在計算能效上實現了顯著提升。該研究工作展現了憶阻器存算一體陣列在構建神經形態系統方面的巨大潛力，并為利用自然界中豐富的物理、化學特性開發更高效的智能硬件系統提供了參考。

該項目得到了科技部、國家自然科學基金委、中國科學院、南方科技大學和香港大學的支持。成果近期發表在《自然—計算科學》期刊上（Nature Computational Science, DOI: 10.1038/s43588-024-00751-z ），并受邀撰寫了研究快訊（Nature Computational Science, DOI: 10.1038/s43588-024-00762-w）。微電子所訪問學者、香港大學博士后研究員林寧為文章的第一作者，南方科技大學王中銳博士和微電子所尚大山研究員為該文章的通訊作者。參與本工作的還有復旦大學、浙江大學、香港大學以及中國科學院計算所等合作單位。

文章鏈接：https://doi.org/10.1038/s43588-024-00751-z

Resistive memory-based zero-shot liquid state machine for multimodal event data learning

N.?Lin, Shao.?Wang, Y. Li,?B. Wang, S. Shi, Y. He, W. Zhang, Y. Yu, Y. Zhang, Xin. Zhang, K. Wong, Song. Wang, Xiao. Chen, H. Jiang, X. Zhang, P. Lin, X. Xu, X. Qi, Z. Wang*, D. S. Shang*, Q. Liu, M. Liu

Nature Computational Science?DOI:10.1038/s43588-024-00751-z?(2024)?

文章鏈接：https://doi.org/10.1038/s43588-024-00762-w

Energy-efficient multimodal zero-shot learning using in-memory reservoir computing

Ning Lin, Zhongrui Wang, Dashan Shang

Nature Computational Science?DOI:?10.1038/s43588-024-00762-w?(2025)

圖? 基于隨機電阻陣列的液體狀態機神經網絡實現視覺和腦電信號的多模態零樣本學習

?

?