大腦神經網絡具有復雜的語義記憶和動態連接性，可將不斷變化的輸入與其龐大記憶中的經驗聯系起來，高效執行復雜多變的任務。目前，人工智能系統中廣泛應用的神經網絡模型大多是靜態的，隨著數據量的不斷增長，其在傳統數字計算系統中產生大量能耗和時間開銷，難以適應外界環境的變化。
針對這一問題，微電子所微電子器件與集成技術研發中心劉明院士團隊的尚大山研究員與香港大學電子工程系的王中銳博士、復旦大學張續猛博士合作，通過將人工神經網絡與大腦的動態可重構性相結合，開發了一種基于語義記憶的動態神經網絡（Dynamic neural network）。該網絡將新信息與過去的經驗信息進行關聯，利用輸入樣本與語義記憶的相似性，為神經網絡配備動態連接，從而根據需求分配計算資源。相比靜態網絡，語義記動態神經網絡能夠根據計算資源權衡識別準確性和計算效率，可在資源受限設備或分布式計算環境中展現出色的性能。團隊基于TaN/TaOx/Ta/TiN阻變存儲器陣列驗證了動態神經網絡設計在ResNet和PointNet++網絡框架上的有效性。提取特征的神經網絡和語義記憶分別在基于阻變存儲器的存內計算（CIM）和內容尋址存儲（CAM）的組合結構上進行物理實現，有效緩解了馮·諾依曼計算瓶頸。在對2D圖像數據集MNIST和3D點云數據集ModelNet的分類任務中，該設計實現了與軟件相當的準確率，相比于靜態神經網絡減少了48.1%和15.9%的計算量，相比傳統數字硬件系統降低了計算能耗。這種軟硬件協同設計研究為開發與大腦的適應性和效率相媲美的人工智能系統提供了參考。
該項目得到了科技部、國家自然科學基金委、中國科學院的支持。成果近期發表在《科學-進展》期刊上（Science Advances,10,eado1058,2024）。香港大學碩士生張越與微電子所博士生張握瑜為共同第一作者，香港大學王中銳博士，復旦大學張續猛博士和微電子所尚大山研究員為該文章的共同通訊作者。參與本工作的還有微電子所許曉欣研究員、復旦大學劉琦教授、香港大學齊曉娟博士和香港科技大學鄭光廷教授。
文章鏈接：https://www.science.org/doi/10.1126/sciadv.ado1058
Semantic memory–based dynamic neural network using memristive ternary CIM and CAM for 2D and 3D vision
Y. Zhang, W. Zhang, S. Wang, N. Lin, Y. Yu, Y. He, B. Wang, H. Jiang, P. Lin, X. Xu, X. Qi, Z. Wang*, X. Zhang*, D. S. Shang*, Q. Liu, K. Cheng, M. Liu
????Science Advances 10, eado1058 (2024)
圖1 :基于語義記憶的腦啟發動態神經網絡硬件軟件協同設計
圖2 :基于CIM/CAM的動態PointNet++模型用于ModelNet數據集分類
科研工作