大腦的多感官整合是一個將不同模態(tài)感官信息進行結合的過程，它對于許多生物完成決策、記憶和學習等任務至關重要。例如，大黃蜂可同時利用視覺和觸覺信息識別物體。多感官整合機制依賴高度并行且異步觸發(fā)的神經(jīng)元和突觸網(wǎng)絡。

　　為了實現(xiàn)神經(jīng)元和突觸的基本功能，以人工突觸為代表的神經(jīng)形態(tài)器件獲得了廣泛關注與研究。然而，與大腦多感官整合機制相關的高級功能尚未在神經(jīng)形態(tài)器件和系統(tǒng)中得到開發(fā)與驗證。此外，如何從硬件層面在神經(jīng)形態(tài)器件中實現(xiàn)認知智能與類腦智能也是亟待解決的難題。

　　在研究團隊設計的神經(jīng)形態(tài)運動感知系統(tǒng)中，加速度計和陀螺儀分別獲取加速度和角速度信號，這兩種運動信號被編碼為兩個脈沖序列，隨后被傳輸至高性能突觸晶體管進行處理。兩個脈沖序列的相關性和時序關系影響器件的突觸可塑性，從而影響器件輸出。系統(tǒng)通過對脈沖平均發(fā)放率和突觸器件輸出電流進行判定，實現(xiàn)運動信號的分類識別。

　　該系統(tǒng)可檢測視覺、觸覺等多個模態(tài)的傳感信息。對來自不同類型傳感器的信息進行有效整合，可顯著提升運動識別的準確率（高于94%），并且實驗結果符合大腦的感知增強效應。此外，該系統(tǒng)可進一步貼附于人體皮膚或裝載于小型無人機，完成人體動作識別、無人機飛行模式識別等復雜任務。

　　相關論文信息：https://doi.org/10.1038/s41467-023-36935-w