作為一種無創的成像技術，功能磁共振（fMRI）通過檢測血氧濃度來推斷大腦的活動狀態，在認知科學以及精神疾病研究中被廣泛應用。但是fMRI影像具有維度高、信噪比低等特點，基于fMRI的腦疾病分類問題通常具有高維小樣本的特點，常用的解決方案是采用腦模板或者獨立成分分析等對原始的fMRI腦區進行劃分，然后計算興趣腦區或空間成分的時間序列相關值（Time Courses, TCs）得到腦功能連接矩陣，并在此矩陣的基礎上做后續分析。功能連接矩陣可以視作是一種對原始fMRI序列便捷的人工特征提取方法，而其中的時序動態變化信息并沒有充分被充分地利用到分類中，如能將此部分損失信息加以有效利用，則對于提高fMRI的分類診斷能力具有重要意義。隨著深度學習技術的發展，循環神經網絡模型（LSTM, GRU等）以其優秀的非線性隱狀態建模能力，在序列分析領域的性能普遍超過了傳統的線性模型。 

　　受此啟發，中國科學院自動化研究所腦網絡組研究中心隋婧研究組提出了多尺度卷積循環神經網絡算法（Multi-scale RNN），該算法能夠直接在時間序列(TC)上使用RNN模型自動學習fMRI的時間-空間特征，突破了現有fMRI分析“先借助時間序列構建功能連接矩陣再分類”的傳統框架。在此項研究中，采用了改進GRU模型作為序列處理的基本模型。由于功能磁共振時間序列信噪比高的特點，將TCs直接作為GRU的輸入并不能得到最優的分類性能。因而在GRU模塊之前引入了多尺度的一維卷積核進行初級特征提取和濾波。多尺度卷積核的另一個功能是在不同時間尺度上自動學習各腦區之間的交互關系。多尺度卷積核與GRU的配合可以充分發掘fMRI信號中蘊含的時間-空間信息，模型的具體結構如圖1所示。 

　　依托前期“973”項目，腦網絡組中心建立了千例級的精神分裂癥腦影像學數據庫。上述提出的MsRNN算法在1100例的多中心數據測試中，相比已有流行算法（支持向量機，隨機森林，Adaboost）顯著提升了精神分裂癥的分類精度，整體分類精度達到83%，跨站點預測精度均值為80.2%，如圖2；并通過“留一特征法”遍歷分析每個特征對于分類的貢獻度大小，發現了區別診斷貢獻最顯著的腦區集中于紋狀體和小腦，提高了算法的可解釋性，有助于尋找疾病相關的影像學標志物。該研究提出的模型亦可拓展至其它類型的生理序列信號研究中，為腦電、腦磁圖等信號的分析提供了新的解決方案，具有廣闊的應用前景。相關成果近期發表于The Lancet旗下綜合性子刊EBiomedicine，第一作者為腦網絡組中心博士生燕衛政，題目為Discriminating schizophrenia using recurrent neural network applied on time courses of multi-site FMRI data。 

　　論文鏈接