精神病學(xué)小數(shù)據(jù)和大數(shù)據(jù)的深度學(xué)習(xí)

如今，我們必須更好地理解精神疾病的共同和獨特的病理生理機制，才能提供更有效的、個性化的治療。為此，使用傳統(tǒng)統(tǒng)計方法對“小”實驗樣本的分析在很大程度上不能捕捉到潛在的精神表型的異質(zhì)性。來自機器學(xué)習(xí)的現(xiàn)代算法和方法，尤其是深度學(xué)習(xí)，為解決這些問題提供了新的希望。但是深度學(xué)習(xí)需要大量的訓(xùn)練(和測試)樣本。然而，迄今為止人類精神病學(xué)研究中可獲得的都是相對小的樣本。我們回顧了機器學(xué)習(xí)方法與更傳統(tǒng)的統(tǒng)計假設(shè)驅(qū)動方法的比較，它們的復(fù)雜性如何與大樣本容量的需求相關(guān)，以及我們可以做什么來在精神神經(jīng)科學(xué)中優(yōu)化這些強大的技術(shù)。本文發(fā)表在NEUROPSYCHOPHARMACOLOGY雜志。(可添加微信號siyingyxf或18983979082獲取原文，另思影提供免費文獻下載服務(wù)，如需要也可添加此微信號入群，原文也會在群里發(fā)布)。可結(jié)合以下腦影像機器學(xué)習(xí)相關(guān)文章閱讀，加深理解，感謝幫轉(zhuǎn)支持（直接點擊，即可瀏覽，加微信號siyingyxf或18983979082獲取原文及補充材料）：

Science:使用對比機器學(xué)習(xí)方法揭示自閉癥神經(jīng)解剖學(xué)變異結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)

神經(jīng)影像預(yù)測精神疾病及心理健康的前景

用于阿爾茨海默癥分期早期檢測的多模態(tài)深度學(xué)習(xí)模型

深度學(xué)習(xí)在靜息態(tài)功能磁共振成像中的應(yīng)用

腦影像中的深度學(xué)習(xí)研究：前景與挑戰(zhàn)

基于磁共振成像的腦齡研究：可解釋的人工智能的當(dāng)前狀態(tài)和未來挑戰(zhàn)

BrainAGE作為大腦老化的神經(jīng)影像標(biāo)志物的十年

神經(jīng)影像研究驅(qū)動的腦齡估計作為腦疾病和健康狀況識別的生物學(xué)標(biāo)記

基于原始影像數(shù)據(jù)的深度學(xué)習(xí)模型預(yù)測腦齡可獲得可靠的遺傳生物標(biāo)志物 AJP：精神分裂癥患者大腦加速老化的縱向識別研究 基于全球14468名被試MRI數(shù)據(jù)特征預(yù)測腦齡和疾病的深度學(xué)習(xí)模型 AJP：有和沒有內(nèi)化性精神障礙的受虐女孩情緒回路延遲成熟的差異性重度抑郁癥患者的腦齡

SVM在腦影像數(shù)據(jù)中的應(yīng)用

基于深度學(xué)習(xí)和自閉癥腦成像數(shù)據(jù)庫（ABIDE）識別自閉癥譜系障礙

Radiology：皮層厚度預(yù)測輕度認知障礙轉(zhuǎn)化為帕金森癡呆癥

阿爾茨海默病及其先兆分期的神經(jīng)影像分類研究及相關(guān)特征提取

Nature子刊：基于深度學(xué)習(xí)預(yù)測家族性阿爾茲海默癥患者臨床前功能性腦老化

機器學(xué)習(xí)在重度抑郁癥患者中的應(yīng)用：從分類到治療結(jié)果預(yù)測

基于功能磁共振成像數(shù)據(jù)的機器學(xué)習(xí)對精神分裂癥進行分類

使用多元表征方法提升對大腦-行為 之間關(guān)系的機器學(xué)習(xí)研究的泛化

用于臨床心理學(xué)和精神病學(xué)的機器學(xué)習(xí)方法
PLOS Biology：重度抑郁癥多成像中心的泛化腦網(wǎng)絡(luò)標(biāo)志物
Nature Medicine：持續(xù)的實驗性和臨床性疼痛的神經(jīng)影像生物深度學(xué)習(xí)在嬰兒大腦的磁共振圖像分析中的作用（上）參數(shù)選擇對腦卒中后失語癥預(yù)測模型的影響大腦數(shù)據(jù)分類時意外過擬合的危險

機器學(xué)習(xí)在靜息態(tài)功能磁共振成像中的應(yīng)用

有監(jiān)督機器學(xué)習(xí)在系統(tǒng)神經(jīng)科學(xué)中的作用

Nature Protocols：為解釋神經(jīng)成像中的機器學(xué)習(xí)模型

Biological Psychiatry: 基于多模態(tài)腦影像的個體指標(biāo)預(yù)測-方法

Biological Psychiatry：自閉癥的神經(jīng)亞型研究進展

PNAS:灰質(zhì)年齡預(yù)測作為癡呆風(fēng)險的生物標(biāo)志物

BRAIN：用于阿爾茨海默病分類的可解釋深度學(xué)習(xí)框架的開發(fā)

異質(zhì)性問題：識別精神疾病亞型的方法

NPP:結(jié)構(gòu)MRI數(shù)據(jù)的生理性別分類顯示跨性別者女性的錯誤分

利用功能連接對腦疾病進行分類和預(yù)測

基于腦影像的精神疾病預(yù)測

基于影像學(xué)和定量感覺測試預(yù)測慢性疼痛的治療結(jié)果

BRAIN：利用機器學(xué)習(xí)揭示了兩種精神分裂癥的神經(jīng)解剖學(xué)亞型

識別最優(yōu)的數(shù)據(jù)驅(qū)動特征選擇方法以提高分類任務(wù)的可重復(fù)性

Neuron腦影像機器學(xué)習(xí)：表征、模式信息與大腦特征

Molecular Psychiatry：靜息態(tài)fMRI預(yù)測青少年認知能力

JAMA Psychiatry：腦影像機器學(xué)習(xí)預(yù)測精神疾病患者社會功能

AJP:基于腦網(wǎng)絡(luò)的可卡因戒斷預(yù)測

基于機器學(xué)習(xí)的情緒障礙診斷：功能網(wǎng)絡(luò)預(yù)測藥物反應(yīng)

腦影像特征預(yù)測散發(fā)性阿爾茨海默病癥狀發(fā)作時間

1. 介紹

目前的精神病學(xué)診斷和預(yù)后方案需要改進。有人認為，神經(jīng)動力學(xué)的相同變化可能會根據(jù)環(huán)境產(chǎn)生不同的行為輸出。這些觀察結(jié)果可能部分解釋了為什么只有一小部分患者對特定疾病的藥物或心理治療有反應(yīng)。因此個性化的治療形式需要一些不同的特征來補充常規(guī)診斷。

最近，人們對人工智能(AI)算法，尤其是深度學(xué)習(xí)(DL)領(lǐng)域的算法寄予了很高的希望。DL算法擅長處理高度復(fù)雜的數(shù)據(jù)，其中的數(shù)據(jù)特征可能在多個層次以高度非線性的方式相互作用。例如，深度神經(jīng)網(wǎng)絡(luò)(DNNs)已經(jīng)被成功地用于皮膚癌和乳腺癌的自動化檢測。

建立大型多模態(tài)數(shù)據(jù)庫無疑是在無監(jiān)督的情況下識別連貫的患者亞組的重要一步，通過使用不同層次分析之間的相互作用和聯(lián)系，獲得更好的機制理解，并進行個性化治療。但我們需要多少數(shù)據(jù)，多“大”才足夠大?DNN能否在相對較小的數(shù)據(jù)庫上有效地使用?本文試圖從統(tǒng)計和機器學(xué)習(xí)(ML)的角度來解決其中的一些問題。
2. 統(tǒng)計方法和ML中的模型

如前一節(jié)所討論的，精神病學(xué)研究需要應(yīng)對各種挑戰(zhàn)，包括識別用于穩(wěn)健診斷的生物標(biāo)記物，識別具有共同疾病特征和共同治療反應(yīng)特征的亞組，以及通過對潛在結(jié)果和疾病軌跡的預(yù)測進行個性化治療。這些努力的基礎(chǔ)是對異常認知和情緒功能的神經(jīng)生物學(xué)機制的更深入理解，以及基于這些見解設(shè)計有效的藥物治療和干預(yù)策略。從統(tǒng)計學(xué)的角度來看，前一組挑戰(zhàn)可以用回歸或分類問題來解決，或者用聚類的無監(jiān)督檢測來表述，而后者，可以用統(tǒng)計方法和ML技術(shù)與計算建模相結(jié)合來解決。
例子：

對于一個分類問題，我們可能希望通過認知任務(wù)中的大腦激活來預(yù)測治療反應(yīng)或癥狀的嚴重程度，或者根據(jù)大腦的結(jié)構(gòu)特征來區(qū)分個體。在這兩種情況下，我們都可以用輸出變量y(例如，臨床診斷或癥狀的嚴重程)與一組輸入變量或特征x(例如，不同大腦區(qū)域的功能激活)之間的關(guān)系來表達我們的問題。相反，如果我們質(zhì)疑當(dāng)前的診斷方案，并希望在不受當(dāng)前疾病分類學(xué)知識偏見的特征空間x中確定新的臨床相關(guān)分組，我們將其稱為無監(jiān)督設(shè)置。

在這兩種情況下，我們經(jīng)常用數(shù)據(jù)的數(shù)學(xué)模型來表述問題，在有監(jiān)督情況下用x和y之間的函數(shù)關(guān)系fθ表示。通過數(shù)據(jù)進行函數(shù)估計，這個過程被稱為模型訓(xùn)練。在無監(jiān)督的情況下，函數(shù)可能是某種形式的測量數(shù)據(jù)的結(jié)構(gòu)思想，例如，指定任何可能的數(shù)據(jù)點分配到組之間和組內(nèi)的距離。
2.1 假設(shè)檢驗vs預(yù)測

統(tǒng)計學(xué)模型和ML模型之間沒有主要的區(qū)別，兩者都可以用于假設(shè)檢驗或預(yù)測(見圖1)。然而，假設(shè)檢驗和預(yù)測之間的區(qū)別很重要：雖然傳統(tǒng)上統(tǒng)計學(xué)更關(guān)注假設(shè)檢驗，但機器學(xué)習(xí)對預(yù)測更感興趣。在經(jīng)典的統(tǒng)計假設(shè)檢驗中，我們評估關(guān)于數(shù)據(jù)的概率性陳述，通常用模型的參數(shù)來表述。這種概率推理僅基于觀察到的訓(xùn)練數(shù)據(jù)。相比之下，在預(yù)測中，我們的目標(biāo)是預(yù)測未觀察到的結(jié)果，例如，給定一個新的觀測x(新)的可能輸出y(新)。

圖1 機器學(xué)習(xí)中的統(tǒng)計假設(shè)檢驗與預(yù)測。

經(jīng)典統(tǒng)計假設(shè)檢驗(底部路徑)是從總體中抽取隨機樣本，并估計模型的參數(shù)。然后根據(jù)模型參數(shù)對關(guān)于總體的假設(shè)進行檢驗。相比之下，在預(yù)測方面，我們應(yīng)該尋找在新樣本(紫色點)中預(yù)測結(jié)果最好的模型。因此，與其在一個先驗?zāi)Ｐ蜕洗_定一個被認為能描述真實總體的統(tǒng)計特性，不如訓(xùn)練多個模型，以便在一個獨立的驗證集(藍點)上選擇損失最小的模型。

另一個相關(guān)的問題是，所陳述的模型是概率性的還是確定性的:對于假設(shè)檢驗，在某種程度上總是涉及到隨機變量和概率分布。對于預(yù)測，函數(shù)fθ不一定要表達一個概率關(guān)系，也就是說，我們可能只需要y = fθ(x)，直接將結(jié)果y表示為特征x的某個(確定性)函數(shù)。

最后，雖然在統(tǒng)計中函數(shù)或模型fθ通常是非常簡單的，并且/或允許精確和唯一的解析解，但在ML中fθ的函數(shù)關(guān)系可能非常復(fù)雜，就像DNN一樣。雖然后者在檢測和利用復(fù)雜的、高階非線性特征組合進行預(yù)測方面可能更強大，但不利的方面在于：它們往往比fθ是一個簡單的線性函數(shù)時更難以解釋。

2.2 DNNs與泛函逼近定理(UAT)

DNNs可能構(gòu)成了最強大的ML模型，至少從數(shù)學(xué)計算的角度來看，它們最基本和最常用的形式是確定的。DNN內(nèi)部的神經(jīng)網(wǎng)絡(luò)層可以分為三類，輸入層，隱藏層和輸出層。層與層之間是全連接的，也就是說，第i層的任意一個神經(jīng)元一定與第i+1層的任意一個神經(jīng)元相連。在視覺上，它們可以被理解為由人工神經(jīng)元、單元或節(jié)點組成的網(wǎng)絡(luò)，排列在前饋層中，稱為前饋神經(jīng)網(wǎng)絡(luò)(FNN，圖2a)，每個節(jié)點計算某個非線性函數(shù)f(所謂的激活函數(shù))對其輸入的加權(quán)和。

圖2 前饋神經(jīng)網(wǎng)絡(luò)(FNN)和函數(shù)逼近。

a.邏輯回歸模型(上)和FNN模型(下)的示意圖。邏輯回歸模型通過邏輯(sigmoid)型函數(shù)直接映射加權(quán)輸入，而FNN首先通過非線性的激活函數(shù)將加權(quán)輸入在多個階段中傳播。

b.換句話說，FNN可以實現(xiàn)的函數(shù)空間更大，因此模型復(fù)雜度更高。

c.FNN可以用不同類型的激活函數(shù)來構(gòu)建。

在神經(jīng)科學(xué)和精神病學(xué)中，我們經(jīng)常處理時間序列數(shù)據(jù)，其中輸入和輸出的序列可能必須相互映射，或者提取時間結(jié)構(gòu)的一些信息特征。NNs可以通過合并以前的函數(shù)輸出擴展到時間序列域，這種方式被稱為遞歸神經(jīng)網(wǎng)絡(luò)(RNN)。RNN不僅包括前饋，而且還包括單元之間的遞歸連接，即活動可以在單元之間來回傳播。RNN能夠?qū)W習(xí)序列每一刻的主要原因是它們隨時間共享參數(shù)，并且序列的每個輸入處的狀態(tài)變量隨時間更新。給定先前觀察到的序列值，可以將隨時間共享的這些參數(shù)與狀態(tài)變量進行組合后以預(yù)測序列中的下一個值。一些研究人員將RNN中的“深度”更多地指的是它們的時間深度，可以通過系統(tǒng)檢測到觀測和時間結(jié)構(gòu)之間的依賴性。在這種意義上，深度RNN架構(gòu)的目的是為了橋接長時間延遲，如長短期記憶(LSTM)或基于門控循環(huán)單元(GRU)的網(wǎng)絡(luò)。

通過著名的普遍逼近定理(UAT)，只有一個非線性隱藏層的神經(jīng)網(wǎng)絡(luò)也能實現(xiàn)尋找到數(shù)據(jù)中y = f(x)的真正潛在函數(shù)關(guān)系。無論真實數(shù)據(jù)中y = f(x)的真正潛在函數(shù)關(guān)系是什么，只要有一個隱藏層的NN就可以表示它。這就提出了一個問題，為什么在DNN中包含一個以上的隱藏層是一種明智的做法。為了達到所需的精度，層數(shù)也需要不斷增長。除了這些計算上的原因，DNN有能力進行表示學(xué)習(xí)或自動特征提取，實現(xiàn)這些可以直接從跨層構(gòu)建數(shù)據(jù)本身實現(xiàn)。例如，當(dāng)對面部圖像進行訓(xùn)練時，DNN將學(xué)會在早期層中表示簡單的特征，然后在隨后的層中表示眼睛和鼻子，最后表示整個臉。

最后，原則上任何前饋或時變(動態(tài))函數(shù)都可以在只有一個隱藏層的神經(jīng)網(wǎng)絡(luò)中實現(xiàn)，但它們沒有說明實現(xiàn)過程中涉及的困難，也沒有說明需要多少數(shù)據(jù)才能達到令人滿意的精度。增加單元或?qū)訑?shù)，或更一般地增加函數(shù)fθ的復(fù)雜性，將增加所需的精度，但通常也會增加模型估計或訓(xùn)練所需的樣本大小。這是因為模型的復(fù)雜性和樣本的大小是密切相關(guān)的，我們將在下文中討論。

如您對腦影像機器學(xué)習(xí)等數(shù)據(jù)處理如腦功能，腦網(wǎng)絡(luò)或其他模態(tài)腦影像數(shù)據(jù)處理感興趣，請瀏覽思影以下鏈接（直接點擊即可瀏覽），感謝轉(zhuǎn)發(fā)支持。(可添加微信號siyingyxf或18983979082咨詢)：

上海：

第二十四屆腦影像機器學(xué)習(xí)班（上海，10.9-14）

第三十一屆磁共振腦網(wǎng)絡(luò)數(shù)據(jù)處理班（上海，10.28-11.2）

第六十九屆磁共振腦影像基礎(chǔ)班（上海，11.4-9）

北京：

第十屆腦網(wǎng)絡(luò)數(shù)據(jù)處理提高班（北京，10.20-25）

第十一屆磁共振ASL（動脈自旋標(biāo)記）數(shù)據(jù)處理班（北京，11.3-6）

第七十二屆磁共振腦影像基礎(chǔ)班（北京，11.9-14）

第六屆影像組學(xué)班（北京，11.25-30）

第五屆R語言統(tǒng)計班（北京，11.16-20）

南京：

第三十三屆磁共振腦網(wǎng)絡(luò)數(shù)據(jù)處理班（南京，10.16-21）

第二十二屆磁共振腦影像結(jié)構(gòu)班（南京，10.24-29）

第七十一屆磁共振腦影像基礎(chǔ)班（南京，11.12-17）

重慶：

第九屆腦網(wǎng)絡(luò)數(shù)據(jù)處理提高班（重慶，10.13-18）

第七十屆磁共振腦影像基礎(chǔ)班（重慶，10.22-27）

第二十八屆彌散成像數(shù)據(jù)處理班（重慶，11.5-10）

第六屆彌散磁共振成像提高班（重慶，11.17-22）

數(shù)據(jù)處理業(yè)務(wù)介紹：

思影科技功能磁共振(fMRI)數(shù)據(jù)處理業(yè)務(wù)

思影科技彌散加權(quán)成像（DWI/dMRI）數(shù)據(jù)處理

思影科技腦結(jié)構(gòu)磁共振成像數(shù)據(jù)處理業(yè)務(wù)（T1)

思影科技定量磁敏感（QSM)數(shù)據(jù)處理業(yè)務(wù)

思影科技嚙齒類動物（大小鼠）神經(jīng)影像數(shù)據(jù)處理業(yè)務(wù)

思影科技靈長類動物fMRI分析業(yè)務(wù)

思影數(shù)據(jù)處理業(yè)務(wù)三：ASL數(shù)據(jù)處理

思影科技腦影像機器學(xué)習(xí)數(shù)據(jù)處理業(yè)務(wù)介紹

思影科技微生物菌群分析業(yè)務(wù)

招聘及產(chǎn)品：

思影科技招聘數(shù)據(jù)處理工程師 （上海，北京，南京，重慶）

BIOSEMI腦電系統(tǒng)介紹

目鏡式功能磁共振刺激系統(tǒng)介紹

3. 模型復(fù)雜性、樣本大小和一般化

在醫(yī)療領(lǐng)域，當(dāng)我們試圖尋找新的生物標(biāo)志物時，我們最終更關(guān)心的不是假設(shè)檢驗，而是預(yù)測。我們要求，在一組訓(xùn)練數(shù)據(jù)上訓(xùn)練的模型，如果我們將其應(yīng)用于之前訓(xùn)練集中不包含的新的觀察，它需要有助于正確的診斷，或確定最佳的治療形式。與用于模型訓(xùn)練的標(biāo)準(zhǔn)一樣，PE(預(yù)測誤差)可能基于不同類型的損失函數(shù)，例如MSE損失或基于可能性的標(biāo)準(zhǔn)。至少有三種不同類型的預(yù)測我們需要區(qū)分(見圖3):樣本內(nèi)PE指的是我們保持一部分數(shù)據(jù)固定的情況，例如預(yù)測值，其目的是確定這組給定的預(yù)測值的一組新的真實結(jié)果和預(yù)測結(jié)果之間的預(yù)期偏差(圖3c)。一個更有趣的量是樣本外PE，我們在一些數(shù)據(jù)上訓(xùn)練模型，然后繪制一個新樣本來評估PE(圖3c)。在這個過程中，我們經(jīng)常假設(shè)新樣本與訓(xùn)練樣本具有相同的統(tǒng)計特性，即來自相同的概率分布。然而，對于臨床實踐來說，情況可能并非如此。在這里，我們將其稱為“范圍外”PE(圖3d)，只有當(dāng)我們擁有來自不同領(lǐng)域的數(shù)據(jù)，或者我們擁有一個基于我們的樣本的過程的良好機制模型時，才能現(xiàn)實地確定這一PE(預(yù)測誤差)。

圖3 不同類型的預(yù)測誤差。

(a)與兩個虛構(gòu)群體(紅色和藍色)相關(guān)的兩個高斯分布的等高線，顯示了一個特征和一個結(jié)果(例如，腦容量減少和年齡)之間的概率關(guān)系。

(b)從兩個分布中抽取n = 30點的兩個隨機樣本(用對應(yīng)的顏色表示)。

(c) 50%的紅色樣本(如b所示)用于擬合線性模型(斜紅線)。剩下的50%的樣本點(測試集)在這里顯示為白色圓圈，用于評估樣本外誤差(紅色豎線)。另一個結(jié)果樣本是在用于訓(xùn)練(橙色圓圈)和用于評估樣本內(nèi)預(yù)測誤差(橙色豎線)的完全相同的特征值上繪制的。

(d)該模型(紅線，與c中相同)現(xiàn)在被用于預(yù)測藍色(更廣泛)樣本(可能在不同地點收集)的結(jié)果。垂直的藍色線表示域外預(yù)測誤差。這個誤差似乎比其他兩個誤差(c)都要大，表明對結(jié)果的系統(tǒng)性低估。

3.1 偏差-方差權(quán)衡與模型復(fù)雜性

訓(xùn)練誤差不是一個很好的衡量我們的模型質(zhì)量的方法。對于具有給定參數(shù)數(shù)量的給定模型，確實如此，因此確定模型參數(shù)以使訓(xùn)練損失最小化是完全合理的。然而，當(dāng)我們的模型應(yīng)用于一個新的樣本時，這并不是一個很好可以用于估計預(yù)期的損失的方法，因此不適合在不同參數(shù)數(shù)量的不同模型之間進行選擇。合理復(fù)雜的模型，可以在任意程度上擬合(即近似)任何函數(shù)，從而擬合任何給定的訓(xùn)練數(shù)據(jù)集，使得對于足夠數(shù)量的參數(shù)，訓(xùn)練誤差實際上為零(見圖4b, c)。一個具有相同數(shù)量的預(yù)測結(jié)果的回歸模型，或者在一個相當(dāng)強大的模型中具有足夠多的參數(shù)的回歸模型，可以生成一條經(jīng)過每一個數(shù)據(jù)點的曲線。在某種程度上，這樣的模型將捕獲包括噪聲在內(nèi)的數(shù)據(jù)的全部可變性，這意味著它將“解釋”純噪聲為系統(tǒng)的和有意義的波動。這種現(xiàn)象也被稱為過擬合。過擬合意味著預(yù)測中存在較大的方差，因為每次我們繪制一個新的樣本，我們將得到一個新的模型，如圖4c所示。

圖4 模型復(fù)雜性和偏差-方差權(quán)衡。

(a)隨著模型復(fù)雜性的增加(x軸)，方差增大，偏差減小。我們希望選擇平衡這兩個量的(最優(yōu))模型，達到最小的預(yù)測誤差(y軸，最小的偏差加方差，黑色曲線)。增加樣本量有效地將這個最小值移向右邊(虛線)，使模型具有更高的復(fù)雜性。

(b)欠擬合示意圖(上)和過擬合示意圖(下)。

(c)過擬合細節(jié):這里我們假設(shè)輸入和輸出之間的真實關(guān)系是完全線性的，如黑線所示(該線上有5個數(shù)據(jù)點)。假設(shè)我們只觀察了一個數(shù)據(jù)點(黑實心圓)，我們可以同樣很好地擬合無限多條直線。在這個簡單的例子中，只要增加一個數(shù)據(jù)點的樣本量(假設(shè)數(shù)據(jù)中沒有噪聲)，我們就可以挑選出正確的模型。

在經(jīng)典假設(shè)檢驗中，我們假設(shè)我們一開始就有一個相當(dāng)精確的數(shù)據(jù)模型，并在這個假設(shè)下執(zhí)行所有的概率計算(圖1)。在許多實證情況下，特別是在精神病學(xué)研究中，這種方法并沒有帶來預(yù)期的進展。因此，最近的重點已經(jīng)轉(zhuǎn)移到采用ML方法直接從數(shù)據(jù)推斷更復(fù)雜的模型。在統(tǒng)計學(xué)上，模型將表現(xiàn)出低偏差，我們指的是真正的數(shù)據(jù)生成函數(shù)與函數(shù)的最佳可能模型估計之間的系統(tǒng)性偏差。人們可以粗略地將模型復(fù)雜性視為模型與數(shù)據(jù)匹配的通用性和靈活性的度量。理想情況下，我們希望選擇一個盡可能強大和靈活的模型，同時以最佳方式平衡偏差和方差。這時就需要考慮樣本量和“大數(shù)據(jù)”了。更大的數(shù)據(jù)集能夠從數(shù)據(jù)中學(xué)習(xí)更復(fù)雜的關(guān)系，因為它們允許更復(fù)雜的模型，同時保持較低的偏差(圖4a)。樣本量有效地轉(zhuǎn)移了偏差和方差之間的權(quán)衡，從而可以在不影響PE的情況下推斷出更復(fù)雜的模型(見圖4a)。

雖然偏差-方差權(quán)衡是傳統(tǒng)統(tǒng)計學(xué)習(xí)理論的核心概念，并決定了模型的選擇，但最近對DL模型的經(jīng)驗觀察令人驚訝地表明，一旦模型強烈過擬合，超過了與訓(xùn)練數(shù)據(jù)完美匹配的點，與直覺完全相反的是，在過擬合范圍內(nèi)測試誤差首次達到最大值后(圖4a)，隨著模型復(fù)雜性的進一步增加，它傾向于再次下降。在這種模式下，所有的模型幾乎完美地擬合訓(xùn)練數(shù)據(jù)。然而，重要的是，只有在優(yōu)化函數(shù)中包含所謂的正則化項時，才會發(fā)生這種情況。這一現(xiàn)象背后的精確數(shù)學(xué)機制仍然沒有被完全理解。

3.2 模型選擇

為了從一大類模型中選擇一個特定的模型或它的參數(shù)數(shù)量，我們需要估計樣本外PE。已經(jīng)有人試圖推導(dǎo)出解析公式來獲得這樣的估計值，但需要使用大多數(shù)直接基于數(shù)據(jù)的數(shù)值方法來產(chǎn)生可靠的估計值。模型選擇的解析公式通?；谟?xùn)練誤差的調(diào)整或懲罰項來估計PE。其思想是，訓(xùn)練誤差是對預(yù)期測試誤差的過度樂觀估計，因此通過近似這個樂觀估計并將其添加到訓(xùn)練誤差中，我們應(yīng)該得到一個更好的PE(預(yù)測誤差)估計。

常用的分析公式是Akaike信息準(zhǔn)則(AIC)和貝葉斯信息準(zhǔn)則(BIC)。這些方法通常只提供相對粗糙的PE近似，AIC和BIC分別被觀察到過擬合和欠擬合。估計樣本外PE的最流行的數(shù)值方法可能是交叉驗證(CV)，也有點像目前的“金標(biāo)準(zhǔn)”。在CV中，我們用更大比例的可用數(shù)據(jù)訓(xùn)練模型，比如90%，然后用剩下的10%未用于模型訓(xùn)練的數(shù)據(jù)測試模型性能，從而得到一個樣本外PE。在K倍CV中，對每個K = 10 × 10%的數(shù)據(jù)片段依次重復(fù)此過程，即每個10%的片段保留一次用于測試，而在剩下的90%上訓(xùn)練模型，這樣可以充分利用所有可用的數(shù)據(jù)，在10次迭代中進行訓(xùn)練和測試。最后的PE估值是所有10次運行的平均值。CV既可用于選擇模型，也可用于評估樣本外PE，但不能同時用于兩者。

如果我們數(shù)據(jù)太少，我們可能無法負擔(dān)一個單獨的測試集或只是一個小的測試集。當(dāng)然，測試集越大，平均PE估值的不確定度就越低。事實上，過小的測試(和訓(xùn)練)樣本可能是我們在精神病學(xué)研究中觀察到模型分類準(zhǔn)確性和樣本量之間存在反直覺負相關(guān)的原因之一。

綜上所述，隨著樣本規(guī)模的增加，估計模型參數(shù)的方差(標(biāo)準(zhǔn)誤差)會減小。因此，我們可以承擔(dān)更復(fù)雜的模型，這些模型具有更低的偏差。這一權(quán)衡究竟在哪里得到了優(yōu)化，需要通過正式的程序(如CV)來確定手頭的特定數(shù)據(jù)和模型類。數(shù)據(jù)的其他屬性，如不可約噪聲的數(shù)量或數(shù)據(jù)的分布類型，也會影響所需的樣本量。如果分布非常廣泛，例如多模態(tài)，我們可能需要更大的樣本。

3.3 跨地點或范圍外預(yù)測

當(dāng)我們獲得一個樣本外PE估計時，我們假設(shè)希望任何新數(shù)據(jù)都具有相同的統(tǒng)計/分布屬性。從本質(zhì)上說，這意味著數(shù)據(jù)中的所有來源的可變性需要在樣本中是相同的。但是某一特征的變異性(如腦容量減少)可能來自多種來源。納入標(biāo)準(zhǔn)的差異可能會限制疾病相關(guān)或生物學(xué)變異性，而不同的測量設(shè)備(例如多地點研究中不同的MRI機器)可能會在樣本中產(chǎn)生不同的誤差，從而可能導(dǎo)致違反常見的分布假設(shè)。這反過來可能導(dǎo)致建立臨床相關(guān)預(yù)測模型所涉及的最大危險之一。

3.4 時間序列和順序數(shù)據(jù)的特殊挑戰(zhàn)

我們在時間序列分析中的目標(biāo)可能是雙重的：一方面，我們可能只想從時間序列中提取時間特征，如不同頻帶的功率或功能連接，然后我們希望將其用作分類或回歸模型中的預(yù)測。在這種情況下，假設(shè)我們有來自N個獨立被試的時間序列，我們可以簡單地按照前面所述進行，因為最終用于預(yù)測的模型本身并不是一個時間序列模型，而是一個前饋模型，它只是使用從N個獨立時間序列中提取的特征作為輸入。然而，通常情況下，我們的目標(biāo)是預(yù)測一個時間序列，例如，我們可能希望預(yù)測股票市場份額，或從跨時間順序輸入的醫(yī)療記錄中預(yù)測未來患者的軌跡，或從各種傳感器和生態(tài)瞬時評估等移動數(shù)據(jù)中預(yù)測。在這些情況下，我們必須考慮時間序列和順序數(shù)據(jù)都有它們自己的具體問題。

由于數(shù)據(jù)中的自相關(guān)性(以及潛在的非平穩(wěn)性)，將數(shù)據(jù)分成K次折疊并執(zhí)行CV就不是那么簡單了。例如，我們不能只是隨機地遺漏一些數(shù)據(jù)點。同時，任何被省略的段都將與其他段高度相關(guān)，至少與直接前面的段高度相關(guān)，這意味著它不會構(gòu)成一個獨立的測試集，而這是通過CV確定PE的基礎(chǔ)。如果來自N個不同的受試者(或相當(dāng)獨立的試驗)的時間序列可用，我們可以執(zhí)行與上面相同的策略，在90%的受試者上訓(xùn)練模型，固定參數(shù)，并在剩下的10%的受試者上測試它們的預(yù)測性能。

這就帶來了另外一些問題，我們在這里只簡要介紹一下:

首先，生物學(xué)和心理學(xué)中的時間序列數(shù)據(jù)是由一些更大的潛在動力系統(tǒng)生成的，我們只部分觀察到。當(dāng)我們將訓(xùn)練過的時間序列模型應(yīng)用于新的觀測時，我們對初始條件的估計可能因此是高度模糊的，通常意味著預(yù)測中存在著令人無法接受的大方差。

其次，特別是對于由動力系統(tǒng)生成的時間序列，哪一種度量最適合用于評估預(yù)測性能，這實際上是一個開放的問題，這使得傳統(tǒng)的MSE或基于可能性的測量方法直接在時間序列上進行評估不合適。

3.5 模型訓(xùn)練、計算效率和優(yōu)化

另一點要考慮的是，從數(shù)據(jù)推斷統(tǒng)計模型和ML模型所涉及的計算和數(shù)值問題。與簡單統(tǒng)計模型不同的是，許多ML算法，特別是DNN算法的優(yōu)化環(huán)境可能非常復(fù)雜，因此優(yōu)化成為一個嚴峻的挑戰(zhàn)。潛在的，即使我們知道模型A在原則上是優(yōu)化給定數(shù)據(jù)集的偏差-方差-權(quán)衡的模型，在實踐中可能很難找到其多元損失函數(shù)中優(yōu)化該權(quán)衡的特定點，這需要大量的計算資源。一般來說，更復(fù)雜的模型需要更長的訓(xùn)練時間。因此，人們需要意識到，像DNN這樣更復(fù)雜的模型的適用性不僅受到滿足偏差-方差挑戰(zhàn)所需的樣本量的限制，還受到尋找接近最優(yōu)解所涉及的附加問題以及隨之而來的計算成本的限制。

總而言之，精神病學(xué)中的回歸和分類問題可能需要學(xué)習(xí)特征和結(jié)果之間的復(fù)雜映射，整合來自多個領(lǐng)域的數(shù)據(jù)，并結(jié)合時間和空間信息。然而，由于偏差-方差權(quán)衡和在尋找復(fù)雜模型的最小損失函數(shù)和計算硬件和時間資源時所涉及的計算問題，樣本量可能會減少所需復(fù)雜性的推斷模型。

4. 精神病學(xué)中的數(shù)據(jù)

雖然DNN能夠揭示復(fù)雜但具有高度預(yù)測性的特征組合，但它們通常需要大量的參數(shù)。例如，在使用8個隱藏層和超過6000萬個參數(shù)的DNN的圖像處理任務(wù)中，超過1500萬的標(biāo)記圖像被用于訓(xùn)練。這些樣本量在精神病學(xué)領(lǐng)域是無法獲得的，特別是當(dāng)涉及到昂貴而費力的技術(shù)時，比如認知任務(wù)中的神經(jīng)成像。然而，這并不意味著我們不能在精神病學(xué)中使用基于DNN的方法。用于數(shù)據(jù)分析的DNN框架包括：(1)模型架構(gòu)，(2)損失函數(shù)，(3)訓(xùn)練算法，以及(4)DNN要在其上訓(xùn)練的數(shù)據(jù)本身。事實上，我們可以對所有這四個組件進行調(diào)優(yōu)，使DNN方法適用于中小型數(shù)據(jù)集，下面將簡要介紹。

4.1 網(wǎng)絡(luò)體系結(jié)構(gòu)

特定的網(wǎng)絡(luò)體系結(jié)構(gòu)決定了哪一類函數(shù)可以在計算上有效地近似。因此，通過簡化訓(xùn)練過程，選擇合適的模型體系結(jié)構(gòu)可能有助于減少對樣本量的要求。

CNN是專門為處理計算機視覺中的圖像信息而設(shè)計的網(wǎng)絡(luò)的一個例子。受靈長類視覺系統(tǒng)的啟發(fā)，CNN的建立是為了利用圖像中的空間不變量來提取特征映射。在醫(yī)學(xué)上，當(dāng)基于成像數(shù)據(jù)開發(fā)分類器時，CNN可能是最受歡迎的DNN模型。在精神病學(xué)和神經(jīng)病學(xué)中，它們被用于根據(jù)通過MRI獲得的腦解剖圖像、功能性腦圖像或由此衍生的功能連接或結(jié)合結(jié)構(gòu)和功能性神經(jīng)成像數(shù)據(jù)對疾病進行分類。

與視覺域的CNN類似，在時間域中使用的LSTMs是一種專門的系統(tǒng)，能夠通過特殊的“記憶結(jié)構(gòu)”和乘法門提取時間序列中的長期依賴關(guān)系，乘法門控制信息流入和流出這些記憶結(jié)構(gòu)。例如，在精神病學(xué)中，LSTMs已被用于移動數(shù)據(jù)來預(yù)測雙相情感障礙患者的抑郁和躁狂狀態(tài)，用于從言語中檢測精神障礙，用于區(qū)分精神病患者和健康對照組。

4.2 損失函數(shù)和正則化技術(shù)的選擇

損失函數(shù)的選擇主要取決于數(shù)據(jù)的規(guī)模水平(例如，連續(xù)、順序或分類數(shù)據(jù))，以及我們是在統(tǒng)計框架內(nèi)工作還是在更確定的ML框架內(nèi)工作。在“傳統(tǒng)的”確定性ML中，我們經(jīng)常簡單地采用MSE準(zhǔn)則。在統(tǒng)計框架中，我們通常希望對包含不確定性度量的數(shù)據(jù)的分布進行建模，因此使用基于可能性的標(biāo)準(zhǔn)或貝葉斯方法進行模型訓(xùn)練。

除了考慮我們是想在統(tǒng)計的還是確定的ML框架中工作外，損失函數(shù)可以通過特定的方式修改，以鼓勵訓(xùn)練算法找到解，從而以特定的方式減少有效參數(shù)數(shù)量或模型復(fù)雜性。這被稱為正則化。最流行的技術(shù)是L1和L2正則化，后者也被稱為“權(quán)重衰減”，Tikhonov正則化。L2 正則化公式非常簡單，是直接在原來的損失函數(shù)基礎(chǔ)上加上權(quán)重參數(shù)的平方和。L1 正則化公式是直接在原來的損失函數(shù)基礎(chǔ)上加上權(quán)重參數(shù)的絕對值。

L1和L2正則化在所有類型的統(tǒng)計模型和ML模型中都很常見，包括FNN和RNN。對于DNN，開發(fā)了更具體的技術(shù)，以防止過擬合，并鼓勵更稀疏和更簡單的解決方案。一個特別有效的方法是參數(shù)退出。在這里，一部分單元被臨時隨機地從網(wǎng)絡(luò)中移除(例如，通過將它們的輸出乘以0并有效地將它們從損失函數(shù)中刪除)，以便在任何時候只訓(xùn)練一個“變薄”的網(wǎng)絡(luò)。

4.3 訓(xùn)練算法

我們已經(jīng)將訓(xùn)練(優(yōu)化或推斷)算法確定為另一個可能影響所需樣本大小的潛在瓶頸。我們可以采取幾個步驟來改進。首先，任何訓(xùn)練算法都從初始提取參數(shù)估計開始，也稱為初始化，大量的研究完全集中于在DNNs中開發(fā)有效的初始化過程。Hinton等人介紹了一種巧妙的訓(xùn)練技術(shù)，在該技術(shù)中，層層預(yù)先訓(xùn)練，在整個網(wǎng)絡(luò)完全訓(xùn)練之前，網(wǎng)絡(luò)參數(shù)已經(jīng)被初始化(見圖5)。雖然這聽起來像是一個相當(dāng)小的修改，但這一見解對DNN算法的突破性成功貢獻很大。

圖5 DNNs用于個體化(治療)預(yù)測。

為了使用更復(fù)雜的FNN或RNN模型進行量身定制的預(yù)測，我們可以在多個個體上預(yù)訓(xùn)練。我們首先減少輸入維度，例如使用自動編碼器(步驟1)，然后對減少的大樣本輸入預(yù)訓(xùn)練DNN(步驟2)。然后在第三步對預(yù)訓(xùn)練的網(wǎng)絡(luò)對特定個體進行微調(diào)。

另一種方法是annealing方法，此方法在整個訓(xùn)練過程中逐步修改損失函數(shù)，這樣訓(xùn)練算法首先被引導(dǎo)到參數(shù)空間的區(qū)域，在那里通常可以找到更高的可能性(更低的損失)解，然后迭代地改進這些解。

此外，更新參數(shù)的具體過程也會產(chǎn)生重要影響。也許訓(xùn)練過程中最具決定性的方面是(1)它如何隨數(shù)據(jù)大小和參數(shù)擴展，(2)它利用數(shù)據(jù)中的哪些信息，(3)它采取哪些步驟來遠離局部極小值，以及(4)如何處理損失函數(shù)中斜率不同的區(qū)域。也許DNN最流行的訓(xùn)練方案是隨機梯度下降(SGD)。一般來說，梯度下降背后的思想是為了向一個函數(shù)的局部最小值移動，我們只需要遵循與該函數(shù)的負梯度成正比的步驟。SGD利用了這一原理，但它不是計算整個數(shù)據(jù)集的梯度，而是從(隨機抽取的)樣本的一小部分或小批量中計算梯度，因此在訓(xùn)練過程中注入了一些噪聲，可能有助于避免局部極小值。特別是對于大量數(shù)據(jù)，SGD計算效率高，速度相對較快。

最后，現(xiàn)代DNN研究已經(jīng)提出了一些通用程序，以促進獨立于推理框架的模型的可泛化性，這些推理框架現(xiàn)在是許多標(biāo)準(zhǔn)協(xié)議的一部分。這些方法包括早期停止或?qū)剐杂?xùn)練程序。

4.4 數(shù)據(jù)本身處理

特征選擇：

我們還可以對數(shù)據(jù)本身采取各種步驟，以減輕模型方面的負擔(dān)，并幫助推廣到新觀察。一種想法是降低數(shù)據(jù)的維數(shù)，或以某種方式對其進行預(yù)處理?；谖覀冏约旱念I(lǐng)域知識，我們可以預(yù)選我們認為信息豐富的特征。例如，使用來自sMRI圖像的平均區(qū)域灰質(zhì)體積作為特征，將省去神經(jīng)網(wǎng)絡(luò)基于個體素值識別和表示不同分離區(qū)域的工作。大多數(shù)精神病學(xué)研究事先手工選擇特征，例如，通過從BOLD時間序列中計算功能連接值，為神經(jīng)網(wǎng)絡(luò)省去了學(xué)習(xí)哪些時間表示是相關(guān)的工作。事實上，任何數(shù)據(jù)處理步驟都可以被視為一種特征選擇，包括預(yù)處理、縮放或感興趣區(qū)域的選擇。

然而，這種基于領(lǐng)域知識的預(yù)處理和特征選擇的缺點可能是我們會忽略一些數(shù)據(jù)的重要性和高度預(yù)測性的方面。在某種意義上，這與DL的精神相矛盾，DL應(yīng)該自己找到有用的數(shù)據(jù)表示和特性。

數(shù)據(jù)增強：

我們也可以人為地增加樣本的大小和樣本內(nèi)部的變化，而不是減少輸入維度，這種方法被稱為數(shù)據(jù)增強。對于圖像數(shù)據(jù)，這包括旋轉(zhuǎn)、平移、縮放、翻轉(zhuǎn)、剪切或拉伸原始圖像，或簡單地添加噪聲。這些操作背后的想法是，它們將幫助網(wǎng)絡(luò)學(xué)習(xí)不變的、更一般的表示。例如，在識別一張臉上的微笑時，圖像是否模糊或臉是否倒置并不重要。另一種數(shù)據(jù)增強策略涉及生成模型，如果經(jīng)過適當(dāng)訓(xùn)練，就可以生成與原始數(shù)據(jù)具有相同分布屬性的數(shù)據(jù)。為此目的，最近流行的一種框架被稱為生成對抗網(wǎng)絡(luò)(GANs)。GANs試圖通過訓(xùn)練兩個相互競爭的網(wǎng)絡(luò)(生成器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò))來接近真實的數(shù)據(jù)生成分布。生成器試圖創(chuàng)建與真實數(shù)據(jù)盡可能相似的數(shù)據(jù)樣本，而鑒別器則努力區(qū)分真實和假(生成的)樣本。生成器將學(xué)習(xí)近似數(shù)據(jù)生成分布，從中可以生成新的(模擬的)數(shù)據(jù)樣本并用于訓(xùn)練。

遷移學(xué)習(xí)：

遷移學(xué)習(xí)是另一種改善數(shù)據(jù)狀況的技術(shù)，它通過將在一個數(shù)據(jù)域中獲得的知識轉(zhuǎn)移到另一個的問題設(shè)置中。例如，機器學(xué)習(xí)者經(jīng)常使用已經(jīng)公開可用的經(jīng)過訓(xùn)練的DNN模型，如AlexNet或VGGNet，而不是每次面對一個新的問題設(shè)置時就從頭開始訓(xùn)練DNN進行對象識別任務(wù)，并簡單地調(diào)整當(dāng)前任務(wù)的參數(shù)。這種預(yù)訓(xùn)練或遷移學(xué)習(xí)節(jié)省了數(shù)據(jù)資源和訓(xùn)練時間。在這方面，開放數(shù)據(jù)可能會提供巨大的幫助。模型可以在當(dāng)前應(yīng)用程序中針對類似的，或者理想情況下甚至是相同的紊亂進行預(yù)先訓(xùn)練，然后只對目標(biāo)數(shù)據(jù)進行微調(diào)。

元學(xué)習(xí)：

將知識從其他領(lǐng)域或任務(wù)轉(zhuǎn)移到當(dāng)前問題設(shè)置的另一種方法是元學(xué)習(xí)。元學(xué)習(xí)，又稱“學(xué)會學(xué)習(xí)“，即利用以往的知識經(jīng)驗來指導(dǎo)新任務(wù)的學(xué)習(xí)，使網(wǎng)絡(luò)具備學(xué)會學(xué)習(xí)的能力，是解決小樣本問題常用的方法之一。一個特別有趣的方面是，這樣的算法成功地設(shè)計了很多分類器，這些分類器只從少量數(shù)據(jù)實例中學(xué)習(xí)?？梢韵胂蟮氖?，沿著類似的路線，匯集多個精神病數(shù)據(jù)集并使用元學(xué)習(xí)原則，可以產(chǎn)生在新問題設(shè)置中快速學(xué)習(xí)的分類器集。

5. 未來的研究方向

為了設(shè)計有效的治療方法，我們需要在跨診斷水平上更好地理解病理下的神經(jīng)生物學(xué)機制。現(xiàn)代ML算法，如DNN，由于其在其他醫(yī)療領(lǐng)域的出色表現(xiàn)，提供了新的希望。乍一看，DNN的復(fù)雜性(以及計算強度)是有代價的——大量的樣本。然而，正如我們在這里討論的，有幾種方法可以使DNN適用于更小的樣本容量。因此，DNN方法在神經(jīng)科學(xué)領(lǐng)域也是有一定的未來的。

對DNN中隱藏的網(wǎng)絡(luò)表征的更深入的理解，即“打開黑匣子”，可以在另一方面揭示新的見解或產(chǎn)生關(guān)于病理神經(jīng)生物學(xué)機制的新假設(shè)。事實上，一些研究已經(jīng)證明DNN表示可能產(chǎn)生可解釋的特征。評估DNN的可視化方法目前是ML領(lǐng)域的一個熱門話題，這一方向的未來發(fā)展可能有助于發(fā)現(xiàn)可解釋的精神疾病的多模態(tài)生物標(biāo)志物。

如需原文及補充材料請?zhí)砑铀加翱萍嘉⑿牛?/span>siyingyxf或18983979082獲取,如對思影課程及服務(wù)感興趣也可加此微信號咨詢。另思影提供免費文獻下載服務(wù)，如需要也可添加此微信號入群，原文也會在群里發(fā)布，如果我們的解讀對您的研究有幫助，請給個轉(zhuǎn)發(fā)支持以及右下角點擊一下在看，是對思影科技的支持，感謝！