中間融合深度學(xué)習(xí)分類感知心理負(fù)荷

大量研究使用各種生物信號檢測心理負(fù)荷(MWL)并證明有效，但目前研究通常只使用一種模態(tài)來分類MWL。本研究的目標(biāo)是使用多模態(tài)深度神經(jīng)網(wǎng)絡(luò)(DNN)對感知心理負(fù)荷(PMWL)進行分類，以允許模態(tài)間的特征共享。實驗借助語言邏輯題模擬MWL（心理負(fù)荷），問題有五個難度級別，以隨機順序呈現(xiàn)。被試做題后報告感受的1到7的難度等級，7是最高難度。我們使用LabStreamingLayer(LSL)同時采集皮膚電反應(yīng)、光體積描記圖、功能性近紅外腦血氧成像和眼球運動，答題時的mark信息也傳輸?shù)?/span>LSL。我們使用上述四種模態(tài)設(shè)計了一種用于PMWL（感知心理負(fù)荷）分類的新型中間融合多模式DNN并評估其表現(xiàn)。指導(dǎo)DNN設(shè)計的兩個主要標(biāo)準(zhǔn)是：模塊化和通用性。上述模型可實現(xiàn)七等級PMWL的準(zhǔn)確分類(0.985個等級)。由于設(shè)計的模塊化性質(zhì)，模型架構(gòu)允許輕松添加/刪除模態(tài)，不會對結(jié)構(gòu)產(chǎn)生重大影響。此外，我們顯示提出的神經(jīng)網(wǎng)絡(luò)用多模式時的表現(xiàn)更好。本文中使用的數(shù)據(jù)集和代碼公開可用。本文發(fā)表在Frontiers in Human Neuroscience雜志。(可添加微信號siyingyxf或18983979082獲取原文，另思影提供免費文獻下載服務(wù)，如需要也可添加此微信號入群，原文也會在群里發(fā)布)。

可結(jié)合以下機器學(xué)習(xí)相關(guān)文章閱讀，加深理解，感謝幫轉(zhuǎn)支持（直接點擊，即可瀏覽，加微信號siyingyxf或18983979082獲取原文及補充材料）：

基于深度學(xué)習(xí)的腦電圖分析

基于EEG信號與面部表情的連續(xù)情緒識別
EEGNet：一個小型的卷積神經(jīng)網(wǎng)絡(luò)，用于基于腦電的腦機接口
BRAIN：靜息態(tài)腦電圖揭示了肌萎縮性脊髓側(cè)索硬化癥的四種亞型

從誘發(fā)反應(yīng)中解碼動態(tài)腦模式

EEG腦機接口算法
腦電信號處理的機器學(xué)習(xí)
腦電信號解碼和可視化的深度卷積神經(jīng)網(wǎng)絡(luò)
基于M/EEG的生物標(biāo)志物預(yù)測MCI和阿爾茨海默病
基于EEG信號的情緒識別
基于機器學(xué)習(xí)的腦電病理學(xué)診斷
高階統(tǒng)計量在EEG信號處理中的應(yīng)用
EEG分類實驗block設(shè)計的危險與陷阱
Current Biology：視覺想象和視覺感知共享Alpha頻帶中的神

利用腦電連通性特征和卷積神經(jīng)網(wǎng)絡(luò)的情緒分類

腦電研究：通過神經(jīng)活動和視覺特征的多模態(tài)學(xué)習(xí)

JAMA Psychiatry：使用機器學(xué)習(xí)的方法探究焦慮和創(chuàng)傷性障

Nature neuroscience：利用encoder-decoder模型實現(xiàn)皮層活

ANNALS of Neurology：中風(fēng)恢復(fù)過程中腦機接口可促進運動

Nature Biotechnology: EEG特征預(yù)測重度抑郁癥的抗抑郁藥反應(yīng)

BMC Medicine：自閉癥譜系障礙靜息態(tài)EEG信號的定量遞歸

SCIENCE ROBOTICS：非侵入式神經(jīng)成像可增強機器控制

Lancet Neurology：一種供四肢癱瘓患者使用硬膜外無線腦機

Lancet經(jīng)典：植物人意識狀態(tài)的床邊檢測

NATURE子刊：出生第一年的縱向EEG power能識別孤獨癥譜

EEG機器學(xué)習(xí)：急性腦損傷臨床無反應(yīng)患者腦

STROKE:用于慢性中風(fēng)患者運動康復(fù)的動力外骨骼的健側(cè)腦-機

PNAS:基于腦電在線神經(jīng)反饋調(diào)節(jié)喚醒程度可以改善個體

帕金森病認(rèn)知圖譜的EEG機器學(xué)習(xí)

BRAIN：機器學(xué)習(xí)：基于EEG的跨中心、跨方案的意識

腦機接口訓(xùn)練可持久地恢復(fù)中風(fēng)病人的上肢運動功能

基于fNIRS連接度特征監(jiān)測飛行員的參與度(自動vs手動駕駛著陸)

1.介紹
心理負(fù)荷(mental workload, MWL)在神經(jīng)科學(xué)、人因工學(xué)等領(lǐng)域備受關(guān)注。MWL受兩個變量影響：

1、可用認(rèn)知資源，取決于相關(guān)先驗知識、能力、任務(wù)經(jīng)驗，高度個體化；

2、所需認(rèn)知資源，取決于任務(wù)難度。在Csikszentmihalyi描述的心流狀態(tài)下，人們會完全沉浸在任務(wù)中，可用認(rèn)知資源和所需認(rèn)知資源的比率(α)介于0.8到1.2之間。感知心理負(fù)荷(PMWL)是被試反應(yīng)的MWL。PMWL的自我報告通常使用NASA任務(wù)負(fù)荷指數(shù)(NASA-TLX)，檢索六個工作量相關(guān)因素的量級和來源。不過，主觀報告可能影響實驗的客觀性，且會打斷受試的心流狀態(tài)。生理測量可以替代自我評估的方法，這是一種隱式測量方法(不打斷心流狀態(tài))，可以客觀、實時地獲取數(shù)據(jù)，且無需由被試報告。先前研究已使用多種生理信號在單模態(tài)場景下分類PMWL，例如功能性近紅外腦血氧成像(fNIRS)、皮膚電反應(yīng)(GSR)和心率(HR)，上述信號都可以有效單獨分類PMWL。本研究結(jié)合單模態(tài)與多模態(tài)信息分類PMWL，確定哪些生理信號提供的信息對分類有價值。我們還制定了深度學(xué)習(xí)多模態(tài)信號分類場景下的設(shè)計原則，原則可用于制定中間融合多模態(tài)網(wǎng)絡(luò)(intermediate fusion multimodal network, IFMMoN)。

2.材料與方法

本文基于多模態(tài)測量，使用深度神經(jīng)網(wǎng)絡(luò)(DNN)對PMWL進行分類。設(shè)計多模態(tài)腦機接口時，端到端管道的設(shè)計原則是模塊化、通用性(modularity and generalisability, MG)。為實現(xiàn)模塊化，新設(shè)備應(yīng)方便添加，數(shù)據(jù)采集、處理與管道匹配，結(jié)構(gòu)影響最小。我們使用了兩個有助于模塊化的庫：1.LabStreamingLayer (LSL)，2.TensorFlow。LSL可以輕松添加專用于設(shè)備的數(shù)據(jù)流，TensorFlow API可以實現(xiàn)深度學(xué)習(xí)模型模塊化。通用性意味著附加模式中獲得的數(shù)據(jù)能夠提高分類準(zhǔn)確性，為提高通用性和應(yīng)用性，管道還應(yīng)在PMWL以外的其他分類中也有良好表現(xiàn)。通用性（MG）要求我們的方法盡可能獨立于環(huán)境和設(shè)備，通過數(shù)據(jù)采集、分析(大部分)自動化來減少人為錯誤，本項目應(yīng)用的所有方法、設(shè)計都根據(jù)MG標(biāo)準(zhǔn)制定與執(zhí)行。

3.相關(guān)研究

我們共結(jié)合四種模態(tài)分類PMWL: 功能性近紅外腦血氧成像[fNIRS，測量大腦中(脫氧)氧合血紅蛋白的變化]、皮膚電反應(yīng)(GSR)、心率(HR)[使用光體積變化描記圖法(PPG)測量]、眼動追蹤(ET)。

3.1.功能性近紅外腦血氧成像

fNIRS可以測量大腦中脫氧/氧合血紅蛋白濃度的相對變化。大腦功能激活期間，能量的使用導(dǎo)致血紅蛋白分布發(fā)生變化，這種變化可以用近紅外光測量，然后與組織特定區(qū)域的激活關(guān)聯(lián)。目前對于MWL檢測中fNIRS數(shù)據(jù)深度學(xué)習(xí)的最佳分析方法沒有明確共識。

相關(guān)研究可分為兩大類：

1.多層感知器(MLP)，由幾個密集連接的層組成；

2.卷積神經(jīng)網(wǎng)絡(luò)(CNN)。

遞歸神經(jīng)網(wǎng)絡(luò)(RNN) 也有被使用，不過目前并不常見。MLP研究在二元以及更復(fù)雜問題上表現(xiàn)出很高的準(zhǔn)確性，有研究報告63%的用戶識別準(zhǔn)確率(n=30)，以及超91%的心算、休息二元分類，盡管前者的準(zhǔn)確率較低，但其分類對象更貼近自然生活。

Tanveer等人使用了兩種模型，一種是有六個全連接密集層的DNN，用于修正版Beer-Lambert光極密度；一種是具有兩個卷積層、兩個密集層的CNN，用于各通道的激活地圖，觀察二元交叉熵?fù)p失。他們報告二元分類的準(zhǔn)確率為99.3%，CNN的效果最佳。Daegazany等人將MLP用于5-class運動想象，達到80%以上的準(zhǔn)確度，這個方法的好處是沒有對數(shù)據(jù)進行任何預(yù)/后處理，因此該方案也可用于所需注意力的分類，因為大部分時間用于數(shù)據(jù)采集而非(預(yù))處理。不過，為了實現(xiàn)這一點，他們使用了兩個全連接層，每層有10,000個神經(jīng)元，計算相當(dāng)復(fù)雜。

3.2.光體積變化描記圖法與皮膚電反應(yīng)

PPG是一種測量微血管組織血容量變化的光學(xué)方法，血容量變化與心臟活動直接相關(guān)，因此PPG可用于測量HR和HR變異性、心跳間隔等測量值。Biswas等人在HR分類任務(wù)中達到95%以上的準(zhǔn)確率，他們使用兩個卷積層、兩個長短期記憶(LSTM)層、一個密集輸出層。

GSR是與交感神經(jīng)系統(tǒng)神經(jīng)支配相關(guān)的皮膚電反應(yīng)，通常用于測量情感、認(rèn)知喚醒。Sun等人使用LSTM-CNN混合網(wǎng)絡(luò)識別六類情緒，達到高達74%的準(zhǔn)確率。

PPG和GSR都可以提取出特征用于分類，這么做的好處是計算起來簡單、便宜，不過這樣也去除了可能有用于DNN、多模態(tài)融合的隱藏特征。除特征提取，PPG、GSR的形狀也方便使用全連接層來處理。

3.3.眼動追蹤

ET可獲取一個人在任何時間查看的位置信息，這有助于我們理解視覺、顯示相關(guān)的信息處理。ET數(shù)據(jù)的訓(xùn)練、評估高度依賴于使用的任務(wù)，因此本節(jié)不陳述相關(guān)研究的準(zhǔn)確度。Louedec等人使用CNN預(yù)測國際象棋游戲的顯著圖，使用模型基于VGG16，包含幾個反卷積層和融合層。Krafka等人也使用卷積層并與全連接層結(jié)合，他們根據(jù)輸入的面部網(wǎng)格(包含面部位置、左右眼以及全臉)分類凝視。ET數(shù)據(jù)通常使用卷積層分類，不考慮目標(biāo)，因為我們對數(shù)據(jù)的空間特征感興趣。

3.4.多模態(tài)融合

大多數(shù)神經(jīng)網(wǎng)絡(luò)高度依賴于使用的任務(wù)，多模式DNN的設(shè)計也如是。Ramachandram和Taylor在深度多模態(tài)學(xué)習(xí)回顧中制定了多模態(tài)深度學(xué)習(xí)的幾個關(guān)鍵因素：

1.何時融合這些模態(tài)。

(1)早期融合/數(shù)據(jù)級融合，連接特征或原始數(shù)據(jù)，將數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)。

(2)中間融合，使用各種層將輸入映射到較低維度，在輸入和輸出層之間的某個地方進行融合。

(3)后期融合，看幾個較小網(wǎng)絡(luò)的多數(shù)表決。

如Karpathy等人所證，融合時間的選擇是靈活的，并且對模型表現(xiàn)有巨大影響。

2.融合哪些模態(tài)。

并非所有數(shù)據(jù)都有助于分類，數(shù)據(jù)有效的程度也不同。

3.如何處理缺失的模態(tài)或數(shù)據(jù)。

數(shù)據(jù)缺失可能帶來嚴(yán)重的問題，尤其在實時分類中。

早期融合不符合MG標(biāo)準(zhǔn)，因為它需要將輸入數(shù)據(jù)“縫合”在一起，一些原因會導(dǎo)致應(yīng)用程序出現(xiàn)多個問題：1.不同模態(tài)可能使用不同采樣率，2.設(shè)備的維度可能不同，時間/空間維度的特征可能丟失，3.早期融合將所有數(shù)據(jù)輸送到同一個網(wǎng)絡(luò)卻不管數(shù)據(jù)來自哪種模態(tài)，當(dāng)數(shù)據(jù)參數(shù)發(fā)生變化時，網(wǎng)絡(luò)的早期層和形狀需要重新調(diào)整。

后期融合符合模塊化的要求，但不符合通用性的要求。后期融合添加/刪除模態(tài)網(wǎng)絡(luò)(modality network, MNet)無需考慮其他MNet，不過網(wǎng)絡(luò)分離也導(dǎo)致我們無法同時實現(xiàn)多模式學(xué)習(xí)，因為模態(tài)之間沒有信息交換。

中間融合允許創(chuàng)建多個模塊化MNet，這些MNet在各自的領(lǐng)域發(fā)揮作用，添加/刪除模態(tài)也很簡單。中間融合最符合MG標(biāo)準(zhǔn)。

3.刺激呈現(xiàn)

實驗要求被試解決斑馬謎題(zebra puzzle)。斑馬謎題是語言邏輯題，提示的基礎(chǔ)上將屬性與對象關(guān)聯(lián)，問題難度由給出的提示數(shù)、所需的平均提示數(shù)決定。圖1示例有五個問題，問題難度從“非常低”到“非常高”，所有問題來自Brainzilla的研究。回答每個問題后，要求被試休息放松，報告他們認(rèn)為的問題難度，評分從1到7，7是最高難度。這些評級會在訓(xùn)練期間用作標(biāo)簽。呈現(xiàn)問題的順序完全隨機，刺激呈現(xiàn)過程中LSL流采集數(shù)據(jù)，被試每次操作時打mark。被試操作為(取消)選擇提示和(取消)選擇答案，記錄被試ID、操作時間點、操作類型、操作ID、操作狀態(tài)(正確、不正確、已檢查)，操作時間點用于數(shù)據(jù)分段。

圖1.斑馬謎題，問題下方有一些線索來幫助被試連接屬性和對象(boy)。一個示例線索是“Joshua在某一單元格選項的最后一個”，單擊單元格的箭頭會下拉該單元格的所有選項。

[附: 來自1962年《生活》雜質(zhì)的一個斑馬謎題]

1.有五棟房子。

2.英國人住在紅房子里。

3.西班牙人養(yǎng)狗。

4.綠房子里的人喝咖啡。

5.烏克蘭人喝茶。

6.綠房子緊挨在象牙色房子的右邊。

7.抽Old Gold牌香煙的人養(yǎng)蝸牛。

8.黃房子里的人抽Kools牌香煙。

9.中間的房子里的人喝牛奶。

10.挪威人住在第一間房子。

11.抽Chesterfields牌香煙的人住在養(yǎng)狐貍的人的隔壁。

12.抽Kools牌香煙的人住在養(yǎng)馬的人的隔壁。

13.抽Lucky Strike牌香煙的人喝橙汁。

14.日本人抽Parliaments牌香煙。

15.挪威人住在藍色房子的隔壁。

通過推理可得:

4.被試

招募23名被試，11名男性，12名女性，平均年齡24.7歲(20-57歲，SD=9.8)，一名被試因為數(shù)據(jù)質(zhì)量差被排除。我們使用Sona系統(tǒng)招募被試，這是特溫特大學(xué)的被試云管理軟件，同時我們也通過社交網(wǎng)絡(luò)進行招募。實驗得到特溫特大學(xué)BMS學(xué)院倫理委員會的批準(zhǔn)，所有被試簽署書面知情同意書。
5.數(shù)據(jù)采集與同步

所有數(shù)據(jù)在同一配置參數(shù)的筆記本電腦上流式傳輸和記錄。多模態(tài)數(shù)據(jù)采集使用：1、Shimmer3 GSR+，測量GSR和PPG，2、Tobii Pro X3-120，測量ET，3、Brite24，測量fNIRS數(shù)據(jù)。設(shè)備采集數(shù)據(jù)實時發(fā)送到LSL。使用LabRecorder將數(shù)據(jù)記錄到每個被試的XDF文件中，然后使用PyXDF將數(shù)據(jù)導(dǎo)入Python。PyXDF會自動檢查指定的與接收到的采樣率，必要時進行數(shù)據(jù)去抖動處理。我們還手動檢查了數(shù)據(jù)同步情況，確保各模式數(shù)據(jù)在錄制過程中對齊。數(shù)據(jù)選擇、處理過程中還進行了幾項同步檢查，見6.1.數(shù)據(jù)選擇。

我們使用Thales HBA實驗室編寫的應(yīng)用程序?qū)⒃?/span>GSR、PPG從Shimmer3 GSR+流式傳輸?shù)?/span>LSL，數(shù)據(jù)采樣率為256Hz。Tobii Pro X3–120的數(shù)據(jù)使用Tobii Pro SDK和PyLSL制作的自定義python應(yīng)用程序流式傳輸。ET數(shù)據(jù)以120Hz的采樣率傳輸，包含雙眼的x、y坐標(biāo)。fNIRS數(shù)據(jù)使用Oxysoft 3.2.51.4 × 64和Brite24，可用通道27個，采樣率10Hz，波長756和853nm，通過修正Beer-Lambert將O2Hb和HHb數(shù)據(jù)從Oxysoft映射到LSL。光極模板見圖2，數(shù)據(jù)傳輸見圖3。

圖2.fNIRS光極分布。每個發(fā)射器(T)和接收器(R)間形成一個通道，共有10個發(fā)射器、8個接收器、27個通道。箭頭代表被試的鼻子。

圖3.實驗設(shè)置，左側(cè)為所有數(shù)據(jù)流：Tobii眼動追蹤數(shù)據(jù)、Brite fNIRS數(shù)據(jù)、Shimmer GSR和PPG數(shù)據(jù)、斑馬謎題的mark。虛線表示到LSL的流式連接，中間部分的LabRecorder以XDF格式記錄數(shù)據(jù)，右側(cè)部分顯示已處理數(shù)據(jù)的輸出示例。

6.模型優(yōu)化

6.1.數(shù)據(jù)選擇

數(shù)據(jù)根據(jù)斑馬謎題數(shù)據(jù)流的mark選擇。數(shù)據(jù)選擇過程中需要注意：

1.被試快速連續(xù)選擇多個答案時，mark可能靠得很近，基于這些mark選擇的數(shù)據(jù)會部分重疊。

2.軟件問題會導(dǎo)致部分?jǐn)?shù)據(jù)缺失。

為了解決這些問題，我們使用布爾掩碼來確定可用的mark。首先去除時間點完全相同的mark(可能由于設(shè)備時間點漂移和/或數(shù)據(jù)丟失)，其后計算樣本的簡單統(tǒng)計數(shù)據(jù)(如均值、方差、最大值、最小值等)來查看分段數(shù)據(jù)的質(zhì)量。不過，噪聲大的樣本可能是更貼近真實生活的數(shù)據(jù)，我們沒有移除這些樣本。

確定mark后，選擇mark前8秒的數(shù)據(jù)(血液動力學(xué)函數(shù)在神經(jīng)元活動開始5-8s后出現(xiàn)峰值，被試的沉思發(fā)生在知道/選擇正確答案之前)。每個被試新建一個包含最終mark的CSV文件，包含四個同步數(shù)據(jù)：fNIRS、GSR、PPG和ET，樣本標(biāo)簽為斑馬謎題的難度。這些樣本被添加到TFRecord文件中，該文件允許將許多方法(如混洗、批處理和拆分)同時應(yīng)用于所有數(shù)據(jù)。數(shù)據(jù)集可在doi: 10.4121/12932801找到。

6.2.模型

模型選擇中間融合，這可以最大限度提高模型的應(yīng)用性，允許多模態(tài)數(shù)據(jù)特征共享，同時遵守MG標(biāo)準(zhǔn)。中間融合的模型架構(gòu)中每個模態(tài)有一個基本網(wǎng)絡(luò)/MNet，一個Head網(wǎng)絡(luò)集成所有MNet。我們用兩種方法實現(xiàn)MNet和Head網(wǎng)絡(luò)：1.基于文獻，2.僅包含密集連接層。

基于文獻設(shè)置的模型有四個自定義MNet，每個模態(tài)一個，和一個自定義Head網(wǎng)絡(luò)。PPG MNet由兩個卷積層組成；GSR MNet由兩個卷積層和兩個LSTM層組成；ET MNet由四個卷積層組成；fNIRS MNet由兩個卷積層和兩個密集層組成。在Head融合之前，所有MNet都通過各自的密集連接層在低維空間中表示?；谖墨I、密集連接模型的結(jié)構(gòu)和層見圖4、5，模型的層和每層的單元/過濾器數(shù)量見表1。通過批量標(biāo)準(zhǔn)化、最大池化使輸出更加穩(wěn)定。兩種模型都創(chuàng)建了一個較小的替代模型，每一層包含一半的單元和過濾器，以此觀察減少網(wǎng)絡(luò)大小的效果。由此，我們共有四個模型：MLP(僅密集)、S_MLP(小型，僅密集)、LIT(文獻)和 S_LIT(小型，文獻)，所有模型用同一個數(shù)據(jù)集訓(xùn)練。

我們使用兩種不同的標(biāo)簽：

1.各被試報告的問題難度，例如被試1報告問題3的難度為6，那么問題3的所有樣本都打上被試1的評分6的標(biāo)簽。使用公式將評分轉(zhuǎn)換為0和1之間的值：評分/7，評分1對應(yīng)于標(biāo)簽“0”，評分2對應(yīng)于標(biāo)簽“0.1667”等。所有模型使用具有Sigmoid激活函數(shù)的單個輸出單元，預(yù)測標(biāo)簽介于0和1之間。為保證分級準(zhǔn)確，機器預(yù)測標(biāo)簽和真實標(biāo)簽之間的平均差異必須低于0.1667。機器預(yù)測標(biāo)簽為預(yù)測的工作負(fù)荷等級(level of workload, LoW)

2.被試報告的平均難度，每個問題一個標(biāo)簽，公式轉(zhuǎn)換同上。這種標(biāo)簽用于對比個人與群體標(biāo)簽的分類準(zhǔn)確度。模型同樣使用具有Sigmoid激活函數(shù)的單個輸出單元，預(yù)測標(biāo)簽介于0和1之間。預(yù)測表現(xiàn)通過直方圖可視化，誤差分布的理想結(jié)果應(yīng)是零附近的窄高斯分布。

圖4.(S_)LIT模型。所有MNet輸入一個Head網(wǎng)絡(luò)，Head網(wǎng)絡(luò)融合之前MNet在單個密集連接層被展平并在低維空間中表示。

圖5.(S_)MLP模型。所有MNet輸入一個Head網(wǎng)絡(luò)。MNet和Head僅由密集連接的層組成。

表1.模型、層以及每層的單元/過濾器數(shù)量。LIT指基于文獻的模型，MLP指僅包含密集連接層的模型，表格顯示全尺寸模型的信息，半尺寸模型每層單元/過濾器數(shù)量減半。

6.3.超參數(shù)優(yōu)化

超參數(shù)的組合極大地影響了模型表現(xiàn)。我們使用Optuna，這是一個開源的define-by-run API，允許我們靈活、快速地設(shè)置參數(shù)搜索空間。我們使用默認(rèn)的Tree-structured Parzen Estimator設(shè)置學(xué)習(xí)率、dropout和動量，使用均方誤差衡量模型表現(xiàn)。我們共做20次trial，每個trial包含一個5折交叉驗證，總數(shù)據(jù)集分成四個訓(xùn)練集和一個測試集。每一折都會進行不同的拆分，并訓(xùn)練一個新模型來防止經(jīng)過訓(xùn)練的模型暴露。超參數(shù)優(yōu)化的目標(biāo)是最小化預(yù)測標(biāo)簽和真實標(biāo)簽的平均差異。進一步優(yōu)化學(xué)習(xí)使用Smith描述的“1Cycle Policy”學(xué)習(xí)率策略，緩慢增加/減少金字塔形狀的學(xué)習(xí)率來防止陷入局部最小值。我們使用在超參數(shù)優(yōu)化期間發(fā)現(xiàn)的超參數(shù)訓(xùn)練表現(xiàn)最佳的模型，訓(xùn)練期間數(shù)據(jù)集隨機拆分為90-10%的訓(xùn)練-測試集，所有訓(xùn)練均在單個NVIDIA GeForce GTX 1080-Ti GPU上完成，更多詳細信息見doi：10.5281/zenodo.4043058或GitHub1上的代碼。

7.結(jié)果

7.1.數(shù)據(jù)

樣本總數(shù)為4082，平均每位被試185.5個樣本(77-345個)。表2中可以看到樣本難度評級的分布，被試最常報告的謎題難度為5/7，其次是6/7，他們很少認(rèn)為謎題是最簡單(1/7)或最難(7/7)的。使用Cronbach's alpha評估標(biāo)簽的一致性，假設(shè)問題是測試項，alpha為0.74；假設(shè)被試報告是測試項，alpha為0.97。

表2.評級分布。第二列為被試報告7點難度等級中各難度的問題數(shù)量，第三列為不同難度問題的難度評分均值。

7.2.個體標(biāo)簽?zāi)Ｐ捅憩F(xiàn)

我們使用Optuna工具箱評估兩組10個trial，一組使用MLP和LIT模型，一組使用S_MLP和S_LIT模型。如表3，使用MLP模型實現(xiàn)的最佳表現(xiàn)是預(yù)測和真實標(biāo)簽間平均絕對差異為0.1892(轉(zhuǎn)換為PMWL 7點量表為1.13LoW)，5折交叉驗證的訓(xùn)練時間(每折25個epoch)約為40分鐘。LIT模型的最佳結(jié)果是0.1978(1.19LoW)，訓(xùn)練時間約70分鐘。S_MLP是0.1642(0.985LoW)，這也是搜索空間中取得的最好結(jié)果，訓(xùn)練時間約25分鐘。S_LIT模型的最佳結(jié)果是0.1681(1.009LoW)，培訓(xùn)時間約43分鐘。

表3.各trial的最佳模型、預(yù)測-真實值差異、對應(yīng)LoW、訓(xùn)練用時

如圖6，表現(xiàn)最好的模型預(yù)測的63.6%樣本在1個LoW之內(nèi)，72.7%樣本在1.5個LoW之內(nèi)，預(yù)測和真實標(biāo)簽的差異分布μ = 0.033，σ = 0.233，分布的均值略大于零，這意味著模型容易高估被試的工作量。如圖7，混淆矩陣顯示模型最常正確分類的標(biāo)簽是0.6667的樣本，對應(yīng)難度等級為5。從混淆矩陣可以推斷分類器的準(zhǔn)確率為32%，大大高于機會水平：一個針對7個目標(biāo)標(biāo)簽的隨機分類器將正確分類14%的樣本。如果標(biāo)簽差異正確，那么分類器的準(zhǔn)確率為77%，隨機分類器的表現(xiàn)為3/7(43%)。

圖6.個體標(biāo)簽的預(yù)測-真實標(biāo)簽差異直方圖。真實標(biāo)簽處理為0。垂直線表示-1/6和1/6(一個LoW)，超出范圍的預(yù)測認(rèn)為不準(zhǔn)確。該直方圖使用S_MLP與表3的trial17。

圖7.個體標(biāo)簽的混淆矩陣。標(biāo)簽從0到6，共七個級別的LoW。每個方塊包含預(yù)測標(biāo)簽次數(shù)、預(yù)測標(biāo)簽占比(括號)。大多數(shù)預(yù)測標(biāo)簽在對角線周圍。

7.3.組標(biāo)簽?zāi)Ｐ捅憩F(xiàn)

第二類組標(biāo)簽分為五級，取決于被試的平均評分，不等距，分布與占比見表4。與個體標(biāo)簽?zāi)Ｐ陀?xùn)練類似，使用Optuna工具箱完成了共20次超參數(shù)最優(yōu)trial，結(jié)果見表5。S_LIT模型獲得最好結(jié)果，真實和預(yù)測標(biāo)簽之間的平均差異為0.2386，如圖8，分布μ = -0.055，σ = 0.284。如圖9，混淆矩陣顯示不管真實標(biāo)簽如何，該模型最常將數(shù)據(jù)分類到第四級難度。在這種情況下，分類器的準(zhǔn)確率為27%，略高于機會水平(準(zhǔn)確率20%)。如果標(biāo)簽正確，分類器表現(xiàn)72%的準(zhǔn)確率。因此，組標(biāo)簽會降低分類器的表現(xiàn)，可能原因是標(biāo)簽中存在噪聲。

表4.組標(biāo)簽數(shù)量與占比

表5.各trial的最佳模型、預(yù)測-真實值差異、訓(xùn)練用時

圖8.組標(biāo)簽的預(yù)測-真實標(biāo)簽差異直方圖。垂直線內(nèi)是原始邊界1個LoW，該直方圖使用S_LIT與表5的trial16。

圖9.組標(biāo)簽的混淆矩陣。標(biāo)簽從0到4，共五個級別。每個方塊包含預(yù)測標(biāo)簽次數(shù)、預(yù)測標(biāo)簽占比(括號)。大多數(shù)預(yù)測標(biāo)簽在第四級難度(高難度)。

7.4.單模態(tài)的表現(xiàn)

為了研究附加模式的價值，我們還評估單模式的表現(xiàn)。所有模型使用已證明對目標(biāo)模態(tài)最有效的超參數(shù)進行訓(xùn)練，使用個體標(biāo)簽。測試結(jié)果見表6，S_MLP模型中PPG表現(xiàn)最佳，預(yù)測與真實標(biāo)簽之間的平均差異為0.1969(1.18LoW)。GSR和S_LIT模型實現(xiàn)單模態(tài)的最佳整體表現(xiàn)，差異為0.1796(1.08LoW)。fNIRS模態(tài)在兩種模型上的表現(xiàn)最差，S_MLP和S_LIT的結(jié)果分別為0.2865(1.71LoW)和0.3188(1.91LoW)。

表6.個體標(biāo)簽的結(jié)果

8.討論8.1.表現(xiàn)

分類PMWL時，使用個體標(biāo)簽訓(xùn)練的模型表現(xiàn)達到7個等級的精度，這證明了IFMMoN在該場景下的有效性。直方圖顯示的正態(tài)分布中絕大多數(shù)點位于零附近，表明大部分預(yù)測標(biāo)簽接近真實標(biāo)簽?；煜仃囷@示IFMMoN的平均預(yù)測轉(zhuǎn)換值略高于真實標(biāo)簽，但仍可觀察到對角線趨勢。該模型在第五級分類表現(xiàn)最好，其次是第三和第六，這也符合趨勢，即更流行的標(biāo)簽表現(xiàn)更好(第二級除外)。此外，第三級雖然在樣本中數(shù)量第三，但表現(xiàn)最差。由于樣本分布，相對代表性不足的極端情況下的表現(xiàn)很難評估。這種分布還導(dǎo)致超參數(shù)優(yōu)化期間表現(xiàn)的巨大變化，因為數(shù)據(jù)集在每一折的混洗方式不同，因此一些折疊包含了測試集中代表性不足類別的較多樣本。

組標(biāo)簽的分類沒有顯著對角線趨勢，無論標(biāo)簽是何，IFMMoN都將大多樣本分類在第三級，這也是最普遍的標(biāo)簽，意味著IFMMoN無法在此最小化損失，可能原因在于PMWL均值不能很好地代表被試的個體PMWL，導(dǎo)致樣本和標(biāo)簽之間的聯(lián)系不顯著。IFMMoN可能在給定個體標(biāo)簽的情況下學(xué)習(xí)個體生理特征，但如果標(biāo)簽對不同的生理特征通用，就可能無法在數(shù)據(jù)集中進行概括。未來工作可以關(guān)注個體差異的影響，模型的情感(model affectivity)以及總體表現(xiàn)可能因人而異，更深入地了解這些差異可以提高IFMMoN的應(yīng)用性。

評估單模態(tài)，某些模態(tài)的表現(xiàn)明顯優(yōu)于其他模態(tài)。盡管本文沒有直觀報告，單模態(tài)分類顯示出與組標(biāo)簽相似的趨勢：所有分類集中向一個標(biāo)簽，這降低了單模態(tài)分類的可信度和價值。fNIRS模態(tài)的表現(xiàn)尤其不佳，這可能意味著數(shù)據(jù)不包含有價值的信號，或者信號處理不充分。模態(tài)表現(xiàn)不佳的另一個可能因素在于刺激呈現(xiàn)，fNIRS模態(tài)通常使用block設(shè)計，功能性MRI(fMRI)研究也如是，這兩種模態(tài)本質(zhì)上測量的是相同的信號。

然而，我們研究中的刺激呈現(xiàn)并沒有遵循block設(shè)計，相反使用了更自然的刺激。刺激的“真實性”(貼近真實生活)使我們能夠評估fNIRS在非實驗室場景下的有效性，但也影響了條件(標(biāo)簽)的可區(qū)分性。我們沒有針對每個單模態(tài)進行超參數(shù)優(yōu)化，而是使用了相應(yīng)網(wǎng)絡(luò)的最佳參數(shù)，因此單模態(tài)的表現(xiàn)可能不是最佳的。

想真正證明多模態(tài)方法的優(yōu)越性，我們需要在不同工作負(fù)荷范式上進行驗證，例如N-back和視覺信息過載。此外，需要一種完善的統(tǒng)計方法來證明顯著性，包括由多次測試導(dǎo)致的偽發(fā)現(xiàn)率校正。某些工作負(fù)荷情況中單模式方法與多模式方法的表現(xiàn)相當(dāng)，這是正常的，不過超出了本文的研究范圍。評估方案的MG：采用模塊化設(shè)計，更改IFMMoN的配置快速、簡單，這表明模塊化的標(biāo)準(zhǔn)得到滿足，且在研究過程中實用。由于我們能夠使用所有模態(tài)獲得更好的表現(xiàn)，因此通用性的標(biāo)準(zhǔn)也得到滿足。IFMMoN似乎可以更好地概括多個生理來源的數(shù)據(jù)，因此我們認(rèn)為MG標(biāo)準(zhǔn)實用且有價值。
8.2.限制

1.硬件限制，這在檢查設(shè)備同步性時最明顯。記錄到被試數(shù)據(jù)的平均漂移為548ms(SD=590ms, 58-2827ms)。共四名被試的漂移大于1s。其中兩名的原因是錄制結(jié)束前軟件崩潰，設(shè)備關(guān)閉。其余兩名的原因尚不清楚。對某些模態(tài)(如ET)，平均記錄的548ms漂移影響相當(dāng)大，而對于fNIRS則不那么敏感。如果將此系統(tǒng)與對漂移敏感的模態(tài)一起使用，如腦電圖(EEG)，則需要進行較大改進。一種方法是在功能更強大的計算機上采集數(shù)據(jù)，或者用多臺計算機采集數(shù)據(jù)。為每個設(shè)備和流分配更多CPU可能使結(jié)果更好。特定設(shè)備的硬件限制也可能導(dǎo)致數(shù)據(jù)流的漂移。進一步研究漂移時也可以查看記錄數(shù)據(jù)使用的軟件。

2.被試數(shù)量有限。提高模型表現(xiàn)的一種常見方法是采集更多數(shù)據(jù)。我們總共招募22名被試，采集4082個樣本。從數(shù)據(jù)集的角度來看，常用的大型圖像數(shù)據(jù)庫ImageNet有超過1400萬張圖像。當(dāng)然，采集生理數(shù)據(jù)要耗時更多，尤其是使用多個設(shè)備。

3.模態(tài)的選擇。目前，相關(guān)研究僅使用凝視數(shù)據(jù)(雙眼的X和Y坐標(biāo))。Duchowski等人證明瞳孔活動評估認(rèn)知負(fù)荷有效。將瞳孔數(shù)據(jù)納入本研究可能導(dǎo)致不同的結(jié)果，大腦測量也是如此。fNIRS用于測量脫/含氧血紅蛋白的相對變化，EEG也可用于預(yù)測認(rèn)知負(fù)荷，在某種程度上，同樣的研究可以使用不同模態(tài)，獲得截然不同的結(jié)果。

4.模型架構(gòu)和優(yōu)化。目前，我們使用了兩種IFMMoN，每種都包含大、小兩個版本。小版本表現(xiàn)出更好的分類表現(xiàn)，也更有效，這可能是因為數(shù)據(jù)集的規(guī)模較小。我們沒有進一步探索模型表現(xiàn)隨著模型規(guī)格與復(fù)雜性的減小而提高的截止點。此外，超參數(shù)優(yōu)化僅針對動量、學(xué)習(xí)率和dropout，而改變隱藏層、神經(jīng)元的數(shù)量也可以提高表現(xiàn)。另一方面，結(jié)果中的模型表現(xiàn)估計可能較為樂觀，因為應(yīng)用的超參數(shù)優(yōu)化在整個數(shù)據(jù)集上，而非嵌套交叉驗證(即在交叉驗證中對每折都應(yīng)用超參數(shù)優(yōu)化)。

基于mark的數(shù)據(jù)選擇也可以針對模態(tài)修改。例如，與ET數(shù)據(jù)相比，標(biāo)記fNIRS數(shù)據(jù)可能有所不同，因為與眼球運動相比，血流動力學(xué)響應(yīng)非常緩慢，因此mark之后的數(shù)據(jù)可能包含對某些模態(tài)有價值的信息。值得注意的是，數(shù)據(jù)集/模態(tài)的更改需要重新訓(xùn)練網(wǎng)絡(luò)，并重做超參數(shù)優(yōu)化。如果添加了模態(tài)，則需要重新訓(xùn)練與新模態(tài)對應(yīng)的Head和子網(wǎng)絡(luò)。如果刪除了一個模態(tài)，則只需要重新訓(xùn)練Head網(wǎng)絡(luò)。本研究沒有測試包含相同模態(tài)的其他主題是否還需要培訓(xùn)(理論上不需要)。最后，網(wǎng)絡(luò)的輸出可以編碼為7維向量，每個輸出給出相應(yīng)標(biāo)簽的概率，而非0到1之間的單個數(shù)字。

5.數(shù)據(jù)采集和檢索時出現(xiàn)了一些并發(fā)問題。由于軟件會崩潰、設(shè)備連接性差，被試3、8、13和16的數(shù)據(jù)被部分排除，被試6、9、15和21偶爾展示可能與運動/深色頭發(fā)有關(guān)的偽跡。不過這些數(shù)據(jù)也被包含在數(shù)據(jù)集中，目的是讓系統(tǒng)暴露在一定程度的、也許更貼近真實生活的噪聲中。
8.3.標(biāo)簽

被試對相同的PMWL會給出不同評級，評級完全主觀，不穩(wěn)定。此外，一個人在經(jīng)歷高工作量時可能感到自信和平靜，而另一個人可能會在經(jīng)歷低工作量時感到有壓力。因此，評估PMWL或相關(guān)的人類情感時，應(yīng)該預(yù)期看到高度的誤差和差異。由于本研究系統(tǒng)的最終目標(biāo)是在自然環(huán)境中實時分類PMWL，因此我們一開始就使用自然刺激。比較分類結(jié)果，使用哪種標(biāo)簽方案高度影響結(jié)果，我們建議使用個體標(biāo)簽訓(xùn)練IFMMoN。
9.結(jié)論

本研究的目標(biāo)是使用多模態(tài)DNN來分類PMWL。當(dāng)被試解決語言邏輯題時，使用LSL同時收集GSR、PPGF、fNIRS和ET數(shù)據(jù)。我們提出一種新穎的IFMMoN，最好的模型能夠在7等級上以0.985個LoW的準(zhǔn)確度分類PMWL?；诖耍覀冋J(rèn)為IFMMoN可以使用上述四種模態(tài)分類PMWL。MG標(biāo)準(zhǔn)在研究各階段(數(shù)據(jù)采集、數(shù)據(jù)選擇、模型設(shè)計)都有指導(dǎo)意義。將來自各(模態(tài))應(yīng)用程序的數(shù)據(jù)流式傳輸?shù)揭粋€采集軟件中，使用輸入到一個Head網(wǎng)絡(luò)的MNet中間融合來滿足模塊化標(biāo)準(zhǔn)；添加多種模態(tài)時改進模型表現(xiàn)來滿足通用性標(biāo)準(zhǔn)。小模型在分類任務(wù)中取得了更好的結(jié)果。
10.未來工作

目前我們訓(xùn)練了兩種不同標(biāo)簽：1.個人報告難度等級，2.所有被試的平均報告難度等級。分類不同目標(biāo)會很有趣，給定一個已知的選項，可以輸出一個包含被試下一步行動概率的向量，這可以預(yù)測甚至攔截錯誤。另一路線是訓(xùn)練替代任務(wù)的數(shù)據(jù)，這將深入了解管道和網(wǎng)絡(luò)的泛化能力，有利于系統(tǒng)的整體魯棒性。

該研究方向的長期展望是創(chuàng)建一個可以實時分類用戶PMWL，并最終可以同時為多個用戶進行分類的系統(tǒng)，然后可以引導(dǎo)用戶提高任務(wù)的整體效率，例如通過調(diào)整環(huán)境來觸發(fā)心流狀態(tài)。被試也可以通過自我調(diào)節(jié)來適應(yīng)環(huán)境，借助視覺、聽覺、嗅覺刺激。本研究表明多模態(tài)可以準(zhǔn)確分類PMWL，且采用的設(shè)計原則可以允許輕松添加其他模態(tài)和用戶。此外，網(wǎng)絡(luò)的尺寸也允許實時監(jiān)測。該系統(tǒng)甚至可以檢測到哪個人正在使用，這提高了系統(tǒng)的適應(yīng)性以及集群使用模式，類似于無監(jiān)督問題所做的。
10.1.數(shù)據(jù)擴展

提高模型準(zhǔn)確性的一種有效方法是提供更多數(shù)據(jù)，以便模型更好地泛化。然而，收集、格式化、標(biāo)記數(shù)據(jù)既耗時又昂貴。數(shù)據(jù)擴展允許生成新的/看不見的數(shù)據(jù)，解決數(shù)據(jù)短缺的問題。數(shù)據(jù)擴展有幾種不同的選擇，比如可以在輸入空間、特征空間或?qū)W習(xí)特征空間中完成。輸入空間的擴展涉及多次轉(zhuǎn)換原始數(shù)據(jù)。在圖像分類中通常采用旋轉(zhuǎn)或縮放的形式，或者向圖像添加噪聲。對于輸入和特征空間中的數(shù)據(jù)擴展，通常需要領(lǐng)域?qū)I(yè)知識來確保新生成的數(shù)據(jù)匹配，生成的模型被證明能執(zhí)行此類任務(wù)，且克服數(shù)據(jù)甚至模態(tài)缺失。上述示例中必須針對每種數(shù)據(jù)類型和問題專門設(shè)計新的特征提取和擴展block。

Vries和Taylor建議在學(xué)習(xí)特征空間中執(zhí)行數(shù)據(jù)擴展。該方法依賴于首先學(xué)習(xí)的數(shù)據(jù)的表示，然后對這些表示執(zhí)行數(shù)據(jù)擴展，假設(shè)簡單擴展編碼數(shù)據(jù)而非輸入數(shù)據(jù)會生成更合理的合成數(shù)據(jù)。他們建議在seq2seq模型的基礎(chǔ)上使用序列自動編碼器。Vries和Taylor提出的方法與其他數(shù)據(jù)擴展方法相比有幾個好處。1.與先前工作類似，特征擴展在降維中完成的，可實現(xiàn)輕量級。2.不用受限于特定領(lǐng)域的任務(wù)和輸入數(shù)據(jù)，可制定更通用的參數(shù)來擴展數(shù)據(jù)，這些參數(shù)也適用于超參數(shù)優(yōu)化。因此，該方法最符合MG標(biāo)準(zhǔn)，值得在未來工作中更進。
如需原文及補充材料請?zhí)砑铀加翱萍嘉⑿牛?/span>siyingyxf或18983979082獲取,如對思影課程及服務(wù)感興趣也可加此微信號咨詢。另思影提供免費文獻下載服務(wù)，如需要也可添加此微信號入群，原文也會在群里發(fā)布，如果我們的解讀對您的研究有幫助，請給個轉(zhuǎn)發(fā)支持以及右下角點擊一下在看，是對思影科技的支持，感謝！