悉尼科技大學(xué)的科研人員，通過大語言模型、EEG（大腦活動(dòng)檢測(cè)工具）、腦機(jī)接口等技術(shù)，開發(fā)了一個(gè)可自動(dòng)讀取人類想法，并轉(zhuǎn)化成文本的AI大模型——DeWave。

DeWave的使用方法非常簡(jiǎn)單，用戶只需要戴上EEG，然后開啟你的思維活動(dòng)，DeWave就能將你的想法直接翻譯成文本，就像現(xiàn)實(shí)版的《讀心人》非常“恐怖”。

相比馬斯克的Neuralink腦機(jī)接口芯片，DeWave使用更加簡(jiǎn)單方便，無需做昂貴的手術(shù)植入芯片，通過海量數(shù)據(jù)訓(xùn)練的大模型就能將腦電波翻譯成文本。

DeWave可幫助那些無法說話的腦血栓、中風(fēng)、聾啞人等，可與正常人進(jìn)行交流，目前翻譯的準(zhǔn)確率在40%左右。其實(shí)這個(gè)產(chǎn)品用于談戀愛場(chǎng)景也不錯(cuò)，雙方都帶上這個(gè)，再也不怕對(duì)方撒謊了。

值得一提的是，該研究已經(jīng)被全球頂級(jí)機(jī)器學(xué)習(xí)大會(huì)“NeurIPS”，評(píng)選為重要論文。

論文地址：https://arxiv.org/abs/2309.14030v3

DeWave功能展示

其實(shí)這項(xiàng)技術(shù)與去年10月19日，Meta發(fā)布的通過MEG（另外一種大腦活動(dòng)檢測(cè)工具）重構(gòu)人類大腦成像過程有點(diǎn)類似。都是通過EEG、MEG等工具捕獲大腦微弱活動(dòng)電流，檢測(cè)這些磁場(chǎng)變化，然后獲得腦部活動(dòng)數(shù)據(jù)。

獲得原始大腦數(shù)據(jù)后,研究人員就可以用大語言模型等對(duì)其進(jìn)行解碼,提取重要的視覺、文本信息。所以，獲取大腦活動(dòng)數(shù)據(jù)是翻譯、重構(gòu)人類想法、思維畫面的關(guān)鍵基礎(chǔ)。

Meta的論文地址：https://ai.meta.com/static-resource/image-decoding

DeWave簡(jiǎn)單介紹

DeWave的核心技術(shù)思路是，將連續(xù)的腦電波信號(hào)轉(zhuǎn)化為離散的編碼,然后輸入預(yù)訓(xùn)練的大語言模型進(jìn)行文本翻譯。

首先，通過向量量化變分編碼器的結(jié)構(gòu),將接收到的腦電波信號(hào)，轉(zhuǎn)換成一系列向量化的特征表示。

然后,這些特征表示會(huì)被進(jìn)一步轉(zhuǎn)化為一系列離散的代碼,每個(gè)代碼都對(duì)應(yīng)碼本里的一個(gè)離散詞向量。碼本就像一個(gè)字典,里面有限個(gè)數(shù)的離散詞向量。特征表示通過在碼本中找到最匹配的那個(gè)離散詞向量,來獲得對(duì)應(yīng)的離散代碼。

在得到一系列離散代碼之后,就可以像處理語言詞向量一樣,輸入到預(yù)訓(xùn)練的大語言模型,最終生成翻譯的文本內(nèi)容。

DeWave訓(xùn)練流程

DeWave的訓(xùn)練流程主要分為三個(gè)階段：1）自監(jiān)督編碼器預(yù)訓(xùn)練(僅原始EEG腦磁波)，這一階段會(huì)先訓(xùn)練一個(gè)腦電波自編碼模型,輸入原始EEG波形,通過重建實(shí)現(xiàn)自監(jiān)督。這樣可以提取有用的時(shí)域和頻域特征。

2）編碼器和碼本訓(xùn)練，固定好波形編碼器后,訓(xùn)練Transformer編碼器與離散碼本,獲得穩(wěn)定可分離的腦電波表示。

3）端到端微調(diào)，解凍大語言模型允許端到端訓(xùn)練。在編碼器引導(dǎo)下微調(diào)BART模型,實(shí)現(xiàn)EEG到文本的生成。需要注意的是，對(duì)詞級(jí)特征輸入并不需要第一階段的預(yù)訓(xùn)練,可以直接從第二階段開始。

DeWave局限性

研究人員表示，DeWave模型在將腦電波轉(zhuǎn)化為文本的任務(wù)中取得了一定的成果，但也存在一些局限性。

依賴于預(yù)訓(xùn)練大語言模型：DeWave在實(shí)現(xiàn)腦電波到文本的轉(zhuǎn)換過程中使用了預(yù)訓(xùn)練大語言模型，如BART。

這意味著DeWave方法的性能受限于預(yù)訓(xùn)練語言模型的質(zhì)量和能力。如果預(yù)訓(xùn)練語言模型不夠準(zhǔn)確或不具備廣泛的語言理解能力，可能會(huì)影響到DeWave方法的翻譯性能。

對(duì)平行數(shù)據(jù)的依賴性：DeWave方法在訓(xùn)練過程中需要使用平行的腦電波和文本對(duì)數(shù)據(jù)，以進(jìn)行監(jiān)督學(xué)習(xí)。

然而，獲取大規(guī)模的平行數(shù)據(jù)對(duì)于某些任務(wù)可能是困難的或成本較高的。因此，如果缺乏足夠的平行數(shù)據(jù)，DeWave方法的性能可能會(huì)受到限制。

對(duì)標(biāo)記的依賴性：盡管DeWave方法在文中聲稱可以在沒有標(biāo)記（如眼動(dòng)追蹤）的情況下實(shí)現(xiàn)腦電波到文本的翻譯，但它仍然依賴于基于標(biāo)記的對(duì)齊過程。

DeWave使用了事件標(biāo)記來將腦電波分割成單詞級(jí)別的特征，這可能導(dǎo)致在沒有標(biāo)記的情況下無法準(zhǔn)確地對(duì)腦電波進(jìn)行分割和翻譯。

悉尼科技大學(xué)首席研究員兼DeWave作者， Chin-Teng Lin表示，DeWave是第一個(gè)將離散編碼集成在大腦到文本翻譯領(lǐng)域的產(chǎn)品，引入了一種創(chuàng)新的神經(jīng)解碼方法。同時(shí)與大語言模型的集成，也開辟了神經(jīng)科學(xué)和AI相結(jié)合的全新探索。

什么是EEG

EEG 是電腦圖(Electroencephalogram) 的縮寫，它是一種記錄大腦電活動(dòng)的檢測(cè)方法。EEG 主要是通過頭皮上的電極來捕捉大腦神經(jīng)細(xì)胞之間通信的微小電信號(hào)。

大腦活動(dòng)產(chǎn)生電流，當(dāng)神經(jīng)細(xì)胞（神經(jīng)元）被激活時(shí)，它們會(huì)產(chǎn)生電信號(hào)。EEG 檢測(cè)的是大量神經(jīng)元同步活動(dòng)所產(chǎn)生的電位變化。主要用于科學(xué)研究、腦部檢測(cè)、腦部疾病治療等。

什么是MEG

MEG，全稱為腦磁圖（Magnetoencephalography），是一種神經(jīng)成像技術(shù)，用于測(cè)量大腦活動(dòng)中產(chǎn)生的極微弱的磁場(chǎng)。MEG能夠提供關(guān)于大腦功能的空間和時(shí)間信息。

MEG的工作原理是基于生物電活動(dòng)產(chǎn)生磁場(chǎng)的物理原理。當(dāng)大腦中的神經(jīng)元活動(dòng)時(shí)，它們會(huì)產(chǎn)生微小的電流，這些電流會(huì)產(chǎn)生相應(yīng)的磁場(chǎng)。

MEG設(shè)備使用一種非常靈敏的傳感器，稱為超導(dǎo)量子干涉設(shè)備（SQUIDs），來檢測(cè)這些微小的磁場(chǎng)。

MEG主要應(yīng)用：定位腦功能、研究大腦通信、診斷和治療規(guī)劃、研究神經(jīng)發(fā)育和疾病等。

本文素材來源DeWave論文，如有侵權(quán)請(qǐng)聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國(guó) | RPA全球生態(tài) | 數(shù)字化勞動(dòng)力 | RPA新聞 | 推動(dòng)中國(guó)RPA生態(tài)發(fā)展 | 流 > 用大模型讀取你的想法，并轉(zhuǎn)化成文本！恐怖的DeWave模型