讓失語者能“說話”!腦機介面新進展:首次從大腦活動解碼完整單詞

讓失語者能“說話”!腦機介面新進展:首次從大腦活動解碼完整單詞

智東西(公眾號:zhidxcom)

編譯 | 王健恩

編輯 | 高歌

智東西7月16日訊息,美國加州大學舊金山分校(UCSF)的一項研究利用腦機介面技術將人腦中想要說出來的話轉換為文字,讓嚴重癱瘓的失語男子再次“開口說話”。該研究專案名為Project Steno,由UCSF在Facebook的資助下完成。

研究人員在接受實驗的男子大腦中控制聲道的相關區域植入一個電極陣列,當男子試圖回答螢幕上顯示的問題時,機器學習演算法能夠自動識別其腦中出現的單詞,並轉換為實時的句子。

7月15日這項研究發表在《新英格蘭醫學雜誌(New England Journal of Medicine)》上,論文題目為Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria。

讓失語者能“說話”!腦機介面新進展:首次從大腦活動解碼完整單詞

論文連結:https://www。nejm。org/doi/pdf/10。1056/NEJMoa2027540?articleTools=true

一、研究者欲將大腦活動直接轉為文字

透過腦機介面來控制電腦打字的方法已經取得了較大的進步,語言障礙者可以控制計算機游標來拼出資訊。然而,透過神經訊號來驅動資訊介面逐字進行選擇極為費力和低效。研究人員認為,直接從控制語言的大腦區域解碼整個單詞會更加高效自然。

在過去的研究中,人們對於大腦控制聲道進行發聲運動的原理已經有了較為豐富的發現。研究人員根據這些神經生物學發現並利用機器學習,發現可以從沒有語言障礙的人大腦活動中解碼語音。

不過,患有語言障礙的患者無法進行語音輸出,神經活動記錄無法與預期語音進行精確對齊,這給訓練計算模型構成了障礙。

研究者使用深度學習演算法建立計算模型,用於從記錄的皮層活動中檢測單詞並進行分類。最終研究者運用這些模型及一個自然語言模型,在接收實驗者試圖說出某些句子時將其完整解碼。

讓失語者能“說話”!腦機介面新進展:首次從大腦活動解碼完整單詞

腦機介面工作原理示意圖

二、收集大腦訊號反覆訓練,實現精準解碼

論文的主要作者David Moses博士說:“這是第一次有人將大腦活動中自然想說的話解碼成單詞。與其他腦機介面實驗一樣,這項研究不是讀心術,它依賴於對大腦活動的感知。”

參與這次實驗的男子癱瘓在床且失聲多年,僅能發出咕嚕聲和呻吟聲。他通常使用頭部運動控制輔助計算機打字與他人交流。

研究人員將一個電極陣列植入男子腦中,以獲取大腦訊號。該電極陣列與一個聯結器相連,並最終與計算機連線。當實驗進行時,電極陣列獲取的大腦訊號被傳輸到計算機中,並透過定製軟體對實時訊號進行分析。

在實驗過程中,研究者將目標單詞或句子在螢幕上以文字形式呈現給實驗參與者,然後讓參與者嘗試“說”出該目標。研究者透過這樣一次次的實驗,不斷地收集神經活動資料來訓練、微調和評估語音檢測和單詞分類模型。這些模型可以利用深度學習從神經活動中進行單詞和句子的預測。

為了在參與者“說”出句子的同時對神經訊號進行解碼,研究者還使用了自然語言模型和Viterbi解碼器。Viterbi解碼器也是一種模型,它可以根據預測到的單詞結合自然語言模型確定出最有可能的單詞序列,並串聯成更加合理的句子。

透過不斷改進,研究者發現實驗中一半以上的句子都被完美解碼,證明可以透過高密度記錄大腦皮層活動來實時解碼完整的單詞和句子。

讓失語者能“說話”!腦機介面新進展:首次從大腦活動解碼完整單詞

男子嘗試回答螢幕上的問題

三、腦機介面仍需完善,要轉為非入侵性介面

David Moses博士稱在Facebook的資助完成後這項研究將繼續進行,未來還有很多工作要做。目前研究者尚不清楚有多少語音識別結果來自記錄的大腦活動模式,有多少來自其他因素。另外,該團隊還沒有將這種腦機介面轉換為非入侵性的神經介面。

Facebook現實實驗室(Reality Labs)擁有自己的非侵入性頭戴式研究頭套原型,可以用於研究大腦活動。Facebook已經宣佈計劃將這些用於開源研究專案,因為它不再專注於頭戴式神經硬體。

不過UCSF進行這項實驗僅獲得了Facebook的資金支援,未用到Facebook的硬體裝置。

結語:腦機介面提高失語者生活質量

接受實驗的男子癱瘓且失聲,儘管有著完整的認知功能,卻因身體限制給生活、交流造成諸多不便。利用這項技術,他重新“開口說話”,實現與家人、護理人員的交流和溝通,這將大大提高其生活質量。

不過這項技術仍有較多待完善的地方,入侵性介面也會給使用者帶來諸多不便。同時該技術目前只能識別較簡單的內容,準確率仍有待提高。

這類面向普通消費者的神經技術仍處於起步階段,雖然存在非入侵性的頭戴式或腕帶式感測器,但準確率遠不如植入式電極。

頂部