Az agy-számítógép interfész a gondolatokat a beszédbe fordíthatja

A Neuroengineers új rendszert hozott létre, amely egyszerű eszméket fordíthat felismerhető beszédre, mesterséges intelligencia és beszédszintetizátor segítségével, egy kedden közzétett tanulmány szerint.

A New York-i kutatók egy csapata csak agyi tevékenységgel tudta rekonstruálni a szavakat, ami olyan innovációt jelent, amely az agyvezérelt technológiákat, mint például egy olyan okostelefon, amely a gondolatait szöveges üzenetekké fordíthatja.

A tanulmányt Dr. Nima Mesgarani, a Columbia Egyetem docense vezette fordítottja látja, hogy nagy a lehetősége, hogy segítsen helyreállítani a beszédet a stroke-ból vagy az amyotróf laterális szklerózissal (ALS) élőknek. A vonal mentén az ilyen típusú technológiák ajtókat nyithatnak az agyhoz csatlakoztatott okostelefonok számára is, amelyek lehetővé teszik a felhasználók számára, hogy elméjüket használják, bár ez még mindig egy út. Munkáját közzétették a folyóiratban Tudományos jelentések.

„Ennek a munkának az egyik motivációja… az alternatív emberi-számítógépes interakciós módszerek, mint például a felhasználó és egy okostelefon közötti lehetséges interfész, az,” mondja. „Ez azonban még mindig messze van a valóságtól, és jelenleg a nem invazív módszerekkel kivonható információ nem elég jó a beszéd agy-számítógép interfész alkalmazásához.”

Hallgassa meg az agy-számítógép interfész által generált beszédet.

Az új technika kifejlesztéséhez Mesgarani és munkatársa, Dr. Ashesh Dinesh Mehta az Northwell Health Physician Partners Neuroscience Intézetéből kezdte tanulmányozni az epilepsziás betegek agyi aktivitását tanulmányozásuk során. Ezeknek a betegeknek már volt az elektróda implantátuma az agyukban, hogy nyomon kövessék a rohamokat, amelyeket Mesgarani és Mehta tudott felhasználni a kutatáshoz szükséges adatok gyűjtésére.

A duó felkérte a hajlandó résztvevőket, hogy hallgassanak a hangszórókra a nulla és kilenc közötti számokról, majd rögzítették az agyi jeleket az interakcióból. Ezután egy neurális hálózatot képeztek - egy olyan programot, amely az emberi agy neuronszerkezetét imitálja -, hogy felismerje a jelek mintáit és a beszédszintetizátorral, a vokóder néven ismert nyelvű szavakba fordítsa őket.

Az eredmény rövid hangfájl volt, amit a Microsoft Sam nulláról kilencre számít. A lenyűgöző rész az, hogy mennyire egyértelmű a beszéd összehasonlítása a kutatók által vizsgált más módszerekkel. Még mindig sok munka van.

„Előfordulhat, hogy egy évtizeddel a technológia elérhetővé válik” - mondja Mesgarani. „Nagyobb előrehaladásra van szükség mind a hosszú távú, biológiailag kompatibilis implantálható elektródákban és / vagy áttörő technológiákban a nem invazív neurális felvételi módszerekben. Szükségünk van egy jobb megértésre, hogy miként képviseli az agy beszédét, hogy finomíthassuk dekódolási módszereinket.

A páciensek, akik ebbe a vizsgálatba tartoztak, például agyi műtétet végeztek az elektrokortikográfiai monitorok beültetésére. Ez egy rendkívül invazív folyamat, amely nyitott agyi műtétet igényel, amit a legtöbb ember nem hajlandó alávetni, még akkor is, ha van lehetőségük beszédképességük helyreállítására.

Jelenleg ez a tanulmány egy módszert vezetett be az agy jelek dekódolására. Ha kitaláljuk, hogyan lehet a műtét nélküli agyi aktivitást pontosan felismerni, egy lépéssel közelebb kerülünk a nem csak forradalmasító beszédterápiához, hanem potenciálisan az agyhoz kapcsolódó okostelefonokhoz.

Az elmúlt években az agy-számítógépes interfész-kutatás újfajta érdeklődést kapott. 2017 áprilisában a Facebook bejelentette, hogy az éves F8 konferencián dolgozik egy BCI-en. Elon Musk pedig 2018 novemberében jelentette be, hogy a Neuralink, a saját BCI indítása, bérbeadása volt.

Absztrakt

A hallási inger rekonstrukció olyan technika, amely a legjobban közelíti az akusztikus ingereket a kiváltott neurális aktivitás populációjából. Az emberi hallókéreg beszédének újjáépítése megteremti a beszéd neuroprostetikus lehetőségét, hogy közvetlen kapcsolatot létesítsen az agyral, és mind a nyílt, mind a rejtett körülmények között lehetségesnek bizonyult. Azonban a rekonstruált beszéd alacsony minősége súlyosan korlátozta ennek a módszernek az agy-számítógépes interfész (BCI) alkalmazásokhoz való alkalmazhatóságát. A legkorszerűbb beszéd-neuroprostézis előrehaladásához az elmúlt években bekövetkezett mélyreható tanulás és a beszédszintézis-technológiák legújabb innovációit egyesítettük az emberi hallókéregből zárt, érthető beszéd rekonstruálására. Megvizsgáltuk az újjáépítési pontosság függését lineáris és nemlineáris (mély neurális hálózat) regressziós módszerekkel és az akusztikus ábrázolással, amelyet az rekonstrukció célpontjaként használnak, beleértve a hallás spektrogramját és a beszédszintézis paramétereit. Ezenkívül összehasonlítottuk az újjáépítési pontosságot az alacsony és a magas neurális frekvenciatartományok között. Eredményeink azt mutatják, hogy egy mély neurális hálózati modell, amely közvetlenül becsüli a beszédszintetizátor paramétereit minden idegi frekvenciáról, a legmagasabb szubjektív és objektív pontszámokat érte el egy számfelismerő feladatnál, ami 65% -kal javítja az érthetőséget az alapvonaltól, amely lineáris regressziót használt a rekonstruálja a hallásspektrumot. Ezek az eredmények bemutatják a mély tanulás és a beszédszintézis algoritmusainak hatékonyságát a beszéd BCI következő generációs rendszerének tervezésére, amelyek nemcsak a megbénult betegek kommunikációját képesek helyreállítani, hanem az emberi-számítógép interakciós technológiák átalakítására is képesek.

Kapcsolódó videó: Agyhullám érzékelő robotok szolgálhatnak az emberi test meghosszabbításaként