Zwei Projekte RESPONSE und ADSPEED wurden bzw. werden im Rahmen des Forschungsprogramms ?Multilaterale Zusammenarbeit in Computational Neuroscience“ gef?rdert, das gemeinsam durch das BMBF und der National Science Foundation NSF (USA) finanziert wird.
In einer 澳门皇冠_皇冠足球比分-劲爆体育j?hrigen Zusammenarbeit zwischen dem Cognitive Systems Lab (CSL) an der Uni Bremen, dem Department of Neurosurgery an der Maastricht Universit?t sowie dem ASPEN Lab an der Virginia Commonwealth Universit?t wurde eine Neurosprachprothese entwickelt, die sprachbezogene neuronale Prozesse im Gehirn direkt in h?rbare Sprache umsetzt. Dazu stellen sich freiwillige Probanden vor, zu sprechen – die dabei entstehenden Gehirnstromsignale werden direkt in h?rbare Ausgabe überführt – und zwar in Echtzeit ohne wahrnehmbare Verz?gerung. ?Die Probanden h?ren sich reden, obwohl sie sich das Sprechen nur vorstellen.“ sagt Prof. Tanja Schultz, die Leiterin des CSL.
Diese bahnbrechende Neuerung wurde nun in dem wissenschaftlichen Journal "Nature Communications Biology" (https://www.nature.com/articles/s42003-021-02578-0) hochrangig ver?ffentlicht. Sie ist das Ergebnis einer langj?hrigen Kooperation, die im Rahmen des Forschungsprogramms ?Multilaterale Zusammenarbeit in Computational Neuroscience“ gemeinsam vom BMBF und vom der NSF gef?rdert wird. Diese Kooperation mit Prof. Dean Krusienski wurde gemeinsam mit dem ehemaligen Mitarbeiter des CSL, Christian Herff, im Rahmen des erfolgreichen Projektes RESPONSE aufgebaut und wird aktuell mit dem Mitarbeiter des CSL, Miguel Angrick, im Projekt ADSPEED fortgesetzt. Dr. Christian Herff ist mittlerweile Assistenzprofessor an der Universit?t Maastricht.
Die innovative Neurosprachprothese basiert auf einem Closed-Loop-System, das Technologien aus der modernen Sprachsynthese mit Brain-Computer-Interfaces verbindet. Dieses Closed-Loop System wurde von Miguel Angrick am CSL entwickelt. Es erh?lt als Eingabe die neuronalen Signale der Nutzer:innen, die sich vorstellen zu sprechen, transformiert diese mittels Maschineller Lernverfahren praktisch zeitgleich in Sprache und gibt diese h?rbar als Feedback an die Nutzer:innen aus – dadurch schlie?t sich für die Nutzer:innen der Kreis von Vorstellen und H?ren gedachter Sprache.
Die in "Nature Communications Biology" ver?ffentlichte Arbeit basiert auf einer Studie mit einer freiwilligen Epilepsiepatientin, der zu medizinischen Untersuchungen Tiefenelektroden implantiert wurden und die sich zur klinische ?berwachung im Krankenhaus aufhielt. Im ersten Schritt las die Patientin Texte vor, aus denen das Closed-Loop System mittels Maschineller Lernverfahren die Korrespondenz zwischen Sprache und neuronaler Aktivit?t lernte. Im zweiten Schritt wurde dieser Lernvorgang mit geflüsterter und mit vorgestellter Sprache wiederholt. Dabei erzeugte das Closed-Loop System synthetisierte Sprache. Obwohl das System die Korrespondenzen ausschlie?lich auf h?rbarer Sprache gelernt hatte, wird auch bei geflüsterter und bei vorgestellter Sprache eine h?rbare Ausgabe erzeugt. Dies l?sst den Schluss zu, dass die zugrundeliegenden Sprachprozesse im Gehirn für h?rbar produzierte Sprache vergleichbar sind denen für geflüsterter und vorgestellter Sprache.
Dieses Closed-Loop System ist damit der erste Schritt zu Neurosprachprothesen, die für Menschen hilfreich seien k?nnten, die aufgrund neuronaler Erkrankungen verstummt sind und ohne fremde Hilfe nicht mit der Au?enwelt kommuniziert k?nnen.
Cognitive Systems Lab, Fachbereich 3, Universit?t Bremen
Autoren: Miguel Angrick M.Sc., Prof. Dr.-Ing. Tanja Schultz (Direktorin CSL)
