Forscher leiten Worte aus Hirnsignalen her
Einem Forschungsteam ist es gelungen, Hirnsignale in gesprochene Sprache zu übersetzen. Die Signale stammten aus dem Hörzentrum des Gehirns.
Das Wichtigste in Kürze
- Forscher verwandelten Hirnsignale in gesprochene Sprache.
- Dabei kombinierten sie ein Vocoder mit künstlicher Intelligenz.
«Wir fanden heraus, dass Menschen die Klänge zu 75 Prozent verstehen und wiederholen konnten, was weit über alle vorherigen Versuche hinausgeht», erklärte Studienleiter Nima Mesgarani von der Columbia University in New York City.
Die Forscher kombinierten ein Spracherzeugungssystems (Vocoder) mit künstlicher Intelligenz, einem sogenannten «Deep Neural Network», das die Struktur von Neuronen im Gehirn imitiert. So gelang es ihnen, Hirnsignale in gesprochene Sprache zu übertragen.
Hirnsignale von Epilepsie-Patienten
Beteiligt an der im Fachjournal «Scientific Reports» vorgestellten Studie war auch der Neurochirurg Ashesh Mehta von der Hofstra Northwell School of Medicine in Manhasset in New York. Einbezogen wurden fünf von Mehta behandelte Patienten mit Epilepsie, deren implantierte Elektroden Signale aus dem Hörzentrum aufnehmen können.
Zunächst wurde das Spracherzeugungssystem trainiert. «Dies ist die gleiche Technologie, die von Amazon Echo und Apple Siri verwendet wurde, um unsere Fragen verbal zu beantworten», erklärte Mesgarani. Allerdings bestanden die Trainingsdaten in diesem Fall nicht aus gesprochener Sprache, sondern aus den Hirnsignalen der Patienten in Reaktion auf gesprochene Sprache. Anschliessend nutzten die Forscher ein umfangreiches «Neural Network», um den Sound des Spracherzeugungssystems zu analysieren und aufzubereiten.
Im Ergebnis ist eine roboterhaft klingende Stimme zu hören, die Ziffern von Null bis Neun spricht. Mesgarani und Kollegen spielten die Ergebnisse, die aus den Hirnsignalen der fünf Epilepsie-Patienten gewonnen worden waren, elf Testpersonen vor. Sie erkannten nicht nur die gesprochenen Wörter während 75 Prozent der Aufnahmezeit, sondern zu 80 Prozent auch, ob die sprechende Person männlich oder weiblich war.
