Forscher leiten Worte aus Hirnsignalen her

«Wir fanden heraus, dass Menschen die Klänge zu 75 Prozent verstehen und wiederholen konnten, was weit über alle vorherigen Versuche hinausgeht», erklärte Studienleiter Nima Mesgarani von der Columbia University in New York City.

Die Forscher kombinierten ein Spracherzeugungssystems (Vocoder) mit künstlicher Intelligenz, einem sogenannten «Deep Neural Network», das die Struktur von Neuronen im Gehirn imitiert. So gelang es ihnen, Hirnsignale in gesprochene Sprache zu übertragen.

Beteiligt an der im Fachjournal «Scientific Reports» vorgestellten Studie war auch der Neurochirurg Ashesh Mehta von der Hofstra Northwell School of Medicine in Manhasset in New York. Einbezogen wurden fünf von Mehta behandelte Patienten mit Epilepsie, deren implantierte Elektroden Signale aus dem Hörzentrum aufnehmen können.

Zunächst wurde das Spracherzeugungssystem trainiert. «Dies ist die gleiche Technologie, die von Amazon Echo und Apple Siri verwendet wurde, um unsere Fragen verbal zu beantworten», erklärte Mesgarani. Allerdings bestanden die Trainingsdaten in diesem Fall nicht aus gesprochener Sprache, sondern aus den Hirnsignalen der Patienten in Reaktion auf gesprochene Sprache. Anschliessend nutzten die Forscher ein umfangreiches «Neural Network», um den Sound des Spracherzeugungssystems zu analysieren und aufzubereiten.

Im Ergebnis ist eine roboterhaft klingende Stimme zu hören, die Ziffern von Null bis Neun spricht. Mesgarani und Kollegen spielten die Ergebnisse, die aus den Hirnsignalen der fünf Epilepsie-Patienten gewonnen worden waren, elf Testpersonen vor. Sie erkannten nicht nur die gesprochenen Wörter während 75 Prozent der Aufnahmezeit, sondern zu 80 Prozent auch, ob die sprechende Person männlich oder weiblich war.