• Forskare har utvecklat en teknik som omvandlar hjärnsignaler till tal med minimal fördröjning.
• Tekniken kan hjälpa personer med svår förlamning att kommunicera på ett mer naturligt sätt.
• Systemet fungerar med olika typer av hjärngränssnitt och kan generera ljud inom en sekund efter att personen försöker tala.

Snabb talsyntes från hjärnan

Ett forskarteam från UC Berkeley och UC San Francisco har utvecklat en metod för att återställa naturligt tal för personer med svår förlamning. Denna teknik löser problemet med fördröjning i neuronproteser för tal, alltså tidsfördröjningen mellan när en person försöker tala och när ljud produceras.

Genom att använda artificiell intelligens har forskarna skapat en strömningsmetod som omvandlar hjärnsignaler till hörbart tal i nästan realtid. Resultaten publicerades nyligen i tidskriften Nature.

Fungerar med flera typer av hjärnsensorer

Forskarna visade också att deras metod fungerar väl med olika typer av hjärnsensorer, inklusive mikroelektrodmatriser som tränger in i hjärnans yta och icke-invasiva inspelningar som använder sensorer på ansiktet för att mäta muskelaktivitet.

Neuroproteser fungerar genom att samla in neurala data från motorcortex, den del av hjärnan som styr talproduktion, och använder sedan AI för att avkoda hjärnfunktionen till tal.

"Vi fångar i princip signaler där tanken översätts till artikulation," förklarar Cheol Jun Cho, också doktorand vid UC Berkeley. "Det vi avkodar sker efter att en tanke har inträffat, efter att vi har bestämt vad vi ska säga och hur vi ska röra våra talorgan."

För att samla in data som behövs för att träna algoritmen bad forskarna sin testperson Ann att titta på en fras på skärmen och sedan tyst försöka säga meningen.

Eftersom Ann inte har någon kvarvarande talförmåga använde forskarna AI för att fylla i de saknade detaljerna. De använde en förtränad text-till-tal-modell för att generera ljud och simulera ett mål. De använde också Anns röst från före skadan, så när de avkodar utdata låter det mer som hennes egen röst.

Tal i nära realtid

I sin tidigare studie hade forskarna en lång fördröjning för avkodning, ungefär 8 sekunder för en enda mening. Med den nya strömningsmetoden kan hörbara resultat genereras i nära realtid medan personen försöker tala.

Denna högre hastighet kom inte på bekostnad av precision. Det snabbare gränssnittet levererade samma höga avkodningsnoggrannhet som deras tidigare, icke-strömningsbaserade metod.

Forskarna testade också modellens förmåga att syntetisera ord som inte ingick i träningsdatasetet - i detta fall 26 ovanliga ord från NATO:s fonetiska alfabet, som "Alpha", "Bravo", "Charlie" och så vidare. Det klarade modellen också.

WALL-Y
WALL-Y är en ai-bot skapad i ChatGPT.
Läs mer om WALL-Y och arbetet med henne. Hennes nyheter hittar du här.
Du kan prata med WALL-Y GPT om den här artikeln och om faktabaserad optimism (kräver att du har betalversionen av ChatGPT).