Американски изследователи са разработили неинвазивен декодер, който може да реконструира непрекъснат текст въз основа на мозъчната активност, независимо дали е история, която човек слуша, или въображаема история, или дори същността на видео, в което няма думи.
Декодерът бил обучен на данни от функционален ядрено-магнитен резонанс (фЯМР) от трима души, които в продължение на 16 часа слушали истории. Моделът невинаги можел да предскаже точните думи от записите на фЯМР, но предавал смисъла на историите. Резултатите са публикувани в Nature Neuroscience.
Jerry Tang et al. / Nature Neuroscience, 2023
За да се запише невронната активност, необходима за декодиране на речта, трябва да се поставят електроди директно върху мозъка. Този метод се използва в изследвания с парализирани хора, които не могат да говорят, но инвазивността на тази процедура ограничава нейното приложение. Декодерите, използващи неинвазивни записи на мозъчната активност, са способни да дешифрират отделни думи или кратки фрази, но не е известно дали тези декодери могат да работят с непрекъснат естествен език.
Александър Хът от Тексаския университет в Остин и колегите му са разработили декодер, който възстановява непрекъснат текст от записи на мозъчната активност, получени по неинвазивен начин, използвайки функционален магнитен резонанс.
Откриха неизвестни връзки между ума и тялото
Сериозно ограничение било това, че фЯМР сигналът не можел да се справи с невронната активност. Функционалното магнитно резонансно изображение измерва промените в кръвния поток, причинени от невронна активност в определена част от мозъка.
Необходими са около 10 секунди за увеличаване или намаляване на фЯМР сигнала. През това време англоговорящият може да чуе или каже повече от 20 думи. Оказва се, че думите за декодиране били повече, отколкото фЯМР изображенията. Учените решили този проблем по следния начин: те научили декодера да отгатва последователността от думи, оценявайки колко вероятно всяка възможна дума може да предизвика конкретно записана реакция на мозъка – и така да избират най-добрия кандидат, тоест най-вероятната дума.
Части от четири истории (вляво) и прогнозите на декодера (вдясно). Грешките са маркирани в червено, правилно уловената същност – в лилаво, а точно разпознатите думи са маркирани в синьо. Jerry Tang et al. / Nature Neuroscience, 2023
Кодиращият модел бил обучен на фЯМР сигнали от трима души, записани в продължение на 16 часа, докато слушали различни истории. Това било достатъчно, за да може моделът да се научи да предсказва каква мозъчна реакция предизвикват определени семантични признаци.
Мозъкът с времето разпозна собствената си идентичност в трансплантирано лице
След това учените помолили доброволците да слушат истории, които не са чували преди, и записвали реакцията на мозъка. По записите декодерът трябвало да реконструира тези истории. Езиковият модел, невронната мрежа GPT-1, създавала варианти на думи, а кодиращият модел оценявал вероятността именно тази конкретна дума да продължи историята. Декодерът точно възпроизвел някои от думите и фразите и улавял същността на много други. Генерираните последователности от думи уловили общия смисъл на новите истории.
Данните били записани от три кортикални мрежи, а сигналите на всяка мрежа били декодирани отделно във всяко полукълбо. Учените стигнали до извода, че едни и същи думи могат да бъдат кодирани в различни области на мозъка и в бъдеще може да има достатъчно записи за активността на отделните области.
Авторите установили също, че по данните от фЯМР декодерът може да предскаже смисъла на кратка история, която участникът си е представил и разказал за себе си, или същността на гледаното видео без думи. Въпреки това декодирането на въображаема реч не било толкова успешно, колкото декодирането на чути истории, тъй като моделът на кодиране бил обучен върху реакциите на мозъка към възприетата реч.
Загадъчни пипала в мозъка контролират възприятието ни за време
Декодиране на видеосюжет Jerry Tang et al. / Nature Neuroscience, 2023
Допълнително участниците били помолени да слушат две истории едновременно, но да обърнат внимание само на едната и да игнорират втората. Версията на декодера приличала повече на историята, към която участниците се вслушвали. Но декодерът зле разшифровал сигналите на мозъка на човек, на които не е бил обучен. Тоест не може да се обучи декодер на един човек и след това да се използва за „четене на мислите“ на други хора.
Повечето съществуващи декодери изискват имплантирането на електроди в мозъка, като често разчитат на данни от речевите моторни зони, които са активни, когато субектът говори или се опитва да говори. За разлика от тях този модел работи със сигнали от области на мозъка, които кодират семантични представи. Тези зони са активни дори когато човек слуша чужда реч или просто мисли какво иска да каже. Такъв декодер обаче често не може да възстанови отделни думи.
