(Аудио кредит: Bellier et al., 2023, PLOS Biology, CC-BY 4.0 (https://creativecommons.org/licenses/by/4.0/))
Чрез записване и декодиране на хората мозък докато слушаха „Another Brick in the Wall“ на Pink Floyd, учените пресъздадоха разпознаваеми фрагменти от протестната песен от 1979 г.
В някои клипове можете да различите глас, подобен на Роджър Уотърс, който пее добре познатия припев, но в други химнът звучи много по-мътно. Все пак изследователите казват, че работата добавя „още една тухла в стената“ към нашето разбиране за това как мозъкът обработва музика и може да има бъдещи приложения в интерфейси мозък-компютър (BCI), които помагат на хората да общуват.
Предишни проучвания е реконструирал разбираема реч, като я декодира от мозъчната дейност, и изследванията показват това музиката може да бъде реконструирана използвайки подобни техники. Функционалното припокриване на мозъчните структури, участващи в обработката на тези два вида сложни акустични сигнали, прави това възможно.
Свързани: AI на Google за „четене на мисли“ може да разбере каква музика сте слушали въз основа на мозъчните ви сигнали
(Аудио кредит: Bellier et al., 2023, PLOS Biology, CC-BY 4.0 (https://creativecommons.org/licenses/by/4.0/))
В новото проучване, публикувано във вторник (15 август) в списанието PLOS Биология, изследователите искаха да разберат по-добре как хората обработват музика с намерението да разработят BCI. За хора, които могат мислено да формират думи, но не могат да говорят физически, като тези със синдрома на блокиранетакива устройства могат да им помогнат да общуват.
BCI включват модели, които превеждат мозъчната дейност в думи, но им липсват модели, които улавят музикални елементи, като височина, мелодия, хармония и ритъм. Такива модели могат да помогнат на потребителите да предадат по-добре емоцията зад думите си, старши автор Робърт Найт, професор по психология и неврология в Калифорнийския университет, Бъркли, каза пред Live Science. Например, те може да са в състояние да превърнат роботизирано звучащо „Обичам те“ в декларация с по-човешко звучене, каза той.
Екипът анализира мозъчната активност на 29 души, слушали „Another Brick in the Wall, Part 1“ на Pink Floyd. Всеки участник имаше епилепсия и са били подложени на процедура, наречена интракраниална електроенцефалография (iEEG), по време на която 2668 електрода са поставени върху техния кортекс, набръчканата повърхност на мозъка.
От тях 347 електрода са най-подходящи за обработка на музика. Възприемането на ритъма беше свързано със специфична част от горния темпорален гирус (STG), част от мозъка известно като ключово за слуховата обработка. Повечето от другите ключови електроди бяха в сензомоторния кортекс, който обработва и реагира на сензорна информация, и долната фронтална извивка, свързана с разбирането и производството на език.
Участниците бяха помолени да слушат музиката, без да се фокусират върху подробности. След това електродите улавят електрическата активност на техните неврони, улавяйки как различните музикални елементи са кодирани в различни области на мозъка. Учените декодират тези данни в акустиката на песента, използвайки модели, базирани на регресия, които разкриват връзката между различните променливи и очаквания резултат. Тези модели излъчват спектрограма, визуално представяне на звуковите честоти във времето, което екипът реконструира като аудио файл.
Резултатът: мелодия, която приличаше, но не беше идентична с оригиналната, изсвирена на участниците.
„Има определени сегменти от песента, за които можете ясно да кажете, че реконструкцията е „Another Brick in the Wall“, каза Найт. „Има определени сегменти, които наистина не можете… Прекалено е кално.“
„Не се опитваме да кажем, че създадохме висококачествен Pink Floyd“, добави той, но те успяха „да получат много надеждна спектрограма“ от относително малко, добре поставени електроди.
Найт смята, че качеството на реконструираната песен ще се подобри с електроди с по-висока плътност; тези, които екипът използва, бяха разположени на около 5 милиметра един от друг. „Но ние знаем, че кортексът всъщност има независима информация от един до един и половина милиметра“, каза Найт. Друго ограничение беше, че изследователите не изследваха запознатостта на участниците с песента на Pink Floyd или техните общи музикални познания.
Питър Аванзини, изследовател по неврология в Националния изследователски съвет на Италия, който не е участвал в проучването, описва изследването като завладяващо, тъй като разкрива кои части от невронната машина на човек обработват различни музикални характеристики. Освен това, той подчертава разликите в реакцията на мозъка на всеки човек към един и същ стимул, „придавайки стойност (и потенциално невронна основа) на променливостта на нашето възприятие“, каза той.
Имаше ли причина учените да изберат да проучат по-специално „Още една тухла в стената“?
„Мисля, че всички харесваме Pink Floyd“, каза Найт.