Чрез изследване на мозъчната дейност на човек, изкуственият интелект (AI) може да произведе песен, която съответства на жанра, ритъма, настроението и инструментите на музиката, която индивидът наскоро е чул.
Учените преди това са „реконструирали“ други звуци от мозъчната дейност, като напр човешка реч, птича песен и цвилене на коне. Малко проучвания обаче са се опитали да пресъздадат музика от мозъчни сигнали.
Сега изследователите са изградили базиран на изкуствен интелект тръбопровод, наречен Brain2Music, който използва данни от изображения на мозъка, за да генерира музика, която прилича на кратки откъси от песни, които човек е слушал, когато мозъкът му е бил сканиран. Те описват тръбопровода в документ, публикуван на 20 юли в базата данни за предпечат arXivкойто все още не е рецензиран.
Учените са използвали мозъчни сканирания, които преди това са били събрани чрез техника, наречена функционален магнитен резонанс (fMRI), която проследява притока на богата на кислород кръв към мозъка, за да види кои региони са най-активни. Сканиранията бяха събрани от петима участници, докато слушаха 15-секундни музикални клипове, обхващащи редица жанрове, включително блус, класика, кънтри, диско, хип-хоп, джаз и поп.
Свързани: Нараняването на главата на музиканта предизвика рядка синестезия, карайки го да „вижда“ музика
Използвайки част от данните за изображения на мозъка и клипове от песни, изследователите първо обучиха програма с изкуствен интелект, за да открият връзки между характеристиките на музиката, включително използваните инструменти и нейния жанр, ритъм и настроение, и мозъчните сигнали на участниците. Настроението на музиката беше определено от изследователи, използвайки етикети като щастливо, тъжно, нежно, вълнуващо, ядосано или страшно.
Изкуственият интелект е персонализиран за всеки човек, като прави връзки между техните уникални модели на мозъчна активност и различни музикални елементи.
След като беше обучен на селекция от данни, AI можеше да преобразува останалите, невиждани преди това, мозъчни образни данни във форма, която представлява музикални елементи от оригиналните клипове на песни. След това изследователите подадоха тази информация в друг AI модел, разработен преди това от Google, наречен MusicLM. Първоначално MusicLM е разработен за генериране на музика от текстови описания, като например „успокояваща мелодия на цигулка, подкрепена от изкривен китарен риф“.
MusicLM използва информацията за генериране музикални клипове, които могат да се слушат онлайн и доста точно приличаше на оригиналните фрагменти от песни – въпреки че AI улови някои характеристики на оригиналните мелодии много по-добре от други.
„Съгласието по отношение на настроението на реконструираната музика и оригиналната музика беше около 60%“, каза съавторът на изследването Тимо Денк, софтуерен инженер в Google в Швейцария, пред Live Science. Жанрът и инструментариумът в реконструираната и оригиналната музика съвпадаха значително по-често, отколкото би се очаквало случайно. От всички жанрове AI можеше най-точно да различи класическата музика.
„Методът е доста стабилен в петте обекта, които оценихме“, каза Денк. „Ако вземете нов човек и обучите модел за него, вероятно това също ще работи добре.“
В крайна сметка, целта на тази работа е да хвърли светлина върху това как мозъкът обработва музиката, каза съавторът Ю Такагиасистент професор по изчислителна неврология и AI в университета в Осака в Япония.
Както се очакваше, екипът установи, че слушането на музика активира мозъчни области в първичната слухова кора, където сигналите от ушите се интерпретират като звуци. Друга област на мозъка, наречена страничен префронтален кортекс, изглежда е важна за обработката на смисъла на песните, но това трябва да бъде потвърдено от допълнителни изследвания, каза Такаги. Известно е също, че този регион на мозъка участва в планиране и решаване на проблеми.
Интересното е, че минало проучване установи, че активността на различни части на префронталния кортекс драстично се променя, когато фрийстайл рапърите импровизират.
Бъдещи проучвания биха могли да изследват как мозъкът обработва музика от различни жанрове или настроения, добави Такаги. Екипът също така се надява да проучи дали изкуственият интелект може да реконструира музика, която хората само си представят в главите си, вместо да я слушат в действителност.