Googles Verstand

Künstliche Intelligenz kann Musik erzeugen, die den Melodien ähnelt, die Menschen hörten, als ihre Gehirne gescannt wurden, wie eine gemeinsame Studie von Google und der Universität Osaka zeigt.

Durch die Untersuchung der Gehirnaktivität einer Person kann künstliche Intelligenz (KI) ein Lied produzieren, das dem Genre, dem Rhythmus, der Stimmung und der Instrumentierung der Musik entspricht, die die Person kürzlich gehört hat.

Wissenschaftler haben zuvor andere Geräusche aus der Gehirnaktivität „rekonstruiert“, etwa menschliche Sprache, Vogelgesang und Pferdewiehern. Allerdings haben nur wenige Studien versucht, Musik aus Gehirnsignalen nachzubilden.

Jetzt haben Forscher eine KI-basierte Pipeline namens Brain2Music entwickelt, die Bilddaten des Gehirns nutzt, um Musik zu erzeugen, die kurzen Ausschnitten von Liedern ähnelt, die eine Person hörte, als ihr Gehirn gescannt wurde. Sie beschrieben die Pipeline in einem Papier, das am 20. Juli in der Preprint-Datenbank arXiv veröffentlicht wurde und noch nicht von Experten begutachtet wurde.

Die Wissenschaftler verwendeten Gehirnscans, die zuvor mit einer Technik namens funktioneller Magnetresonanztomographie (fMRT) erfasst wurden, die den Fluss von sauerstoffreichem Blut zum Gehirn verfolgt, um zu sehen, welche Regionen am aktivsten sind. Die Scans wurden von fünf Teilnehmern gesammelt, während sie 15-sekündige Musikclips aus verschiedenen Genres hörten, darunter Blues, Klassik, Country, Disco, Hip-Hop, Jazz und Pop.

Verwandt:Die Kopfverletzung des Musikers löste eine seltene Synästhesie aus, die dazu führte, dass er Musik „sah“.

Anhand eines Teils der Bilddaten des Gehirns und von Liedausschnitten trainierten die Forscher zunächst ein KI-Programm, um Zusammenhänge zwischen Merkmalen der Musik, einschließlich der verwendeten Instrumente und ihrem Genre, Rhythmus und Stimmung, und den Gehirnsignalen der Teilnehmer zu finden. Die Stimmung der Musik wurde von den Forschern anhand von Bezeichnungen wie fröhlich, traurig, zärtlich, aufregend, wütend oder beängstigend definiert.

Die KI wurde für jede Person angepasst und stellte Verbindungen zwischen ihren einzigartigen Gehirnaktivitätsmustern und verschiedenen musikalischen Elementen her.

Nachdem die KI anhand einer Auswahl von Daten trainiert wurde, konnte sie die verbleibenden, bisher ungesehenen Bilddaten des Gehirns in eine Form umwandeln, die musikalische Elemente der ursprünglichen Songclips darstellte. Diese Informationen speisten die Forscher dann in ein anderes zuvor von Google entwickeltes KI-Modell namens MusicLM ein. MusicLM wurde ursprünglich entwickelt, um Musik aus Textbeschreibungen zu generieren, beispielsweise „einer beruhigenden Geigenmelodie, untermalt von einem verzerrten Gitarrenriff“.

MusicLM nutzte die Informationen, um Musikclips zu generieren, die online angehört werden können und den ursprünglichen Songausschnitten ziemlich genau ähnelten – obwohl die KI einige Merkmale der Originalmelodien viel besser erfasste als andere.

„Die Übereinstimmung in Bezug auf die Stimmung der rekonstruierten Musik und der Originalmusik lag bei etwa 60 %,“ sagte der Co-Autor der Studie, Timo Denk, ein Softwareentwickler bei Google in der Schweiz, gegenüber WordsSideKick.com. Genre und Instrumentierung in der rekonstruierten und der Originalmusik stimmten deutlich häufiger überein, als man zufällig erwarten würde. Von allen Genres konnte die KI klassische Musik am genauesten unterscheiden.

„Die Methode ist bei den fünf von uns untersuchten Probanden ziemlich robust“, sagte Denk. „Wenn man eine neue Person nimmt und ein Modell für sie ausbildet, ist es wahrscheinlich, dass es auch gut funktioniert.“

—Wie wirkt sich Musik auf Ihr Gehirn aus?

—Ärzte hörten Musik, als sie den Puls eines Mannes überprüften. Hier ist der Grund.

– Wissenschaftler entwickeln einen Algorithmus, der die Gedanken von Menschen aus Gehirnscans „liest“.

Letztendlich sei es das Ziel dieser Arbeit, Aufschluss darüber zu geben, wie das Gehirn Musik verarbeitet, sagte Co-Autor Yu Takagi, Assistenzprofessor für Computational Neuroscience und KI an der Universität Osaka in Japan.

Wie erwartet stellte das Team fest, dass das Hören von Musik Gehirnregionen im primären auditorischen Kortex aktiviert, wo Signale von den Ohren als Geräusche interpretiert werden. Eine andere Region des Gehirns, der sogenannte laterale präfrontale Kortex, scheint für die Verarbeitung der Bedeutung von Liedern wichtig zu sein, dies muss jedoch durch weitere Forschung bestätigt werden, sagte Takagi. Es ist bekannt, dass diese Gehirnregion auch an der Planung und Problemlösung beteiligt ist.

Interessanterweise ergab eine frühere Studie, dass sich die Aktivität verschiedener Teile des präfrontalen Kortex dramatisch verändert, wenn Freestyle-Rapper improvisieren.

Zukünftige Studien könnten untersuchen, wie das Gehirn Musik verschiedener Genres oder Stimmungen verarbeitet, fügte Takagi hinzu. Das Team hofft auch zu untersuchen, ob KI Musik rekonstruieren kann, die sich Menschen nur im Kopf vorstellen, anstatt sie tatsächlich zu hören.

Bleiben Sie über die neuesten wissenschaftlichen Nachrichten auf dem Laufenden, indem Sie sich für unseren Essentials-Newsletter anmelden.

Carissa Wong ist eine freiberufliche Reporterin, die in Zusammenarbeit mit der University of Bristol in Krebsimmunologie an der Cardiff University promoviert hat. Zuvor war sie Mitarbeiterin der Zeitschrift New Scientist und befasste sich mit den Themen Gesundheit, Umwelt, Technologie, Natur und antikes Leben. Außerdem hat sie für MailOnline geschrieben.

Es wurde bestätigt, dass seltsame, doppelseitige Gehirnzellen existieren, die möglicherweise eine Rolle bei Schizophrenie spielen

Kugelförmige „Minigehirne“, die auf der Internationalen Raumstation gezüchtet werden sollen

Antikes römisches Boot von der Grenze des Imperiums in serbischer Kohlenmine ausgegraben

Von Lloyd Coombes, 4. August 2023

Von Robert Lea, 4. August 2023

Von Sascha Pare 04. August 2023

Von Stephanie Pappas 3. August 2023

Von Jennifer Nalewicki 3. August 2023

Von Rebecca Sohn 3. August 2023

Von Jennifer Nalewicki 3. August 2023

Von Jamie Carter, 3. August 2023

Von Kristina Killgrove 3. August 2023

Von Kiley Price, 3. August 2023

Von Robert Lea, 3. August 2023