Alles digital! Erstellung und Analyse digitaler Musikdaten

(Jörg Mühlhans)

Die Aktie von Nvidia geht durch die Decke und mittlerweile weiß jeder Mensch, was „ChatGPT“ ist – KI/AI ist in aller Munde. Die große Mehrheit aller „Apps“ – wie man Software heute so schön nennt – nutzt künstliche Intelligenz in irgendeiner Form für die Ausführung bestimmter Aufgaben. Meist laufen diese im Hintergrund und wir haben nicht die geringste Ahnung, was die diversen KIs eigentlich überhaupt machen. Das zu verstehen wäre auch schier unmöglich, handelt es sich doch oft sogar um „Blackboxes“, bei denen nicht einmal die Entwickler so genau wissen, was im Inneren eigentlich passiert (sehr wohl aber wie es passiert).

Als Anwender:innen kratzen wir gerade mal an der Oberfläche und müssen versuchen, zwischen euphorischen Aufrufen zu den schier unendlichen Möglichkeiten von KI und den donnernden Zeigefingern über die Datensicherheit irgendwie zu navigieren. „The Future is now“ und wir sind mittendrin, eine Vermeidung des Themas ist ausgeschlossen, soviel ist mal sicher.

Während „Data Mining“ bzw. „Music Information Retrieval“ in der musikpsychologischen Forschung mittlerweile flächendeckend Einzug gefunden hat, müssen wir auch zur Kenntnis nehmen, dass diese Technologien ihre Wurzeln im vergangenen Jahrtausend haben – um es mal dramatisch auszudrücken. Das könnte man zwar auf der Suche nach den historischen Wurzeln der künstlichen Intelligenz auch sagen, dennoch sollten wir sehen, dass wir seit erst einigen Jahren durch deep learning, LLMs und dergleichen in ganz andere Sphären vorgedrungen sind – mittlerweile schreiben uns KIs ganze Musikstücke und Menschen sind, wie erste Studien zeigen, immer weniger in der Lage, menschengemachte Musik von KI-Musik zu unterscheiden (ausführliche Links folgen).

Was nun? Wir sehen wachsende Märkte im Bereich KI, dessen kann sich auch Wissenschaft und Forschung nicht entziehen. Eine große Vorsicht in Einsatz und Umgang mit KI und den daraus resultierenden Daten ist selbstverständlich oberstes Gebot. Man muss nicht auf jeden vermeintlich vielversprechenden Zug sofort aufspringen, dennoch sollten wir auch nicht jeder Möglichkeit winkend hinterherblicken, denn auch in der Wissenschaft bringen uns KIs gute Möglichkeiten, z.B. wenn es um die Erschließung neuer Möglichkeiten zur Datenerfassung und -verarbeitung geht aber auch ganz allgemein um das Bewältigen sehr großen Datenmengen.

Im Workshop werden einige sehr einfache und niederschwellige Möglichkeiten vorgestellt, aus Musik und musikbezogenen Daten Parameter zu extrahieren, die uns möglicherweise neue Korrelate liefern können, um das Verständnis um Musik und ihre Wirkung in alle erdenklichen Richtungen zu beleuchten.

Arbeitsmaterial

Im Workshop könnt ihr (müsst natürlich nicht) direkt mit einem Laptop mitarbeiten, dafür brauchen wir ein wenig Software und auch Arbeitsmaterial. Ich stelle euch in den Links alle wichtigen Downloads, Tutorials und Materialien zur Verfügung. Falls ihr gerade mit dem Analysieren eigener Stimuli beginnen wollt, könnt ihr die selbstverständlich am Laptop einfach als MP3 oder Wave-Datei mitnehmen, und die statt meiner Beispiele verwenden. Die Zeit wird ja nicht allzu viel zulassen aber ich werde versuchen so viele Themen wie möglich abzudecken. Daher bitte Software schon vorab installieren, nicht erst im Workshop 😉

Links

Musikbeispiele
Hier sind ein paar Musikbeispiele zum Ausprobieren im Workshop. Ihr könnte natürlich auch eigene Audiodateien mitbringen.
musikbeispiele.zip (30 Mb)

Audacity
Das ist ein Audio-Editor bzw. eine Digital Audio Workstation (DAW), die neben der Audiobearbeitung auch einfache Analysen bzw. Visualisierungen ermöglicht und auch mit Plugins funktioniert. (Bitte nicht von Audacity.de runterladen, das ist nicht die offizielle Seite!)
https://www.audacityteam.org/

Praat
Diese Software wurde primär zur Stimm-/Sprachanalyse entwickelt, kann aber selbstverständlich auch für Musik verwendet werden. Besonders eignet sie sich für Formant-, Intonations- oder Tonhöhenanalysen in den Vocals von Musikstücken.
https://www.fon.hum.uva.nl/praat/
https://praatpfanne.lingphon.net/das-praat-handbuch/

Python & Anaconda
Für Music Information Retrieval (MIR) eignet sich Python besonders gut, da man viele Packages hier verwenden kann, die wirklich komplexe Analysen von Musikstücken oder anderen Audiofiles erlauben (z.B. Librosa, Essentia, Aubio, Madmon uvm.) Und das Beste: Es ist nicht kompliziert! Wir werden das im n00b-Mode machen. Bisschen Computerverständnis braucht man aber sonst… null Vorwissen, weil wir lassen für uns arbeiten:
https://www.python.org/
https://www.anaconda.com/

ChatGPT
Hier braucht ihr einen Account, denn wir werden tatsächlich ohne jemals eine Zeile Code in Python geschrieben zu haben oder zu wissen wie man es überhaupt verwendet, den Eingabecode einfach von der KI schreiben lassen und nur mit Copy&Paste in Python einfügen und schauen was geht 🙂 Work smarter, not harder…
https://chatgpt.com/

Cyanide & Sonoteller (Online AI Tools)
Diese beiden Online-Tools werden uns einige neue – wenn auch noch sehr unausgereifte – Analysemöglichkeiten zugänglich machen, die sehr nützlich sein können aber auch durchaus kritisch betrachtet werden dürfen (erfordert Account).
https://app.cyanite.ai/
https://sonoteller.ai/

Sines-Tools (online, keine Installation)
Wer auf der DGM2023 war, hat sie im Feuerwerk des Abschlussvortrags von Christoph Reuter schon erlebt: Die Sammlung von Tools für alle erdenklichen Audioanalysen, für die man Files einfach hochladen und analysieren kann. Einfacher geht es wirklich nicht mehr!
https://sinestools.univie.ac.at/

ISMIR (nur als Ressource)
Die International Society for Music Information Retrieval ist eine Gesellschaft wie die DGM, die sich auf MIR spezialisiert und ebenfalls jährlich eine Konferenz veranstaltet, zu der es auch Proceedings gib. Sie ist eine gute Quelle für MIR-Tools aller Plattformen.
https://www.ismir.net/resources/software-tools/