Vom 27. Januar bis zum 1. Februar 2019 trafen sich Musikwissenschaftler und Informatikforscher auf Schloss Dagstuhl, 2020 veröffentlichten sie nun ihre Gesänge für die Wissenschaft.
Für Computer stellt es eine enorme Herausforderung dar, das gesungene Wort, den Ausdruck und die Stimmung des Gesangs, oder eine gesungene Melodie zu erkennen, wenn das Signal mit anderen Klängen gemischt ist, etwa mit der Musik der Instrumente oder weiterem Gesang. Auch die künstliche Erzeugung von Gesang mittels Computer wird immer beliebter.
Um sich über Fortschritte in diesen Gebieten auszutauschen und Lösungen für Probleme zu finden, trafen sich vom 27. Januar bis zum 1. Februar 2019 insgesamt 32 Musikwissenschaftler und Informatikforscher aus 11 Ländern von 3 Kontinenten im nordsaarländischen Wadern im Leibniz-Zentrum für Informatik, Schloss Dagstuhl. Bei dieser Gelegenheit bildeten sie einen Chor und zeichneten systematisch Gesänge auf, um der Forschung einen Datensatz zur Verfügung zu stellen, der die Bedürfnisse dieser Forschung in den Vordergrund stellt. Dieses "Dagstuhl ChoirSet" wurde jetzt in der wissenschaftlichen Zeitschrift Transactions of the International Society for Music Information Retrieval veröffentlicht und ist frei zugänglich, etwa über https://www.audiolabs-erlangen.de/resources/MIR/2020-DagstuhlChoirSet.
Die Aufnahmen sind nicht zum Kunstgenuss vorgesehen, sondern sollen der Forschung zum Trainieren von Künstlichen Intelligenzen und zum Prüfen von Verfahren zur Gesangserfassung dienen. So wurde neben dem ganzen Chor auch jedes Chormitglied gleichzeitig mit mehreren verschiedenen Mikrofonen aufgezeichnet, auch per Kehlkopfmikrofon, wobei letzteres eine Aufnahme ohne Erfassung anderer Stimmen ermöglichte. Die Aufnahmen sind auf mehreren Spuren und synchronisiert, auch mit dem Notentext, was ideal für die Auswertung von Verfahren zur automatischen Transkription in Notentext oder zur automatischen Quellentrennung in einzelne Stimmen aus der Gesamtaufnahme ist. Der Laienchor lieferte natürlich keine perfekte Darbietung der Chorwerke, so dass auch Verfahren zur Erfassung, Analyse, und Korrektur von Intonationsabweichungen oder von Asynchronitäten im Tempo und zwischen den Einzelstimmen mit dem Datensatz arbeiten können.
Neben den Aufnahmen stellt das Dagstuhl ChoirSet auch Werkzeuge zum Zugang zu und zur Verarbeitung der Aufnahmen zur Verfügung. Als frei verfügbarer und sorgfältig annotierter und dokumentierter Datensatz liefert es einen wertvollen Beitrag für Forschung im Bereich der computer-gestützten Musikverarbeitung. Gerade im Zeitalter datengetriebener Lernverfahren wie deep learning lässt sich das Dagstuhl ChoirSet jetzt frei von jedermann zum Trainieren und Auswerten solcher Verfahren einsetzen.
Und mit all dieser Aufarbeitung und Zugänglichmachung kann der Dagstuhler Chorgesang aus dem letzten Jahr nun in diesem Jahr seine Reise um die Welt der Wissenschaft antreten.
Das Dagstuhl-Seminar "Computational Methods for Melody and Voice Processing in Music Recordings" wurde organisiert von:
- Emilia Gómez Gutierrez (UPF – Barcelona, Spanien),
- Meinard Müller (Universität Erlangen-Nürnberg, Deutschland) und
- Yi-Hsuan Yang (Academica Sinica – Taipei, Taiwan).
Eine ausführliche englische Beschreibung der Veranstaltung findet sich unter dagstuhl.de/19052 und im Seminarbericht https://doi.org/10.4230/DagRep.9.1.125. Der Datensatz wurde unter https://zenodo.org/record/3956666 veröffentlicht mit einer begleitenden Dokumentation unter https://doi.org/10.5334/tismir.48.
