Teil unseres Überblicks über Begriffe der Notation.
Eine gesungene Melodie besteht aus einem Ton nach dem anderen, und das kann Software schon seit Jahren verfolgen. Beim Klavier sieht die Sache ganz anders aus. Da klingen fünf, sechs oder acht Töne gleichzeitig, eine Hand hält einen Akkord, während die andere eine Linie dazu spielt, und alles verschwimmt zu einem einzigen Klang. Einem Computer beizubringen, diesen Klang wieder in einzelne notierte Töne zu zerlegen, ist die eigentliche Schwierigkeit der Musiktranskription. Am Klavier misst sich deshalb das ganze Forschungsfeld.
Um zu verstehen, wie polyphone Klaviertranskription funktioniert, brauchst du kein Vorwissen, nur drei Zusammenhänge: warum gleichzeitige Töne so schwierig sind, wie ein modernes Modell einen Akkord liest und warum du mit einer sauberen Klavieraufnahme das beste Ergebnis bekommst.
Was polyphone Transkription bedeutet
Polyphon heißt mehrstimmig. Bei der polyphonen Transkription schreibt man aus einer Aufnahme, in der mehrere Töne gleichzeitig klingen, jeden einzelnen Ton auf. Das Gegenstück ist die monophone Transkription einer einzelnen Linie, in der immer nur ein Ton klingt. Die ist viel einfacher, weil sich nie die Frage stellt, wie viele Töne gerade klingen. Mehr zu diesem Unterschied steht in unserem Artikel über monophone und polyphone Transkription. Klaviermusik ist Polyphonie in ihrer dichtesten Form, mit dichten Akkorden, sich überlagernden Linien und einem Haltepedal, das alles ineinanderlaufen lässt.
Warum gleichzeitige Töne so schwierig sind
Ein einzelner Ton besteht nicht aus einer einzigen Frequenz. Er setzt sich aus einem Grundton und einer ganzen Reihe von Obertönen zusammen, der Obertonreihe, und genau die gibt dem Ton seine Klangfarbe. Spielst du einen einzelnen Ton, kann ein System den Grundton finden und die Tonhöhe ablesen. Spielst du mehrere gleichzeitig, landen ihre Obertonreihen übereinander, und damit fangen die Probleme an.
- Gemeinsame Obertöne. Töne im Abstand einer Quinte oder Oktave haben viele Obertöne gemeinsam. Was für den einen Ton spricht, sieht deshalb aus wie ein Hinweis auf den anderen.
- Das Oktavproblem. Ein Ton und der Ton eine Oktave höher teilen fast alle Obertöne. Deshalb sind hinzugedichtete oder falsch gesetzte Oktaven der klassische Fehler bei polyphoner Musik.
- Töne zählen. Bevor das System Tonhöhen benennen kann, muss es erst einmal entscheiden, wie viele Töne überhaupt klingen. Eine leise Mittelstimme kann sich dabei unter einer lauten Außenstimme verstecken.
- Verschwommene Tonanfänge. Wann genau jeder Ton beginnt, ist schwer zu bestimmen, wenn mehrere fast im selben Moment einsetzen und das Pedal frühere Töne weiterklingen lässt.
Wie eine KI einen Akkord liest
Moderne Systeme lernen diese Aufgabe, statt einem von Hand gebauten Regelwerk zu folgen. Ein neuronales Netz wird mit sehr viel Audio trainiert, zu dem die tatsächlich gespielten Töne bekannt sind. So lernt es die echte Klangfarbe eines Klaviers kennen: wie sich seine Obertöne verhalten, wie sich laute und leise Töne unterscheiden und wie ein angeschlagener Ton ausklingt. Um eine Aufnahme zu lesen, zerlegt das Modell das Audio in viele kurze Zeitabschnitte und schätzt für jeden davon, welche Tonhöhen gerade klingen und wo Töne beginnen. Aus diesen Schätzungen entstehen anschließend einzelne Töne mit Anfang, Tonhöhe und Notenwert, die als Noten dargestellt werden. Weil das Modell so viel echtes Klavier gehört hat, kann es den musikalischen Zusammenhang nutzen, etwa was vorher kam und was typischerweise zusammengehört. Damit löst es Mehrdeutigkeiten auf, an denen eine naive Frequenzanalyse scheitert. Das Ganze ähnelt eher der Art, wie geübte Musiker:innen einen Akkord hören, als einem Rechner, der Frequenzen abliest.
Warum das Klavier der Maßstab ist
An keinem Instrument hat die Forschung so intensiv gearbeitet wie am Klavier, und das hat gute Gründe. Es hat die dichteste Polyphonie unter den gängigen Instrumenten, seine Töne setzen klar und gleichmäßig ein und klingen vorhersehbar aus, und es gibt jede Menge Daten zum Lernen. Deshalb ist die Transkription beim Klavier heute am weitesten fortgeschritten, und auch in Songscription ist das Klaviermodell das ausgereifteste. Aus einer sauberen Solo-Klavieraufnahme entsteht ein Ergebnis, das dem sehr nahekommt, was ein erfahrener Mensch beim Transkribieren aufschreiben würde, einschließlich der Mittelstimmen, die man mit bloßem Ohr nicht heraushören kann. Wie weit das bei echter Musik schon trägt, zeigen unsere Artikel zum Transkribieren von Klaviermusik mit KI und zum Transkribieren von Jazz-Akkorden am Klavier.
Was die Genauigkeit beeinflusst und wie du nachhelfen kannst
Den größten Einfluss hat die Aufnahme. Ein sauberes, isoliertes und eher trockenes Soloklavier liefert dem Modell die klarsten Anhaltspunkte. Viel Hall und viel Haltepedal lassen die Harmonien verschwimmen und verursachen die meisten Fehler, die du sehen wirst. Hast du das Stück auf einem Digitalpiano gespielt, nimm direkt das MIDI auf. Dann bekommst du exakte Notendaten und umgehst das Audioproblem ganz.
Nach der Transkription prüfst du die dichten Stellen am besten in der Piano Roll. Dort ist jeder Ton ein eigener Block. Ein Oktavfehler oder ein überzähliger Ton springt sofort ins Auge und lässt sich leicht an die richtige Stelle ziehen. Wie dieses Raster aussieht, zeigt unser Artikel darüber, wie du Audio in eine Piano Roll umwandelst. Die übrigen Faktoren erklärt unser Artikel dazu, warum die Genauigkeit von KI-Transkriptionen schwankt. Um mehrere verschiedene Instrumente gleichzeitig geht es in Kann KI mehrere Instrumente gleichzeitig transkribieren?. Und wenn du es mit deinem eigenen Spiel ausprobieren willst, fang mit der Klaviertranskription an.
Häufige Fragen
Was ist polyphone Klaviertranskription?
Bei der polyphonen Klaviertranskription wird eine Aufnahme, in der viele Töne gleichzeitig klingen, also die Akkorde und die ineinanderlaufenden Linien eines Klaviers, vollständig in Noten aufgeschrieben. Polyphon heißt, dass mehrere Tonhöhen gleichzeitig erklingen. Bei monophoner Musik klingt dagegen immer nur ein Ton auf einmal. Schwieriger als eine einzelne Melodie ist das, weil die Töne im selben Moment klingen und sich ihre Obertöne überlagern. Das System muss also entscheiden, wie viele Töne da sind und welche Tonhöhen sie haben.
Warum sind Akkorde schwerer zu transkribieren als eine einzelne Melodie?
In einer einzelnen Melodie klingt immer nur eine Tonhöhe auf einmal, das System muss also nur eine Grundfrequenz verfolgen, während sie sich bewegt. In einem Akkord liegen mehrere Töne übereinander, und ihre Obertöne überlagern und verstärken sich gegenseitig. Was auf den einen Ton hindeutet, kann deshalb genauso gut zu einem anderen passen. Das System muss zählen, wie viele Töne klingen, und auseinanderhalten, welcher Oberton zu welcher Tonhöhe gehört, und das alles im selben Augenblick. Dieses Zählen und Entwirren trotz Überlagerung macht Polyphonie zum schwierigen Teil der Transkription.
Wie entstehen Oktavfehler bei der Transkription?
Oktavfehler entstehen, weil ein Ton und der Ton eine Oktave darüber die meisten ihrer Obertöne gemeinsam haben. Die Obertonreihe eines tiefen C deckt sich weitgehend mit den Obertönen des C darüber. Ein System kann einen Ton deshalb eine Oktave zu hoch oder zu tief setzen oder eine Oktave hinzufügen, die gar nicht gespielt wurde. Modelle machen solche Fehler seltener, weil sie die Klangfarbe des Instruments und den musikalischen Zusammenhang lernen. Trotzdem gehören Oktaven bei einer polyphonen Transkription zu den Stellen, die du am häufigsten kurz prüfen und korrigieren musst.
Wie bekomme ich eine möglichst genaue polyphone Transkription?
Gib dem Modell die sauberste und am besten isolierte Klavieraufnahme, die du hast. Ist die Solo-Klavieraufnahme klar, hat sie wenig Hall und keine anderen Instrumente, kann das Modell auch die Mittelstimmen genau erkennen. Viel Haltepedal lässt die Harmonien ineinanderlaufen und ist die häufigste Fehlerquelle. Eine trockenere Aufnahme hilft deshalb. Hast du das Stück auf einem Digitalpiano gespielt, nimm direkt das MIDI auf. Dann hast du exakte Notendaten und umgehst das Audioproblem komplett. Schau dir nach der Transkription dichte Akkorde in der Piano Roll an. Dort fallen Oktavfehler und überzählige Töne schnell auf und lassen sich leicht korrigieren.
