音楽の記譜用語ガイドの関連記事です。
歌の単旋律では、一度に一つの音が鳴ります。ソフトウェアは以前から、その音を追えました。ピアノでは事情が違います。5音、6音、8音が同時に鳴り、片手でコードを押さえながら、もう片方の手でその中を動く旋律を弾きます。音は重なり、一つの響きになります。そこから個々の音を取り出して楽譜に書き起こすことは、コンピューターによる採譜の大きな難題です。ピアノは、この分野の技術を測る基準にもなっています。
ポリフォニックな採譜とは
「ポリフォニック」は、複数の音が同時に鳴ることを指します。ポリフォニックな採譜では、そのようなオーディオから音を一つずつ取り出し、すべて楽譜に書き起こします。対照的なのが、一度に一つの音しか鳴らない単旋律を扱うモノフォニックな採譜です。音の数を判断する必要がないので、こちらのほうがずっと簡単です。違いについてはモノフォニックとポリフォニックの採譜でも説明しています。
ピアノ曲には、密集したコードや重なり合う旋律があり、サスティンペダルによって音がさらに混ざり合います。ポリフォニックな音楽の特徴が詰まっています。
同時に鳴る音の採譜はなぜ難しいのか
一つの音は、一つの周波数だけでできているわけではありません。基音に倍音が積み重なり、その倍音列が音色を作ります。一音だけなら、システムは基音を見つけてピッチを読み取れます。複数の音が同時に鳴ると、それぞれの倍音が重なり、判別が難しくなります。
- 共通する倍音。 5度や1オクターブ離れた音は多くの倍音を共有するので、ある音の手がかりが別の音のものにも見えます。
- オクターブの問題。 ある音とその1オクターブ上の音は、倍音のほとんどを共有します。弾いていないオクターブの音が加わったり、音が別のオクターブに置かれたりするのは、ポリフォニックな採譜によくある誤りです。
- 音の数。 システムはピッチを特定する前に、何個の音が鳴っているかを判断しなければなりません。内側の声部の小さな音が、外側の大きな音に隠れることもあります。
- 音の始まりの重なり。 複数の音がほぼ同時に始まり、ペダルでそれ以前の音も響き続けていると、一つひとつの音がいつ始まったかを正確に見分けるのは難しくなります。
AIはコードをどう読み取るのか
現在のシステムは、人が作った規則を一つずつ当てはめる代わりに、学習によって音を読み取ります。ニューラルネットワークに、大量のオーディオとそれに対応する正解の音符を組にして学習させます。モデルは、倍音の振る舞い、強い音と弱い音の違い、打鍵後に音が減衰する様子など、ピアノの実際の音色を覚えます。
録音を読み取るときは、オーディオを短いフレームに細かく分け、それぞれのフレームで鳴っているピッチと音の始まりを推定します。フレームごとの判断をつなぎ合わせ、開始位置、ピッチ、長さを持つ個々の音符にして、楽譜に並べます。
モデルは大量の実際のピアノ音を学んでいるので、直前に何が鳴ったか、どの音が一緒に鳴りやすいかといった前後の音のつながりも手がかりにできます。単純な周波数分析では判断できない曖昧な箇所も、そうして読み取ります。周波数を計算するだけというより、訓練を積んだ演奏者がコードを聴くやり方に近いものです。
なぜピアノが基準になるのか
この分野で最も力を注いで研究されてきた楽器はピアノです。一般的な楽器の中でも同時に鳴る音が特に密集している一方、音の始まりは明瞭で安定しており、減衰も予測しやすい特徴があります。学習に使えるデータも豊富です。
こうした条件がそろい、ピアノの採譜技術は最も成熟しています。Songscriptionでも、ピアノのモデルの開発が最も進んでいます。クリアなピアノソロの録音なら、熟練した採譜者が書くものに近い結果が得られます。聴き手が耳では聞き分けられない内側の声部も含まれます。AIでピアノ曲を採譜する方法とジャズピアノのコードを採譜する方法では、実際の曲での採譜を紹介しています。
精度に影響するものと、精度を上げる方法
精度を左右する一番の要素は録音です。ピアノだけをクリアに録音し、残響を抑えると、モデルは音を読み取りやすくなります。リバーブやサスティンペダルを多用するとコードが混ざり合い、誤りの多くはそこから生じます。電子ピアノで弾いた曲なら、MIDIを直接記録すれば完全な音符データが得られ、オーディオの解析を経ずに済みます。
採譜後は、音が密集した箇所をピアノロールで確認するのがおすすめです。音符が一つずつブロックで表示されるので、オクターブの誤りや余分な音が目につきやすく、ドラッグして修正できます。オーディオをピアノロールに変換する方法で、その画面を確認できます。ほかの要因については、AI採譜の精度が変わる理由で説明しています。
異なる楽器が複数同時に鳴る録音については、AIは複数の楽器を同時に採譜できるかを参照してください。自分の演奏で試すときは、ピアノの採譜から始められます。
よくある質問
ポリフォニックなピアノの採譜とは何ですか？
ポリフォニックなピアノの採譜とは、複数の音が同時に鳴る録音から、コードや重なり合う旋律の音をすべて楽譜に書き起こすことです。「ポリフォニック」は複数の音が同時に鳴ることを指し、一度に一つの音だけが鳴る「モノフォニック」とは対照的です。音が同じ時に鳴り、倍音も重なるため、システムは何個の音が鳴っているか、それぞれのピッチは何かを判断しなければなりません。その分、単旋律の採譜より難しくなります。
コードの採譜は単旋律よりなぜ難しいのですか？
単旋律では一度に一つの音が鳴るので、システムは移り変わる一つの基音の周波数を追えば済みます。コードでは複数の音の倍音が重なって強め合うため、ある音の手がかりが別の音の手がかりに見えることがあります。システムは同じ瞬間に鳴っている音の数を数え、どの倍音がどのピッチに属するかを見分けなければなりません。この作業がポリフォニックな採譜を難しくしています。
採譜でオクターブの誤りが起きるのはなぜですか？
ある音とその1オクターブ上の音は、倍音の大部分が共通しています。低いドの倍音列は、その上のドの倍音とかなり重なります。そのため、システムが音を1オクターブ高く、または低く書いたり、弾いていないオクターブの音を追加したりすることがあります。モデルは楽器の音色や前後の音のつながりを学んで誤りを減らしますが、ポリフォニックな採譜ではオクターブの誤りを確認して修正することがよくあります。
ポリフォニックな採譜の精度を上げるにはどうすればいいですか？
できるだけクリアで、ピアノの音だけが入った録音を使います。リバーブが少なく、ほかの楽器が入っていないピアノソロの録音なら、モデルは内側の声部も正確に読み取りやすくなります。サスティンペダルを多用するとコードが混ざり合い、誤りの最も多い原因になるので、残響の少ない録音が役立ちます。電子ピアノで弾いた曲なら、MIDIを直接記録すれば完全な音符データが得られ、オーディオの解析を経ずに済みます。採譜後は、ピアノロールで音が密集したコードを確認してください。オクターブの誤りや余分な音を見つけて修正しやすくなります。
