スピーカーにスマートフォンを向けると、数秒でShazamが曲名とアーティスト名を教えてくれます。登場したころはSFのように感じられた機能も、いつの間にか当たり前になりました。聴くだけなら、曲名が分かれば用は済むかもしれません。楽器を弾く人なら、その曲の弾き方も知りたくなります。曲名を調べるより難しかったことが、ようやくできるようになってきました。
Shazamで分かること、分からないこと
Shazamは、音声の特徴を指紋のように照合する仕組みで動いています。数秒の音声から特徴的な点を取り出して、小さなパターンにまとめます。そのパターンを、登録済みの録音から集めた膨大なデータベースと照合します。一致するものが見つかると、曲名、アーティスト名、アルバム名を返します。
ただ、音楽として何が鳴っているのかを聴き取っているわけではありません。メロディーもコードもキーも、一つひとつの音も分かっていません。照合の仕組みが優れているので、登録された曲の名前は探せます。一方、自分で口ずさんだメロディーについて教えてもらうことはできません。どんな音をどの順番で弾くのかも分かりません。
曲の弾き方を調べる難しさ
録音から演奏する音を読み取って楽譜にする作業を「採譜」といいます。曲名を探すより難しく、データベースから答えを取り出すわけにはいきません。ソフトウェアが録音を聴き、メロディーと伴奏を分けます。いくつもの音が重なっているところで何の音が鳴っているかを読み取り、リズムやキーを判断して、楽譜にまとめます。録音同士を照合するより、訓練を積んだミュージシャンがヘッドフォンで聴き、一時停止しながら耳コピする作業に近いものです。
長い間、これを十分な精度で自動化するのは困難でした。曲を覚えるには、時間をかけて耳コピするか、楽譜が売られていれば買うのが普通でした。今では、採譜専用に作られたモデルが、下書きのかなりの部分を自動で作れます。Songscriptionも、そのために作られました。
インストールは不要です。ブラウザーで録音を送ると、選んだパートを分離し、音を楽譜とピアノロールにして返します。その過程でコードも検出します。録音を聴いて自力で音を探さなくても、何を弾けばよいかを見て確かめられます。
楽譜版Shazam。ただし、結果の捉え方は違います
私たちはSongscriptionを、楽譜版Shazamと説明しています。ただ、結果の捉え方には違いがあります。Shazamの場合は、音声の特徴が一致するかどうかで、曲名が正しいか間違っているかが決まります。採譜では、録音から音楽を読み取るため、元の音によって精度が変わります。
Songscriptionのモデルは、音声認識用のモデルを転用したものではありません。実際の音楽演奏を使い、最初から採譜のために学習させています。音がクリアで、同時に鳴る音が少ない録音なら、きれいに採譜できます。多くの音を重ねて加工した録音では読み取りが難しくなり、直したいところが残ります。1回の操作で完璧な楽譜ができる、と約束するものではありません。編集できる下書きを1〜2分で受け取り、録音を聴きながら修正して使います。
聴くしかなかった録音に、目で追えて、再生速度を落とせて、実際に弾ける下書きが加わると、曲をさらい始めるまでの手間が大きく減ります。音声ファイルを前に音を探すところから、楽器に向かって一つひとつの音を弾くところへ進めます。どんな録音なら精度が高く、どんなところで間違いやすいかは、AI採譜の精度に期待できることで詳しく書いています。こうした道具を使うと、演奏する人には何が残るのか。AIを使っても人が担う音楽の部分では、そのことを考えています。
曲を見つける技術から、音楽を読み取る技術へ
検索やおすすめ、Shazamなど、これまでの音楽技術は、曲を探したり、曲名を調べたりするのに役立ってきました。今は、音楽を理解して自分で作るための技術も進んでいます。録音を聴くだけでなく、音を目で追い、覚え、変え、自分で弾くためにも技術を使えるようになりました。
スピーカーにスマートフォンを向けながら、弾き方まで分かればと思ったことがあるなら、今はそれも調べられます。好きな曲のほとんどを、演奏に使える楽譜にできます。Anything Pianoでは、録音を楽譜ではなくピアノロールにします。どのピアノでも、曲を弾くとその音を聴き取り、どの音を弾いたかを示します。ピアノロールには指番号も表示されるので、それぞれの音をどの指で弾くかが分かります。
よくある質問
楽譜版のShazamはありますか？
近いものはありますが、Shazamとは仕組みが違います。Shazamは短い音声から特徴を取り出し、データベースと照合します。曲名とアーティスト名は分かりますが、どんな音を弾けばよいかは分かりません。録音から楽譜を作る処理は「採譜」と呼ばれ、曲名を探すより複雑です。ソフトウェアが録音を聴き、音の高さやリズムを読み取って楽譜に書き起こします。Songscriptionもその一つです。音声ファイルやリンクを送ると、演奏に使える楽譜やピアノロール、コードが得られます。
曲名を調べるより、弾き方を調べるほうが難しいのはなぜですか？
曲名を特定するには、音声に固有の特徴を、登録済みの録音と照合するだけで済みます。音楽の内容を理解する必要はありません。弾き方を示すには、楽器の音が重なった録音から一つひとつの音を取り出し、メロディーとハーモニーを分け、リズムやキーを判断する必要があります。音そのものを分析するので、登録済みの情報を探す処理より難しくなります。そのため、採譜の結果は、最初から間違いのない楽譜ではなく、手直しして使う下書きと考えるのが現実的です。
AIはどんな曲でもコードや音符を調べられますか？
ほとんどの録音からコードや音符を取り出せますが、精度は元の録音によって変わります。音がクリアで、同時に鳴る音が少ない録音は採譜しやすくなります。多くの音を重ねて加工した録音は難しく、修正も多く必要です。最初から間違いのない楽譜を期待するより、音符とコードの下書きを受け取り、録音と聴き比べて直すものと考えてください。完全でなくても、再生速度を落として聴いたり、実際に弾いたりできる下書きがあれば、曲を覚えるときの大きな助けになります。
次に頭から離れない曲ができたら、曲名だけでなく、弾き方も確かめられます。
