資料採譜Andrew Carlins•読むのに約9分

AIは複数の楽器を同時に採譜できますか?

SongscriptionのMulti-Instrumentモードなら、複数の楽器が入った録音を一度で採譜できます。聴き取った楽器ごとに、別のパートができます。ただ、同時に鳴る音を聴き取ることと、楽器を聴き分けることでは、必要な処理が違います。その違いが分かると、単一楽器モードを選ぶほうがよい場面も見えてきます。

AIは複数の楽器を同時に採譜できますか?

バンド全体を採譜するガイドの関連記事です。

ドラムもベースもギターもボーカルも入った曲から、すべてのパートを楽譜にできるかどうかは、AIによる採譜についてよく聞かれる質問の一つです。今は、SongscriptionのMulti-Instrumentモードで、複数の楽器が混ざった録音を一度で採譜し、楽器ごとにパートを分けられます。ただ、この質問には二つの処理が関わっています。その違いを知っておくと、目的に合うモードを選びやすくなり、採譜の結果もよくなります。

一つの楽器で複数の音が同時に鳴ることを、ポリフォニーと呼びます。AIはその音を聴き取るのが得意で、特にピアノで力を発揮します。一方、複数の楽器が混ざった録音から、それぞれのパートを書き起こすには、楽器を聴き分ける処理も必要です。こちらのほうが難しく、Multi-Instrumentモードはその処理に対応しています。

「同時に採譜する」の二つの意味

「複数の楽器を同時に」と言うときは、次の二つが混同されがちです。

  • 一つの楽器で複数の音が同時に鳴ることです。音を厚く重ねたピアノのコードなどが当てはまります。これを音符にするのがポリフォニック採譜で、AIが得意とする処理です。
  • 一つの録音で複数の楽器が同時に鳴ることです。バンド全体の録音などが当てはまります。採譜の前か途中で、どの音がどの楽器のものかを見分ける必要があり、こちらのほうが難しくなります。

一つ目が得意なツールでも、二つ目では苦戦することがあります。同時に鳴る音を聴き取る力と、楽器を聴き分ける力は同じではありません。一つ目については、単音の採譜とポリフォニック採譜の違いで詳しく説明しています。

同時に鳴る複数の音を聴き取る:ポリフォニー

重なって鳴る音を聴き取り、音符にするのがポリフォニック採譜です。今のAIが得意とする処理の一つです。たとえば、ピアノで5音のコードを弾きながら、その内側で別の旋律が動く演奏を考えてみてください。以前は、耳を鍛えた人でも音を一つひとつ拾うのに長い時間がかかりました。性能のよいモデルなら、こうした音の重なりも正確に読み取れます。一台のピアノでいくつもの声部を弾く演奏なら、AIで採譜できます。ピアノのポリフォニック採譜では、その仕組みと、AIが特にピアノの採譜を得意とする理由を説明しています。

複数の楽器を、一度でパートごとに採譜する

バンド全体の録音では、いくつもの楽器が一つの音源に混ざっています。周波数帯が重なると、互いの音が聴き取りにくくなります。ベースの音がキックドラムに隠れたり、ギターのコードと鍵盤の音が混ざって聴こえたりします。楽器ごとに譜表を分けるには、どの音がどの楽器のものかを判断し、各パートを採譜して、一つの楽譜にまとめる必要があります。

SongscriptionのMulti-Instrumentモードは、これを一度で処理します。楽器を選ぶ画面でMulti-Instrumentを選び、録音をアップロードするか、YouTube、TikTok、Instagramのリンクを貼り付けます。ロックのリズムセクションでも、ホーンセクションでも、弦楽四重奏でも、聴き取った楽器ごとにトラックができ、各パートを譜表に分けた楽譜を受け取れます。複数トラックのMIDIも含まれ、Ableton、Logic、FL Studio、GarageBandなどのDAWで開けます。鍵盤楽器のトラックは左手と右手に分かれます。

一部のパートは、内蔵エディターで修正する必要があります。特に、複数の楽器が同じ音域に重なるところでは、修正が必要になりがちです。音がクリアで、楽器同士の音量バランスがよい録音ほど、精度は高くなります。フルオーケストラのように、楽器が多く音も込み合った編成は最も難しく、修正の量も増えると考えてください。合唱はソプラノ、アルト、テナー、バスに分かれず、一つの歌声トラックになります。一つのパートを特に正確に採譜したいときは、単一楽器モードが向いています。

目的に合わせた採譜の進め方

複数の楽器が入った録音から読みやすい楽譜を作るには、今は三つの方法があります。欲しい楽譜に合わせて選びます。

  • 全パートを早く揃えたいときは、Multi-Instrumentを選び、録音を一度アップロードします。一度の処理で各楽器が別々のパートになり、編集してPDF、MIDI、MusicXMLでダウンロードできます。
  • 一つのパートをできるだけ正確に採譜したいときは、単一楽器モードでその楽器を選びます。モデルが録音全体から目的の楽器を直接取り出すので、先に曲をステムへ分離する必要はありません。音が特に込み合った録音では、先にステムへ分離すると、より正確に採譜できることがあります。
  • 曲を一つにまとめて演奏したいときは、ピアノカバー、ピアノとボーカル、リードシートの各モードを使います。曲全体を一つのパートにまとめ、通常は大譜表で表示します。すぐに演奏に使えて、多くの場合はそれで十分です。

バンド全体の録音を採譜する方法では、Multi-Instrumentを使う手順を紹介しています。ステムを使う手順は、複数トラックの音源から楽譜を作る方法で説明しています。それぞれの利点と制約を比べたいときは、一括採譜と楽器ごとの採譜の比較を参照してください。どちらの方法でも、音源から楽譜を作るページで録音を読み込んで始められます。手元の曲でMulti-Instrumentを使うなら、複数楽器の採譜ページから始めてください。

Songscriptionが採譜できる楽器

Multi-Instrumentは、鍵盤楽器(オルガン、マレット系打楽器を含みます)、ギター、ベース、弦楽器(ハープ、ティンパニを含みます)、金管楽器、木管楽器、サックス、シンセ、歌声、ドラムを認識し、それぞれ別のパートにします。

単一楽器モードでは、楽器ごとに専用のモデルを使います。ピアノ用モデルの開発が最も進んでおり、多くの音が重なる演奏を最も得意としています。ほかにもギター、ベース、ドラム用のモデルがあり、トランペット、サックス、バイオリンなどのメロディーも採譜できます。一つのパートを特に正確に採譜したいときは、単一楽器モードで対象を絞ると、一括で採譜した同じパートよりも、通常は精度が高くなります。ベースラインの採譜とドラムの採譜のガイドでは、この方法を具体的に紹介しています。

よくある質問

AIは複数の楽器を同時に採譜できますか?

はい。SongscriptionのMulti-Instrumentモードは、複数の楽器が入った録音を一度で採譜し、聴き取った楽器ごとにトラックを分けます。鍵盤楽器、ギター、ベース、弦楽器、金管楽器、木管楽器、サックス、シンセ、歌声、ドラムに対応しています。各パートを譜表に分けた楽譜と、複数トラックのMIDIを受け取れます。一部のパートは内蔵エディターで修正が必要です。音がクリアな録音ほど、採譜の精度は高くなります。一つのパートをできるだけ正確に採譜したいときは、単一楽器モードが向いています。ステムを用意しなくても、録音全体から目的の楽器を直接取り出して採譜します。

ポリフォニック採譜と楽器の分離はどう違いますか?

ポリフォニック採譜は、ピアノのコードのように、一つの楽器で同時に鳴っている複数の音を聴き取り、すべて音符にすることです。楽器の分離は、複数の楽器が混ざった録音から、どの音がボーカル、ベース、ギターなどのものかを見分けることです。前者では重なった音を聴き取り、後者では混ざった録音を楽器ごとに分けます。複数の楽器を採譜するには両方が必要なので、一つの楽器をクリアに録った音源よりも、バンド全体の録音のほうが難しくなります。

複数の楽器が入った曲はどうやって採譜しますか?

目的に合わせてモードを選びます。全パートをまとめて採譜するなら、SongscriptionでMulti-Instrumentを選び、録音をアップロードします。一度の処理で、聴き取った楽器ごとにパートができます。一つのパートをできるだけ正確に採譜するなら、単一楽器モードでその楽器を選びます。ステムを用意しなくても、録音全体から目的の楽器を取り出せます。曲を一つのパートにまとめて演奏したいときは、ピアノカバー、ピアノとボーカル、リードシートの各モードを使います。

Songscriptionはどの楽器を採譜できますか?

Multi-Instrumentは、複数の楽器が入った録音を一度で採譜します。鍵盤楽器、ギター、ベース、弦楽器、金管楽器、木管楽器、サックス、シンセ、歌声、ドラムを認識し、それぞれ別のパートにします。単一楽器モードでは、ピアノ用モデルの開発が最も進んでおり、多くの音が重なる演奏を最も得意としています。ほかにもギター、ベース、ドラム用のモデルがあり、トランペット、サックス、バイオリンなどのメロディーも採譜できます。単一楽器用のモデルは、通常、録音全体から目的の楽器を取り出して採譜できるため、ステムの用意は必須ではありません。ただし、音が特に込み合った録音では、先にステムへ分離すると精度が上がることがあります。

著者について

Andrew Carlins

著者

Andrew Carlins

Songscription共同創業者・CEO

アンドリューは、弾きたい曲の楽譜が見つからないことにうんざりしていた音楽仲間数人と、スタンフォード大学でSongscriptionを共同創業しました。子どもの頃からピアノとバリトンサクソフォンを演奏し、ミュージカルの舞台にも立っていました。もう何年も舞台には立っていませんが、今も腕は鈍っていないつもりです。録音から音を拾って楽譜にすることについて書いています。

チームについて詳しく見る

同じテーマの記事を読む