はい、録音を聴いて音符に書き起こすアプリがあります。AIによる採譜の技術で音声を分析し、ピッチとリズムを読み取ります。その結果を音符やピアノロール、楽譜で表示します。音がはっきりした録音や、楽器が一つだけの録音が得意です。音が重なっていたり雑音が多かったりする録音は、仕上がりを耳で確認する必要があります。
私たちが開発しているSongscriptionも、こうしたアプリの一つです。仕組みや得意・不得意の説明は、この種類のアプリ全般に当てはまるものです。
アプリが音を読み取る仕組み
アプリは、どの高さの音が鳴っているかと、それぞれの音がいつ始まり、いつ終わるかを同時に調べます。ピッチの検出で各瞬間の音を特定し、音の立ち上がりの検出でタイミングを捉えます。大量の演奏の録音を学習したAIが、その分析結果から音符の長さを決め、五線譜やピアノロールに並べます。
以前のツールは信号処理だけで音を読み取っていたので、単純なメロディー以外は苦手でした。今のAIは実際の演奏を学んでいるため、音が重なっていても一つひとつを取り出し、音楽のリズムに沿ってタイミングを読み取れます。
録音から音を検出し、読める楽譜にするまでの流れを「採譜」と呼びます。各段階の詳しい説明はAIによる採譜の仕組みにあります。採譜という言葉の意味から知りたいときは、採譜とはを読んでみてください。
得意な録音と苦手な録音
楽器が一つだけで、音がはっきりした録音は得意です。ピアノソロや、濁りの少ないギターのパート、きれいに録音されたメロディーなら、たいていは少し手直しするだけで、音が正確に書かれた読みやすい楽譜になります。特に技術が進んでいるのはピアノで、音がはっきりしたメロディーもそれに続きます。
苦手なのは、いろいろな音が入り混じった録音です。たくさんの楽器が重なるミックス、強いエフェクトや歪み、周囲の雑音が多い録音では、音を取りこぼしたり、複数の音を区別できなかったりします。仕上げには、耳で聴きながら直す作業が増えます。歌声も、多くのアプリではまだ実験段階です。声は音と音の間を滑らかに移動するので、音符に表すのが難しいためです。
採譜した楽譜は、確認しながら手直しするための下書きと考えてください。手直しなしで完璧な楽譜になる保証はありません。結果に影響する条件は、AIによる採譜の精度とAIによる採譜の精度に差が出る理由で詳しく説明しています。
曲を音符にする手順
音声を取り込むと、アプリが聴き取って、編集できる形にします。操作は次の4段階です。
- 音声を取り込みます。 ファイル（MP3、WAV、M4A、MP4）をアップロードするか、YouTube・TikTok・Instagramのリンクを貼り付けます。ブラウザで直接録音する方法もあります。
- 楽器を選びます。 ピアノ、ギター、ベースなど、何の演奏かを指定すると、その楽器に合ったパートを書き起こしやすくなります。
- 採譜が終わるまで待ちます。 AIがピッチとリズムを読み取り、ピアノロールとコードの検出結果を含む楽譜を作ります。
- 確認して書き出します。 エディターで余分な音などを直したら、PDF、MIDI、MusicXML、Guitar Proに書き出します。
SpotifyやApple Musicなど、DRMで保護された配信から音声を直接取り込むことはできません。手元にダウンロードして所有しているファイル、YouTube・TikTok・Instagramのリンク、または自分で録音した音声を使ってください。ファイルがなく、頭の中にある曲の音を調べたいときは、曲の音を調べる方法でいくつかのやり方を紹介しています。アップロードの流れは、音声を楽譜に変換するページで確認できます。
読み取った音符をどう使うか
Songscriptionの音声を音符に変換する機能に録音を一つアップロードすると、編集できる楽譜とピアノロールの両方が手に入ります。五線譜で読むことも、音符が流れる様子を見ることもできます。採譜したデータは、その曲でやりたいことに合わせて、いくつかの形で使えます。
- ピアノカバーにします。 曲を、両手で弾けるピアノアレンジにします。ピアノカバーの作り方とピアノカバー作成機能で詳しく紹介しています。
- 音符が降ってくるピアノ練習動画にします。 鍵盤に向かって流れる音符を見ながら、再生速度を落として、弾けるようになるまで合わせて練習できます。好きな曲でピアノ練習動画を作る方法とピアノ練習動画の作成機能を参照してください。
- 弾いた音もアプリで確認します。 Anything Pianoは、録音をiPhoneやiPadで見られるピアノロールに変換します。それを再生しながら弾くと、マイクで演奏を聴き取り、どの音を弾けたかを表示します。MIDIキーボードのほか、アコースティックピアノでも使えます。ピアノロールに指番号を付けて、どの指で弾くかを確認することもできます。
- 難しさを調整します。 楽譜の難易度を調整する機能で、難しいところを簡単にしたり、生徒に合わせて曲全体の難易度を下げたりできます。考え方は楽譜を簡単にする方法で説明しています。
- 別のキーに移調します。 歌う人の音域や弾きやすい運指に合わせて、曲全体の音を上げたり下げたりします。
- ほかのソフトで使うために書き出します。 作ったものをPDF、MIDI、MusicXML、Guitar Proに書き出し、楽譜作成ソフトやDAWで作業を続けられます。
目的に合うアプリの選び方
音符を読み取るアプリはいくつかあり、何をしたいかで選び方が変わります。すべての音を編集できる楽譜にして、PDF、MIDI、MusicXML、Guitar Proに書き出したいなら、Songscriptionがその用途に合います。実際の録音でAIを学習させているので、音が一つずつ鳴る鮮明なメロディーに加えて、実際の曲にも対応できます。
鼻歌のメロディーや、いくつかの音の名前だけを調べたいなら、もっと簡単な音符認識アプリで足りることもあります。短い音の確認と、曲を丸ごと編集できる形に採譜する作業では、必要な機能が違います。
アプリを比較したいときは、採譜ツールの選び方で、やりたいこと別に探せます。音を調べることと、弾くための楽譜を作ることの違いは、AIで曲を楽譜にできるかとAIに曲の弾き方を教えてもらえるかでも説明しています。
よくある質問
曲を聴いて音符にしてくれるアプリはありますか？
はい、録音を聴いて音符に書き起こすアプリがあります。AIによる採譜の技術で音声を分析し、ピッチとリズムを読み取ります。その結果を音符やピアノロール、楽譜で表示します。音がはっきりした録音や、楽器が一つだけの録音が得意です。音が重なっていたり雑音が多かったりする録音は、仕上がりを耳で確認する必要があります。
アプリは曲の音をどうやって読み取るのですか？
基本になる処理は二つです。ピッチの検出で、その瞬間にどの音が鳴っているかを調べます。音の立ち上がりの検出では、それぞれの音がいつ始まり、いつ終わるかを調べます。実際の演奏の録音を学習したAIが、その分析結果から音符の長さを決め、五線譜やピアノロールに並べます。録音が鮮明で、パートの重なりが少ないほど、精度は高くなります。
ピアノで弾く音をアプリで調べられますか？
はい。ピアノは、こうしたアプリで最も技術が進んでいる分野です。ピアノの録音から楽譜やピアノロールを作り、多くの場合は右手と左手のパートに分けられます。現在、AIによる採譜の精度が最も高いのもピアノです。ピアノソロを鮮明に録音したものなら、たいていは少し手直しするだけで読める楽譜になります。
どんな曲にも使えますか？
どの曲でも同じように読み取れるわけではありません。楽器が一つだけの鮮明な録音や、音がはっきりしたメロディーが得意です。たくさんのパートが重なる音源や、エフェクトが強くかかった音源、雑音が多い音源は苦手です。SpotifyやApple Musicなど、DRMで保護された配信から音声を直接取り込むこともできません。ダウンロードしたファイル、YouTube・TikTok・Instagramのリンク、または自分で録音した音声を使います。
音符を読み取るアプリは無料ですか？
一部を無料で使えるアプリもあります。Songscriptionには30秒の音声を無料で採譜できる無料枠があり、長い曲には無料トライアルも使えます。料金を払う前に、手元の録音で仕上がりを確認できます。ほかの音符認識アプリにも、それぞれ無料枠や買い切りの料金設定があります。曲を丸ごと採譜したり、ファイルを書き出したりするには、通常はいずれかの有料プランが必要です。
Songscriptionの音声を音符に変換する機能では、録音から編集できる楽譜とピアノロールを作れます。PDF、MIDI、MusicXML、Guitar Proへの書き出しにも対応しています。
