採譜ツールの選び方に関するガイドの一編です。
GeminiやClaudeだけで、録音から正確な楽譜を作ることはできません。どちらも、印刷された楽譜の音符を一つひとつ正確に読むのは苦手です。今では単なるテキストチャットよりも扱えるものが増え、Geminiには音声と画像、Claudeには画像とテキストを渡せます。ただ、得意なのは音声の文字起こしや画像の説明、文章をもとにした推論などです。音楽を楽譜にするための信号処理とは異なります。曲の採譜を頼むと、実際には演奏されていない音を並べ、流暢で自信ありげな文章で答えます。
音楽について文章でやり取りするなら、どちらも役立ちます。理論の説明、貼り付けた楽譜の内容の解説、コード進行の提案、簡単な単旋律や練習計画の作成などです。言葉で説明したり考えたりする作業は任せ、音声を楽譜に変える部分には専用ツールを使います。頼みたい作業がどちらに当たるかで、道具を選べます。
GeminiとClaudeが音楽についてできること
どちらのモデルも、今はテキスト以外を扱えます。Geminiはもともと複数の種類のデータを扱う設計です。音声ファイルをアップロードすると、話し言葉の文字起こし、録音内容の要約、話者の識別、話された内容についての質問への回答ができます。画像も受け取れます。Claudeはテキストと画像に対応し、渡された写真や文書を読み取ります。楽譜の画像を見せれば、どちらもそれを見て答えられるわけです。ただし、ファイルを見たり聴いたりできることと、正しい楽譜に変換できることは別々の能力です。
テキストや理論については、次のような使い方ができます。
- コード進行がなぜそのように解決するのか、裏コードとは何か、マイナースケールの各音にどう和音を付けるかなどを聞くと、分かりやすく、おおむね信頼できる説明が返ってきます。
- ABC記譜やコード譜、言葉で説明したフレーズを渡すと、コード名を挙げたり、音楽的に何が起きているかを説明したり、変更を提案したりできます。
- 曲の雰囲気やキーを伝えると、コード進行、コードの付け替え、試しに弾けるベースラインを提案します。
- メロディーを言葉で説明すると、ABCなどのテキスト形式の記譜で書き出せます。それを楽譜作成ソフトに貼り付けて使えます。
これらはどれも、テキストや説明をもとに、役立つテキストを返す作業です。モデルは音楽の記号について推論しているのであって、音声や印刷された楽譜から正確な音符を取り出しているわけではありません。「この録音を楽譜にしてください」という依頼になると、どちらもうまく対応できません。
録音から採譜できない理由
音声を楽譜に変えるには、難しい信号処理が必要です。すべての音のピッチを検出し、それぞれの音がいつ始まり、いつ終わるかを正確に見つけます。和音や曲全体のミックスでは、重なって鳴る音も分離しなければなりません。そのタイミングをクオンタイズして、読みやすいリズムにそろえます。そこまでできて初めて、適切な調号と拍子記号を付けて五線に書けます。どの段階にも、音声データで学習した専用モデルが必要です。Geminiの音声理解は、言葉、話者、意味といった会話の理解に向けて作られています。同時に鳴る音のピッチや、それぞれの鳴り始めを分けて取り出すためのものではありません。Claudeはそもそも音声ファイルを受け取れないので、曲を扱うには、その前に別の手段で文字や音符に変換する必要があります。
印刷された楽譜を読むときにも、似た問題があります。研究者がこの課題を直接評価したところ、紙面上の記号を高い精度で認識できるモデルでも、実際の音符への変換は大半が不正確でした。目の前の音楽より、テキストのパターンに沿って推測するため、均等な4分音符やスケールに沿った音の並びに置き換わってしまいます。ページがはっきり見えていても、返ってくる音の高さやリズムは、書かれたものからずれていきます。
それでも採譜を頼むと、どちらも不確かな状況での言語モデルらしい回答を返します。文章は流暢で自信に満ち、楽譜らしい形をしていますが、誰も演奏していない音だらけです。もっともらしく見えるぶん、何も返ってこないときより、間違いを見抜きにくくなります。実際の採譜で必要な各段階は、AIによる採譜の仕組みで説明しています。単音と多声音の採譜の違いでは、音が重なると、なぜ汎用モデルでの採譜が難しくなるのかを取り上げています。
録音から楽譜を作るためのツール
音声を楽譜に変える作業には、そのために作られたツールを使います。Songscriptionでは、音声ファイルをアップロードするか、動画のリンクを貼り付けます。モデルが音符を検出し、編集できる楽譜に加えて、MIDI、MusicXML、Guitar Proのタブ譜を出力します。操作できるピアノロールもあり、再生速度を落として結果を確認できます。音符を一つずつ入力する必要はなく、書き出す前にブラウザで修正できます。
採譜したあとの編集に使える機能もあります。ピアノのパートは、すべての音をひとまとめにせず、右手と左手に自動で分け、ト音記号とヘ音記号で表示します。曲全体のミックスから一つの楽器だけを取り出し、そのパートを採譜することもできます。Multi-Instrumentを使えば、バンドやアンサンブルの録音に含まれる全パートを一度に採譜できます。内蔵エディターでは、好きなキーに移調できます。アレンジモードでは、音が多く複雑な曲を弾きやすくしたり、原曲にない楽器のために単旋律のパートを作ったりできます。GeminiやClaudeから返ってくるのは曲についての説明文ですが、Songscriptionでは、演奏や編集に使える楽譜やファイルを受け取れます。
ただし、専用ツールでも正確さには差があります。ピアノやギターのソロ、歌の単旋律など、音がはっきりした録音のほうが、多くの楽器が同時に重なるバンド全体のミックスより正確に採譜できます。自動採譜なら、短時間で大部分を形にできますが、結果を見直して、間違ったところを直す作業は残ります。楽譜の見た目を細かく整えるには、MusicXMLを書き出し、MuseScoreなどの楽譜作成ソフトで仕上げます。採譜しやすい曲と難しい曲の違いは、AI採譜の精度に差が出る理由で詳しく説明しています。
楽譜ができたあとにGeminiとClaudeを使う
楽譜が手に入ったら、その内容をテキストで説明したり考えたりするのに、どちらのモデルも役立ちます。楽譜やコード譜、MIDIから読み取ったコードがすでにある状態なら、次のことを頼めます。
- 分かりにくいコード記号を貼り付け、構成音、曲の中での役割、その上で弾けるスケールを聞けます。
- フレーズと使う楽器を説明し、試せる運指や手のポジションを提案してもらえます。
- 曲名、演奏のレベル、使える時間を伝えると、順序立てた練習計画を作れます。
- すでに言葉で説明したり口ずさんだりできるメロディーなら、それをABC記譜で書き出してもらい、楽譜作成ソフトに渡せます。
採譜モデルで録音を楽譜にしたあと、GeminiやClaudeに楽譜の内容や練習方法を聞けます。曲についてAIに聞けることの範囲は、AIに曲の弾き方を教えてもらえるかを参照してください。OpenAIのモデルについては、ChatGPTで楽譜を作れるかでも取り上げています。
よくある質問
Geminiは楽譜を読めますか？
大まかに読み取る程度ならできます。Geminiは画像を扱えるので、楽譜の写真やPDFを見て、全体の特徴やキー、音符が細かく並んでいる箇所などを説明できます。ただ、音符を一つひとつ読み取り、正しい音の高さとリズムを返す作業は安定してできません。この課題を直接調べた評価では、記号をよく認識できるモデルでも、実際の音符への変換は大半が不正確でした。均等に並んだ4分音符や、スケールをなぞるような音列に置き換わってしまいます。印刷された楽譜についての回答は、正確な採譜ではなく、大まかな要約として扱ってください。
Claudeで曲を採譜できますか？
録音からの採譜はできません。Claudeはテキストと画像を扱えるので、ABC記譜やコード譜などを文字で貼り付ければ、その内容やハーモニーについて説明できます。言葉で伝えたメロディーを、簡単な単旋律として書き出すこともできます。ただ、音声ファイルを受け取って正確な楽譜に変えることはできません。音から音符を取り出すには、ピッチの検出、音が鳴り始める時点の特定、同時に鳴る音の分離といった信号処理が必要です。これはチャットモデルではなく、採譜専用ツールが担う処理です。
GeminiやClaudeで音声からMIDIファイルを作れますか？
録音からは作れません。どちらのモデルも、MIDIファイルを作るために必要な、音声から音符を検出する処理をしていません。曲を聴いてMIDIを出すよう頼んでも、自信ありげに間違ったデータを返します。言葉でメロディーを説明すれば、変換に使える短いテキスト表現を書き出すことはあります。ただ、実際の録音からMIDIを作るなら、音符を検出してファイルを直接書き出す専用の音声からMIDIへの変換ツールを使ってください。
曲を楽譜にするには、どんな方法がよいですか？
音声ファイルやリンクを受け取り、編集できる楽譜、MIDI、ピアノロールを出力する採譜専用のAIツールを使い、結果を手作業で直す方法です。自動採譜なら、短時間で大部分を形にできます。多くの楽器が重なるバンド全体の音源より、音がはっきりしたソロの録音のほうが正確に仕上がります。楽譜のレイアウトを細かく整えるには、MusicXMLを書き出し、楽譜作成ソフトで仕上げます。
録音から楽譜を作るには、音声を楽譜に変換するページで曲をアップロードするか、リンクを貼り付けます。書き出す前に、ブラウザで結果を編集できます。
