Gemini 或 Claude 能把一首歌变成乐谱吗？

本文属于我们的扒谱工具选择指南系列。

光靠它们自己不行。Gemini 和 Claude 都没法听一段录音就写出准确的乐谱，也都没法把印刷乐谱一个音不差地读出来。现在这两个模型都比单纯的文字聊天机器人强多了：Gemini 能接收音频和图片，Claude 能接收图片和文字，你能交给它们的东西早就不止是文字。但它们主要接受的是理解类任务的训练，比如把说话转成文字、描述一张图、围绕文字做推理。扒谱需要处理音频信号，它们没受过这方面的训练。让其中任何一个扒一首歌，你会拿到一个流畅又自信的回答，里面满是从来没人弹过的音。

涉及文字的音乐任务，两个都很强：讲乐理，聊你贴进来的谱子，建议一个和弦进行，写一条单声部旋律的草稿，排一份练习计划。你要分清哪些任务靠语言就能完成，哪些需要把音频变成乐谱。前者它们帮得上忙，后者得用专门的工具。

Gemini 和 Claude 在音乐上能做什么

Gemini 是原生多模态的：你上传一个音频文件，它能把里面的话转成文字、总结录音内容、分辨是谁在说话，还能回答跟说话内容有关的问题。它也接收图片。Claude 接收文字和图片，你给它照片或文档，它都能读。所以不管把乐谱图片给哪个模型，它都能看完再回应。它们能接收文件，但要从中读出准确的音符，还需要专门的训练。

在文字和乐理的范围里，两个都帮得上忙：

• 讲乐理。 问它一个和弦进行为什么这样解决，三全音替代是什么，或者小调音阶怎么配和声，你会得到清楚、大体可靠的解释。
• 讨论你以文字形式贴进来的谱子。 给它 ABC 记谱、和弦谱，或者用文字描述的一段音乐，它能说出用了哪些和弦，讲讲这段音乐是怎么回事，还能建议怎么改。
• 建议和弦进行。 描述一种情绪或者给一个调，它会拿出几种和弦进行、重配和声的方案，或者一条可以试试的低音线。
• 写一条单声部旋律的草稿。 你用文字描述一段曲调，它能用 ABC 这类文本记谱写出来，你再粘贴进打谱软件。

这几件事有个共同点：起点都是文字或描述，有用的结果也是文字。模型是在对音乐符号做推理，并没有把声音或印刷的谱页转成准确的音符。一旦任务变成“这是一段录音，给我乐谱”，两个都应付不来。

它们为什么扒不了录音

把音频变成乐谱是个信号处理问题，而且很难。你得测出每个音的音高，找准每个音从哪一刻开始、到哪一刻停，把重叠的音分开（和弦里或整首混音里的复音），量化音符的起止时间，写成读得懂的节奏，最后才能配上正确的调号和拍号，写到谱表上。每一步都需要一个专门用音频训练过的模型。Gemini 的音频处理能力主要针对语音训练，用来识别说了什么词、谁在说、什么意思，并不负责分辨同时响起的各个音的音高和起音时间。Claude 压根不接收音频文件，要让它“听”一首歌，只能先另外转录一遍。

读印刷乐谱也有类似的问题。研究人员直接拿这项任务做基准测试，发现模型认谱面符号的准确率非常高，可大多数时候还是把它们转成了错的音符。它们会输出均匀的四分音符和音阶式的乐句，因为它们猜的时候依赖的是文字规律，而不是眼前真正的音乐。所以就算模型把谱页“看”得清清楚楚，它报出来的音高和节奏也会偏离谱上写的东西。

你要是非让它们扒，两个都会像语言模型在拿不准时那样，给出一个流畅、自信、看着像乐谱的回答，里面满是没人弹过的音。这种输出读起来很权威，错处不容易发现，比干脆给不出答案还麻烦。想全面了解真正的扒谱要经过哪些环节，可以看我们的讲解文章《AI 扒谱是怎么工作的》，里面逐一讲了每个阶段。通用模型为什么偏偏栽在重叠的音上，《单音扒谱和复音扒谱》里有讲。

应该用什么工具

要把音频转成乐谱，可以用专门做这件事的工具。在 Songscription 里上传音频文件，或者粘贴视频链接，模型就会检测音符，生成可编辑的乐谱、MIDI、MusicXML、Guitar Pro 指法谱和交互式钢琴卷帘。你可以放慢钢琴卷帘的播放速度，检查扒谱结果。不用手动输入音符，乐谱会在我们为 Songscription 开发的乐谱编辑器里打开，你可以在浏览器里修改音符，再导出。

拿到初步结果后，还可以继续调整。钢琴声部会按高音和低音自动分成左右手。想要单独一件乐器的谱，可以从完整混音中提取出来；用“多乐器”则能一次扒出乐队或合奏录音中每件乐器的声部。你可以在编辑器里把乐谱移到任意调，也可以让编辑器里的 AI 乐谱助手 Annie 帮你移调、改拍号、添加歌词和力度记号。编曲模式还能把音符密集的曲子简化，或者为原曲没有的乐器写一条单声部旋律。Gemini 和 Claude 会给你一段关于歌曲的文字，这里得到的则是一份可以照着演奏、继续编辑的文件。

扒谱结果也会出错。用钢琴独奏、吉他独奏或一条人声这样干净的录音扒谱，比用多件乐器同时演奏的密集混音准确得多。自动扒谱能很快完成大部分工作，拿到结果后还是要检查，在编辑器里改正错音。编辑器会给乐谱排版，并按你看到的版面打印 PDF。如果你习惯用 MuseScore，可以导出 MusicXML，在那里继续编辑。有些歌扒得准，有些则更难处理，原因可以看《为什么 AI 扒谱的准确率会有差别》。

Gemini 和 Claude 还能帮上忙的地方

乐谱到手以后，两个模型又有用了，因为这时候的活儿回到了文字和推理上。有了乐谱、和弦谱，或者从 MIDI 里得出的和弦，两个模型都能帮你做这些事：

• 解释一个难懂的和弦。 把和弦符号贴进去，问它由哪些音组成、起什么作用、上面配什么音阶。
• 建议指法。 描述一段音乐和你弹的乐器，让它给个合理的指法或手的位置试试。
• 做练习计划。 告诉它是哪首曲子、你的水平、你有多少时间，它会排出一套有条理的练法。
• 把你心里已有的旋律写成文本记谱。 你已经能描述或唱出这段曲调的话，它会用 ABC 写出来，你粘贴进打谱软件就行。

扒谱模型把声音变成音符；拿到这些音符以后，Gemini 和 Claude 帮你弄懂它们、练熟它们。AI 关于一首曲子能告诉你什么、不能告诉你什么，可以看《AI 能不能告诉你一首歌怎么弹》；OpenAI 的模型能不能做同样的事，可以看《ChatGPT 能不能做乐谱》。