ChatGPT 能把一首歌变成乐谱吗?

资源阅读约 7 分钟Andrew Carlins

每天都有人让 ChatGPT 把录音变成乐谱。通用 AI 聊天机器人能拿音频做什么,记谱为什么会难住它,又有什么工具能完成这项工作?

本文是音乐扒谱工具怎么选指南的一部分。

不能。ChatGPT 没法听一段录音就写出准确的乐谱。它是语言模型,处理的是文字,所以能跟你聊记谱,给你出一个和弦进行,或者把你用文字描述的简单旋律写出来。把真实的音频变成正确的多声部乐谱是另一类问题,要做音高检测和节奏分析,还得有专门的扒谱模型。让通用聊天机器人来干这件事,它会信心十足地给你一堆错音。

拿 ChatGPT 来学习、弄懂乐理,它很得力。用之前先分清楚哪些工作靠文字就能完成,哪些需要处理声音。前者是它的强项,后者它帮不上忙,得用专门的扒谱工具。

ChatGPT 在音乐上真正能做什么

ChatGPT 擅长处理音乐相关的文字和乐理问题。在这个范围里,它挺好用:

  • 讲乐理。 问它一个和弦进行为什么这样解决,那不勒斯六和弦是什么,小调音阶怎么配和声,它会给你一个清楚、大体靠谱的解释。
  • 读懂并讨论你用文字贴进来的乐谱。 给它 ABC 记谱、和弦谱,或者用文字描述一段音乐,它能讲讲这段音乐的写法,说出和弦名称,再提改动建议。
  • 给出和弦进行。 说一种情绪或一个调,它会给你几条和弦进行、重配和声的方案,或者一个可以试试的低音线思路。
  • 写一条简单的单声部旋律。 你用文字描述一段曲调,它能用 ABC 这类文字记谱或者一小段基础的 MusicXML 写出来,你再贴进打谱软件就行。

这几件事有个共同点:都从文字或描述出发,最后得到的也是文字。ChatGPT 处理的是符号,并没有在听声音。输入一旦换成真实的录音,它就力不从心了。

为什么它扒不了录音

把音频转成乐谱是信号处理问题,而且很难。要做成这件事,得先检测出每个音的音高,找准每个音从哪一刻开始、到哪一刻结束,把重叠在一起的音分开(和弦里或整首混音里同时响的那些音),把时间量化成读得懂的节奏,最后才按正确的调号和拍号排到谱表上。每一步都需要一个专门用音频训练过的模型。

通用语言模型没受过这种听音频的训练。现在有些聊天模型也能接收音频了,可它们是为语音调教的,用来把说的话转成文字,跟记谱无关,上面那几步它们哪一步都做不稳。所以你上传一首歌、问它要音符,模型拿不准,也会给出一个流畅、自信、看着像乐谱的答案,里面满是录音中根本没有的音。答案看着很权威,错处反而更难发现。想完整了解真正的扒谱要经过哪些环节,可以看我们的 AI 扒谱是怎么工作的,里面逐步讲了整个过程。

可以用什么工具

要把音频变成乐谱,可以用专门的扒谱工具。Songscription 的用法很直接:上传音频文件或粘贴视频链接,模型会检测音符,生成可编辑的乐谱、MIDI 和交互式钢琴卷帘。你可以放慢钢琴卷帘的播放速度来检查结果,不用手动输入音符。乐谱会在我们制作的乐谱编辑器中打开,你可以在浏览器里编辑后再导出。AI 乐谱助手 Annie 能按你用日常语言写下的要求移调、改变调性,或添加歌词和力度记号。Annie 修改乐谱时,用的也是编辑器里的操作,每处改动都会高亮显示,一步就能撤销。这些工作是聊天机器人做不了的。

扒谱结果的准确度也有差别。钢琴独奏、吉他独奏或单条人声旋律这类干净的独奏录音,通常比多件乐器同时演奏的密集乐队混音扒得准得多。乐器多的录音,一次扒一件乐器,得到的单个声部最清晰。对于乐队或合奏录音,Songscription 的“多乐器”模式能一次写出所有声部。自动扒谱能很快完成大部分工作,但你仍要检查结果,在编辑器里改掉错音,再直接打印排版好的 PDF。如果你平时用 MuseScore,也可以导出 MusicXML,接着在 MuseScore 里编辑。想了解为什么有些歌容易扒准,有些却很难,可以看 AI 扒谱准确度为什么会有差别。关于专门的 AI 工具在这方面能做什么、不能做什么,还可以看 AI 能把一首歌变成乐谱吗。

ChatGPT 还能帮上忙的地方

乐谱到手以后,ChatGPT 又派得上用场了,因为接下来要处理的是文字,要做的是推理。手头已经有乐谱或和弦谱时,它可以:

  • 解释一个难懂的和弦。 把和弦符号贴进去,问它由哪几个音组成、起什么作用、演奏这个和弦时适合用什么音阶。
  • 帮你想指法。 描述一段音乐和你弹的乐器,让它给一个合理的指法或手位,你拿去试试。
  • 做练习计划。 告诉它是哪首曲子、你的水平、你有多少时间,它会帮你排出一套有条理的练法。
  • 把叫得出名字的旋律转成 ABC。 调子你已经能描述或者哼出来,它就能用文字记谱写下来,你再放进打谱软件。

扒谱模型把声音变成音符;拿到这些音符以后,可以让 ChatGPT 帮你理解乐谱、练熟曲子。先由扒谱工具把录音变成乐谱,再让 ChatGPT 帮你练会这首曲子。一首曲子怎么演奏,AI 能告诉你多少、哪些说不了,可以看 AI 能不能教你弹一首歌。

常见问题

ChatGPT 能读乐谱吗?

如果乐谱是文字形式,就可以。把 ABC 记谱、和弦谱贴进去,或者用文字描述一段音乐,ChatGPT 能跟你讨论、解释其中的和声,说说这段音乐是怎么写的。但它不能可靠地从印刷乐谱的图片中读出音符,所以别指望它逐个音符解读乐谱照片或 PDF。要做这件事,可以用专门识别印刷乐谱的工具。Songscription 能识别印刷乐谱的照片或 PDF,生成可编辑的乐谱。

ChatGPT 能写乐谱吗?

如果你用文字描述一条简单的单声部旋律,比如一段音阶、一小段曲调,或一条你已经叫得出名字的旋律,ChatGPT 能用 ABC 这类文字记谱把它写出来。它写不出排版正确、内容完整的多声部乐谱,也不能从音频文件生成乐谱。如果要写的不止是一条简单的旋律,就需要打谱软件或扒谱工具。

ChatGPT 能把 MP3 或音频文件扒成乐谱吗?

不能。ChatGPT 无法可靠地把录音变成准确的乐谱。即使是能接收音频的聊天模型,也是针对语音理解训练的,并不擅长检测音高、音符起始和节奏,再把它们写到谱表上。它们还容易编出录音中没有的音。要把 MP3 转成乐谱,可以用专门为解决这类信号处理问题而制作的 AI 扒谱工具。

把歌曲变成乐谱,最好用什么方法?

可以用专门的 AI 扒谱工具,输入音频文件或链接,得到可编辑的乐谱、MIDI 和钢琴卷帘。Songscription 会在自带的乐谱编辑器里排版,你可以在里面改错音、移调、添加力度记号或歌词,再打印 PDF。干净的独奏录音比多件乐器声音密集重叠的完整乐队混音更容易扒准。

关于作者

Andrew Carlins

作者

Andrew Carlins

Songscription 联合创始人兼 CEO

Andrew 在斯坦福和几位同样玩音乐的朋友一起创办了 Songscription,因为他们受够了想弹的歌总找不到谱。他从小弹钢琴,也吹过上低音萨克斯,还演过音乐剧。虽然好几年没登台了,他觉得自己的状态还没降半音。他在这里写扒谱的事,讲怎么把一首歌从录音里扒下来,变成纸上的谱子。

了解我们的团队

还有这些同一话题的文章,可以接着读。