資源採譜Andrew Carlins•閱讀時間:6 分鐘

AI 音樂轉譜有多準?實際表現與影響因素

AI 轉譜有多準,要分開看音高、節奏和曲子結構,每一項都跟原始錄音有關。哪些因素影響最大?不同樂器的表現如何?跟專業人員聽寫相比,又差在哪裡?

影響 AI 音樂轉譜準確度的錄音品質、同時發聲的聲部數量與樂器種類,以及 AI 轉譜和人工聽寫的比較

AI 音樂轉譜的準確度,要分開看音高、節奏和曲子結構。這幾項常常混在一起談,但出了問題時,分清楚是哪一項不準,才知道該從哪裡改。

原始錄音的品質、樂器種類和同時發聲的聲部數量,都會影響結果。這些條件也決定了不同樂器能轉得多準,以及什麼情況值得交給專業人員聽寫。

音樂轉譜的「準確度」包含什麼?

音樂人談轉譜準不準,通常最先想到的是音符有沒有抓對。不過,就算每個音都辨識正確,節奏不對、重複段落判讀錯誤,或譜上沒呈現出原曲的整體感覺,這份樂譜仍然可能沒辦法用。

檢查準確度時,要看音符是否正確、是否落在對的節奏位置,以及曲子的整體結構是否保留下來。這幾項不一定會一起出錯。有些工具能穩定辨識音符,卻讀錯一段複雜的節奏;有些工具整首歌的節奏都抓得準,卻在聲部密集的段落抓錯幾個音高。知道問題出在哪裡,就比較好決定要逐個修改音符、調整原始音訊,還是換個設定重新轉譜。

哪些因素會影響 AI 轉譜的準確度?

轉出來的樂譜是稍微檢查就能用,還是得花很多時間修改,跟幾個條件有關。上傳前先了解這些條件,比較好判斷結果。我們在為什麼 AI 轉譜的準確度會有差異裡,說明同一個工具為什麼處理某個檔案很順,換一個卻容易出錯;提高轉譜準確度的逐步指南則把這些因素整理成每次都能照著做的流程。

錄音品質

原始錄音的品質,比其他任何因素都更影響轉譜結果。回音、背景雜音和過度壓縮的音訊,會讓模型更難辨識實際演奏的內容。已經流失的音訊資訊,事後也補不回來。

檔案格式能選的話,比起 MP3,更建議用 WAV 或 FLAC。未壓縮的檔案會保留完整的音訊細節。大多數轉譜工作用 MP3 也沒問題,但壓縮得太多就容易出狀況。上傳前需要轉換格式時,優先保留音質,不要只求檔案小。如果你主要用 MP3,MP3 轉樂譜指南有更詳細的說明。

同時有多少樂器在演奏

單一樂器的訊號最清楚,模型也最容易辨識。多加一個聲部,就得分開重疊的聲音,出錯的機會也跟著增加。很多聲部同時演奏的錄音,較難穩定轉出準確的樂譜。上傳整個樂團的錄音前,要先知道它的結果通常不會跟單一樂器一樣準。

編制越大,自動轉譜就越難同時準確辨識各個聲部。完整的管弦樂曲,通常一次針對一種樂器轉譜,結果會比較好。Songscription 的多樂器模式(測試版)除了鍵盤樂器、吉他、貝斯、人聲和鼓,也能辨識弦樂器、銅管樂器和木管樂器,一次做出所有聲部的初稿。不過,越多樂器在同一音域裡重疊,後續就越需要整理。Songscription 針對個別樂器的模型,專門從完整混音中辨識單一聲部,大多數錄音都不用你另外做前置處理。單音與多音轉譜的差別進一步說明了同時發聲的音符為什麼會影響辨識。

樂器種類

AI 轉譜處理鋼琴的技術,比大多數樂器的轉譜技術發展得更久。即使錄音品質有差異,鋼琴的轉譜結果通常仍最穩定。每個音開始發聲的特徵清楚又一致,演算法比較容易找到辨識的依據。

小提琴、長笛,以及使用清音的電吉他,表現也差不多好。失真很重的吉他比較難辨識,因為音效處理會讓原本的音高變得模糊。

不同樂器和用途,能期待什麼結果?

單一樂器或人聲的旋律

對各種 AI 轉譜工具來說,乾淨的單一樂器錄音最容易轉出穩定的結果。在安靜空間裡錄下的鋼琴獨奏、小提琴獨奏或人聲,通常音符辨識得準,節奏也很接近原始錄音。獨奏或獨唱錄音的錯誤,大多出現在快速或帶有裝飾音的段落,因為音跟音之間的分界比較模糊。想看完整的鋼琴轉譜流程,可以參考如何用 AI 把鋼琴錄音轉成樂譜。

和弦與吉他

比起單一旋律,AI 更難準確辨識同時彈出的多個音。吉他掃弦時,每條弦並不是在完全相同的瞬間發聲,模型也就更難把各個音分清楚。不過,大多數吉他錄音轉出來的結果已經夠準,能直接拿來用。音訊轉吉他六線譜指南有更詳細的流程與結果說明。

鼓與打擊樂器

錄音條件良好時,AI 通常能穩定轉出基本鼓點的樂譜;就算錄音更複雜,也能得到不錯的初稿。傳統鼓組的錄音如果收進很多空間殘響,會比每一下發聲都清楚、一致的電子鼓更難辨識。這類錄音通常需要多改一些,但轉出來的結果仍值得拿來繼續整理。

AI 轉譜與人工聽寫的差別

AI 只需幾秒就能處理一段錄音,費用也只要專業聽寫人員收費的一小部分。鋼琴獨奏、人聲,以及大多數複雜度中等的錄音,轉譜後稍微檢查,就已經夠準,能直接使用。錄音很複雜、許多聲部重疊時,專業人員仍有優勢;但大多數寫歌、編曲和練習的需求,用 AI 就能快速、穩定地完成。

對大多數音樂人來說,先用 AI 做出初稿,再由人檢查需要修正的地方,是實用的做法。原始檔案準備好,再花一點時間檢查,通常就能得到可用的樂譜。大多數情況下,很難找到比這更省事的組合。如何聽寫音樂把兩種做法放在一起,逐步說明。

決定使用前,怎麼測試轉譜工具?

先找一小段你已經很熟、聲音記得很清楚的錄音。第一次測試選簡單的內容,例如一段鋼琴旋律或單一人聲,這樣一看到結果,就知道跟你聽到的對不對得上。

上傳後,檢查這幾件事:

  • 音符有沒有抓對?
  • 節奏跟你聽到的一樣嗎?
  • 有沒有多出或漏掉音符,影響讀譜或演奏時的感覺?

也要留意工具產生了多少不必要的內容。好的 AI 轉譜會抓住主要的音樂資訊,不會塞進多餘的音符或錯亂的節奏。這些錯誤會讓你花更多時間修改。如果整理結果比自己聽寫還久,這個工具就不適合你的工作方式。

接著,拿你平常真的會用的錄音來測試。經常聽寫和聲複雜的錄音,就挑一段類似的內容;主要處理人聲,就試試唱得有表情、樂句有變化的段落。簡單的錄音,大多數工具都能處理得不錯,真正要看的是你每天上傳的內容。趁免費試用時,把同一段錄音交給幾個工具,常常能看出網路資料沒寫出來的差別。想比較目前的工具,可以從我們的音樂轉譜軟體推薦與比較看起。

轉譜後的檢查

錄音乾淨、旋律清楚時,AI 轉譜表現良好。對大多數轉譜需求來說,用 AI 能省下不少時間。準確度會隨樂器種類、錄音品質,以及模型同時要分辨的聲部數量而變。知道這些差異會出現在哪裡,上傳前就比較清楚能期待什麼,檢查時也知道該注意哪一段。

AI 會自動完成大部分音符輸入,很快做出接近完成的樂譜,再由你檢查和修正剩下的部分。省下的時間,主要是因為不用先逐個把音符寫下來。仔細聽寫的人原本也會先記譜、再檢查,只是現在前半段花的時間少了很多。

常見問題

AI 音樂轉譜有多準?

準確度要分開看音符辨識得對不對、節奏位置準不準,以及曲子的整體結構有沒有保留下來。這幾項不一定會一起出錯,也不一定會全部正確。錄音乾淨、旋律清楚時,AI 轉譜通常表現良好,稍微檢查過就能直接使用;很多聲部疊在一起的完整混音最難處理。

哪些因素最影響 AI 轉譜的準確度?

原始錄音的品質影響最大。回音、背景雜音和過度壓縮,都會讓模型更難辨識演奏內容。同時有多少樂器在演奏也有差:單一樂器的訊號最清楚,多個聲部一起出現,出錯的機會就增加。樂器種類也會影響結果,其中鋼琴的表現最穩定。

AI 轉譜跟專業人員聽寫一樣準嗎?

鋼琴獨奏、人聲,以及大多數複雜度中等的錄音,用 AI 轉譜後稍微檢查,就已經夠準,能直接使用。AI 只需幾秒就能處理錄音,費用也只要專業人員收費的一小部分。不過,錄音很複雜、有許多聲部重疊時,專業聽寫人員仍有優勢。對大多數音樂人來說,先用 AI 做出初稿,再由人檢查需要修正的地方,是實用的做法。

關於作者

Andrew Carlins

作者

Andrew Carlins

Songscription 共同創辦人兼執行長

Andrew 和幾位音樂人在史丹佛一起創辦了 Songscription,因為大家都受夠了想演奏一首歌,卻找不到樂譜的情況。他從小彈鋼琴、吹上低音薩克斯風,也演過音樂劇。雖然已經好幾年沒登台,他倒覺得自己還有兩下子。他的文章聊的是怎麼把錄音裡的歌寫成樂譜。

認識我們的團隊

閱讀更多相同主題的文章。