資源採譜Andrew Carlins•閱讀時間:6 分鐘

為什麼 AI 音樂轉譜的準確度會有差異?

上傳一段清楚的鋼琴獨奏錄音,轉譜結果會很準確;換成樂團現場錄音,結果就不一定一樣。差異主要來自錄音本身,以及 AI 模型的訓練與設計方式。

錄音與模型如何影響 AI 音樂轉譜的準確度,以及讓轉譜結果更準確的方法

上傳一段清楚的鋼琴獨奏錄音,轉譜結果會很準確。用同一個工具處理樂團現場錄音,結果就不一定一樣。這種差異有跡可循。錄音本身的聲音和 AI 模型的訓練與設計方式,都會影響轉譜結果。

有些音樂比較容易辨識,有些則需要多花點工夫;不同模型處理同一段錄音,也常有不同的結果。想先了解 AI 轉譜大致能做到什麼程度,可以先看我們整理的 AI 音樂轉譜準確度與合理期待。

哪些音樂因素會影響 AI 轉譜的準確度?

有些錄音就是比較容易讓 AI 辨識,調音、演奏的快慢和錄進去的聲音都會影響結果。準備音檔時,還能參考提高 AI 音樂轉譜準確度的步驟,照著檢查上傳前能做的調整。

不採標準調音

多數 AI 轉譜工具的訓練音樂,採用西方音樂常見的標準調音。如果錄音用了不同的調音,例如吉他整體降一個全音,或某種傳統音樂的音與音之間採用不同的音高間距,模型不一定找得到對應的音,就會把它歸到自己認得、音高最接近的音。若你經常使用其他調音方式,上傳前先將音檔移調到標準調音,轉完再把結果調回來,通常會轉得最乾淨。

速度變化與拍子不穩

AI 會根據錄音裡的拍子,判斷每個音符出現的時間。演奏者拍子抓得比較鬆,或在一個段落裡自然地加快、放慢時,模型就得多做一些判斷。大多數時候都能處理得很好。即使錄音的節奏變化很自由,轉完到編輯器稍微修一下,通常就夠了。

大量音效處理,以及麥克風收到其他樂器的聲音

吉他加了很重的破音,或合成器疊了很多效果時,原本的聲音經過層層處理,AI 就比較難辨識音高。錄音不同,轉出的結果也會差很多。更難處理的是一支麥克風同時收到好幾種樂器的聲音。如果手上有獨立音軌或分軌音檔,上傳這些檔案,得到的初步結果都會比上傳完整混音更乾淨。

AI 模型本身也會影響結果

同一段錄音交給不同的轉譜工具,結果常常不一樣。前面提到的因素會影響所有模型,但各個工具處理起來的表現差很多。差別主要在模型用哪些音樂來訓練,以及設計時有沒有針對特定樂器。

模型學過哪些音樂?

AI 轉譜工具會從大量現有音樂中學習。訓練資料涵蓋的音樂越廣、越多樣,模型通常就越能處理沒遇過的內容。如果模型訓練時接觸過多種曲風和錄音條件,遇到新素材就比較能應付。只學過較小範圍的音樂,在那個範圍內會表現很好,超出範圍就比較吃力。

工具自稱「通用」時,通常是指它能妥善處理最常見的曲風,不代表每種樂器、每種音樂類型都學得一樣完整。選擇熟悉你手上這類音樂的工具,往往會得到最好的結果。

有沒有針對特定樂器設計?

專門處理某種樂器的工具,轉那種樂器時通常會明顯更準確。專為鋼琴訓練的模型,學過鋼琴的聲音、各個音如何重疊、琴音如何延續,也學過影響鋼琴轉譜準確度的細節。涵蓋多種樂器的通用模型,則得學習各種樂器的特性。想比較主要工具的表現,可以參考 AI 音樂轉譜軟體比較。

讓 AI 轉譜工具轉得更準確

好的工具是針對實際錄音設計的。大多數時候,上傳後就能直接得到不錯的結果。想把結果做得更乾淨,幾個簡單的做法通常就有幫助。

先挑手上品質最好的錄音。 無損音檔保留的資訊比壓縮音檔多,模型也有更多資訊可辨識。如果壓縮音檔轉完後,需要修正的地方比平常多,值得回到原始來源,重新匯出音檔再試一次。MP3 轉樂譜指南說明了壓縮音檔的轉譜結果大致能做到什麼程度。

想轉譜的樂器有獨立音軌,就上傳那一軌。 單獨的鋼琴聲部,轉出的結果一定會比混在整團錄音裡的同一聲部更乾淨。如果只有完整混音,可以先用分軌工具把那種樂器分離出來。即使分離得不完美,通常還是比直接用完整混音來轉譜更合適。

選擇針對你的樂器設計的工具。 專門處理鋼琴的工具,轉鍵盤樂器的聲部會比較準確;吉他轉譜工具則是針對有琴格的樂器設計。工具和要轉譜的樂器搭得上,後續通常就能少修一些。

轉完先到鋼琴捲軸快速檢查一次。 即使轉得很準,快速看過一遍也能找出需要微調的地方,確認結果沒問題後才算完成。修正 AI 轉譜錯誤的指南說明了要檢查哪些地方,以及發現問題後怎麼處理。

Songscription 如何處理這些情況?

Songscription 的多樂器 AI 能處理各種實際錄音,轉出準確、可直接使用的樂譜,尤其擅長鋼琴和旋律樂器。上傳錄音後,你會得到品質良好的樂譜,能直接使用或修改。

模型從各種條件下的真實錄音中學習,能處理室內殘響、不算嚴重的背景雜音,以及實際錄音常有的小瑕疵。Songscription 也能轉吉他、貝斯和鼓,同一次錄音裡的多個聲部都能接著處理,不必換工具。鋼琴和旋律樂器通常轉得最乾淨。吉他和貝斯也有很好的轉譜表現,但依錄音狀況,偶爾仍需要修正幾個地方。

想修改時,就用鋼琴捲軸編輯器。你可以在同一個畫面檢查轉譜結果、播放並對照原始錄音,再把需要調整的地方改好。對很多音樂人來說,轉完稍微編輯一次,本來就是處理流程的一部分;不用在不同畫面之間切換,修改起來也比較直接。

拿到結果後,怎麼判斷?

原本困難、得花幾個小時的轉譜工作,用 AI 只要幾分鐘就能完成。清楚的獨奏錄音和樂器交錯的現場錄音,轉出來的結果之所以不同,有具體、可預期的原因。了解這些因素,拿到結果時就比較知道該怎麼判斷,也知道一開始怎麼準備,能讓轉譜更乾淨。

大多數錄音交給好的工具,第一次就能完成大部分工作。錄音清楚、工具適合你的樂器,轉完再快速檢查一下,通常就能把初步結果修到可以直接使用。

常見問題

為什麼 AI 轉譜的準確度會有差異?

錄音本身的聲音,加上 AI 模型的訓練與設計方式,共同決定了轉譜結果。清楚的鋼琴獨奏錄音會轉得很準確,樂器交錯的樂團現場錄音則可能轉得沒那麼準。不採標準調音、拍子不穩、加了大量效果,或麥克風收到其他樂器的聲音,都會增加辨識的難度。

為什麼同一段錄音,用不同工具轉出的結果不一樣?

要看模型用哪些音樂來訓練,以及設計時有沒有針對特定樂器。如果模型訓練時接觸過多種曲風和錄音條件,通常就比較能處理沒遇過的音樂。訓練範圍較窄的模型,在熟悉的範圍內表現很好,超出範圍就比較吃力。專門處理某種樂器的工具,轉那種樂器時,通常會明顯比通用工具準確。

怎麼讓 AI 轉譜工具轉得更準確?

先挑手上品質最好的錄音。無損音檔保留的資訊比壓縮音檔多,模型也有更多資訊可辨識。如果你想轉譜的樂器有獨立音軌,就上傳那一軌。單獨的聲部會比混在整團錄音裡的同一聲部轉得更乾淨。選擇針對你的樂器設計的工具,轉完再到鋼琴捲軸快速檢查一次,確認結果沒問題後才算完成。

關於作者

Andrew Carlins

作者

Andrew Carlins

Songscription 共同創辦人兼執行長

Andrew 和幾位音樂人在史丹佛一起創辦了 Songscription,因為大家都受夠了想演奏一首歌,卻找不到樂譜的情況。他從小彈鋼琴、吹上低音薩克斯風,也演過音樂劇。雖然已經好幾年沒登台,他倒覺得自己還有兩下子。他的文章聊的是怎麼把錄音裡的歌寫成樂譜。

認識我們的團隊

閱讀更多相同主題的文章。