本文收錄於我們的音樂記譜術語指南。
唱一條單音旋律時，每次只有一個音，軟體多年前就已經能跟著辨識。鋼琴卻常常同時彈出 5、6、8 個音，一隻手按著和弦，另一隻手穿插旋律，所有聲音一起響，混成一片。電腦得把它們分開，寫成一個個音符。這是音樂轉譜最難的核心問題，鋼琴也因此成了這個領域衡量技術的標準。
什麼是複音轉譜
「複音」指的是同時有多個聲部。複音轉譜要從音訊裡辨識同時響起的每一個音，全部寫下來。相對的，單音轉譜只有一條旋律，每次只有一個音，不必判斷同時有幾個音，處理起來容易得多。單音與複音轉譜的差別有更完整的說明。
鋼琴轉譜會碰上各種複音難題：和弦裡的音符密集，聲部互相交錯，延音踏板又讓前後的聲音混在一起。
幾個音一起響，為什麼這麼難辨識
一個音並不是只有一個頻率。除了基音，還有一整串泛音，形成泛音列，音色也由此而來。只彈一個音時，系統能找出基頻，判斷音高。幾個音一起彈，各自的泛音就疊在一起，辨識也跟著變難。
- 隔著五度或八度的音，有許多泛音重疊。看起來能證明某個音存在的線索，也可能來自另一個音。
- 一個音和高一個八度的音，幾乎所有泛音都重疊。因此，多寫出沒彈過的八度音，或把音記錯八度，是典型的複音轉譜錯誤。
- 系統得先判斷有幾個音在響，才能辨識音高。內聲部如果比較輕，就容易藏在響亮的外聲部底下。
- 幾個音幾乎同時開始，延音踏板又讓前面的音繼續響，就很難分清楚每個音究竟從哪一刻開始。
AI 怎麼辨識和弦
現在的系統讓模型從資料中學習，不必逐條手寫辨識規則。訓練神經網路時，會給它大量音訊，以及每段音訊實際彈了哪些音。模型從中學會鋼琴的音色，包括泛音怎麼分布、輕彈和重彈有什麼差別，以及擊弦後的聲音怎麼逐漸變弱。
辨識錄音時，模型會把音訊切成許多很短的時間片段，逐段估計哪些音高正在發聲、哪些音剛剛開始。系統再把這些判斷接起來，整理成各自有開始時間、音高和持續時間的音符，寫成樂譜。
模型聽過大量真實的鋼琴錄音，也會參考前後的音樂。例如，前面出現了哪些音、哪些音常常一起出現，都能幫它釐清單靠頻率分析難以判斷的地方。這比較接近受過訓練的音樂人聽和弦的方式，而不是用計算機讀取頻率。
為什麼用鋼琴衡量轉譜技術
音樂轉譜研究在鋼琴上投入最多。常見樂器裡，鋼琴的複音最密集，每個音開始時又清楚、一致，聲音逐漸變弱的方式也有規律，加上訓練資料多，適合用來研究。這些條件讓鋼琴的轉譜技術最成熟。在 Songscription 裡，鋼琴轉譜模型也發展得最成熟。
清楚的鋼琴獨奏錄音，轉出的樂譜接近熟練的轉譜者手寫的結果，連聽的人難以單靠耳朵分辨的內聲部也能記下來。我們的用 AI 把鋼琴錄音轉成樂譜和爵士鋼琴和弦轉譜指南，用實際音樂示範了目前的辨識程度。
哪些因素影響準確度，怎麼改善
錄音最能左右結果。錄音清楚、只有鋼琴，而且殘響不多時，模型最容易分辨每個音。殘響太重，或延音踏板用得太多，都會把和聲混在一起，也是大部分轉譜錯誤的來源。
如果你用數位鋼琴彈奏，直接錄下 MIDI 就能取得完全準確的音符資料，省去從音訊辨識的過程。
轉譜後，最適合在鋼琴捲軸裡檢查音符密集的地方。每個音都是獨立的長條區塊，記錯八度或多出來的音很容易看出來；音高或位置不對，也容易拖曳修正。把音訊轉成鋼琴捲軸指南裡能看到這種格線畫面，其他影響準確度的因素則在為什麼 AI 轉譜的準確度會不同裡說明。
如果錄音裡同時有幾種不同樂器，請參考AI 能同時為多種樂器轉譜嗎。想用自己的演奏試試，從鋼琴轉譜開始。
常見問題
什麼是鋼琴複音轉譜？
鋼琴複音轉譜，就是把錄音裡同時響起的和弦和交錯的聲部，一個個辨識出來，寫成樂譜。「複音」指的是同時有幾個不同音高；相對的，「單音」每次只有一個音。複音比單一旋律更難轉譜，因為幾個音同時出現，泛音又互相重疊。系統得先判斷有幾個音，再分清楚每個音的音高。
為什麼和弦比單一旋律更難轉譜？
單一旋律每次只有一個音高，系統只要追蹤基頻怎麼變化。和弦裡有好幾個音，各自的泛音互相重疊、增強。看起來能證明某個音存在的線索，也可能來自另一個音。系統得在同一瞬間算出有幾個音，還要分清楚每個泛音屬於哪個音高。聲音疊在一起時，既要數對，又要拆得開，這就是複音轉譜的難處。
轉譜為什麼會出現八度誤判？
一個音和高一個八度的音，大部分泛音都重疊，所以容易出現八度誤判。例如低音 C 的泛音列，和高一個八度的 C 所含的泛音大多對得上。系統就有機會把音記高或記低一個八度，也可能多寫出一個根本沒彈過的八度音。模型會學習樂器音色，並參考前後的音樂，減少這類錯誤。不過，八度仍是複音轉譜後最常需要檢查和修正的地方之一。
怎麼讓複音轉譜最準確？
盡量用清楚、只有鋼琴的錄音。獨奏錄音的殘響少，沒有其他樂器干擾，模型就比較能準確辨識內聲部。延音踏板用得太多，會讓和聲混在一起，也是最常見的錯誤來源，因此殘響和延音少一點的錄音有助於辨識。如果你用數位鋼琴彈奏，直接錄下 MIDI 就能取得完全準確的音符資料，不必再從音訊辨識。轉譜後，到鋼琴捲軸檢查音符密集的和弦，八度誤判和多出來的音都比較容易發現、修正。
