AI संगीत ट्रांसक्रिप्शन रिकॉर्डिंग से नोट लिखने का काम तीन चरणों में करता है। पहले ऑडियो की फ़्रीक्वेंसी की एक तस्वीर बनती है। फिर हज़ारों रिकॉर्डिंग से सिखाया गया मॉडल उस तस्वीर को पढ़कर नोटों का अनुमान लगाता है। आखिर में नोटों को बीट से मिलाकर स्कोर और MIDI के रूप में तैयार किया जाता है। आज यह काम इतना अच्छा इसलिए होता है कि बीच का मुश्किल चरण अब हाथ से लिखे नियमों पर नहीं, बल्कि ऐसे न्यूरल नेटवर्क पर चलता है जिसने उदाहरणों से सीखा है कि नोट तस्वीर में कैसे दिखते हैं।
संक्षेप में
कान से ट्रांसक्रिप्शन करने वाला संगीतकार एक नोट सुनता है, उसे अपने वाद्य पर ढूँढ़ता है, उसकी अवधि समझता है और उसे लिखता है। फिर यही काम कई हज़ार बार दोहराता है। AI भी यही काम करता है, बस बहुत तेज़ी से और सब एक साथ। वह आवाज़ को जाँचने लायक डेटा में बदलता है, उसमें छिपे नोट पहचानता है और उन्हें पढ़ने लायक चिह्नों में बदल देता है। नोट पहचानना इस प्रक्रिया का सबसे मुश्किल काम है और पिछले कुछ सालों में सबसे ज़्यादा प्रगति भी यहीं हुई है।
पहला चरण: आवाज़ से तस्वीर बनती है
डिजिटल रिकॉर्डिंग दरअसल संख्याओं की एक लंबी सूची है। ये संख्याएँ बताती हैं कि स्पीकर का कोन कैसे हिलेगा, और हर सेकंड के लिए ऐसी दसियों हज़ार संख्याएँ होती हैं। इस सूची में धुन दिखाई नहीं देती। इसलिए सॉफ़्टवेयर पहले उसे एक ऐसी तस्वीर में बदलता है जिससे पता चले कि हर पल किस सुर पर कितनी ऊर्जा है। नतीजे को स्पेक्ट्रोग्राम कहते हैं। यह हीट मैप जैसा दिखता है, जिसमें समय बाएँ से दाएँ और फ़्रीक्वेंसी नीचे से ऊपर चलती है। चमकीले धब्बे बताते हैं कि कौन से सुर बज रहे हैं।
यह तस्वीर काफ़ी हद तक पियानो रोल जैसी होती है और मूल वेवफ़ॉर्म की तुलना में संगीत को कहीं बेहतर दिखाती है। देर तक बजने वाला नोट आड़ी लकीर बन जाता है। कॉर्ड में ऐसी कई लकीरें एक के ऊपर एक दिखती हैं। ड्रम की एक चोट से कई फ़्रीक्वेंसी पर थोड़ी देर के लिए ऊर्जा की खड़ी लकीर बनती है। आवाज़ को इस तरह तस्वीर में बदलने के बाद उसे तस्वीरें पढ़ने के लिए सिखाया गया मॉडल समझ सकता है।
दूसरा चरण: मॉडल नोट ढूँढ़ता है
स्पेक्ट्रोग्राम से नोट पढ़ना जितना लगता है, उससे ज़्यादा मुश्किल है। पियानो का एक नोट एक साफ़ लकीर के रूप में नहीं दिखता। उसमें एक मूल फ़्रीक्वेंसी होती है और उसके ऊपर कई ओवरटोन होते हैं। जब कई नोट एक साथ बजते हैं, तो उनके ओवरटोन आपस में मिल जाते हैं। गिटार के निचले E और उससे एक ऑक्टेव ऊपर के E के कुछ ओवरटोन एक जैसे होते हैं। कौन से चमकीले धब्बे असल नोट हैं और कौन से दूसरे नोटों के हार्मोनिक, यह पहचानना ट्रांसक्रिप्शन की मुख्य पहेली है।
आधुनिक सिस्टम इसके लिए ऐसे न्यूरल नेटवर्क इस्तेमाल करते हैं जिन्हें रिकॉर्डिंग और उनके ठीक-ठीक नोटों के बड़े डेटासेट से सिखाया गया है। पियानो के मामले में कुछ वाद्यों ने ऑडियो के साथ दबाई गई कीज़ भी ठीक-ठीक रिकॉर्ड कीं। उनसे हज़ारों प्रस्तुतियों के ऐसे डेटासेट बने जिनकी रिकॉर्डिंग बजाए गए नोटों से पूरी तरह मेल खाती थी। नेटवर्क इन उदाहरणों से सीखता है कि बजाया गया नोट अपने ओवरटोन से कैसे अलग दिखता है, उसकी शुरुआत कैसी दिखती है और आवाज़ कैसे धीमी पड़ती है। वह आम तौर पर समय के हर छोटे हिस्से में हर सुर के लिए अनुमान लगाता है कि नोट शुरू हो रहा है या नहीं, बज रहा है या नहीं और उसकी आवाज़ कितनी तेज़ है। इन अनुमानों को जोड़ने पर नोटों की सूची मिलती है। हर नोट का सुर, शुरुआत, अंत और वेलोसिटी दर्ज होती है।
इस प्रक्रिया में किसी ने “तीसरे हार्मोनिक को अनदेखा करो” जैसे नियम हाथ से नहीं लिखे। मॉडल ने उदाहरणों से ये बातें खुद सीखीं। इसलिए जैसे-जैसे दूसरे वाद्यों का प्रशिक्षण डेटा मिलता है, यही तरीका उन पर भी लागू हो सकता है और तर्क को फिर से लिखे बिना नतीजों में सुधार होता रहता है। कुछ रिकॉर्डिंग से दूसरों की तुलना में ज़्यादा साफ़ नतीजे क्यों मिलते हैं, यह हमने AI ट्रांसक्रिप्शन की सटीकता अलग-अलग क्यों होती है में विस्तार से बताया है।
तीसरा चरण: नोटों से पढ़ने लायक स्कोर बनता है
हर नोट के सटीक समय वाली सूची से MIDI और पियानो रोल बनाए जा सकते हैं। लेकिन स्कोर के लिए शुरुआत और अंत का समय ही काफ़ी नहीं है। उसमें टेम्पो, मीटर और पहचानी जा सकने वाली लय के अनुसार रखे गए नोट चाहिए। 120 बीट प्रति मिनट पर कोई इंसान क्वार्टर नोट को ठीक 500 मिलीसेकंड तक नहीं बजाता। इसलिए सॉफ़्टवेयर को मूल बीट ढूँढ़नी होती है, तय करना होता है कि बार लाइनें कहाँ आएँगी और हर नोट की अवधि को उसके सबसे नज़दीकी उचित मान, जैसे क्वार्टर या आठवें नोट, पर लाना होता है। इसे क्वांटाइज़ेशन कहते हैं। इससे न बजाए जा सकने वाले बत्तीसवें नोटों से भरे ट्रांसक्रिप्शन के बजाय पढ़ने में साफ़ ट्रांसक्रिप्शन बनता है।
सॉफ़्टवेयर को नोटेशन से जुड़े वे फ़ैसले भी लेने होते हैं जिनकी एक वादक को उम्मीद होती है: कौन से नोट दाएँ हाथ से बजेंगे और कौन से बाएँ हाथ से, सुर बदलने वाले चिह्न कैसे लिखे जाएँ और रेस्ट कहाँ रखें। फिर अलग-अलग कामों के लिए नतीजा कई फ़ॉर्मैट में मिलता है। एक ही ट्रांसक्रिप्शन से प्रिंट करने के लिए PDF, DAW के लिए MIDI फ़ाइल और नोटेशन एडिटर में खोलने के लिए MusicXML फ़ाइल बन सकती है। अगर लय या दोनों हाथों के बीच नोटों का बँटवारा गलत आए, तो इसी स्तर पर उसे बदला जा सकता है। ट्रांसक्रिप्शन की गलतियाँ ठीक करने के लिए आम तौर पर पूरा काम दोहराने के बजाय छोटा सा संपादन काफ़ी होता है।
कहाँ अच्छा काम करता है और कहाँ मुश्किल होती है
सोलो पियानो पर AI ट्रांसक्रिप्शन सबसे अच्छा काम करता है। इसके लिए प्रशिक्षण डेटा सबसे ज़्यादा है, आवाज़ को पहचानना आसान होता है और अच्छे मॉडल साफ़ रिकॉर्डिंग से ज़्यादातर नोट पकड़ लेते हैं। कॉर्ड बजाने वाले एक वाद्य का ट्रांसक्रिप्शन भी अब अच्छी तरह होता है। इसे पॉलीफ़ोनिक ट्रांसक्रिप्शन कहते हैं। पियानो के बारे में हमने पॉलीफ़ोनिक पियानो ट्रांसक्रिप्शन की व्याख्या में लिखा है।
कुछ तरह की रिकॉर्डिंग में मुश्किलें आती हैं। पूरे बैंड को एक मिक्स्ड ट्रैक में रिकॉर्ड किया गया हो, तो मॉडल को एक ही फ़्रीक्वेंसी क्षेत्र में साथ बज रहे कई वाद्यों को अलग पहचानना पड़ता है। बहुत ज़्यादा डिस्टॉर्शन, घना रीवर्ब और कम गुणवत्ता वाला ऑडियो स्पेक्ट्रोग्राम को धुंधला कर देते हैं और सटीकता घटती है। बहुत तेज़ हिस्से और बहुत धीमे नोट भी आसानी से छूट सकते हैं। फिर भी नतीजा काम का हो सकता है। उसे एक अच्छा पहला ड्राफ़्ट समझें जिसकी आपको जाँच करनी है, ऐसा तैयार स्कोर नहीं जिसे किसी इंसान को देखने की ज़रूरत न हो। AI संगीत ट्रांसक्रिप्शन की सटीकता में हमने इस उम्मीद को आँकड़ों के साथ समझाया है।
सबसे अच्छा नतीजा कैसे पाएँ
पहले चरण का असर आगे के पूरे काम पर पड़ता है, इसलिए आपके लिए सबसे अहम है अच्छी रिकॉर्डिंग चुनना। स्रोत जितना साफ़ होगा, तस्वीर उतनी साफ़ बनेगी और मॉडल उतने ज़्यादा नोट सही पहचान पाएगा। गाने का सबसे साफ़ संस्करण चुनें, टूल को बताएँ कि वह कौन सा वाद्य सुन रहा है ताकि सही मॉडल इस्तेमाल हो, और ड्राफ़्ट को एक बार जाँच लें। Songscription में फ़ाइल अपलोड करें या लिंक पेस्ट करें। AI ऊपर बताए तीनों चरण पूरे करता है और आपको पियानो रोल और हमारे बनाए स्कोर एडिटर में तैयार किया गया स्कोर मिलता है। एक्सपोर्ट करने से पहले आप उसे ब्राउज़र में चला सकते हैं, धीमा कर सकते हैं, ट्रांसपोज़ कर सकते हैं और संपादित कर सकते हैं। सुनकर नोट पहचानने का ज़्यादातर काम तकनीक करती है; अंतिम फ़ैसला संपादक के तौर पर आपका होता है।
अक्सर पूछे जाने वाले सवाल
AI संगीत ट्रांसक्रिप्शन कैसे काम करता है?
यह काम मोटे तौर पर तीन चरणों में होता है। पहले सॉफ़्टवेयर ऑडियो से एक स्पेक्ट्रोग्राम बनाता है। यह एक तस्वीर है जो दिखाती है कि हर पल कौन सी फ़्रीक्वेंसी बज रही हैं। फिर एक न्यूरल नेटवर्क इस तस्वीर को पढ़कर अनुमान लगाता है कि नोट कहाँ शुरू होते हैं, उनके सुर क्या हैं और वे कब खत्म होते हैं। इस नेटवर्क को हज़ारों ऐसी रिकॉर्डिंग से सिखाया गया है जिनके नोट पहले से पता हैं। आखिर में अनुमानित नोटों को बीट ग्रिड से मिलाकर MIDI और मानक नोटेशन में बदल दिया जाता है। मॉडल हाथ से लिखे नियमों का पालन करने के बजाय डेटा से सीखे पैटर्न पहचानता है। इसी वजह से, जब रिकॉर्डिंग और उनसे ठीक मेल खाते नोटों के बड़े डेटासेट और आधुनिक न्यूरल नेटवर्क आए, तो नतीजों में बहुत सुधार हुआ।
क्या AI ट्रांसक्रिप्शन सटीक होता है?
किसी एक वाद्य की साफ़ रिकॉर्डिंग के लिए यह अब बहुत अच्छा काम करता है। सोलो पियानो में तो मॉडल आम तौर पर ज़्यादातर नोट पकड़ लेते हैं। मुश्किल ऑडियो में सटीकता घटती है। पूरे बैंड का घना मिक्स, फ़ोन से की गई शोर वाली रिकॉर्डिंग, बहुत ज़्यादा रीवर्ब या तेज़ी से एक दूसरे पर चढ़ते नोट, सभी काम को मुश्किल बनाते हैं। ऐसे नतीजे की उम्मीद रखें जो एक अच्छा पहला ड्राफ़्ट हो और जिसे आप जाँचकर ठीक करें। बिना किसी इंसान की जाँच के एकदम सही स्कोर मिलने की उम्मीद न रखें।
क्या AI ट्रांसक्रिप्शन अलग-अलग वाद्यों को पहचान सकता है?
मॉडल एक वाद्य के नोट अच्छी तरह पहचान लेते हैं। इनमें एक पियानो या गिटार पर बजाए गए कॉर्ड भी शामिल हैं। एक ही मिक्स में साथ बज रहे कई वाद्यों को अलग पहचानना मुश्किल है। Songscription का Multi-Instrument मोड यह काम एक ही बार में करता है, हालाँकि पहले ऑडियो को अलग ट्रैक में बाँटने से हर वाद्य का हिस्सा सबसे साफ़ मिलता है। अगर हर वाद्य के हिस्से के बजाय पूरा गाना चाहिए, तो पूरे मिक्स को पियानो के लिए एक स्कोर में भी समेटा जा सकता है।
अपने गाने पर ये तीनों चरण आज़माना चाहें, तो रिकॉर्डिंग अपलोड करें और देखें कि वह पढ़ने और संपादित करने लायक नोटों में कैसे बदलती है।
