मुख्य सामग्री पर जाएँ

क्या Gemini या Claude किसी गाने का स्कोर बना सकता है?

संसाधनपढ़ने में 7 मिनटAndrew Carlins

लोग अब Gemini और Claude से रिकॉर्डिंग का स्कोर बनाने को कह रहे हैं, जैसे पहले ChatGPT से कहते थे। जानें कि ये AI असिस्टेंट ऑडियो के साथ क्या कर सकते हैं और सटीक नोटेशन किससे मिलता है।

यह लेख म्यूज़िक ट्रांसक्रिप्शन टूल चुनने की गाइड का हिस्सा है।

Gemini और Claude अपने आप यह काम नहीं कर सकते। दोनों में से कोई भी रिकॉर्डिंग सुनकर सटीक स्कोर नहीं बना सकता और न ही छपा हुआ स्कोर एक-एक नोट करके पढ़ सकता है। अब दोनों साधारण टेक्स्ट चैटबॉट से कहीं ज़्यादा काम कर सकते हैं। Gemini ऑडियो और इमेज लेता है, जबकि Claude इमेज और टेक्स्ट लेता है। लेकिन इन्हें बात समझने के लिए तैयार किया गया है, जैसे बोलकर कही बात को लिखना, तस्वीर का वर्णन करना या टेक्स्ट के आधार पर तर्क करना। संगीत का नोटेशन बनाने के लिए जिस सिग्नल प्रोसेसिंग की ज़रूरत होती है, वह अलग काम है। किसी भी मॉडल से गाने का ट्रांसक्रिप्शन माँगें तो जवाब सहज और पूरे भरोसे से लिखा मिल सकता है, लेकिन उसमें ऐसे नोट भी होंगे जो कभी बजाए ही नहीं गए।

संगीत के दूसरे कामों में दोनों मदद करते हैं। वे थ्योरी समझा सकते हैं, पेस्ट किए गए नोटेशन पर बात कर सकते हैं, कॉर्ड प्रोग्रेशन सुझा सकते हैं, एक लाइन की मेलोडी लिख सकते हैं और अभ्यास की योजना बना सकते हैं। भाषा से जुड़े इन कामों के लिए इनकी मदद लें। ऑडियो को नोटेशन में बदलने के लिए उस काम का अलग टूल चुनें।

Gemini और Claude संगीत के साथ क्या कर सकते हैं

दोनों मॉडल अब सिर्फ़ टेक्स्ट तक सीमित नहीं हैं। Gemini को शुरू से कई तरह की सामग्री के साथ काम करने के लिए बनाया गया है। उसमें ऑडियो फ़ाइल अपलोड करने पर वह बोली गई बात लिख सकता है, रिकॉर्डिंग का सारांश दे सकता है, बता सकता है कि कौन बोल रहा है और कही गई बात पर सवालों के जवाब दे सकता है। वह इमेज भी लेता है। Claude टेक्स्ट और इमेज लेता है और दी गई फ़ोटो या दस्तावेज़ पढ़ता है। इसलिए किसी भी मॉडल को स्कोर की तस्वीर दिखाएँ तो वह उसे देखकर जवाब दे सकता है। लेकिन तस्वीर या ऑडियो फ़ाइल समझना और उसे सही नोटेशन में बदलना अलग काम हैं।

टेक्स्ट और थ्योरी से जुड़े कामों में दोनों मदद कर सकते हैं:

  • थ्योरी समझाना। पूछें कि किसी प्रोग्रेशन के अंत में उस तरह का सुलझाव क्यों महसूस होता है, ट्राइटोन सब्स्टिट्यूशन क्या है या माइनर स्केल के साथ हार्मनी कैसे बनाएँ। जवाब आम तौर पर साफ़ और भरोसेमंद होगा।
  • टेक्स्ट के रूप में दिए नोटेशन पर बात करना। ABC नोटेशन, कॉर्ड चार्ट या शब्दों में लिखा कोई संगीत का हिस्सा दें। मॉडल कॉर्ड बता सकता है, समझा सकता है कि वहाँ क्या हो रहा है और बदलाव सुझा सकता है।
  • कॉर्ड प्रोग्रेशन सुझाना। कोई मूड या की बताएँ तो वह आज़माने के लिए प्रोग्रेशन, नई हार्मनी या बास लाइन सुझा सकता है।
  • एक लाइन की मेलोडी लिखना। धुन शब्दों में बताएँ तो वह उसे ABC जैसे टेक्स्ट नोटेशन में लिख सकता है, जिसे नोटेशन एडिटर में पेस्ट किया जा सकता है।

इन सभी कामों की शुरुआत टेक्स्ट या किसी वर्णन से होती है और उपयोगी जवाब भी टेक्स्ट में मिलता है। मॉडल संगीत के चिह्नों के बारे में तर्क करता है। वह आवाज़ या छपे हुए पन्ने को सही नोटों में नहीं बदलता। रिकॉर्डिंग से स्कोर बनाने का काम दोनों की क्षमता के बाहर है।

वे रिकॉर्डिंग का ट्रांसक्रिप्शन क्यों नहीं कर सकते

ऑडियो को नोटेशन में बदलना सिग्नल प्रोसेसिंग का मुश्किल काम है। हर नोट का सुर पहचानना होता है और यह पता करना होता है कि वह ठीक कब शुरू और बंद होता है। एक साथ बजते नोटों को अलग करना पड़ता है, चाहे वे किसी कॉर्ड में हों या पूरे मिक्स में। फिर नोटों के समय को क्वांटाइज़ करके पढ़ने लायक लय बनानी होती है। इसके बाद सही की सिग्नेचर और टाइम सिग्नेचर के साथ नोटों को स्टाफ़ पर रखा जाता है। इन चरणों के लिए ऑडियो पर प्रशिक्षित विशेष मॉडल चाहिए। Gemini ऑडियो में बोली गई बात और उसका मतलब समझने और बोलने वाले को पहचानने के लिए बना है। वह एक साथ बजते सुरों को अलग करने और उनके शुरू होने का समय पहचानने के लिए नहीं बना। Claude तो ऑडियो फ़ाइल लेता ही नहीं, इसलिए किसी गाने पर उससे काम कराने से पहले अलग से ट्रांसक्रिप्शन करना पड़ता है।

छपा हुआ स्कोर पढ़ने में भी ऐसी ही मुश्किल आती है। जब शोधकर्ता सीधे इस काम का परीक्षण करते हैं, तो मॉडल पन्ने के चिह्न बहुत सटीकता से पहचानने के बाद भी ज़्यादातर बार उन्हें ग़लत नोटों में बदल देते हैं। वे अक्सर बराबर अवधि के क्वार्टर नोट और स्केल जैसे क्रम लिखते हैं, क्योंकि उनके अनुमान सामने लिखे संगीत के बजाय टेक्स्ट के पैटर्न पर टिके होते हैं। मॉडल पन्ना साफ़ “देख” भी ले, तब भी उसके बताए सुर और लय लिखे हुए संगीत से अलग हो जाते हैं।

फिर भी ट्रांसक्रिप्शन माँगने पर दोनों मॉडल अनिश्चित होने के बावजूद धाराप्रवाह और भरोसे से जवाब देते हैं। जवाब नोटेशन जैसा दिखता है, लेकिन उसमें ऐसे कई नोट होते हैं जो किसी ने नहीं बजाए। जवाब देखने में सही लगता है, इसलिए उसकी ग़लतियाँ खाली जवाब की तुलना में पकड़ना मुश्किल होता है। ट्रांसक्रिप्शन के हर चरण को समझने के लिए AI म्यूज़िक ट्रांसक्रिप्शन कैसे काम करता है पढ़ें। मोनोफ़ोनिक और पॉलीफ़ोनिक ट्रांसक्रिप्शन में बताया गया है कि एक साथ बजते नोट सामान्य मॉडल के लिए मुश्किल क्यों हैं।

इसकी जगह क्या इस्तेमाल करें

ऑडियो को नोटेशन में बदलने के लिए उसी काम का टूल इस्तेमाल करें। Songscription में ऑडियो फ़ाइल अपलोड करें या वीडियो का लिंक पेस्ट करें। मॉडल नोट पहचानकर एडिट करने लायक स्कोर, MIDI, MusicXML, Guitar Pro टैब और इंटरैक्टिव पियानो रोल देता है। नतीजा जाँचने के लिए पियानो रोल की गति धीमी की जा सकती है। नोट हाथ से दर्ज नहीं करने पड़ते। स्कोर Songscription के लिए बनाए गए हमारे स्कोर एडिटर में खुलता है, जहाँ कुछ भी एक्सपोर्ट करने से पहले ब्राउज़र में नोट ठीक किए जा सकते हैं।

पहला ट्रांसक्रिप्शन मिलने के बाद कुछ और सुविधाएँ काम आती हैं। पियानो के पार्ट को एक ही लाइन में रखने के बजाय Songscription अपने आप दो हाथों के लिए ट्रेबल और बास स्टाफ़ में बाँटता है। पूरे मिक्स से किसी एक वाद्य का साफ़ पार्ट चाहिए तो उसे अलग किया जा सकता है। Multi-Instrument से बैंड या एनसेंबल की रिकॉर्डिंग के हर पार्ट का ट्रांसक्रिप्शन एक ही बार में किया जा सकता है। एडिटर में किसी भी की में ट्रांसपोज़ करें या उसमें मौजूद AI स्कोर असिस्टेंट Annie से ट्रांसपोज़ करने, टाइम सिग्नेचर बदलने या गीत के बोल और डायनैमिक्स जोड़ने को कहें। अरेंजमेंट मोड किसी जटिल रचना को आसान बना सकता है या ऐसे वाद्य के लिए एक मेलोडी लाइन लिख सकता है जो मूल रिकॉर्डिंग में नहीं था। Gemini और Claude किसी गाने के बारे में पैराग्राफ़ देते हैं; यहाँ ऐसी फ़ाइल मिलती है जिसकी मदद से बजाया जा सकता है और जिसमें आगे भी बदलाव किए जा सकते हैं।

सटीकता की भी एक सीमा है। अकेले पियानो, सोलो गिटार या एक गायक की साफ़ रिकॉर्डिंग का नतीजा पूरे बैंड के घने मिक्स से कहीं ज़्यादा सटीक आता है, जहाँ कई वाद्य एक साथ बजते हैं। ऑटोमैटिक ट्रांसक्रिप्शन से ज़्यादातर काम जल्दी हो जाता है, लेकिन नतीजा देखकर ग़लतियाँ ठीक करनी पड़ती हैं। यह काम उसी एडिटर में करें, जो स्कोर तैयार करता है और स्क्रीन पर दिखने वाले उसी लेआउट से PDF प्रिंट करता है। अगर आप पहले से MuseScore में काम करते हैं, तो MusicXML एक्सपोर्ट करके वहाँ काम जारी रखें। कुछ गानों का साफ़ ट्रांसक्रिप्शन बनाना आसान क्यों होता है और कुछ का मुश्किल, यह AI ट्रांसक्रिप्शन की सटीकता क्यों बदलती है में बताया गया है।

Gemini और Claude अब भी कहाँ मदद करते हैं

नोटेशन हाथ में आने के बाद दोनों मॉडल फिर काम आते हैं, क्योंकि अब काम टेक्स्ट और तर्क से जुड़ा है। स्कोर, कॉर्ड चार्ट या MIDI से मिले कॉर्ड सामने हों तो किसी भी मॉडल से ये काम कराए जा सकते हैं:

  • मुश्किल कॉर्ड समझना। कॉर्ड का चिह्न पेस्ट करके पूछें कि उसमें कौन से नोट हैं, वह कैसे काम करता है और उसके साथ कौन सा स्केल ठीक रहेगा।
  • फ़िंगरिंग के सुझाव लेना। संगीत का हिस्सा और अपना वाद्य बताएँ। फिर आज़माने के लिए ठीक फ़िंगरिंग या हाथ की पोज़िशन पूछें।
  • अभ्यास की योजना बनाना। रचना, अपना स्तर और उपलब्ध समय बताएँ। मॉडल उस पर काम करने की क्रमबद्ध योजना बना देगा।
  • पहचानी हुई मेलोडी को टेक्स्ट नोटेशन में लिखना। धुन का वर्णन कर सकें या उसे गाकर बता सकें तो मॉडल उसे ABC में लिख देगा, जिसे एडिटर में डाला जा सकता है।

ट्रांसक्रिप्शन मॉडल आवाज़ को नोटों में बदलता है। नोट मिलने के बाद Gemini और Claude उन्हें समझने और उनका अभ्यास करने में मदद करते हैं। दोनों तरह के टूल साथ इस्तेमाल करके रिकॉर्डिंग का नोटेशन बनाएँ, फिर उसे बजाना सीखने में मदद लें। किसी रचना के बारे में AI क्या बता सकता है और क्या नहीं, इसके लिए पढ़ें क्या AI बता सकता है कि गाना कैसे बजाएँ। OpenAI के मॉडल से जुड़े सवाल के लिए देखें क्या ChatGPT स्कोर बना सकता है।

अक्सर पूछे जाने वाले सवाल

क्या Gemini स्कोर पढ़ सकता है?

सिर्फ़ मोटे तौर पर। Gemini इमेज लेता है, इसलिए वह स्कोर की फ़ोटो या PDF देखकर उसका सामान्य वर्णन कर सकता है, की बता सकता है या पहचान सकता है कि किसी हिस्से में बहुत सारे नोट हैं। लेकिन वह पन्ने से एक-एक नोट पढ़कर सही सुर और लय भरोसेमंद तरीके से नहीं बता सकता। ठीक इसी काम के परीक्षणों में ऐसे मॉडल भी, जो चिह्न अच्छी तरह पहचानते हैं, ज़्यादातर बार उन्हें सही नोटों में नहीं बदल पाते। वे अक्सर बराबर अवधि के क्वार्टर नोट और स्केल जैसे क्रम लिख देते हैं। छपे हुए स्कोर के बारे में उसके जवाब को मोटा सारांश मानें, सटीक ट्रांसक्रिप्शन नहीं।

क्या Claude किसी गाने का नोटेशन बना सकता है?

रिकॉर्डिंग से नहीं। Claude टेक्स्ट और इमेज के साथ काम करता है। वह टेक्स्ट के रूप में दिए गए नोटेशन, जैसे ABC या कॉर्ड चार्ट, पर बात कर सकता है, हार्मनी समझा सकता है और शब्दों में बताई गई सरल, एक लाइन की मेलोडी लिख सकता है। वह ऑडियो फ़ाइल को सटीक स्कोर में नहीं बदलता। आवाज़ को नोटों में बदलना सिग्नल प्रोसेसिंग का काम है। इसके लिए सुर पहचानना, नोटों के शुरू होने का समय पता करना और एक साथ बजते नोटों को अलग करना पड़ता है। यह काम इसी उद्देश्य के लिए बना ट्रांसक्रिप्शन टूल करता है, चैट मॉडल नहीं।

क्या Gemini या Claude ऑडियो से MIDI फ़ाइल बना सकता है?

रिकॉर्डिंग से नहीं। MIDI फ़ाइल बनाने के लिए ऑडियो से नोट पहचानने पड़ते हैं और इनमें से कोई भी मॉडल यह काम नहीं करता। किसी भी मॉडल से गाना सुनकर MIDI बनाने को कहने पर वह भरोसे के साथ ग़लत डेटा दे सकता है। शब्दों में मेलोडी बताने पर मॉडल शायद उसका छोटा टेक्स्ट रूप लिख दे, जिसे बदला जा सके। लेकिन किसी असली रिकॉर्डिंग की MIDI फ़ाइल के लिए अलग से बना ऑडियो से MIDI बनाने वाला टूल इस्तेमाल करें, जो नोट पहचानकर सीधे फ़ाइल एक्सपोर्ट करे।

किसी गाने का स्कोर बनाने का सबसे अच्छा तरीका क्या है?

ऐसा AI ट्रांसक्रिप्शन टूल इस्तेमाल करें जो ऑडियो फ़ाइल या लिंक लेकर एडिट करने लायक नोटेशन, MIDI और पियानो रोल दे। अकेले वाद्य या आवाज़ की साफ़ रिकॉर्डिंग का नतीजा पूरे बैंड के घने मिक्स से ज़्यादा सटीक आता है, इसलिए नतीजा जाँचें। Songscription में स्कोर हमारे स्कोर एडिटर में तैयार होता है। वहीं नोट ठीक करके PDF प्रिंट करें। किसी दूसरे नोटेशन ऐप में काम जारी रखना हो, तभी MusicXML एक्सपोर्ट करें।

रिकॉर्डिंग का स्कोर बनाने के लिए ऑडियो से स्कोर पर जाएँ। गाना अपलोड करें या लिंक पेस्ट करें, फिर एक्सपोर्ट करने से पहले एडिटर में नतीजा ठीक करें।

लेखक के बारे में

Andrew Carlins

लेखक

Andrew Carlins

Songscription के सह-संस्थापक और CEO

Andrew ने स्टैनफ़र्ड में कुछ साथी संगीतकारों के साथ मिलकर Songscription की स्थापना की। वे सभी अपनी पसंद के गानों के स्कोर न मिलने से परेशान थे। बचपन से Andrew पियानो और बैरिटोन सैक्सोफ़ोन बजाते थे और म्यूज़िकल थिएटर में भी प्रस्तुति देते थे। कई सालों से उन्होंने प्रस्तुति नहीं दी है, फिर भी उन्हें लगता है कि उनका हुनर अब भी बरकरार है। वे लिखते हैं कि रिकॉर्डिंग से गाने के नोट स्कोर पर कैसे उतारे जाएँ।

टीम के बारे में और जानें

इन्हीं विषयों पर और लेख पढ़ें।