O Gemini ou o Claude conseguem transformar uma música em partitura?

Este texto faz parte do nosso guia para escolher ferramentas de transcrição musical.

Sozinhos, não. Nem o Gemini nem o Claude conseguem ouvir uma gravação e entregar uma partitura correta, e nenhum dos dois lê uma partitura impressa nota por nota. Os dois já fazem bem mais do que um chatbot só de texto. O Gemini aceita áudio e imagem, o Claude aceita imagem e texto, então dá para mandar mais do que palavras. Só que eles foram ajustados para entender conteúdo (transcrever fala, descrever uma imagem, raciocinar sobre um texto), e transformar áudio em notação musical depende de processamento de sinal. Peça para qualquer um deles transcrever uma música e a resposta vem segura, mas cheia de notas que ninguém tocou.

Os dois vão bem na parte de texto: explicar teoria, conversar sobre uma notação que você cola, sugerir uma progressão, rascunhar uma melodia de uma linha só, montar um plano de estudo. O que ajuda é separar a parte do trabalho que é linguagem, em que eles ajudam, da parte que é converter áudio em notação, em que você precisa de uma ferramenta específica, e usar cada ferramenta na sua parte.

O que o Gemini e o Claude fazem com música

Os dois modelos já foram bem além do texto. O Gemini já foi criado para trabalhar com diferentes tipos de conteúdo: você manda um arquivo de áudio e ele transcreve a fala, resume a gravação, diz quem está falando e responde perguntas sobre o que foi dito. Ele também aceita imagens. O Claude aceita texto e imagens e lê uma foto ou um documento que você envia. Então, se você mostrar a foto de uma partitura para qualquer um dos dois, ele olha e responde. Ver ou ouvir o arquivo eles conseguem. A dúvida de verdade é se conseguem transformar isso em notação correta, e essa é uma habilidade bem mais específica.

No terreno do texto e da teoria, qualquer um dos dois ajuda:

• Pergunte por que uma progressão resolve daquele jeito, o que é uma substituição de trítono ou como harmonizar uma escala menor, e a explicação vem clara e quase sempre confiável.
• Mande notação ABC, uma cifra ou um trecho descrito em palavras, e ele diz quais são os acordes, explica o que está acontecendo e sugere mudanças.
• Descreva um clima ou um tom e ele propõe progressões de acordes, rearmonizações ou uma linha de baixo para testar.
• Se você descreve uma melodia de uma linha só em palavras, ele consegue escrevê-la numa notação de texto como a ABC, que dá para colar num editor de partitura.

Tudo isso parte de texto ou de uma descrição, e o que sai de útil também é texto. O modelo está raciocinando sobre símbolos musicais, sem converter som nem página impressa em notas exatas. Quando o pedido vira “aqui está a gravação, me dá a partitura”, os dois ficam fora do que sabem fazer.

Por que eles não transcrevem uma gravação

Transformar áudio em notação é um problema de processamento de sinal, e dos difíceis. É preciso detectar a altura de cada nota, achar o momento exato em que cada uma começa e termina, separar as notas que se sobrepõem (a polifonia de um acorde ou de uma banda inteira), quantizar os tempos das notas para chegar a um ritmo legível e só então colocar tudo na pauta, com o tom e a fórmula de compasso certos. Cada uma dessas etapas pede um modelo especializado, treinado com áudio. A compreensão de áudio do Gemini foi feita para a fala (as palavras, quem fala, o sentido), e não para separar alturas e ataques simultâneos. O Claude nem aceita arquivo de áudio, então a única forma de ele “ouvir” uma música é por uma etapa de transcrição separada.

Ler uma partitura impressa cai na mesma armadilha, por outro caminho. Quando pesquisadores testam essa tarefa diretamente, os modelos reconhecem os símbolos da página com precisão altíssima e, mesmo assim, na maioria das vezes, convertem tudo em notas erradas. Eles recorrem a semínimas regulares e a sequências com cara de escala, porque o palpite se apoia em padrões de texto e não na música que está ali na frente. Mesmo quando o modelo “enxerga” bem a página, as alturas e os ritmos que ele informa se afastam do que está escrito.

Se você pedir assim mesmo, os dois fazem o que um modelo de linguagem faz na dúvida: dão uma resposta fluente e segura, com cara de notação, mas com notas que não estão na gravação. Como o resultado parece confiável, o erro é mais difícil de pegar do que uma resposta em branco. Para entender tudo o que uma transcrição de verdade envolve, nosso texto sobre como funciona a transcrição musical com IA passa por cada etapa, e o artigo sobre transcrição monofônica e polifônica explica por que é justamente nas notas sobrepostas que os modelos genéricos falham.

O que usar no lugar

Para transformar áudio em notação, use uma ferramenta criada para isso. No Songscription, envie um arquivo de áudio ou cole o link de um vídeo. O modelo detecta as notas e gera uma partitura editável, além de MIDI, MusicXML, tablaturas do Guitar Pro e um piano roll interativo. Você pode diminuir a velocidade de reprodução para conferir o resultado. Não é preciso inserir as notas manualmente. A partitura abre no editor que criamos para o Songscription, onde você pode corrigir as notas no navegador antes de exportar.

Depois da primeira transcrição, há outras opções para trabalhar a partitura. Uma parte de piano é dividida automaticamente entre mão direita e mão esquerda, nas claves de sol e de fá. Você pode isolar um instrumento de uma mixagem completa quando quiser uma parte separada ou usar Vários instrumentos para transcrever todas as partes de uma gravação de banda ou conjunto de uma vez. No editor, você pode transpor para qualquer tom ou pedir à Annie, a assistente de partituras com IA, que transponha, mude a fórmula de compasso ou acrescente letra e dinâmicas. Há também um modo de arranjo que simplifica uma peça densa para deixá-la mais fácil de tocar ou escreve uma linha melódica para um instrumento que não estava na gravação original. Enquanto Gemini e Claude dão uma explicação em texto sobre a música, você recebe um arquivo para tocar e continuar editando.

A precisão varia. Uma gravação limpa de piano solo, de violão ou guitarra solo ou de uma linha vocal gera um resultado bem mais preciso do que uma mixagem densa de banda, com muitos instrumentos sobrepostos. A transcrição automática faz boa parte do trabalho rapidamente, mas você ainda precisa conferir e corrigir os erros no editor. Ele diagrama a partitura e imprime o PDF com o mesmo layout que você vê na tela. Se você já trabalha no MuseScore, exporte em MusicXML e continue por lá. O artigo sobre por que a precisão da transcrição com IA varia explica por que algumas músicas são transcritas com mais precisão do que outras.

Onde o Gemini e o Claude ainda ajudam

Com a notação em mãos, os dois modelos voltam a ser úteis, porque o trabalho volta a ser texto e raciocínio. Se você já tem na frente uma partitura, uma cifra ou os acordes tirados do MIDI, qualquer um deles pode ajudar:

• Cole a cifra de um acorde complicado e pergunte quais são as notas, que função o acorde tem e que escala encaixa sobre ele.
• Descreva o trecho e seu instrumento e peça um dedilhado ou uma posição de mão que faça sentido.
• Diga qual é a música, seu nível e quanto tempo você tem, e ele organiza um jeito de estudar a peça por etapas.
• Se você já consegue descrever ou cantar uma melodia que conhece, ele escreve tudo em ABC para você levar a um editor.

Você pode usar uma ferramenta de transcrição para transformar a gravação em partitura e depois pedir ao Gemini ou ao Claude ajuda para entender as notas e aprender a tocar. Para saber mais sobre o que uma IA consegue ou não dizer sobre uma música, veja se a IA pode dizer como tocar uma música. A mesma pergunta sobre o modelo da OpenAI está em o ChatGPT consegue fazer partitura?.