튜토리얼채보Andrew Carlins•읽는 데 11분

AI로 내 녹음을 피아노 악보로 만드는 방법

AI 채보로 직접 녹음한 음악을 한 번에 피아노 악보로 옮길 수 있어요. 피아노 독주 녹음, 디지털 피아노의 MIDI 연주 데이터, 밴드 녹음은 각각 어떻게 다루면 될까요?

AI로 직접 녹음한 음악을 피아노 악보로 만드는 과정. 피아노 독주 녹음, 디지털 피아노의 MIDI 연주 데이터, 밴드 녹음과 채보 결과 수정

음악 채보와 악보 도구 추천 가이드에 속한 글이에요.

예전에는 직접 녹음한 연주를 피아노 악보로 옮기는 데 시간이 제법 오래 걸렸어요. 악보 편집기를 열고 녹음을 짧게 끊어 반복해서 들으면서 음표를 하나씩 입력했죠. 리듬을 고치고 나면 다음 8마디에서도 같은 일을 반복했어요. AI 채보를 쓰면 그중 상당 부분은 오디오를 몇 분 동안 처리하고 결과를 고치는 것으로 끝나요. 그래도 어떤 녹음을 쓸지 잘 고르고 결과에서 어디를 고쳐야 하는지 알면 작업이 더 수월해져요.

휴대폰으로 녹음한 피아노 독주, 디지털 피아노에서 MIDI로 바로 저장한 연주, 직접 만든 곡의 밴드 녹음은 연주자들이 흔히 다루는 자료예요. 피아노 악보로 옮기는 큰 흐름은 비슷하지만 자료마다 확인할 부분이 달라요.

‘내 녹음’에는 어떤 자료가 들어갈까요?

도구를 고르기 전에 어떤 자료로 시작할지부터 정하세요. 직접 녹음한 자료에도 여러 종류가 있고 원본이 깨끗할수록 나중에 고칠 일이 줄어요. 흔히 다루는 자료는 다음과 같아요.

  • 휴대폰이나 USB 마이크, 디지털 피아노로 피아노 독주를 녹음했을 수 있어요. 녹음 속 악기와 악보로 옮길 악기가 같아서 피아노 채보가 가장 수월한 경우예요.
  • 디지털 피아노 연주를 MIDI로 저장했다면 어떤 오디오 녹음보다 작업이 깔끔해요. 오디오를 MIDI로 바꾸는 단계를 통째로 건너뛰고 MIDI를 악보로 옮기면 돼요.
  • 직접 만든 곡을 밴드로 녹음했다면 믹스 안에 이미 있는 피아노 파트를 옮기려는 건지, 곡 전체를 피아노용으로 편곡하려는 건지 먼저 정해야 해요. 두 작업은 목적도 다르고 진행 순서도 달라요.

피아노 악보로 옮길 때 AI 채보 전후에 필요한 작업은 자료마다 조금씩 달라요.

피아노 채보가 더 어려운 이유

피아노는 여러 음이 촘촘하게 겹치기 때문에 한 번에 한 음을 연주하는 악기보다 채보가 어려워요. 기타 리드 라인 하나를 채보할 때는 그 순간의 음높이 하나만 알아내면 돼요. 피아노에서는 음 5~6개를 동시에 구별하고 오른손과 왼손으로 나눠야 할 때가 많아요. 앞에서 누른 음이 다음 코드까지 울리면 일부 음만 겹쳐 이어지는 상황도 처리해야 해요.

성능이 좋은 피아노 채보 도구라면 이제 대부분의 자료에서 이런 문제를 처리할 수 있어요. 피아노 전용 모델을 쓰는 이유도 여기에 있어요. 범용 오디오 MIDI 변환 도구로도 피아노 녹음에서 쓸 만한 멜로디를 뽑을 수 있지만, 음 배치가 자연스럽고 깔끔한 양손 악보를 얻으려면 피아노 오디오로 따로 학습한 모델이 필요해요. Songscription에서 피아노를 채보하는 방식도 이 경우에 맞춰져 있어요.

작업 순서

1단계: 원본을 고르거나 녹음을 더 깨끗하게 만드세요

어떤 도구를 쓰느냐보다 원본의 상태가 결과에 더 크게 영향을 줘요. 조용한 방에서 피아노 가까이에 마이크를 놓고 녹음하면, 같은 연주를 집 반대편에서 휴대폰으로 녹음했을 때보다 채보가 훨씬 잘돼요. 더 깨끗하게 녹음한 자료가 있다면 그걸 쓰세요. 휴대폰 음성 메모밖에 없더라도 버릴 필요는 없어요. 요즘 모델은 휴대폰 녹음도 꽤 잘 처리해요. 다만 결과를 고치는 데 시간이 더 들어요.

2단계: 무엇을 악보로 옮길지 정하세요

피아노 독주 녹음이라면 별도로 정할 것이 없어요. 다른 녹음이라면 녹음에 이미 있는 피아노 파트를 옮길지, 곡 전체를 피아노용으로 편곡할지 골라야 해요. 밴드 녹음의 건반 파트를 옮기는 것과 곡 전체를 피아노 한 대로 칠 수 있게 줄여 편곡하는 것은 서로 다른 작업이에요. 피아노 파트를 옮기려면 피아노 스템을 분리해서 채보해요. 곡 전체를 편곡하려면 멜로디와 코드 변화를 채보한 뒤 피아노용으로 다시 짜요.

3단계: 피아노 전용 AI 도구로 오디오를 채보하세요

피아노 전용 채보 도구에 파일을 업로드하세요. Songscription에서는 오디오를 한 번에 피아노 악보로 옮기고 PDF, MusicXML, MIDI로 내보낼 수 있어요. 결과는 읽고 확인할 수 있는 초안이에요. 피아노 롤에서 고친 뒤 내보내면 돼요. 오디오를 MIDI로 바꾸는 과정과 그 기술이 궁금하다면 오디오 MIDI 변환 가이드를 참고하세요.

4단계: 원래 녹음과 비교하세요

원래 오디오를 재생하면서 채보 결과와 비교하세요. 악보만 읽을 때보다 더 많은 오류를 빠르게 찾을 수 있어요. 빠진 음이나 불필요하게 들어간 음, 베이스 음의 잘못된 옥타브를 확인하세요. 길게 이어져야 할 음이 짧게 끊기면서 리듬이 틀어진 곳도 들어 보세요. 이 단계에는 원래 오디오와 동기화된 피아노 롤 편집기가 가장 편해요. 재생 위치를 앞뒤로 옮겨 가며 문제가 있는 자리에서 바로 고치면 돼요.

5단계: 내보내고 필요하면 악보 편집기에서 다듬으세요

다른 연주자에게 보내거나 연습용으로 인쇄하거나 학생과 공유할 때는 피아노 채보 도구에서 바로 내보낸 PDF로 대개 충분해요. 피아노 악보를 PDF로 내보내는 방법에는 도구별 내보내기 옵션과 내보내기 전에 확인할 항목을 간단히 정리했어요.

다른 방식으로 연주할 구간을 오시아로 덧붙이거나 원하는 손가락 번호를 적고 악보 모양을 더 다듬고 싶다면 MusicXML로 내보내세요. 그 파일을 MuseScore, Dorico 같은 악보 편집기에서 열면 돼요. MusicXML에는 음표, 리듬, 양손 구분과 대부분의 아티큘레이션 표시가 담겨요. MIDI 상태에서 파트를 더 고친 다음 악보로 옮기고 싶다면 직접 녹음한 음악을 MIDI로 바꾸는 방법을 참고하세요.

자료 종류별로 작업하는 방법

피아노 독주 녹음

작업이 가장 수월하고 AI 채보 결과도 가장 깔끔하게 나오는 경우예요. 피아노 전용 모델에 피아노만 녹음된 자료를 넣으면 대개 첫 결과부터 원래 연주를 알아볼 만한 초안이 나와요. 수정할 부분은 주로 특정 구간에 몰려 있어요. 빠르게 이어지는 음에서 하나가 빠지거나, 길게 울리는 코드에서 한 성부가 너무 일찍 끊기거나, 낮은 베이스 음의 옥타브가 가끔 잘못 잡히는 식이에요. 34분짜리 곡이라면 수정에 1020분 정도를 잡으세요.

직접 만든 곡의 밴드 녹음

모든 악기가 섞인 믹스는 채보하기 가장 어려운 자료예요. 채보 전에 스템을 분리하면 작업이 훨씬 수월해져요. Moises, LALAL.AI 같은 스템 분리 도구로 곡을 처리한 뒤 피아노 스템만 따로 채보하세요.

기타 중심의 곡처럼 처음부터 피아노 파트가 없다면 피아노 편곡을 만드는 편이 좋아요. 녹음에 없는 피아노 파트를 채보하려고 할 필요는 없어요. 이 경우에는 원래 편곡을 그대로 옮기기보다 멜로디와 코드를 악보에 적는 게 더 중요해요. 먼저 멜로디와 코드를 채보한 뒤 직접 피아노용으로 편곡하거나 Songscription의 피아노 편곡 생성 도구를 쓰세요. 멜로디와 코드 진행을 넣고 난이도를 고르면 그 난이도에 맞춰 연주 가능한 피아노 편곡을 얻어요. 결과는 완성본이 아니라 고쳐 나갈 초안이에요. 그래도 기타 중심의 곡을 피아노로 연주하고 싶을 때는 대개 처음부터 편곡하는 것보다 빨라요.

디지털 피아노에서 MIDI로 저장한 연주

디지털 피아노에서 연주를 바로 MIDI로 저장하면 가장 까다로운 단계를 건너뛰어요. 음높이와 연주 시점, 길이가 이미 정확하게 기록돼 있어서 MIDI를 악보로 옮기는 작업만 남아요. 채보 오류를 고치는 대신 양손을 어떻게 나눌지, 성부를 어떻게 나눠 적을지, 리듬을 어떤 음표로 표기할지 정하면 돼요. 오디오와 함께 MIDI도 저장하거나 오디오 대신 MIDI를 저장할 수 있다면 그렇게 하세요. 이 단계에서 정할 악보 표기는 피아노 편곡 가이드에서 다뤄요.

AI 채보 결과를 더 손봐야 할 때

현재 성능이 가장 좋은 피아노 채보 모델도 놓치는 부분이 있어요. 오류는 대체로 다음과 같은 곳에서 생겨요.

  • 오선 아래로 내려가는 낮은 베이스 음은 어떤 모델이든 구별하기 더 어려워요. 가장 낮은 옥타브는 녹음을 들으면서 확인하세요.
  • 서스테인 페달을 많이 쓰는 구간에서는 음들이 겹쳐 흐릿하게 들려요. 모델이 새로 친 음을 놓치거나 음을 너무 오래 유지할 수 있어요. 보통 피아노 롤에서 해당 부분 몇 군데를 고치면 돼요.
  • 멜로디와 베이스보다 작게 들리는 내성부는 다른 소리에 가려질 수 있어요. 내성부에 길게 이어지는 선율이 있다는 걸 알고 있다면 직접 추가하세요.

이런 오류 때문에 작업을 포기할 필요는 없어요. 그 부분에 수정 시간을 쓰면 돼요. 녹음 내용을 아는 연주자라면 몇 분 안에 고칠 수 있고 빈 악보에 처음부터 음표를 입력하는 것보다 훨씬 빨라요.

악보로 옮긴 뒤에 남는 작업

AI 채보를 쓰면 직접 녹음한 음악을 악보로 만들 때 시간을 들이는 부분이 달라져요. 5년 전에는 음표를 악보에 입력하는 데 오래 걸렸어요. 지금은 그 뒤에 이어지는 편집에 시간이 들어요. 무엇을 남기고 무엇을 단순하게 만들지, 코드의 음을 어떻게 배치해야 더 분명하게 읽힐지, 어디에 손가락 번호를 적을지 정하는 일이에요. 이런 부분은 직접 판단해야 해요. 모델의 판단보다 연주자의 판단이 더 도움이 돼요.

음표를 전부 손으로 입력해야 한다는 부담 때문에 내 음악을 악보로 옮기지 못하고 있었다면 AI 채보로 초안부터 만들 수 있어요. 투어 버스에서 휴대폰으로 거칠게 녹음한 연주도, 스튜디오에서 깨끗하게 녹음한 연주도 이제 쓸 만한 초안으로 옮겨져요. 직접 녹음한 자료를 곡을 피아노 악보로 바꾸는 도구에 넣으면 약 1분 만에 피아노 악보와 연주를 따라갈 수 있는 피아노 롤을 얻어요. 그 초안에서 음을 고르고 표기를 다듬어 내 악보로 완성하면 돼요.

자주 묻는 질문

녹음을 피아노 악보로 만들려면 어떻게 해야 하나요?

가진 자료 중 가장 깨끗한 것을 골라 피아노 전용 AI 채보 도구로 처리하세요. 나온 초안을 원래 녹음과 비교하면서 고친 뒤 PDF, MusicXML, MIDI로 내보내면 돼요. 피아노 독주 녹음에서 가장 깔끔한 결과가 나오고, 밴드 녹음은 대개 스템을 먼저 분리하는 편이 좋아요. 채보 결과는 완성된 악보가 아니라 피아노 롤에서 고쳐 나갈 초안이에요.

피아노는 왜 다른 악기보다 채보하기 어려운가요?

피아노에서는 여러 음이 촘촘하게 겹쳐요. 모델은 음 5~6개를 동시에 구별하고 어느 손으로 칠지 나누면서, 다음 코드까지 이어서 울리는 음도 처리해야 해요. 한 번에 한 음을 연주하는 악기는 그 순간의 음높이 하나만 알아내면 돼요. 그래서 범용 오디오 MIDI 변환 도구보다 피아노 전용 모델에서 양손 악보가 더 깔끔하게 나와요.

채보 결과를 고치는 데 얼마나 걸리나요?

피아노 독주 녹음이라면 34분짜리 곡을 고치는 데 대략 1020분을 잡으세요. 오류는 낮은 베이스 음, 페달을 많이 쓰는 구간, 작게 들리는 내성부에 주로 생겨요. 녹음 내용을 아는 연주자는 피아노 롤에서 이런 부분을 빠르게 고칠 수 있어요. 빈 악보에 처음부터 음표를 입력하는 것보다 빨라요.

글쓴이 소개

Andrew Carlins

글쓴이

Andrew Carlins

Songscription 공동 창업자 겸 CEO

앤드루는 연주하고 싶은 곡의 악보를 찾지 못해 답답했던 동료 음악가 몇 명과 스탠퍼드에서 Songscription을 공동 창업했어요. 어릴 때부터 피아노와 바리톤 색소폰을 연주하고 뮤지컬 무대에도 섰어요. 무대에 서지 않은 지 몇 년이 지났지만 아직 감각은 살아 있다고 믿고 싶어 해요. 녹음 속 곡을 악보로 옮기는 일을 글로 풀어내요.

팀 소개 더 보기

같은 주제를 다룬 다른 글도 읽어 보세요.