이 글은 음악 채보와 악보 제작 도구 가이드의 일부예요.
오디오를 MIDI로 변환한다는 건 녹음을 음 목록으로 바꾸는 일이에요. 각 음에는 음높이, 시작 시점, 길이, 벨로시티가 담겨요. MIDI로 바꾸고 나면 음을 하나씩 고치거나 악기를 바꾸고, 악보를 만들거나 어떤 DAW에든 데이터를 불러올 수 있어요. 음악 작업의 바탕이 되는 변환인데, 2026년에 이 작업을 잘 해내는 도구들은 불과 2년 전보다도 눈에 띄게 좋아졌어요.
오디오를 MIDI로 바꾼다는 건 어떤 뜻인가요?
오디오는 시간에 따라 달라지는 압력을 기록한 연속적인 파형이에요. MIDI는 음높이와 시점이 정확히 정해진 개별 이벤트로 이루어져요. 둘 사이를 변환하려면 파형만으로는 분명하지 않은 부분을 판단해야 해요. 음이 정확히 어디서 시작하는지, 소리의 흔들림이 새 음인지 길게 유지한 음의 비브라토인지 구별해야 하죠. 연주한 음이 B♭인지, B를 조금 낮게 연주한 건지도 알아내야 하고요.
요즘 오디오를 MIDI로 바꾸는 도구는 정확한 MIDI 데이터와 짝지은 수백만 시간의 오디오로 학습한 머신러닝 모델을 써요. 충분한 예시를 학습해서 사람이 채보할 때와 비슷한 판단을 내려요. 모든 모델에 오류가 있듯이 이 모델들도 늘 정확하지는 않아요. 그래도 실제 작업 방식이 달라질 만큼은 정확해졌어요. 예전에는 직접 듣고 채보한 뒤 도구로 확인했다면, 지금은 도구로 먼저 변환하고 결과를 고치는 쪽으로 바뀌었어요.
단선율 변환과 다성 변환
단선율 변환은 보컬, 리드 기타, 색소폰, 휴대폰에 녹음한 휘파람 멜로디처럼 한 번에 한 음씩 나는 소리를 다뤄요. 음높이와 타이밍은 알아내야 하지만 겹쳐 울리는 음을 분리할 필요는 없어요.
다성 변환은 피아노, 기타 코드, 여러 악기가 섞인 믹스처럼 여러 음이 동시에 나는 소리를 다뤄요. 단선율 변환보다 훨씬 어려워요. 코드 안의 음높이를 하나씩 구별하고 악기가 여럿이면 각 음이 어느 악기에서 나는지도 판단해야 해요. 앞 음의 울림이 다음 음까지 이어져 일부가 겹치는 경우도 처리해야 하고요. 지난 몇 년 사이 다성 변환 성능은 크게 좋아졌지만 여전히 원본 녹음이 깨끗할수록 결과가 좋아요.
2026년에 쓸 만한 도구
저희는 Songscription을 만들고 있어서 이 도구를 첫 번째로 소개하는 데 이해관계가 있어요. 다른 도구를 고르는 편이 나은 경우도 함께 다루면서 가능한 한 공정하게 비교할게요. 직접 써 보고 판단하실 수 있도록 각 도구가 잘하는 것과 부족한 점을 구체적으로 적었어요.
Songscription
Songscription에서는 악기별 모델로 채보해요. 피아노에서 가장 좋은 결과를 얻고, 어쿠스틱 기타, 드럼, 바이올린, 플루트, 색소폰, 트럼펫, 베이스와 그 밖의 몇 가지 악기에도 별도 모델을 써요. Multi-Instrument 모드에서는 전체 믹스를 한 번에 채보하고 인식한 악기마다 트랙을 나눠 멀티트랙 MIDI로 내보내요.
피아노 곡 전체 녹음, 기타 코드, 여러 소리가 섞인 오디오처럼 여러 음이 동시에 나는 녹음을 MIDI와 MusicXML로 내보낼 수 있어요. 내장된 악보 편집기와 피아노 롤 편집기에서는 원하는 구간으로 이동하면서 원본 오디오와 결과를 비교하고 모델이 틀린 부분을 바로 고쳐요. 결과를 다듬으려고 다른 프로그램으로 옮길 필요가 없어요. MIDI 파일뿐 아니라 악보도 필요하다면 변환 후 편곡과 난이도 조절까지 이어서 작업해요.
Klangio
악기별 채보 도구에 API와 DAW 플러그인도 있다는 점이 기능상 가장 큰 차이예요. 직접 만드는 소프트웨어에 오디오를 MIDI로 변환하는 기능을 넣거나, 별도 웹 앱 대신 DAW 안에서 변환하려면 Klangio가 그런 작업에 맞아요. 두 제품에서 모두 지원하는 악기는 대체로 Songscription의 결과가 더 깔끔하고 특히 피아노에서 차이가 나요.
Logic Pro의 Flex Pitch와 비슷한 DAW 기능
요즘 DAW에는 대부분 어떤 형태로든 오디오를 MIDI로 변환하는 기능이 있어요. 마이크에 대고 흥얼거린 멜로디나 보컬 라인처럼 단선율 소스를 변환할 때 가장 잘 맞는 편이에요. 여러 음이 동시에 나는 녹음은 보통 전용 도구로 변환했을 때 DAW 기능보다 눈에 띄게 좋은 결과가 나와요.
Basic Pitch: Spotify의 오픈 소스 모델
Basic Pitch는 무료 오픈 소스 다성 모델이에요. 컴퓨터에서 직접 실행할 수 있고 깨끗한 녹음을 넣으면 쓸 만한 MIDI가 나와요. 정확도는 상위 상용 도구보다 낮지만 무료로 쓸 수 있고 오프라인에서도 실행돼요. 작업 방식에 따라 이 조건이 필요할 때가 있죠. 오디오를 어디에도 업로드하지 않고 빠르게 변환해서 초안을 얻고 싶을 때 고려할 만해요.
더 좋은 변환 결과를 얻는 방법
가진 녹음 중 가장 깨끗한 것으로 시작하세요
같은 피아노라도 시끄러운 방에서 휴대폰으로 녹음한 것보다 스튜디오 녹음의 채보 결과가 훨씬 좋아요. 배경 소음, 방 안에서 반사되는 소리, 압축 과정에서 생긴 잡음은 모두 모델의 판단을 흐려요. 원본 스템이나 고음질 녹음이 있으면 그걸 쓰세요.
전체 믹스는 채보하기 전에 스템으로 나눠 보세요
사용할 권리가 있는 전체 녹음을 변환할 때는 먼저 악기별로 분리하면 도움이 돼요. Moises, LALAL.AI 같은 스템 분리 도구에 믹스를 넣고 악기별로 나눈 뒤 각각 채보하세요. 피아노 채보 도구에 전체 믹스를 넣는 것보다 피아노만 담긴 스템을 넣었을 때 훨씬 좋은 MIDI 파일이 나와요.
한 악기 대신 모든 악기를 MIDI로 얻고 싶다면 Songscription의 Multi-Instrument 모드에서 분리 과정 없이 믹스를 바로 변환하세요. 악기마다 별도 트랙으로 기록돼요. 다만 편곡이 빽빽한 곡은 변환 후에 다듬을 부분이 생겨요.
원본 소리에 맞는 도구를 고르세요
보컬 멜로디와 피아노 연주에는 서로 다른 모델이 필요해요. 악기별 채보 도구가 따로 있는 제품도 있고 그렇지 않은 제품도 있어요. 피아노 전용 모델에 기타 녹음을 넣으면 범용 도구보다 결과가 나빠져요. 모델이 피아노의 특성을 전제로 판단하는데 기타에는 그 전제가 맞지 않기 때문이에요.
변환 후 편집할 시간도 잡아 두세요
가장 좋은 도구로 만든 MIDI도 사람이 한 번 다듬으면 결과가 더 좋아져요. 원본의 잡음 때문에 잘못 생긴 짧은 음을 지우고, 베이스 음의 옥타브 오류를 고치고, 너무 일찍 끝나거나 길게 이어진 음의 길이를 조절하는 작업이 흔해요. 곡마다 10~20분 정도 편집하면 작업에 쓸 만한 결과가 돼요.
MIDI를 악보로 바꾸기
MIDI를 얻은 뒤 악보를 만드는 건 별도의 작업이에요. 박에 맞춰 음의 위치와 길이를 정리하는 퀀타이즈, 양손 파트 나누기, 조표와 박자표, 아티큘레이션 표시를 어떻게 처리할지 정해야 해요. 어떤 도구에서는 오디오 → MIDI → 악보 변환을 한 흐름으로 처리하고, 어떤 도구에서는 MIDI까지만 만들어요.
악보가 필요하다면 MIDI를 악보로 변환하는 방법에서 MIDI를 내보낸 다음의 과정을 확인하세요. MIDI를 악보로 변환하는 도구 비교에서는 직접 수정하기 전 각 프로그램이 MIDI를 얼마나 깔끔한 악보로 옮기는지 살펴봐요.
관련 가이드
오디오를 MIDI로 변환하는 기본 과정에서 더 알아보고 싶은 부분이 있다면, 하려는 작업에 맞춰 아래 글을 읽어 보세요.
- 원본 녹음을 변환하려면 YouTube 동영상을 MIDI로 바꾸는 방법과 직접 녹음한 소리를 MIDI로 바꾸는 방법을 참고하세요. YouTube 오디오는 사용할 권리가 있는 것만 변환해야 해요.
- 변환 도구를 고르려면 오디오를 MIDI로 변환하는 도구 비교와 Songscription과 Basic Pitch 비교를 읽어 보세요.
- 프로듀서라면 음반에 담긴 소리를 재현하는 방법과 프로듀서를 위한 AI 음악 도구가 작업에 도움이 돼요.
- MP3 파일은 MP3를 MIDI로 변환하는 방법에서 다뤄요.
- 동영상 파일은 MP4를 MIDI로 변환하는 도구에 넣으면 mp4, mov, webm에서 오디오를 자동으로 추출하고 .mid 파일로 내보내요.
- 악보에서 시작하려면 악보를 MIDI로 변환하는 도구에 MusicXML 파일을 업로드하세요. 바로 MIDI로 변환돼요.
- DAW에서 작업하려면 Ableton Live, GarageBand, Logic Pro와 FL Studio 가이드를 참고하세요.
- 변환 결과를 다듬으려면 오디오 변환 후 MIDI를 정리하는 방법을 읽어 보세요.
실제 작업에 적용하기
오디오를 MIDI로 변환한 결과는 이제 실제 작업에 넣어도 될 만큼 안정적이에요. 남은 한계는 주로 원본 녹음의 품질에 있어요. 성능 좋은 모델에 깨끗한 녹음을 넣으면 몇 초 만에 쓸 만한 MIDI가 나와요. 방 건너편에서 휴대폰으로 녹음한 소리라면 아무리 좋은 도구를 써도 결과를 손봐야 해요.
변환 도구의 성능이 좋아지면서 작업에서 시간을 잡아먹는 부분도 달라졌어요. 변환 자체보다 결과로 무엇을 할지 정하는 데 더 많은 판단이 필요해요. 프로듀서에게는 DAW에 불러올 MIDI가, 작곡가에게는 편집할 악보가, 음악 선생님에게는 학생에게 건넬 자료가 필요해요. 같은 오디오 파일에서 목적에 따라 이 세 가지 결과물을 만들어요. 어느 작업이든 변환 단계에서 오래 기다리지 않고 다음 작업으로 넘어가요.
자주 묻는 질문
오디오를 MIDI로 변환하면 무엇이 바뀌나요?
오디오를 MIDI로 변환하면 녹음이 음높이, 시작 시점, 길이, 벨로시티를 담은 음 목록으로 바뀌어요. MIDI에서는 음을 하나씩 고치거나 악기를 바꾸고, 악보를 만들거나 어떤 DAW에든 데이터를 불러올 수 있어요. 음악 작업의 바탕이 되는 변환이고, 2026년의 성능 좋은 도구로는 몇 초면 끝나요.
단선율 변환과 다성 변환은 어떻게 다른가요?
단선율 변환은 보컬, 리드 기타, 휴대폰에 녹음한 휘파람 멜로디처럼 한 번에 한 음씩 나는 소리를 다뤄요. 음높이와 타이밍만 알아내면 돼요. 다성 변환은 피아노, 기타 코드, 여러 악기가 섞인 믹스처럼 여러 음이 동시에 나는 소리를 다뤄요. 코드 안의 음높이를 하나씩 구별해야 해서 훨씬 어려워요. 다성 변환 성능은 많이 좋아졌지만 원본 녹음이 깨끗할수록 결과도 좋아요.
오디오를 MIDI로 변환할 때 좋은 결과를 얻으려면 어떻게 해야 하나요?
가진 녹음 중 가장 깨끗한 것으로 시작하세요. 시끄러운 방에서 휴대폰으로 녹음한 것보다 스튜디오 녹음의 채보 결과가 훨씬 좋아요. 여러 소리가 빽빽하게 섞인 믹스는 스템으로 나누면 도움이 돼요. 다만 Songscription의 Multi-Instrument에서는 스템 없이도 모든 파트를 채보해요. 악기에 맞는 모델을 쓰는 도구를 고르고 변환 후 편집할 시간도 잡아 두세요. 곡마다 10~20분 정도 들여 잘못 생긴 음, 옥타브 오류, 음 길이를 고치면 작업에 쓸 만한 결과가 돼요.
