악보 용어 안내에 포함된 글이에요.
채보 도구마다 녹음을 처리하는 방식이 달라요. 한 번에 한 음만 따라가는지, 동시에 울리는 여러 음을 모두 따라가는지에 따라 다룰 수 있는 음악도 달라지죠. 모노포닉 채보와 폴리포닉 채보의 차이를 알면 홍보 문구에 나온 정확도 수치만 볼 때보다 도구가 실제로 무엇을 해내는지 판단하기 쉬워요.
한 음을 따라갈 때와 여러 음을 구분할 때는 풀어야 할 문제가 달라요. AI가 이 차이를 얼마나 좁혔는지, 내 음악을 맡기기 전에 무엇을 확인해야 하는지도 도구를 고를 때 살펴볼 부분이에요.
모노포닉 채보란 무엇인가요?
모노포닉 채보는 한 번에 한 음만 울리는 녹음을 악보로 옮기는 작업이에요. ‘모노포닉’은 하나의 성부를 뜻해요. 어느 순간이든 한 가지 음높이만 들리는 음악이에요.
음높이가 하나라는 조건 덕분에 두 채보 방식 중에서는 모노포닉 채보가 더 쉬워요. 신호에서 주된 주파수가 하나뿐이면 알고리즘이 음높이의 변화를 확실하게 따라가기 쉬워요. 다른 음 때문에 생기는 간섭도 적고요.
모노포닉 녹음의 예
플루트 독주가 대표적인 예예요. 대부분의 관악기는 한 번에 한 음을 내도록 만들어져 있어요. 아카펠라 독창이나 전통 민요의 무반주 선율도 같은 범주에 들어가요.
코드를 연주하는 악기라도 줄 하나로만 선율을 연주하면 모노포닉이에요. 기타에서 다른 줄은 건드리지 않고 높은 E현으로만 멜로디를 치면 채보 도구가 쉽게 처리하는 모노포닉 녹음이 돼요. 베이스 라인만 따로 녹음한 경우도 마찬가지예요. 일렉트릭 베이스, 더블베이스, 신시사이저 중 어느 악기로 연주했든 같아요.
모노포닉 녹음은 왜 채보하기 쉬울까요?
모노포닉 녹음에서는 알고리즘이 분석할 신호가 더 단순해요. 다른 음의 주파수나 배음이 겹치지 않아서 시간에 따른 기본 주파수의 변화를 추적할 때 헷갈릴 지점이 훨씬 적어요.
신호 처리 과정도 비교적 단순해요. 주된 주파수를 찾고 시간에 따라 어떻게 바뀌는지 추적한 뒤 음이름과 리듬으로 옮기면 돼요. 초기 채보 소프트웨어가 모노포닉 입력에 집중했던 것도 이 때문이에요. 하나의 성부는 기본적인 주파수 분석으로도 처리했지만 코드나 여러 파트가 겹친 음악은 그렇게 처리하기 어려웠어요.
폴리포닉 채보란 무엇인가요?
폴리포닉 음악은 동시에 둘 이상의 음이 울리는 음악이에요. 피아노에서 왼손으로 베이스음을 누른 채 코드를 치거나, 기타에서 높은 줄의 멜로디가 울리는 동안 코드를 스트로크하는 경우를 생각해 보세요. 한순간이라도 음높이가 둘 이상 함께 울리면 폴리포닉이에요.
폴리포닉 채보는 그 녹음을 악보로 옮기면서 울리고 있는 성부를 모두 잡아내는 작업이에요. 가장 큰 음 하나만 옮겨서는 안 돼요. 모노포닉 채보가 하나의 흐름을 따라간다면 폴리포닉 채보는 겹쳐 있는 여러 흐름을 동시에 구분해서 정확하게 적어야 해요. 한 악기 파트 안에서 두 성부가 서로 얽히면서 움직일 수도 있고, 피아노 양손에서 멜로디와 베이스 라인이 따로 움직일 수도 있어요.
폴리포닉 녹음의 예
폴리포닉 채보에서 가장 흔히 다루는 건 피아노 음악이에요. 간단한 3화음 하나만 쳐도 도구는 같은 순간에 울리는 여러 음높이를 찾아서 오선의 올바른 자리에 적어야 해요.
기타 독주도 금방 폴리포닉이 돼요. 개방현을 울리면서 다른 줄의 프렛을 눌러 연주하거나, 코드를 스트로크하면서 멜로디를 따로 치면 여러 성부를 각각 추적해야 하죠. 폴리포닉 음악은 흔해요. 사람들이 연주하는 음악 대부분이 여기에 속해요.
폴리포닉 채보는 왜 더 어려울까요?
배음이 겹치면 신호를 분리하기 어려워져요. 예전 모델은 이 문제를 잘 처리하지 못했어요. 여러 음이 함께 울리면 각 음의 기음과 배음이 하나의 파형으로 섞이는데, 초기 소프트웨어로는 어느 주파수가 어느 음에서 나왔는지 가려내기 어려웠어요.
피아노 코드를 치면 각 음의 기음과 여러 배음이 함께 울려요. 낮은 음의 높은 배음이 함께 울리는 높은 음의 기음과 정확히 겹치기도 해요. 초기 알고리즘으로는 이렇게 얽힌 소리를 일관되게 구분하기 어려웠어요.
여러 음이 함께 울리는 음악을 집중적으로 학습한 최신 AI 모델이 나오면서 처리할 수 있는 범위가 달라졌어요. Songscription의 피아노 채보 같은 도구는 이 문제에 맞춰 만들어졌어요. 모델은 가장 강한 주파수만 따라가는 대신 성부를 분리하고 코드 보이싱을 구분하도록 학습해요. 모든 녹음에서 오류가 없는 건 아니지만 예전 방식과 현재 모델의 결과 사이에는 큰 차이가 있어요.
모노포닉 채보와 폴리포닉 채보의 주요 차이
실제로 두 방식을 가르는 건 신호가 얼마나 복잡한지, 그 신호를 알고리즘이 어떻게 처리해야 하는지예요.
- 모노포닉 채보에서는 시간에 따라 하나의 주된 주파수를 추적해요. 따라갈 대상이 명확하고 음높이를 찾아내는 기술도 비교적 오래 다듬어져 왔어요. 오류가 생기더라도 음높이보다는 리듬이 틀리는 경우가 많아요.
- 폴리포닉 채보에서는 겹쳐 있는 여러 주파수를 동시에 따라가면서 기음과 배음을 구분해야 해요.
- 관악기 독주, 무반주 독창, 줄 하나로 연주한 선율만 따로 녹음한 경우는 모노포닉에 속해요. 피아노 코드와 기타 스트로크처럼 음악가가 실제로 연주하는 음악 대부분은 폴리포닉에 속해요. 동시에 성부가 둘 이상 울리면 여기에 해당해요.
- 모노포닉 채보의 결과는 하나의 선율이에요. 폴리포닉 채보에서는 여러 성부와 코드 보이싱, 코드가 바뀔 때 각 성부가 이어지는 방식, 독립된 파트마다 다른 복잡한 리듬까지 다뤄야 해요.
대부분의 연주자에게 폴리포닉 채보가 필요한 이유
실제로 연주하는 음악에서 모노포닉은 드물어요. 기타 독주에서도 개방현이 울리는 동안 새 음을 눌러 치곤 하죠. 피아노는 두 번째 건반을 누르는 순간 폴리포닉이 되고 피아노 연주의 대부분이 그래요. 모노포닉 도구로는 그런 연주 중 일부만 잡아내요.
여러 음이 촘촘하게 겹친 음악일수록 도구가 제대로 채보하기 어려워요. 처음에는 한 음씩 이어지는 간단한 선율을 연습하더라도 연주가 익숙해지면 코드 진행, 대위법, 여러 파트가 겹치는 편곡을 다루게 돼요. 모노포닉 도구는 이런 음악을 처리하도록 만들어지지 않았어요. 평소 관심을 두고 연주하는 음악을 채보하려면 여러 음을 동시에 처리하는 기능이 필요해요.
AI는 모노포닉 녹음과 폴리포닉 녹음을 어떻게 처리하나요?
한 음씩 이어지는 선율에서는 비교적 단순한 음높이 검출 방식으로 하나의 주된 주파수를 따라가면 돼요. 여러 음이 동시에 울리면 모델이 겹친 주파수 패턴을 찾아서 분리해야 해요. 폴리포닉 음악으로 학습한 신경망이 이 작업에 큰 도움이 돼요.
딥러닝을 쓰기 시작하면서 폴리포닉 채보가 크게 나아졌어요. 예전의 신호 처리 방식은 음높이가 겹치면 한계에 부딪혔지만 최신 신경망은 그 방식으로는 구분하기 어려웠던 코드 패턴과 악기 조합을 학습해요. 그래도 배음이 겹친다는 문제 자체는 그대로예요. 각 음에는 소리를 풍부하게 하고 음색을 만드는 여러 배음이 있어요. 악기들이 함께 연주하면 이 배음들이 겹치고 간섭해서 어느 주파수가 어느 소리에서 나왔는지 가려내기 어려워져요.
실제 결과에서 정확도 확인하기
폴리포닉 채보가 잘됐다면 코드 보이싱이 맞고 실제로 연주하지 않은 음표가 거의 없는 악보가 나와요. 베이스, 멜로디, 화음을 서로 구분되는 성부로 옮기면서 음이 시작하고 끝나는 시점도 맞아야 해요. 흔히 생기는 오류로는 음이 많이 겹친 구간에서 베이스음을 놓치는 경우, 강한 배음을 별도의 음으로 잡아서 음표를 중복으로 만드는 경우, 짧은 장식음 구간을 길게 유지되는 음으로 잘못 읽는 경우가 있어요.
편성이 복잡하거나 녹음 품질이 좋지 않으면 정확도가 떨어져요. 학습이 잘된 모델은 깔끔한 피아노 독주 녹음에서 좋은 결과를 내지만 여러 악기 소리가 서로 섞이는 복잡한 라이브 믹스에서는 같은 모델을 써도 손볼 부분이 더 많아요. Songscription에서 오디오를 악보로 옮길 때는 채보 결과를 피아노 롤 편집기나 악보 화면에서 살펴봐요. 이런 도구를 쓰면 앱을 오가지 않고 결과를 검토하기 편해요.
폴리포닉 채보 도구를 고를 때 확인할 사항
폴리포닉 채보를 지원한다고 적힌 도구라도 결과는 제각각이에요. 도구를 정하기 전에 몇 가지를 확인해 보세요.
내 녹음으로 먼저 시험해 보기
홍보 페이지에 폴리포닉 채보를 지원한다고 적혀 있어도 직접 확인해 보세요. AI의 정확도를 내세우면서 실제로는 한 번에 한 음만 따라가는 도구도 많아요. 간단한 피아노 코드나 짧은 기타 스트로크 구간을 업로드해서 결과를 살펴보면 돼요. 폴리포닉 채보를 제대로 처리한다면 순간마다 가장 강한 주파수 하나만 잡는 게 아니라 같은 시점에 여러 음을 표시해요.
모델이 실제로 다루는 악기 확인하기
폴리포닉 채보 품질은 악기에 따라 크게 달라져요. 피아노를 잘 처리하는 모델도 기타나 금관악기에서는 결과가 눈에 띄게 떨어질 수 있어요. 악기마다 배음의 분포와 연주법이 달라서 각각에 맞는 학습이 필요하거든요. 모든 악기를 두루 다룬다고만 하는 도구보다 어떤 악기를 잘 처리하는지 구체적으로 밝히는 도구를 고르는 편이 좋아요.
주로 한 악기를 다룬다면 그 악기를 집중적으로 학습한 모델이 범용 모델보다 대체로 좋은 결과를 내요. 모든 음을 하나의 오선에 모으는 대신 악기별로 파트를 나눠 적어야 한다면 여러 악기 채보 소프트웨어 추천도 살펴보세요.
내보내기 형식 확인하기
채보가 끝나면 결과를 어디에 쓸지에 따라 필요한 형식이 달라져요. 연주할 때는 악보, DAW 작업에는 MIDI, 악보 편집기에는 MusicXML이 필요하죠. 형식마다 용도가 달라서 하나만 내보내는 도구를 쓰면 다음 작업으로 옮길 때 번거로워져요. MIDI 결과를 활용하는 방법은 오디오를 MIDI로 변환하는 방법에서 더 자세히 다뤄요.
마무리
독주 선율이나 따로 떼어 낸 베이스 파트에는 모노포닉 채보가 맞지만 사람들이 악보로 옮기려는 음악 중에서는 일부에 해당해요.
폴리포닉 채보를 잘하는 모델은 한 음씩 울리는 녹음도 무리 없이 처리해요. 반대로 모노포닉 전용 도구로는 오른손으로 친 코드를 모두 옮길 수 없어요. 판단이 어렵다면 채보하려는 음악 중 가장 까다로운 구간을 넣어 보세요. 음계보다 코드를 시험해 보는 게 좋아요.
자주 묻는 질문
모노포닉 채보와 폴리포닉 채보는 어떻게 다른가요?
모노포닉 채보는 한 번에 한 음만 울리는 녹음을 악보로 옮겨요. 시간에 따라 하나의 주된 주파수를 추적하는 방식이에요. 폴리포닉 채보는 동시에 여러 음이 울리는 녹음을 다뤄요. 가장 큰 음 하나만 잡는 게 아니라 울리고 있는 성부를 모두 옮겨야 해요. 관악기 독주와 무반주 독창은 모노포닉에 속하고, 피아노 코드나 기타 스트로크처럼 실제로 자주 연주하는 음악 대부분은 폴리포닉에 속해요.
폴리포닉 채보는 왜 모노포닉 채보보다 어려운가요?
배음이 겹치면 신호를 분리하기 어려워져요. 여러 음을 동시에 연주하면 각 음의 기음과 배음이 하나의 파형으로 섞여요. 낮은 음의 높은 배음이 함께 울리는 높은 음의 기음과 겹치기도 해요. 여러 음이 함께 울리는 음악을 집중적으로 학습한 최신 AI 모델은 예전의 신호 처리 방식보다 이 문제를 훨씬 잘 풀어요. 그래도 모든 녹음에서 오류 없이 채보하는 건 아니에요.
채보 도구가 여러 음을 동시에 처리하는지 어떻게 확인하나요?
홍보 문구만 믿기보다 직접 녹음을 넣어 보세요. 간단한 피아노 코드나 짧은 기타 스트로크 구간을 업로드하고 결과를 확인하면 돼요. 폴리포닉 채보를 제대로 처리한다면 순간마다 가장 강한 주파수 하나만 잡는 게 아니라 같은 시점에 여러 음을 표시해요. 악기마다 채보 품질 차이가 크니 모델이 실제로 어떤 악기를 다루는지도 확인해 보세요.
