악보 용어 안내에 속한 글이에요.
노래로 부르는 단일 멜로디는 한 번에 음 하나씩 이어져요. 소프트웨어로 이런 멜로디를 따라가는 기술은 이미 오래전부터 쓰였어요. 피아노에서는 상황이 달라져요. 5개, 6개, 8개의 음이 한꺼번에 울려요. 한 손으로 코드를 누르고 있는 동안 다른 손은 그 사이로 선율을 이어 가고 소리는 모두 한데 섞여 울려요. 컴퓨터가 그 소리를 음 하나하나로 나눠 악보에 옮기게 하는 일은 채보에서 가장 어려운 문제예요. 채보 기술이 얼마나 발전했는지 평가할 때도 피아노를 기준으로 삼아요.
다성 채보란 무엇인가요?
다성은 여러 성부를 뜻해요. 여러 음이 동시에 울리는 오디오에서 각각의 음을 찾아 모두 악보에 적는 일이 다성 채보예요. 반대인 단성 채보에서는 한 번에 음 하나씩 이어지는 선율을 옮겨요. 몇 개의 음이 울리는지 판단할 필요가 없어서 훨씬 쉬워요. 둘의 차이는 단성 채보와 다성 채보에서 더 자세히 설명해요. 피아노 음악에는 다성 채보를 어렵게 만드는 요소가 모두 있어요. 음이 빽빽하게 쌓인 코드와 서로 겹치는 선율이 있고 서스테인 페달을 밟으면 그 소리가 모두 이어져 울려요.
동시에 울리는 음은 왜 구분하기 어려울까요?
악기의 음 하나에는 여러 주파수가 들어 있어요. 기본 주파수에 일련의 배음이 더해지고 그 배음들이 음색을 만들어요. 음을 하나만 연주하면 기본 주파수를 찾아 음높이를 알아낼 수 있어요. 여러 음을 동시에 연주하면 각 음의 배음이 서로 겹쳐요.
- 5도나 옥타브 간격의 음들은 배음을 많이 공유해요. 그래서 한 음을 가리키는 단서가 다른 음의 단서처럼 보여요.
- 한 음과 그보다 한 옥타브 높은 음은 배음이 거의 모두 겹쳐요. 다성 채보에서 연주하지 않은 옥타브 음이 생기거나 음이 잘못된 옥타브에 놓이는 오류가 흔한 이유예요.
- 음높이를 알아내기 전에 몇 개의 음이 울리는지부터 판단해야 해요. 바깥 성부가 크게 울리면 작게 연주한 안쪽 성부가 묻힐 수 있어요.
- 여러 음이 거의 동시에 시작하고 페달 때문에 앞서 연주한 음까지 계속 울리면 각 음이 정확히 언제 시작했는지 알아내기 어려워요.
AI는 코드를 어떻게 읽을까요?
요즘은 규칙을 하나하나 만드는 대신 AI 모델을 학습시켜 이 문제를 풀어요. 많은 오디오를 실제로 연주한 음 정보와 짝지어 신경망을 학습시키면 모델이 피아노의 음색을 익혀요. 배음이 어떻게 나타나는지, 세게 친 음과 약하게 친 음이 어떻게 다른지, 건반을 친 뒤 소리가 어떻게 잦아드는지를 배우는 거예요.
녹음을 읽을 때는 오디오를 짧은 구간인 프레임으로 나눠요. 모델은 각 프레임에서 어떤 높이의 음이 울리는지와 음이 어디서 시작하는지 추정해요. 그런 다음 프레임별 판단을 이어 붙여 각 음의 시작 시점과 음높이, 길이를 추정하고 악보에 배치해요.
실제 피아노 소리를 많이 학습한 모델은 앞서 나온 음이나 함께 울리는 경향이 있는 음처럼 음악적 맥락도 활용해요. 주파수만 단순하게 분석해서는 구분하기 어려운 소리를 그 맥락으로 판단하는 거예요. 주파수를 계산하는 계산기보다는 훈련된 음악가가 코드를 듣는 방식에 가까워요.
피아노가 채보 기술의 기준이 된 이유
채보 분야에서는 피아노를 가장 집중적으로 연구해 왔어요. 흔히 쓰는 악기 가운데 여러 음을 가장 빽빽하게 겹쳐 연주할 수 있고 음의 시작이 뚜렷하면서 일정해요. 소리가 잦아드는 양상도 예측하기 쉽고 학습에 쓸 자료가 많아요. 이런 조건 덕분에 피아노 채보 기술이 가장 많이 발전했고 Songscription에서도 피아노 모델이 가장 발전한 모델이에요.
깨끗한 피아노 독주 녹음을 채보하면 숙련된 채보자가 적은 악보에 가까운 결과를 얻어요. 듣기만 해서는 구별하기 어려운 안쪽 성부도 포함돼요. 실제 음악을 채보한 예는 AI로 피아노 음악 채보하기와 재즈 피아노 코드 채보하기에서 살펴보세요.
정확도에 영향을 주는 요소와 녹음 방법
정확도에 가장 큰 영향을 주는 건 녹음이에요. 다른 소리가 섞이지 않고 잔향이 적은 깨끗한 피아노 독주 녹음에서 음을 가장 명확하게 구분할 수 있어요. 리버브가 강하거나 서스테인 페달을 많이 쓰면 화음이 서로 섞여 흐릿해져요. 채보 결과에서 보이는 오류 대부분은 여기서 생겨요. 디지털 피아노로 연주했다면 MIDI를 직접 기록할 때 음 정보가 정확하게 남아서 오디오를 분석하는 과정을 건너뛸 수 있어요.
채보한 뒤 음이 많이 겹친 부분을 확인하기에는 피아노 롤이 좋아요. 각 음이 별도의 블록으로 표시돼서 잘못된 옥타브나 불필요하게 추가된 음을 찾기 쉽고 블록을 드래그해 위치를 고치기도 쉬워요. 피아노 롤의 격자 화면은 오디오를 피아노 롤로 바꾸기에서 볼 수 있어요. 그 밖에 정확도에 영향을 주는 요소는 AI 채보 정확도가 달라지는 이유에서 다뤄요.
서로 다른 악기가 동시에 연주하는 음악은 AI로 여러 악기를 한꺼번에 채보할 수 있나요?에서 알아보세요. 직접 연주한 녹음을 채보하려면 피아노 채보에서 시작하면 돼요.
자주 묻는 질문
피아노 다성 채보란 무엇인가요?
피아노 다성 채보는 코드와 여러 선율이 겹쳐 울리는 피아노 녹음을 듣고 모든 음을 악보에 옮기는 일이에요. 다성은 서로 다른 높이의 음이 동시에 울린다는 뜻이에요. 한 번에 음 하나만 울리는 단성과 구분해요. 여러 음이 같은 순간에 울리고 배음도 겹치기 때문에 단일 멜로디를 채보할 때보다 어려워요. 몇 개의 음이 울리는지와 각 음의 높이가 무엇인지 모두 판단해야 하거든요.
코드 채보는 왜 단일 멜로디 채보보다 어려운가요?
단일 멜로디에서는 한 번에 음 하나만 울려서 기본 주파수 하나가 어떻게 움직이는지 따라가면 돼요. 코드에서는 여러 음의 배음이 겹치면서 더 강해져요. 그래서 한 음을 가리키는 단서가 다른 음의 단서처럼 보이기도 해요. 같은 순간에 몇 개의 음이 울리는지 세고 각 배음이 어느 음에 속하는지도 구분해야 해요. 겹친 소리에서 음의 개수와 높이를 함께 찾아야 해서 다성 채보가 어려워요.
채보에서 옥타브 오류는 왜 생기나요?
한 음과 그보다 한 옥타브 높은 음은 배음 대부분을 공유해요. 낮은 도의 배음은 한 옥타브 위 도의 배음과 상당 부분 겹쳐요. 그래서 실제보다 한 옥타브 높거나 낮게 음을 적기도 하고 연주하지 않은 옥타브 음을 덧붙이기도 해요. AI 모델은 악기의 음색과 음악적 맥락을 학습해서 이런 오류를 줄여요. 그래도 옥타브 오류는 다성 채보 결과를 살펴보고 고칠 때 가장 흔히 확인하는 오류 중 하나예요.
다성 채보의 정확도를 높이려면 어떻게 해야 하나요?
다른 소리가 섞이지 않은 깨끗한 피아노 녹음을 준비해 보세요. 리버브가 적고 다른 악기가 없는 선명한 피아노 독주 녹음이면 안쪽 성부까지 더 정확하게 읽어 낼 수 있어요. 서스테인 페달을 많이 쓰면 화음이 서로 섞여 흐릿해져요. 이 때문에 오류가 가장 자주 생겨요. 그래서 잔향이 적은 녹음이 좋아요. 디지털 피아노로 연주했다면 MIDI를 직접 기록할 때 음 정보가 정확하게 남아서 오디오를 분석할 필요가 없어요. 채보한 뒤에는 피아노 롤에서 음이 많이 겹친 코드를 살펴보세요. 옥타브 오류나 불필요하게 추가된 음을 찾고 고치기 쉬워요.
