AI가 녹음을 악보로 옮길 때는 세 단계를 거쳐요. 소리에 들어 있는 주파수를 그림으로 바꾸고 녹음 수천 개로 학습한 모델이 그 그림에서 음을 찾아요. 찾아낸 음을 박에 맞춰 정렬하면 악보와 MIDI가 나와요. 지금처럼 정확해진 데는 가운데 단계의 변화가 컸어요. 사람이 작성한 규칙으로 음을 찾던 방식에서 신경망이 여러 예시를 보고 음의 모양을 배우는 방식으로 바뀌었거든요.
과정을 짧게 살펴보면
사람이 귀로 듣고 악보로 옮길 때는 음을 듣고 악기에서 같은 음을 찾아요. 얼마나 길게 이어지는지 알아낸 뒤 악보에 적고 이 과정을 수천 번 반복하죠. AI도 같은 일을 하지만 훨씬 빠르게 한꺼번에 처리해요. 소리를 분석할 데이터로 바꾸고 그 안에서 음을 찾아 우리가 읽는 기호로 옮겨요. AI가 음을 알아보는 단계에서 지난 몇 년간 가장 많은 발전이 있었어요.
1단계: 소리를 그림으로 바꿔요
디지털 녹음은 스피커의 진동판이 어떻게 움직여야 하는지 나타내는 긴 숫자 목록이에요. 1초마다 수만 개의 값이 들어 있죠. 이 목록만으로는 멜로디를 알아보기 어려워요. 그래서 소프트웨어는 데이터를 변환해 순간마다 각 음높이에 해당하는 주파수에 에너지가 얼마나 있는지 구해요. 결과로 나오는 스펙트로그램은 색의 밝기로 에너지를 나타내는 그림이에요. 가로축은 시간이고 세로축은 주파수예요. 밝은 부분은 그때 울리는 음높이를 나타내요.
피아노 롤에서 보는 모양과도 어느 정도 비슷해요. 원래의 파형보다 음악의 모습에 훨씬 가까워요. 길게 이어지는 음은 가로로 긴 띠가 되고 코드는 여러 띠가 위아래로 쌓인 모양이 돼요. 드럼을 한 번 치면 여러 주파수에 걸쳐 짧은 세로 띠가 생겨요. 소리를 이런 그림으로 바꾸면 다음 단계에서 음을 찾기가 한결 수월해져요. 이미지로 학습한 모델이 읽을 만한 형태가 되니까요.
2단계: 모델이 음을 찾아요
스펙트로그램에서 음을 읽는 일은 보기보다 까다로워요. 피아노 음 하나가 깔끔한 선 하나로 나타나지는 않거든요. 기본 주파수 위로 여러 배음이 사다리처럼 이어지고 음을 여러 개 함께 연주하면 배음끼리 겹쳐서 뒤엉켜요. 기타의 낮은 E음과 그보다 한 옥타브 높은 E음도 일부 배음을 공유해요. 밝게 보이는 부분이 실제로 연주한 음인지 다른 음에서 나온 배음인지 구별해야 악보로 제대로 옮길 수 있어요.
요즘은 녹음과 정확한 음의 정보를 짝지은 대규모 데이터로 신경망을 학습시켜 이 문제를 풀어요. 피아노에서는 소리와 정확한 건반 입력을 함께 기록하는 악기 덕분에 수천 곡의 연주 데이터를 모았어요. 녹음과 실제로 연주한 음의 정보가 정확하게 맞춰진 데이터예요. 신경망은 이 데이터를 살펴보면서 직접 연주한 음과 배음의 차이, 음이 시작될 때의 모양, 소리가 줄어드는 방식을 배워요. 보통 짧게 나눈 시간 구간마다 각 음높이에서 음이 시작되는지, 계속 울리는지, 세기는 어느 정도인지 예측해요. 이 예측을 이어 붙이면 음의 높이, 시작과 끝, 세기를 나타내는 벨로시티가 담긴 음 이벤트 목록이 나와요.
사람이 ‘세 번째 고조파는 무시한다’ 같은 규칙을 하나하나 코드로 작성한 건 아니에요. 모델이 예시를 보고 스스로 배운 거예요. 그래서 학습 데이터가 늘면 같은 방식으로 다른 악기도 다룰 수 있고 사람이 처리 규칙을 다시 작성하지 않아도 결과가 계속 좋아져요. 녹음에 따라 결과가 달라지는 까닭은 AI가 옮긴 악보의 정확도가 달라지는 이유에서 더 자세히 다뤘어요.
3단계: 찾은 음을 읽기 쉬운 악보로 옮겨요
각 음의 정확한 시작과 끝 시간이 있으면 MIDI를 만들고 피아노 롤에 표시할 수 있어요. 악보로 옮기려면 빠르기와 박자를 정하고 음의 길이도 읽을 만한 리듬으로 맞춰야 해요. 1분에 120박으로 연주해도 사람이 치는 4분음표가 정확히 500밀리초 동안 이어지지는 않아요. 소프트웨어는 바탕이 되는 박을 찾고 마디선이 들어갈 자리를 정한 뒤 각 음의 길이를 4분음표나 8분음표처럼 가장 가까운 적절한 값으로 맞춰요. 이 과정을 퀀타이즈라고 해요. 이때 리듬을 어떻게 맞추느냐에 따라 읽기 쉬운 악보가 나올 수도 있고 연주하기 어려운 32분음표가 빽빽하게 들어갈 수도 있어요.
연주자가 익숙하게 읽을 표기도 정해야 해요. 어떤 음을 오른손에 맡기고 어떤 음을 왼손에 맡길지, 임시표를 써서 음높이를 어떻게 표기할지, 쉼표는 어디에 둘지 같은 선택이에요. 이렇게 옮긴 결과는 용도에 맞는 여러 파일 형식으로 받을 수 있어요. 같은 녹음에서 인쇄할 PDF, DAW에서 쓸 MIDI 파일, 악보 편집기에서 열 MusicXML 파일을 만드는 거예요. 리듬이나 양손의 음 배분이 잘못됐다면 이 단계의 결과를 고치면 돼요. 잘못 옮겨진 부분을 고칠 때는 대개 처음부터 다시 작업하지 않고 간단히 편집하면 돼요.
잘하는 일과 아직 어려워하는 일
AI가 악보로 옮길 때 가장 잘하는 건 피아노 독주예요. 학습 데이터가 가장 풍부하고 소리의 특성도 비교적 일정해서 성능이 좋은 모델은 깨끗한 녹음에서 대부분의 음을 잡아내요. 악기 하나에서 코드를 연주하는 경우도 지금은 잘 처리해요. 여러 음을 동시에 찾아 옮기는 일을 다성음 채보라고 하는데 피아노의 경우는 피아노 다성음 채보 설명에서 다뤘어요.
어려워하는 조건도 뚜렷해요. 밴드 전체를 하나의 트랙으로 믹스한 녹음에서는 같은 주파수 영역에서 소리가 겹치는 여러 악기를 동시에 구별해야 해요. 강한 디스토션, 강한 리버브, 나쁜 음질은 스펙트로그램을 흐리게 만들어 정확도를 떨어뜨려요. 아주 빠른 구간이나 아주 작은 음도 놓치기 쉬워요. 이런 녹음에서도 결과를 활용할 수 있지만 사람이 검토하고 고쳐 쓸 초안을 기대하는 게 현실적이에요. 검토가 필요 없는 완성된 악보를 기대하기는 어려워요. 어느 정도의 정확도를 기대할 만한지는 AI 음악 채보 정확도에서 수치로 살펴봤어요.
더 정확한 결과를 얻으려면
직접 고를 수 있는 조건 중에서는 녹음이 결과에 가장 큰 영향을 줘요. 첫 단계에서 만든 그림을 나머지 단계가 그대로 받아 쓰기 때문이에요. 원본 소리가 깨끗하고 또렷할수록 그림도 선명해지고 모델이 맞게 찾아내는 음도 많아져요. 구할 수 있는 녹음 중 가장 또렷한 버전을 고르고 어떤 악기를 연주한 녹음인지 알려 주세요. 그러면 도구가 맞는 모델을 사용해요. 결과가 나오면 초안을 한 번 검토하세요.
Songscription에서는 파일을 업로드하거나 링크를 붙여 넣으면 AI가 위의 세 단계를 처리해요. 결과는 피아노 롤과 악보로 확인해요. 내보내기 전에 브라우저에서 재생하고 재생 속도를 낮추거나 조옮김하거나 편집할 수 있어요. 녹음을 듣고 음을 찾는 작업은 AI가 맡고 최종적으로 어떤 음을 남기고 고칠지는 직접 정해요.
자주 묻는 질문
AI는 어떻게 음악을 악보로 옮기나요?
크게 세 단계를 거쳐요. 먼저 녹음을 스펙트로그램으로 바꿔요. 순간마다 어떤 주파수의 소리가 나는지 보여 주는 그림이에요. 그다음에는 녹음 수천 개와 각 녹음에서 연주된 음을 짝지어 학습한 신경망이 그림을 읽어요. 음이 언제 시작되는지, 높이는 어떤지, 언제 끝나는지 예측하는 거예요. 예측한 음을 박에 맞춰 정렬하면 MIDI와 오선 악보가 나와요. 모델은 사람이 일일이 작성한 규칙을 따르는 대신 데이터에서 배운 패턴을 찾아요. 녹음과 음의 정보가 정확히 맞춰진 대규모 데이터와 요즘 쓰는 신경망이 등장하면서 성능이 크게 좋아졌어요.
AI가 옮긴 악보는 정확한가요?
악기 하나를 깨끗하게 녹음했다면 지금도 꽤 정확해요. 특히 피아노 독주에서는 모델이 대부분의 음을 잡아내요. 여러 악기가 빽빽하게 섞인 밴드 녹음, 잡음이 많은 휴대폰 녹음, 리버브가 강한 소리, 빠르게 겹치는 음처럼 조건이 까다로워질수록 정확도는 떨어져요. 사람이 검토하고 고쳐 쓸 초안을 기대하는 게 현실적이에요. 검토 없이 그대로 쓸 만큼 오류 없는 악보를 기대하기는 어려워요.
AI는 악기를 구별해서 악보로 옮길 수 있나요?
피아노나 기타 한 대에서 연주한 코드까지 포함해 악기 하나의 음을 찾아내는 일은 모델이 잘해요. 하나의 믹스에 담긴 여러 악기의 소리를 나누는 일은 더 어려워요. Songscription의 Multi-Instrument 모드에서는 한 번에 처리하지만 먼저 오디오 스템으로 분리하면 악기별 악보가 가장 깔끔하게 나와요. 악기별 파트보다 곡 전체를 연주하고 싶다면 전체 믹스를 피아노용 악보로 줄여서 옮길 수도 있어요.
내 곡으로 이 세 단계를 확인하려면 녹음을 업로드하고 읽고 편집할 수 있는 악보로 바뀌는 과정을 살펴보세요.
