스피커에 휴대폰을 가까이 대면 몇 초 만에 Shazam에서 곡 이름과 아티스트를 알려 줘요. 처음 나왔을 때는 공상과학 영화에 나올 법한 일이었는데 어느새 당연하게 쓰고 있죠. 여기서 알게 되는 건 어떤 곡인지예요. 음악을 듣는 사람은 그걸로 궁금증이 풀리지만 연주하는 사람은 곡 이름을 알아도 연주 방법은 아직 모르죠. ‘이 곡을 어떻게 연주하지?’라는 질문이 남거든요. 이 질문에 답하기는 더 어렵지만 이제 그 답도 얻을 수 있게 됐어요.
Shazam이 알아내는 것과 알아내지 못하는 것
Shazam은 소리의 고유한 패턴을 대조하는 방식으로 작동해요. 몇 초 분량의 오디오에서 특징적인 지점을 뽑아 작은 패턴으로 만든 뒤 이미 알려진 녹음의 패턴을 모아 둔 거대한 데이터베이스와 비교해요. 일치하는 녹음을 찾으면 제목, 아티스트, 앨범 같은 정보를 알려 줘요.
이 과정에서 음악을 듣고 멜로디나 코드, 조성을 알아내지는 않아요. 개별 음도 알지 못해요. 저장된 녹음을 찾는 데는 뛰어나지만 음악을 듣고 이해하는 방식은 아니에요. 그래서 데이터베이스에 있는 곡의 이름은 찾을 수 있어도 직접 흥얼거린 멜로디가 무엇인지, 어떤 음으로 이어지는지는 알려 주지 못해요.
더 어려운 질문, 이 곡은 어떻게 연주하나요?
곡의 연주 방법을 알아내는 일은 ‘채보’라고 해요. 곡 이름을 찾는 것과는 전혀 다른 문제이고 더 어려워요. 데이터베이스에서 답을 꺼내 올 수 없거든요. 소프트웨어가 녹음을 듣고 음악을 풀어내야 해요. 멜로디와 반주를 구분하고 여러 음이 겹쳐 울릴 때 각각 어떤 음인지 찾아내요. 리듬을 판단하고 조성을 추정한 다음 악보로 적어야 하죠. 소리의 패턴을 대조하기보다 숙련된 연주자가 헤드폰을 쓰고 녹음을 멈춰 가며 채보하는 과정에 가까워요.
오랫동안 자동으로 정확하게 채보하기는 어려웠어요. 그래서 연주자들은 시간을 들여 듣고 곡을 익히거나 악보가 나와 있으면 돈을 주고 샀어요. 지금은 채보를 위해 만든 모델로 쓸 만한 초안을 자동으로 얻을 수 있어요. Songscription도 그 일을 위해 만들었어요. 따로 설치할 것 없이 브라우저에서 녹음을 넣고 원하는 파트를 고르면 그 파트의 음을 악보와 피아노 롤로 받아요. 그 과정에서 코드도 찾아내요. 녹음 안에 담긴 음을 숙련된 연주자만 알아내던 때와 달리 이제는 직접 읽고 연주할 형태로 받아 볼 수 있어요.
악보를 위한 Shazam, 다만 결과에는 차이가 있어요
우리는 Songscription을 짧게 소개할 때 ‘악보를 위한 Shazam’이라고 해요. 어떤 도구인지 떠올리기 좋은 표현이지만 결과에는 차이가 있어요. Shazam의 답은 맞거나 틀려요. 소리의 패턴이 일치하거나 일치하지 않는 거죠. 채보는 음악을 해석하는 일이라 어떤 녹음인지에 따라 정확도가 달라져요.
Songscription의 모델은 음성 모델을 음악에 맞게 바꾼 것이 아니라 처음부터 실제 음악 연주로 학습한 모델이에요. 그래서 소리가 깨끗하고 겹치는 소리가 적은 녹음은 채보가 잘돼요. 소리가 빽빽하게 겹치고 효과를 많이 쓴 녹음은 더 어려워서 결과에도 고칠 부분이 생겨요. 한 번 누르면 틀린 곳 없는 악보가 나온다고 약속할 수는 없어요. 1~2분 안에 곡의 음을 적은 쓸 만한 초안을 받아 직접 수정하는 거예요. 녹음을 들으면서 맞지 않는 부분을 고쳐 나가면 돼요.
듣기만 하던 녹음을 초안으로 받아 읽으면 연주를 시작하기가 훨씬 수월해져요. 재생 속도를 낮추고 연주해 볼 수도 있어요. 오디오 파일을 보며 막막해하는 대신 악기 앞에 앉아 실제 음을 하나씩 짚어 갈 수 있죠. 어떤 녹음에서 정확도가 높고 어디서 틀리기 쉬운지는 AI 채보 정확도에서 기대할 수 있는 것에 더 자세히 적었어요. 이런 도구를 쓰고 나면 연주자는 무엇을 하게 되는지 궁금하다면 AI를 쓰는 음악가에게 남는 일도 읽어 보세요.
음악을 찾는 데서 이해하고 연주하기까지
초기의 음악 기술은 검색과 추천, Shazam처럼 음악을 찾고 곡 이름을 알아내는 일을 도왔어요. 지금은 음악을 이해하고 만드는 일을 돕는 기술이 발전하고 있어요. 듣기만 하던 녹음을 읽을 수 있는 형태로 바꾸면 곡을 익히거나 바꿔 연주할 수 있어요. 스피커에 휴대폰을 대고 곡 이름 말고도 더 알아낼 수 있으면 좋겠다고 생각했다면 이제 그 방법이 있어요. 좋아하는 거의 모든 곡을 직접 연주할 악보로 바꿀 수 있어요.
Anything Piano에서는 녹음을 악보 대신 피아노 롤로 바꿔요. 어떤 피아노로든 곡을 연주하면 그 소리를 듣고 어떤 음을 쳤는지 알려 줘요. 피아노 롤에는 손가락 번호도 표시돼서 각 음을 어느 손가락으로 치는지 알 수 있어요.
자주 묻는 질문
악보를 찾아 주는 Shazam 같은 도구가 있나요?
비슷한 도구는 있지만 Shazam과는 작동 방식이 달라요. Shazam은 짧은 소리에서 고유한 패턴을 뽑아 데이터베이스와 대조해요. 곡 제목과 아티스트는 알려 주지만 어떤 음을 연주하는지는 알려 주지 않아요. 녹음에서 악보를 만드는 일은 ‘채보’라고 해요. 소프트웨어가 녹음을 듣고 실제 음높이와 리듬을 알아내서 악보로 적는 과정이라 곡 이름을 찾는 것보다 어려워요. Songscription 같은 도구에 오디오 파일이나 링크를 넣으면 악보와 피아노 롤, 코드를 받아 읽고 연주할 수 있어요.
곡 이름보다 연주 방법을 알아내기가 더 어려운 이유는 뭔가요?
곡 이름을 알아내려면 소리의 고유한 패턴을 이미 알려진 녹음과 대조하면 돼요. 음악 자체를 이해할 필요는 없어요. 연주 방법을 알아내려면 여러 악기가 겹쳐 들리는 녹음에서 음을 하나씩 찾아내고 멜로디와 화음을 구분한 뒤 리듬과 조성을 판단해야 해요. 저장된 답을 찾는 것과 달리 소리 자체를 분석하는 일이에요. 그래서 채보 결과는 정확성이 보장된 완성본보다는 고쳐 쓸 만한 초안으로 생각하는 게 맞아요.
AI로 어떤 곡이든 코드와 음을 알아낼 수 있나요?
대부분의 녹음에서 코드와 음을 알아낼 수 있지만 정확도는 원본 녹음에 따라 달라져요. 소리가 깨끗하고 겹치는 소리가 적은 녹음은 채보가 잘돼요. 소리가 빽빽하게 겹치고 효과를 많이 쓴 녹음은 더 어렵고 수정할 곳도 많아요. 처음부터 틀린 곳 없는 악보를 기대하기보다는 음과 코드를 적은 초안을 받아 녹음과 비교하면서 고친다고 생각하면 돼요. 곡을 익힐 때는 조금 틀린 곳이 있어도 연주해 볼 초안이 있으면 시작하기가 훨씬 수월해져요. 재생 속도를 낮추고 연주해 보면 돼요.
다음에 어떤 곡이 머릿속에서 맴돌면 곡 이름을 찾은 다음 연주 방법도 알아보세요.
