AI로 피아노를 배우는 건 잘 만든 교재와 끈기 있게 박을 짚어 주는 메트로놈으로 배우는 것과 비슷해요. 생각보다 많이 배울 수 있지만 그것만으로 전부 배우지는 못해요. 악기를 가르치는 일은 연습할 자료를 만드는 일, 어떤 음과 리듬으로 쳤는지 확인하는 일, 어떻게 쳤는지 보고 고쳐 주는 일로 나뉘어요. 머신러닝은 앞의 두 가지를 상당 부분 해결했어요. 세 번째에서는 거의 진전이 없고 곧 달라질 조짐도 없어요.
AI로 배울 수 있다거나 없다는 결론보다 이 세 가지를 구분하는 게 더 쓸모 있어요. 무엇을 살지, 어디까지 기대할지, 어떤 부분에서는 여전히 사람에게 배워야 할지 정할 수 있으니까요. 지금 피아노 앱에 쓰이는 모델도 맡은 일에 따라 잘하는 부분과 실패하는 부분이 달라요.
저희도 음악 AI를 만드는 회사예요. 저희는 Songscription을 만들고 있고 같은 팀에서 Anything Piano도 만들어요. AI를 파는 회사가 AI의 한계를 설명한다고 해서 그대로 믿기는 어렵죠. 그래서 한계에 관한 설명을 다른 부분보다 길게 썼어요.
악기를 가르치는 세 가지 일
피아노 레슨은 하나의 활동처럼 보이지만 실제로는 세 가지 일이 섞여 있어요. 각각에 드는 비용도 늘 달랐고요. 선생님은 레슨 시간의 일부를 자료를 준비하는 데 써요. 실력에 맞는 곡을 고르고 자꾸 틀리는 부분을 위한 연습 과제를 주죠. 다른 시간에는 틀린 음과 리듬을 듣고, 또 손과 몸을 보고 고쳐 줘요. 손과 몸을 보고 고쳐 주려면 같은 공간에 있어야 해요.
이 세 가지는 자동으로 처리할 수 있는 정도가 크게 달라요. 한데 묶어서 보면 AI가 할 수 있는 일을 부풀리기도 하고 반대로 무조건 쓸모없다고 여기기도 해요.
첫 번째 일: 연습할 자료 만들기
가장 크게 달라졌지만 아직 많은 사람이 알아차리지 못한 부분이에요. 얼마 전까지만 해도 곡 하나를 배우려면 누군가 먼저 음을 적어 놨어야 했어요. 출판사에서 악보를 냈거나 학습 앱의 편곡자가 작업했거나 포럼에 누군가 MIDI 파일을 올렸어야 했죠. 아무도 만들지 않았다면 직접 듣고 채보하거나 다른 곡을 골라야 했어요.
채보 모델을 쓰면 누군가 미리 작업해 놓기를 기다릴 필요가 없어요. 녹음을 넣으면 음 높이, 음이 시작하는 시점, 길이, 벨로시티를 추정해요. 이 정보면 연주할 수 있는 피아노 파트를 다시 만들기에 충분해요. Songscription에서는 이 방식으로 녹음에서 악보를 만들고 MIDI와 MusicXML도 함께 받아요. Anything Piano에서는 같은 종류의 모델을 쓰지만 결과물이 달라요. 오디오 파일이나 YouTube, TikTok, Instagram 링크를 넣으면 따라 칠 수 있는 피아노 롤이 만들어져요. 연주하는 동안 마이크나 MIDI로 연주를 인식하고 피아노 롤의 음 위에 추천 손가락 번호도 표시해요. Anything Piano에서 만드는 건 피아노 롤로 배우는 연습 자료뿐이고 악보는 만들지 않아요. 인쇄할 악보는 Songscription에서 만드는 별도의 결과물이에요. Anything Piano 안에서 설정을 바꿔 받는 게 아니에요.
이제 연습할 곡을 누군가 골라 놓은 목록에 맞출 필요가 없어졌어요. Simply Piano, flowkey, Skoove, Yousician처럼 곡 목록을 기반으로 하는 앱에서는 편곡자가 작업을 마친 곡만 배워요. 치고 싶은 곡을 찾지 못하는 일이 잦은 것도 그래서예요. 오디오에서 피아노 파트를 만드는 앱에는 그런 목록의 제약이 없어요. AI가 피아노를 배우는 사람에게 가져온 가장 큰 변화는 가르치는 방식보다 연습할 곡의 범위에 있어요.
채보에도 한계는 있어요. 피아노 독주에서는 가장 정확하지만 여러 소리가 빽빽하게 겹치거나 리버브가 많이 걸려 있거나 아주 낮은 저음이 나오면 정확도가 떨어져요. 사람 편곡자가 판단하는 것도 알지 못해요. 처음 배우는 사람은 이 구간을 치려면 손가락을 벌리기 어렵다거나, 안쪽 성부를 빼도 곡의 느낌이 유지된다는 판단 같은 것이요. 오류가 생기는 원인은 AI 채보의 정확도가 달라지는 이유에서 다뤘어요.
두 번째 일: 친 음과 리듬 확인하기
연주 인식은 몇 년 전부터 이 일을 잘해 왔어요. 휴대전화를 피아노 쪽으로 두면 어떤 음을 맞게 쳤는지, 어떤 음을 놓쳤는지, 박보다 빠르거나 늦게 쳤는지 확인할 수 있어요. Anything Piano, Simply Piano, flowkey, Skoove, Yousician에서는 모두 마이크로 연주를 인식하므로 어쿠스틱 업라이트 피아노도 케이블 없이 쓸 수 있어요. Synthesia와 Piano Marvel은 대신 MIDI를 읽어요. 입력이 정확하지만 디지털 악기가 필요해요.
실시간 연주 인식은 보기보다 풀기 쉬운 문제예요. 앱이 이미 어떤 음을 쳐야 하는지 알고 있거든요. 아무 정보 없이 처음부터 채보하는 게 아니라 예상한 음이 맞는지 확인하는 일이에요. 휴대전화 마이크로도 생각보다 안정적으로 인식하는 건 그래서예요. 잘 인식하지 못하는 상황도 일정해요. 음을 빽빽하게 쌓은 코드, 서스테인 페달을 많이 밟는 연주, 주변 소음, 조율이 틀어진 피아노에서는 정확도가 떨어져요. 자세한 내용은 연주를 듣는 피아노 앱에 있어요.
다만 맞는 음을 확인하는 일과 연주를 평가하는 일은 달라요. 앱에 94%라고 나오면 정해진 음을 얼마나 정확히 쳤는지를 뜻해요. 프레이즈가 좋았다는 뜻은 아니에요. 두 연주가 같은 점수를 받아도 듣기 좋은 건 하나뿐일 수 있어요. 현재 일반 소비자용 앱 중에는 그 차이를 구분하는 앱이 없어요.
세 번째 일: 치는 방법 고치기
이 부분에서 소프트웨어가 할 수 있는 일은 거의 없어요. 이 분야의 앱은 모두 악기에서 나온 소리를 평가해요. 그런데 선생님이 고쳐 주는 것 대부분은 소리에 전혀 드러나지 않아요. 몇 달 동안 습관이 굳어진 뒤에야 소리에서 문제가 나타나기도 하고요.
- 혼자 배우는 사람이 가장 흔히 잘못 익히는 건 손가락 쓰는 법이에요. 손가락을 잘못 골라도 오늘은 맞는 소리가 나지만 다음 달에 원래 속도로 치려 하면 막혀요. Anything Piano의 피아노 롤처럼 추천 손가락 번호를 보여 주는 앱도 있어요. 그래도 어떤 손가락으로 쳤든 음이 맞으면 잘 쳤다고 판단해요.
- 손목과 팔에 힘이 들어가는지는 마이크로 알아낼 수 없어요. 연주로 생기는 부상 대부분은 손목과 팔에 힘이 들어가서 생겨요.
- 손가락 관절이 주저앉아도 음은 문제없이 나요. 하지만 그 손 모양이 이후에 연주할 수 있는 범위를 제한해요.
- 페달을 밟으면 소리가 섞여 들려요. 페달을 부주의하게 써서 뭉개진 건지 일부러 소리를 섞은 건지는 음악을 듣고 판단해야 하는데 그런 판단을 하는 앱은 없어요.
- 프레이즈가 어디로 향하는지, 무엇을 두드러지게 칠지, 어디서 숨을 고를지도 이 분야의 앱은 다루지 않아요.
AI가 아직 못하는 일
손과 몸을 쓰는 방법 말고도 아직 못하는 일이 세 가지 있어요. 이 분야의 홍보 문구만 보면 이미 해결된 것처럼 느껴지기도 해요.
무엇을 연습해야 할지 판단하지 못해요. 앱에서는 사람이 짜 놓은 과정을 순서대로 따라가고 챗봇에 물으면 연습 계획도 바로 나와요. 하지만 어느 쪽도 연주를 충분히 자세히 살펴서 오른손은 괜찮고 왼손이 문제라는 걸 알아내지는 못해요. 좋은 선생님은 이런 문제를 잘 찾아내요. 어디가 잘 안 되는지 말하지 않아도 연주를 보면서 알아차리죠. 앱에서 배울 수 있는 것과 선생님에게 배워야 하는 것은 앱으로 피아노를 배울 수 있을까요?에서 정리했어요.
연습하게 만들지도 못해요. 연속 연습 기록과 점수는 처음 배우는 사람에게 효과가 있지만 대부분은 시간이 지나면 효과가 사라져요. 그 뒤에도 남는 건 특정 곡을 치고 싶다는 마음이에요. 그래서 연주 피드백의 성능보다 앱에서 그 곡을 실제로 배울 수 있는지가 훨씬 더 중요해져요.
규칙을 언제 어겨도 되는지도 알려 주지 못해요. 악보 표기와 교육에는 능숙한 연주자가 일부러 어기는 관습이 많아요. 그중 어떤 규칙이 음악을 지탱하는지는 지식만으로 판단하기 어려워요. 음악적 감각이 필요한 일이죠. AI가 인간 음악가에게 남기는 일에서 더 자세히 다뤘어요.
앱과 레슨을 함께 쓰는 방법
- AI로 치고 싶은 곡의 연습 자료를 만들어 보세요. 정해진 곡 목록에서 고르는 대신 원하는 곡을 가져오는 거예요. Anything Piano에서는 어떤 녹음이든 피아노 파트로 바꿔요. 악보를 읽으면서 치고 싶다면 피아노 채보로 같은 곡을 인쇄할 악보로 만들면 돼요.
- 음 인식 결과는 성적보다 확인용으로 보세요. 음이나 타이밍이 어긋난 건 잘 잡아내지만 연주가 좋았는지는 잘 판단하지 못해요.
- 구간을 나눠서 느리게 연습하세요. 오래된 조언이지만 여전히 들인 시간에 비해 연습 효과가 가장 큰 방법이에요. Anything Piano에서는 곡을 여러 구간으로 나눠 연습하고 각 구간의 진행 상황을 확인해요. 반복하는 방법은 곡을 구간별로 배우기에 있어요.
- 사람에게 배우는 시간도 조금 마련해 보세요. 4~6주에 한 번씩 레슨을 받으면서 소프트웨어가 보지 못하는 부분을 집중해서 살피는 거예요. 한 구간을 준비해 가서 음이 맞는지보다 손가락 쓰는 법과 힘이 들어가는지를 물어보세요.
- 가끔 연주를 녹음해서 다시 들어 보세요. 다른 사람에게 연주를 들어 달라고 하는 대신 쓸 수 있는 가장 저렴한 방법이에요. 94%라는 점수에 가려진 문제 대부분이 녹음에서는 드러나요.
자주 묻는 질문
AI로 피아노를 배울 수 있나요?
AI는 피아노를 가르치는 세 가지 일 중 두 가지는 잘하지만 하나는 전혀 못해요. 녹음에서 연습할 자료를 만드는 일은 잘해요. Anything Piano에서는 어떤 녹음이든 따라 칠 수 있는 피아노 롤로 바꿔요. 연주 중에 음 높이와 타이밍을 확인하는 일도 잘하고요. 하지만 손을 보지 못해서 손가락 쓰는 법, 손목의 긴장, 자세, 페달 사용은 고쳐 주지 못해요. 혼자 배우는 사람 대부분은 앱이나 레슨 중 하나만 이용할 때보다 앱을 쓰면서 가끔 레슨을 받을 때 더 많이 배워요.
AI가 피아노 선생님을 대신할 수 있나요?
몸을 어떻게 쓰는지 가르치는 일은 대신하지 못해요. 선생님은 손을 보고 음과 프레이즈를 듣고, 마이크로는 잡히지 않는 문제에 맞춰 연습할 내용을 바꿔 줘요. AI가 대신하는 건 원래 기계적으로 처리할 수 있었던 일이에요. 곡에 필요한 음을 찾아내고, 맞는 음을 쳤는지 확인하고, 한 구간의 속도를 낮추는 일이죠. 레슨에서 꽤 많은 시간을 쓰던 부분이라 이제는 한 달에 한 번 받는 레슨으로도 예전보다 더 많이 배워요.
AI를 활용한 피아노 학습 앱 중에는 무엇이 가장 좋은가요?
AI를 실제로 어디에 쓰는지를 기준으로 고르면 Anything Piano예요. 어떤 녹음이든 채보 모델로 분석해 따라 칠 수 있는 피아노 롤로 바꾸기 때문에 팀에서 미리 편곡한 곡만 배울 필요가 없어요. Simply Piano, flowkey, Skoove, Yousician은 연주 인식으로 맞게 쳤는지 확인하지만 배울 곡은 정해진 목록 안에서 골라야 해요. 이 앱들의 AI는 배울 곡을 늘리기보다 연주 피드백에 쓰여요. 전체 비교는 피아노 학습 앱 비교에서 볼 수 있어요.
AI로 노래를 피아노 악보로 바꿀 수 있나요?
네. 채보 모델로 녹음을 분석하면 악보, MIDI, MusicXML을 만들 수 있어요. Songscription에서 하는 일이에요. 피아노 독주에서는 정확도가 높지만 여러 소리가 겹친 녹음, 리버브가 많이 걸린 녹음, 아주 낮은 저음에서는 정확도가 떨어져요. 완성된 악보를 바로 받기보다는 조금 수정할 생각으로 쓰는 게 좋아요. Anything Piano에서는 같은 종류의 모델로 인쇄용 악보 대신 연주에 맞춰 반응하는 피아노 롤을 만들어요. 자세한 내용은 AI로 노래를 악보로 바꿀 수 있을까요?에서 볼 수 있어요.
마무리
선생님과 소프트웨어 중 하나만 고르는 건 레슨을 나눌 수 없는 하나의 일로 보는 거예요. 실제로 달라진 건 악기를 배우는 과정에서 기계적으로 처리할 수 있는 일의 비용이에요. 예전에는 곡의 음을 알아내려면 출판사나 포럼의 자료를 찾거나 직접 듣고 채보할 실력이 필요했어요. 지금은 녹음이 있으면 돼요. 맞는 음을 쳤는지 확인하려면 같은 공간에 누군가 있어야 했지만 지금은 보면대 위에 휴대전화를 놓으면 되고요.
여전히 사람에게 배워야 하는 부분은 원래도 비용이 많이 들던 일이에요. 소프트웨어를 더 사기보다 그 부분에 돈을 쓰는 편이 좋아요. 앱은 치고 싶은 곡을 배우려고 고르세요. Anything Piano 같은 앱에서는 기존 목록에 없는 곡도 배울 수 있어요. 그런 다음 한 달에 한 번쯤 선생님에게 1시간 레슨을 받으면서 마이크로는 알아낼 수 없는 부분을 고쳐 보세요.
