AI chép nhạc hoạt động như thế nào?

AI chép nhạc lấy một bản ghi rồi viết lại các nốt qua ba bước. Phần mềm chuyển âm thanh thành hình ảnh biểu diễn tần số. Một mô hình đã học từ hàng nghìn bản ghi đọc hình ảnh đó và dự đoán các nốt. Sau đó, phần mềm căn nốt theo phách để tạo bản nhạc và MIDI. Bước nhận diện ở giữa từng dựa vào những quy tắc viết sẵn. Ngày nay, mạng nơ-ron học nhận diện nốt qua các ví dụ, giúp kết quả tốt hơn nhiều.

Tóm tắt quá trình

Khi chép nhạc bằng tai, bạn nghe một nốt, tìm nốt đó trên nhạc cụ, xác định độ dài rồi ghi lại. Cứ thế lặp lại hàng nghìn lần. AI làm cùng công việc ấy nhanh hơn nhiều và xử lý mọi nốt cùng lúc. Nó chuyển âm thanh thành dữ liệu để phân tích, nhận diện nốt trong dữ liệu đó rồi chuyển chúng thành ký hiệu để đọc. Bước nhận diện là nơi mô hình học từ dữ liệu, và cũng là nơi có nhiều tiến bộ nhất trong vài năm qua.

Bước một: Biến âm thanh thành hình ảnh

Một bản ghi kỹ thuật số là một dãy số dài mô tả cách màng loa cần chuyển động, với hàng chục nghìn giá trị mỗi giây. Nhìn dãy số ấy, bạn không thấy được giai điệu. Vì vậy, phần mềm dùng một phép biến đổi để biết tại mỗi thời điểm, mỗi tần số có bao nhiêu năng lượng. Kết quả là một phổ tần, tức hình ảnh biểu diễn cường độ bằng màu sắc. Thời gian chạy từ trái sang phải, tần số tăng dần từ dưới lên trên, còn những điểm sáng đánh dấu các cao độ đang vang lên.

Hình ảnh này gần giống với piano roll và thể hiện âm nhạc rõ hơn nhiều so với dạng sóng âm thanh ban đầu. Một nốt ngân dài hiện thành một vệt ngang. Một hợp âm thành nhiều vệt xếp chồng. Một tiếng trống thành một vệt dọc ngắn trải qua nhiều tần số. Khi âm thanh đã thành hình ảnh như vậy, mô hình được huấn luyện để đọc hình ảnh có thể xử lý bước tiếp theo.

Bước hai: Mô hình tìm các nốt

Nhìn phổ tần để nhận ra nốt không đơn giản như bạn tưởng. Một nốt piano không hiện thành một đường rõ ràng duy nhất. Nó gồm tần số cơ bản và một loạt họa âm cao hơn. Khi nhiều nốt cùng vang lên, họa âm của chúng chồng chéo và đan vào nhau. Nốt Mi trầm trên guitar có chung họa âm với nốt Mi cao hơn một quãng tám. Phân biệt điểm sáng nào là nốt được chơi, điểm nào là họa âm của nốt khác là bài toán chính khi chép nhạc.

Các hệ thống hiện đại giải bài toán này bằng mạng nơ-ron, được huấn luyện trên những bộ dữ liệu lớn gồm bản ghi đi kèm thông tin chính xác về các nốt. Với piano, những nhạc cụ ghi lại cả âm thanh lẫn thời điểm nhấn phím đã giúp tạo ra bộ dữ liệu gồm hàng nghìn bản trình diễn, căn khớp chính xác với các nốt đã chơi. Mạng nơ-ron học từ dữ liệu đó để phân biệt một nốt vừa được đánh với các họa âm của nó, nhận ra thời điểm nốt bắt đầu và cách âm thanh nhỏ dần. Trong từng khoảng thời gian ngắn, mô hình thường dự đoán cho mỗi cao độ xem nốt có đang bắt đầu hay đang vang lên không, và âm lượng của nó là bao nhiêu. Ghép các dự đoán lại, ta có danh sách sự kiện nốt, mỗi sự kiện có cao độ, thời điểm bắt đầu, thời điểm kết thúc và velocity, tức giá trị MIDI thể hiện lực đánh nốt.

Không ai phải viết sẵn những quy tắc như “bỏ qua họa âm thứ ba”. Mô hình tự rút ra cách nhận diện từ các ví dụ. Khi có thêm dữ liệu huấn luyện, người ta có thể áp dụng cùng cách này cho những nhạc cụ khác và tiếp tục cải thiện kết quả mà không phải viết lại logic xử lý. Bài vì sao độ chính xác của AI chép nhạc khác nhau giải thích kỹ hơn vì sao có bản ghi cho kết quả rõ hơn bản khác.

Bước ba: Biến các nốt thành bản nhạc dễ đọc

Danh sách sự kiện nốt với thời điểm chính xác đã đủ để tạo MIDI và hiển thị trên piano roll. Nhưng bản nhạc còn cần nhịp độ, loại nhịp và các nốt được căn về những trường độ quen thuộc. Ở 120 bpm, người chơi không bao giờ đánh một nốt đen dài đúng 500 mili giây. Phần mềm phải tìm phách, xác định vị trí vạch nhịp rồi làm tròn mỗi nốt về trường độ hợp lý gần nhất, chẳng hạn nốt đen hoặc nốt móc đơn. Bước này gọi là lượng tử hóa. Nhờ đó, bản chép dễ đọc hơn thay vì đầy những nốt móc ba khó chơi.

Phần mềm còn phải đưa ra những lựa chọn ký âm mà người chơi cần, như phân nốt cho tay phải và tay trái, chọn dấu hóa cho nốt và đặt dấu lặng. Kết quả có thể xuất ở nhiều định dạng: PDF để in, tệp MIDI để mở trong phần mềm làm nhạc DAW, hoặc MusicXML để mở trong phần mềm soạn bản nhạc. Nếu tiết tấu hay cách chia nốt cho hai tay chưa đúng, bạn có thể chỉnh ở bước này. Việc sửa lỗi chép nhạc thường chỉ cần chỉnh nhanh thay vì làm lại từ đầu.

Trường hợp làm tốt và trường hợp còn khó

Piano độc tấu là trường hợp AI chép nhạc làm tốt nhất. Dữ liệu huấn luyện cho piano phong phú nhất, âm thanh dễ xử lý, và các mô hình tốt nhận ra phần lớn nốt trong một bản ghi sạch. Ngày nay, mô hình cũng xử lý tốt một nhạc cụ chơi hợp âm. Cách nhận diện nhiều nốt cùng lúc này gọi là chép nhạc đa âm. Bài giải thích chép nhạc piano đa âm nói kỹ hơn về trường hợp piano.

Một bản ghi cả ban nhạc trộn thành một track khó xử lý hơn, vì mô hình phải phân biệt nhiều nhạc cụ cùng vang lên trong những khoảng tần số chồng lấn. Tiếng méo mạnh, tiếng vang dày và âm thanh chất lượng thấp đều làm phổ tần bị nhòe, khiến độ chính xác giảm. Các đoạn rất nhanh và nốt có âm lượng rất nhỏ cũng dễ bị bỏ sót. Kết quả vẫn có thể dùng làm bản nháp tốt để bạn kiểm tra, nhưng chưa nên xem là bản nhạc hoàn chỉnh không cần ai xem lại. Bài độ chính xác của AI chép nhạc đưa ra những con số cụ thể hơn.

Cách có kết quả tốt nhất

Chất lượng bản ghi ảnh hưởng đến mọi bước sau đó. Âm thanh càng sạch và rõ thì hình ảnh phổ tần càng rõ, mô hình cũng nhận diện đúng nhiều nốt hơn. Chọn bản ghi rõ nhất của bài hát mà bạn tìm được, cho công cụ biết nhạc cụ đang chơi để nó dùng đúng mô hình, rồi xem lại bản nháp. Với Songscription, bạn tải tệp lên hoặc dán đường dẫn. AI xử lý qua ba bước trên rồi tạo piano roll và bản nhạc để bạn phát lại, làm chậm, chuyển giọng và chỉnh sửa ngay trong trình duyệt trước khi xuất. AI đảm nhận phần nghe và nhận diện; bạn kiểm tra và quyết định bản cuối.