演奏を聴き取ってくれるピアノアプリはある？

演奏を聴き取るピアノアプリは、今では珍しくありません。Anything Piano、Simply Piano、flowkey、Skoove、Yousicianは、スマートフォンやタブレットのマイクを通して楽器の音を解析し、弾けた音と弾き逃した音を知らせます。ケーブルもアダプターも要らず、アコースティックのアップライトピアノにも対応しています。

気になるのは、どのくらい正確に聴き取れるか、どんなときにうまくいかなくなるかです。マイクでの検出は難しい処理で、部屋や曲によって精度が変わります。聴き取れるものと聴き取れないものを知っておけば、アプリの評価が悪かった箇所について、演奏だけが原因だと思い込まずに済みます。

私たちはSongscriptionを作っており、チームはAnything Pianoも作っています。技術的な疑問を持つエンジニアにも、ここに書いたとおりに説明します。自社に不利な制限も省いていません。

演奏を聴き取る仕組み

ピアノアプリが演奏を検出する方法は2つあります。どちらを使っているかによって、精度に違いが出ます。

マイクによる検出

アプリは音を録音し続け、それぞれの瞬間にどのピッチが鳴っているかを推定します。複数の音が同時に鳴るピアノの採譜と同じ種類の処理ですが、リアルタイムで、正解となる音が分かった状態で動きます。アプリは弾くべき音をすでに知っているので、最初から採譜する代わりに、その音が鳴ったかどうかを確かめます。曲全体を採譜するよりずっと処理しやすく、想像されるよりかなり信頼できます。

音が出る楽器なら使えるのが利点です。100年前のアップライトピアノでも、グランドピアノでも、MIDIポートのない借り物の61鍵キーボードでも、譜面台にスマートフォンを立てかければ使えます。何かを買い足したり、設定したりする必要はありません。

MIDIによる検出

USBやBluetoothで接続した電子ピアノは、鍵盤を押すたびにデータを送ります。どの鍵盤をいつ押していつ離したか、どのくらいの強さで押したかが分かります。推定を介さないので正確です。鍵盤を押す強さを表すベロシティーも取得できます。マイクではこれを大まかに推定することしかできません。

一方、電子楽器と、通常はケーブルが必要です。形式そのものについては、MIDIとは何かで説明しています。

演奏を聴き取るアプリとその方法

マイクとMIDIへの対応、アコースティックピアノで使えるかどうか、曲の入手先を比較しています

見落としやすいのは右端の列です。演奏を聴き取るには、弾きたい曲のアレンジがアプリに用意されていなければなりません。上の5つのアプリは、それぞれのチームがアレンジした曲にしか対応していません。どれほど正確に音を聴き取れても、弾きたい曲が収録されていなければ使えません。

Anything Pianoは、指定した録音からピアノパートを生成します。音声ファイルのほか、YouTube、TikTok、Instagramのリンクも使えます。生成したパートを再生して合わせて弾くと、マイクまたはBluetoothやUSBのMIDI接続を通して演奏を聴き取ります。用意されたアレンジに限らず、弾きたい曲に合わせて弾けます。

鍵盤の数は49、61、76、88鍵から選べ、画面上の鍵盤もそれに合わせて並びます。Fingeringをオンにするとピアノロールに指番号が表示され、各音をどの指で弾くか分かります。Anything Pianoが作るのはピアノロールのチュートリアルだけで、楽譜は作りません。印刷できる楽譜が必要なら、Songscriptionを使えます。

マイクでの検出が苦手な場面

弾いたはずの音が間違いと判定されるとき、その原因のほとんどは次の4つです。

• 音の多いコード。 6音や7音が同時に鳴ると倍音が重なります。ある音の基音が別の音の倍音と重なると、混ざった音から聞き分けるのは困難です。低い音域で両手を使い、複数の音を同時に押さえるコードは、特に検出しにくい例です。
• サスティンペダルの多用。 ペダルは前のコードの響きを次のコードに重ねるためのものです。その重なりによって、検出時にはコードの切れ目が分かりにくくなります。
• 周囲の雑音。 食器洗い機やファンの音、開いた窓から入る車の音、隣の部屋のテレビの音は、どれも演奏と一緒に録音されます。
• 調律の狂ったピアノ。 音が本来より四分音低ければ、アプリが探しているピッチは鳴っていません。10年間調律していないピアノでは、特に音が狂った音域で、理由の分からない低い評価が出ることがあります。

いずれも対処できる問題です。評価が悪いと自分の弾き方が悪かったと思いがちですが、いつも同じ音域やフレーズで音を拾えないなら、練習方法を変える前に部屋の環境や調律を確かめてください。

音を検出しやすい環境を整える

• 端末を譜面台に置き、楽器に向けます。 部屋の離れた場所にあるソファには置かず、画面を下向きにもしないでください。
• グランドピアノは屋根を下ろすか、短い突き上げ棒を使います。 屋根を全開にすると、スマートフォンのある場所から離れる方向に音が出ます。
• 窓を閉め、ファンの付いた機器の電源を切ります。 費用をかけずに検出精度を上げられます。
• 普段どおりの音量で弾きます。 周囲に気を遣って小さな音で練習すると、音を拾い損ねやすくなります。
• 電子ピアノをヘッドホンで弾くなど、外に音を出せないときはMIDIケーブルを使います。 音が外に出なければアプリにも聴こえないので、無音で弾く電子ピアノにはマイクではなくケーブルが必要です。
• ピアノを調律します。 調律すれば、ソフトウェアの問題と思われがちな評価の誤りも解消できます。

どのアプリにも聴き取れないもの

緑のチェックが付くと、正しく弾けたと思いがちです。ただ、この種類のアプリが評価しているのはピッチとタイミングで、ピアノ演奏の一部にすぎません。どの指を使ったかは見えません。独学ではフィンガリングを間違えやすく、一度定着すると直すのが難しくなります。手首に力が入っているか、指の関節がつぶれているか、肩が耳に近づくほど上がっているかも分かりません。こうした動きはけがの原因になります。

フレーズが音楽らしく聴こえたかどうかも判定できません。音とタイミングが正確でも表情のない演奏と、息づかいのある演奏は同じ評価になります。その違いを見てくれるのが先生です。アプリと併せて1〜2か月に一度レッスンを受けるのも、よくある実用的な方法です。一方、ファの代わりにファシャープを弾いたことや、3小節目で走ったことなどは、アプリが見つけてくれます。

よくある質問

演奏を聴き取ってくれるピアノアプリはありますか？

はい、いくつかあります。Anything Piano、Simply Piano、flowkey、Skoove、Yousicianは、端末のマイクから入る音を解析し、弾けた音と弾き逃した音を表示します。アコースティックのアップライトピアノやグランドピアノでもケーブルは要りません。この中でAnything Pianoは、決まったカタログではなく録音からピアノパートを作るので、どんな曲でも対応できます。画面に表示されるのは楽譜ではなくピアノロールです。SynthesiaとPiano Marvelは例外で、どちらもMIDIのみを読み取ります。

ピアノアプリは弾いた音をどうやって判別しますか？

2つの方法があります。マイクで検出する方法では、音を録音して鳴っているピッチを推定します。ケーブルなしで音の出る楽器に使えますが、同時に鳴る複数の音を、部屋の雑音やペダルで重なった音から聞き分けなければなりません。MIDIで検出する方法では、電子ピアノがUSBやBluetoothで送る音符のデータを読み取ります。鍵盤を押した強さも含めて正確に分かりますが、電子楽器が必要です。

ピアノアプリはアコースティックピアノでも使えますか？

マイク入力に対応したアプリなら使えます。スマートフォンやタブレットを譜面台に置き、弦のほうに向けてください。窓を閉め、ファンの付いた機器の電源を切り、小さな音ではなく普段どおりの音量で弾きます。グランドピアノは屋根を全開にすると音が端末から離れる方向に出るため、アップライトピアノのほうが検出しやすくなります。詳しくはMIDIキーボードを使わずにピアノを学ぶ方法をご覧ください。

ピアノアプリではマイクとMIDIのどちらが正確ですか？

MIDIのほうが明らかに正確です。どの鍵盤を、いつ、どの強さで押したかが電子ピアノからそのまま伝わります。マイクでの検出は推定なので、音の多いコードやサスティンペダルの多用、周囲の雑音、調律の大きく狂ったピアノによって精度が落ちます。曲を覚えるためなら、この差が問題になることはほとんどありません。評価を点数にしたり記録したりするなら、ケーブルをつないでMIDIを使う価値があります。

最後に

10年前は、ピアノの音をきちんと聴き取れること自体が目を引く機能でした。それが標準になった今は、何の曲を聴き取れるかでアプリを選べます。カタログを使うアプリが対応できるのは、編曲者がすでに書き起こした曲だけです。

サブスクリプションを申し込む前に、弾きたい曲がカタログにあるか検索してみてください。曲がなければ、マイクの精度が高くても演奏を聴き取れません。Anything Pianoは録音からパートを生成し、それに合わせた演奏を聴き取ります。カタログにない曲を弾きたいときの選択肢です。