ヴァイオリンの製作者として、イタリアのアントニオ・ストラディヴァリの名前は誰しもが聞いたことがあると思います。
非常に人気があり高価であるため、昔から贋作が出回っていることでも有名です。
偽物があるので楽器ディーラーにより真贋の鑑定が昔から行われていました。
（逆に、ストラディヴァリと見間違うほどの楽器は、ストラドとして売られたこともあったとか (+_+)… ）
本物かどうかの真贋は、もちろん限られた専門家によって行われますが、主としてそれは楽器の形からなされています。
つまり、見た目です。
製作者の特養的なアウトライン、細工、材料など外見上の特徴から、総合的に判断されます。
ただ、「音」に関してはその対象になることはありませんでした。
音色と言うのはフワッとした概念でして、たしかに音色の違いは知覚できるのですが、それを物理量として明確に説明することはできません。聞く人による主観もかなり影響します。
「柔らかい音色」という表現を聞きますが、確かに柔らかさをその音から感じますが、それが音の物理的な尺度で説明は難しいのです。
「豊かな音」という表現も聞かれますが、音の物理的な特徴量の何がどうなれば豊かという言葉とつながるのかは、説明できません。
味覚の表現にも似てるかと思いますが、音色についてはもっとぼんやりしている評価と言えましょう。
でも、やっぱり、私たちは楽器の音色の違いを確かに感じることができます。
解析的に音のなにがどうなっているから、と数値的に説明はできませんが、感覚的・主観的に違いを述べることはしています。
ならば、ということで私の研究室では、音色の違いを人工知能で区別ができるか？という試みを行っています。
ストラディヴァリ4本を含む13本のヴァイオリンを同条件でスタジオ録音しました。
その録音データをVAE（Variational AutoEncoder）という手法で、短時間区間のヴァイオリンの音波をネットワークに学習させ、楽器の識別を行いました。
音波をそのまま学習させると情報量が多すぎるので（かえって精度が出ないこともあるので）、音波をＭＦＣＣという音響特徴量に変換して、その値をたくさん学習させます。
そうすると、ネットワークは各音響特徴量を識別できるように（線引きができるように）学習していきます。
その分離された結果を可視化したのが下の図です。
VAEによる開放弦の学習結果 （当研究室のD3石垣さんの実験結果）
縦軸と横軸に意味はありません。各楽器の短時間の音波の特徴量がどの位置にあるかというものを、いわば相対関係を2次元の平面で可視化したものです。（潜在空間といっています）
開放弦ごとに学習した結果を示しています。
結果をみてみると、それぞれの楽器がある塊となって分布しているのが分かりますね。
じゃあ、ストラディヴァリの鑑定ができそうなのか？
出来ているとは言えませんね。
他の楽器とかぶっていたりして、ストラディヴァリの4本と他の9本の差は線引きができません。
G線はわりと近くに集まっているようにも見えます。
このことは、他の楽器でもストラディヴァリにかなり近い音色を持つものがあるとも言えます。
図が示しているのはMFCCという音響特徴量で、楽器の音色の区別はできるということです。
やはり、ストラディヴァリの鑑定は難しいのでしょうか。
次の図は、ストラディヴァリの音をいろんな音源からデータにして学習させた結果です。
それぞれのストラドの音源はスタジオ録音であったり、ホール録音であったり、CDであったり・・・と録音条件が異なるストラディヴァリの音源をかき集めて同様の手法で計算したものです。が・・・やはり、録音環境の差はかなりの違いをみせます。
楽器の音色は、楽器の振動・共鳴の特徴、振動の源である弦の特徴、そして聞いている環境（録音条件）によって、結果が変わると言えます。
楽器の音色 ＝ 楽器×弦×録音条件
今後としては、地道ではありますが、同じ録音条件でストラディヴァリの音を蓄積していくしかないようです。
ただ、今回の研究を通して、手法としてVAEを使うことで鑑定の可能性は「ある」と言えるのではないでしょうか。
※この記事の詳細は情報処理楽器音楽情報研究会（２０２４年３月）にて発表した内容をもとに簡略させて書いたものです。詳細は論文をご覧ください。
横山 真男, 石垣 優弥, 吉田 小百合, 山田 雅之, 堀 酉基, "人工知能を用いたアンティークヴァイオリンの 音色による鑑定の試み" 第139回音楽情報研究会, 2024.3.
＝＝＝＝＝＝＝＝＝
音楽と楽器の研究：
筆者（横山真男）のHP（楽譜のダウンロードもできる作品リスト）