ヴァイオリンの音色分析 Analyze of Violin Timbre
オールドヴァイオリンの音色（スペクトラム分析）
Power spectrums by FFT analyzer of Stradivari(1698), Pressenda(1838), Fangola(1923) D1 on A string. Analyzing the tone by a professional violinist's performance of "Thais meditation" with musical expression.
下の図はオールド・ヴァイオリンの代表格のストラディバリ（1698年）と、近代の名匠ファニオラ（1923年）、プレッセンダ（1838年）のD1(レ）についてパワースペクトラム解析をしたものです。ヴァイオリンは、一つ一つ音色が異なります。それは、木の材質が原因であったり、制作した職人のポリシーや腕の違いであったりと、様々な要因があります。制作された年代の違いに着目し、実際に弾いたバイオリンの音色がどのように異なっているのか、また年代ごとにどのような違いがあるのかを検証しています。
Comparison of overtones Stradivari(1698), Fagnola(1923), Pressenda(1838)
Stradivari's S/N ratio is higher, which make the timbre clearer.
基準となるピッチを基音(f0)といい、この場合、演奏している音の高さになります。この基音に対する倍音成分や非整数倍音の配合が音色を決める主要素なのですが、それらをグラフ化したものが図です。この音に関してはストラディバリはファニオラやプレッセンダに比べS/N比（整数倍音と非整数倍音の比）が大きく、より音色に雑味の無いクリアな音といえるでしょう。
関連するPDF More Acoustics Society of America Joint Meeting (2016) PPT here
AIで音色の識別ができるか
新作からモダン、セミオールド、オールドのヴァイオリンを並べ、プロの演奏者に順に開放弦と「タイスの瞑想曲」の旋律を演奏してもらいました。名器の良さはプロが音楽的に弾いたときのその表現力に価値があります。ということで、開放弦だけでなく奏者には十分弾きこんで気持ちよく楽曲を音楽的に弾いてもらった状態で音を録音しました。
楽器を上の図のようにパワースペクトルを計算すると、そのスペクトルの概形（スペクトル包絡）が得られいくつかの局所的なピークがみられます。そのピークの周波数は音色の違いを表すと思われます。本研究ではそのパワースペクトルの概形をつかって音色の識別実験とAI（ニューラルネットワーク）にて楽器の音色の識別実験を行っています。（論文PDF Applied Acoustics, 音楽情報研究会）
In this study, the sounds of violins, performed by a violinist, were recorded and the distribution of peak frequencies of the spectral envelope of the recorded sound data was analyzed. The distribution of peak frequencies is different for each violin, but some tendencies were found. Questionnaires were used to examine the distinction in violin timbre by the difference in the patterns of peak frequencies. When the patterns of the two violins were similar, the subjects responded that the timbre of both violins was similar than the other violin whose pattern of peak frequencies was different. The present study discussed the contribution of the similarity of patterns and the difference between patterns to the identification of the timbre.
下の図は、人間の耳ではなくコンピュータが自動でヴァイオリンの音色を識別する試みの例です。例えばヴァイオリンの鑑定機のようなものを作れないかということにもなります。識別率は開放弦ですと9割を超えますが、強弱やビブラートをかけた楽曲の演奏ではまだ半分ほどです。
録音されたヴァイオリンの音波をケプストラム分析し、深層学習をするプログラムを開発しました（PythonおよびKeras）。このニューラルネットワークによる音色の識別の応用例としては、ある新作楽器がどんな楽器の音色に近いかを可視化ができます。イタリア製の名器を学習データにして，新作ヴァイオリンを評価データとした結果です。新作楽器がどんな名器の音色に近いのかを示していて、これは楽器を購入する人や販売・製造するメーカー側にとって音色の指標ツールとなるでしょう。つまり、ヴァイオリンを買おうとしている購入者が、そのヴァイオリンがどんな有名な楽器に似ているのか、例えばストラディヴァリに近いのかグァルネリに近いのかが数値的にわかるようになります．（論文PDF）
Identification of the timbre of violins was performed using a machine learning technique. The machine learning computer program was developed using Python and Keras library. The number of violins tested is 21, which contains old Italian violins such as Stradivari. As for acoustic features, the spectrum envelope calculated by the cepstrum method was used for the training data and the test data. As the result of identification experiment, in the case of open strings an accuracy of more than 95% was obtained. Furthermore, an experiment that analyzes the similarity of timbre between an unknown violin and trained violins was shown.
(Fig. Accuracy, open string VS music piece. PDF)
