音楽をスペクトログラムでリアルタイムに映像化する
コンピュータの性能が上がり、今やマイクから拾った音を瞬時にスペクトログラム（前回のブログ参照）にしてCGで表現できるようになりました。20世紀では、ノートPCでお手軽にこんなことができるようになるとは考えられなかった…
前回に続きスペクトログラムによる音楽表現について書きます。
2022年2月にミューザ川崎の企画に講師としてご招待いただきました。
「MUZAミュージック・カレッジ」 第2回「聴く」2022年2月24日
講演：横山真男（明星大学情報学部教授）フルート：濱﨑麻里子 ヴィオラ：多井千洋 ハープ：池城菜香
毎回、斬新な切り口でクラシック音楽の新しい考えをお伝えする企画シリーズのようです。講義と演奏がセットになっていて、今回の演奏者は東京交響楽団の方々で、講義と演奏を交互にバロックから図形楽譜までといった内容で2時間強もしゃべくり倒してきました(^^;)
そのなかで、映像と音楽の融合というトピックのなかで2曲、小職の作品を演奏していただきました。
今回のテーマが「音楽の映像化＆映像の音楽化」ということでしたので、前者はスペクトログラムを使ってリアルタイムに演奏音をCGアートにする作品にしました。また後者として、図形楽譜を見て即興で演奏するということをしました。
さて、スペクトログラムをつかった音楽ですが、マイクから入った音波をパソコンでどんどん周波数解析してします。
時間方向に連続してカラーにすると下の図のように鮮やかな模様ができます。
(クリックするとYouTubeの動画が見れます)映像はランダムなスプライン曲線を3次元でひねっていますので、スペクトログラムのリボンのようにも見えます。
Masao Yokoyama“Bagatele for Flute, Viola, Harp and Spectrogram”
フルート、ヴィオラ、ハープとスペクトログラムのためのバガテル
マイクで音をひろってリアルタイムでスペクトログラムを計算しCG画像を作成（初演）
音の高さや大きさで、色や位置、大きさが変わっていきます。
これを今回はちょっと工夫をこらして、スクリーンと床に投影しました！だから、奏者の前にお客さんはおらず左右に広がった形で床と壁を見ていただくことにしました。スタッフや奏者の皆さんとアイデアを出したのは良かったのですが、まぁ、セッティングが大変でした(^^;)
音楽はというと、スペクトル解析だからスペクトル楽派（倍音楽派）の手法を考えました。
それだけだと直球すぎるし今回の講座のお客さんには聞きにくいかなと思い、第1楽章は、今回のテーマである映像と言えば、やはりドビュッシー！その全音階的な浮遊感をスペクトル楽派とミックスしました。同じ編成のドビュッシーの名曲も意識してます。
第2楽章は、一転して小職の一つのやりかたである日本の伝統的な音楽要素をつかいました。追分節のようなフルートには特殊奏法を取り入れてます。あとは、スペクトログラムに上下行の変化が出やすいようにグリッサンドや音階を多く使っています。ご覧の図のように、映像には富士山と月を配置し、縦に長いスペクトログラムを掛け軸のように配置しています。
第3楽章もかなり性格の異なるリズミックな舞曲にしました。3-3-3-4の13拍子で、エッと思われがちですが、意外とノリ易いリズムなのです。映像はリズムが分かるように滝のように上からボールが落ちてくるようにしました。中間部はブルース。名曲You Gatta Moveをジャズ風にアドリブを加えたものです。この楽曲を使った理由は、たまたま仕事で車を運転していたらJ-Waveで流れていて、あの気怠いメロディがリズミカルな主題と対比がくっきりして、それでいて、しっくりと合うような気がして迷わず採用。
なんとも多国籍なミックス音楽になりました。
もうひとつ、図形楽譜の作品も演奏していただきました。
図形楽譜にも色々ありますが（そもそも五線譜だって「図形」…）、小職が用意したのは1歳の娘がスケッチブックに書いた落書き！
4色ありましたのでそれぞれの色を楽器のピッチや音量に見立てて、アドリブで奏者の皆さんに演奏してもらいました。
まー、娘のぐちゃぐちゃの落書きを見せられて、「さぁ、どうぞ、弾いてください！」というのは無茶ぶりなので(笑)
楽譜の解釈は以下の通りに指定しました。
(クリックするとYouTubeの動画がみれます)特に今回は、通常のコンサートでは「雑音」されるビニールのガサガサする音とか、何か物を落っことしてしまう音などもいれました。楽器の音ばかりが音楽ではない、という解釈です。この考えはミュージック・コンクレート（具象音楽）と言われていて、フランスのピエール・シェフェールらによって提唱されました。
ということで、娘と私の合作ということになりますが、そういった子どもの落書きが実はアートになったりするかもしれませんね。
＝＝＝＝＝＝＝＝＝
音楽と楽器の研究：
https://yokoyama-music-research.jimdofree.com/
筆者（横山真男）のHP（楽譜のダウンロードもできる作品リスト）
https://www.cello-maker.com/research/music/japanesemusic-score.html