はじめに
映像から音楽を生成する手法を使って多くの動画に音楽を付けてきました。例えば最近では、2026.01.10のblog「躍動感１オブジェクトからの視線」です。ここで挙げた動画を再録しておきます。
これは、先回、先先回のblog「音楽生成の基礎１, ２」の内容の応用例になっています。音楽を作るMAXへの入力はデータですが、それは映像からリアルタイムに作製した値です。それをスケールに割り当てて変換し、MIDI音源を鳴らしています。この手法はMonogokoroではスタンダードな手法です。
一方MIDIではなく、音の波形を扱う場合があります。少し前の2026.01.19のblog「映像による音生成３：炎と液滴」では、液滴の音をホワイトノイズ（音の波形）を映像から得た信号で変調して作製する例を紹介しています。これも再録致します。
先回の「音楽生成の基礎２：・・・」を作製している際に、上のような比較的短い時間に対してもMIDIの手法で音を付けれるのではないかと思いました。音を付ける場合は、実際の音があるのでそれに似せて付けますが、音楽を付けるとなると、現実ではないため、自分のイメージを重ねることになります。自分の印象と付けた曲をフィードバックしながら作製することになり、こんな音も現象に合うんだ、といった発見につながると思いました。上の液滴の場合と、立方体が破壊される場合の２つに曲をつけて見ました。
瞬間の音楽
液滴が落ちてくるような現象に音を付けるので「瞬間の音楽」としましたが、実際の映像は瞬間ではありません。時間軸が実際より長くなっています。このような一瞬の出来事を時間的に長くして見せる場合に思い出すのが、2025.05.19のblog「「量と質の変換１」・・・・」の中で述べたベルグソンの次の言葉です。「私が一杯の砂糖水を準備する場合、何をしようと、私は砂糖が溶けるのを待たなければならない」。私の命が砂糖水が溶けるぐらいの短さであったとすると、砂糖水は大変ゆっくりととけていくように思うでしょう。また、私の命が極めて長いなら、砂糖水が溶ける時間は一瞬の出来事でしょう。ですので、一瞬の出来事の中にも、音楽を感じるようなことはあってもよく、現実にはスローモーションの動きに曲を付けることになります。これはなかなか詩的な趣があります。例えば、「虫が花に留まった」等といった、そこここに起こっている一瞬の中に、そこに音楽がある、あるいは音楽が付けれる、ということです。これは哲学的にも面白い解釈ができると思っております。それでは作製した音楽を視聴ください。
まず、液滴の映像から音楽を付けた場合です。
次に、立方体が平面にぶつかりばらばらになる映像に音楽を付けた場合です。この映像も液滴の映像同様、blenderにより作製しました。映像は「https://www.youtube.com/watch?v=ZEyBjiRWxUA&t=550s」を参考にして作製しました。それでは御視聴ください。
私の印象は、「実際の音でなくても、それなりに合わすことができるな」、というもので、気にいりました。
音楽の作製方法
2026.01.19「映像による音生成３：炎と液滴」で紹介した手法は映像から変調データを作製して、ホワイトノイズを変調する方法でした。TouchDesignerで行う部分はこれとかなりにています。変調データを作るまでは基本同じです、それを音の変調に使わずに、MAXに投げるということです。MAXでそのデータをMIDIデータに変換し、MIDI音源に送り音楽にします。MAXの処理は先回紹介したのと同じです。僅かに違う部分はテンポを速めています。MAXでテンポを設定する基本はtempoというオペレータを使って、「tempo 120 1 16]等と設定します。これは1分間に四分音符を120回カウントする速さ（これをBPM（Beats Per Minute)と言います）で、16拍で数える（1から16で数える）ことを表しています。今回は「tempo 240 1 16」で鳴らしています。時間が短い文、速いテンポに設定しています。BPMや拍を変えると印象が大きく変わります。データを如何に作るか、MAXでの前処理の方法、テンポ、音を何オクターブ使うのか、どの楽器をあてはめるのか、こうしたところが、調整する部分になります。これらの調整で様々な表現ができます。
感想
瞬間の映像に音楽を付けることで思ったことがありました。瞬間に音楽を付けていくというのも面白いアイデアだと思いました。通常の時間に対する映像から、映像がズームされていき動きがスローモーションになります、それに応じて音楽も変わっていく、フラクタル構造的な音楽の付け方があるかもしれません。没入感につながるような気が致します。
コメント