プロセス絵画

私はMAXで曲を作っており、これまでのblogの動画に曲を付けてきました。その中で音楽は他にない特殊性があると思っています。その一つが「プロセス」（過程）です。これは次のような意味です。音楽は演奏して、あるいは歌って、人に伝えます。そして演奏し終わって、あるいは歌い終わった時点で完成です。完成した時にモノとして何も残っていない、心に残す。という性質があります。つまりプロセスだけがあってモノが無いのです。この性質はモノを購入するタイプと著しい違いです。この性質はインターラクションや体験も同じです。いろんな体験をして充実感を得ますが、それはモノとしは何も残っていないのです。しかし音楽とインターラクションとは決定的な違いがあります。これが２つ目の特殊性です。それは音楽は手軽な録音と再生メディアを持っている点です。この媒体があることによって、音楽は「普及」することができたと思っています。これに対して他の体験はそうではありません。オリンピックの影響で一時期ボルダリングがはやりましたが、ボルダリングを体験できる場所は非常に限られています。音楽のように手軽ではありません。ですから音楽のように誰もが聴くということに匹敵する普及は無いでしょう。多くのインターラクションも同じです。３つめの特殊性は、「共感」「共有」ということです。曲自体は非常にすばらしい曲を作られる方はいらっしゃると思いますが、プロモーションして普及させる必要があるのです。多くの人が聴いているから、私も聞いて共感するという側面があります。如何に素晴らしい曲でも、プロモーションなしに一人で歌って普及するということは現実には無いでしょう。多くのインターラクションはこの点も不足しています。つまりインターラクションが普及するには装置は勿論必要ですが、メディアと共有方法（プロモーション）が必要です。これらを多少カバーできるかもしれないと個人的に期待しているのは自動運転車です、クルマの閉じたスペースがインターラクションスペースにならないのかと思っている次第です。クルマは比較的身近な存在だからです（自動運転車は身近ではありませんが）。このようなことで、プロセスを何とか残す・固定する方法に関心を持っています。

パウル・クレーという画家がおられます。この方は音楽にも精通された方です。そして絵で音楽を表していると言われている作品があります。「ポリフォニー」, 「赤のフーガ」が有名です。ポリフォニーという作品を次に挙げておきます。

私は今年の2月か3月に、パウル・クレー展へ行ったことがあり、この絵の様な作品を見ました。これは音楽の「プロセス」を絵に固定しようとしたのだ、と感じました（クレーは上述した普及と言う観点で固定しようとしてのではありません。芸術的な衝動なのではないでしょうか）。それでインターラクションを絵に固定できないかと思っていたのです。今回はその試みの紹介です。その前にもう一つ、プロセスを固定する方法を紹介します。インフォグラフィックスという分野です。これはデータや情報を図やイラストを使ってわかりやすく表現する手法です。路線図なんかが典型的な例でしょう。この分野で有名なグラフィックスに、ミナールの「ナポレオンのモスクワ遠征地図」があります。これを次に示します。

これは、ナポレオンが現在のリトアニアのカウナスからモスクワへ遠征して戻ってくるまでの経路を描いた地図です。ここには進軍や退却中の兵士数の変化や気温を視覚的に示しています。行って帰ってくるというプロセスの内に兵士がどれだけ失われたかを表しているのです。赤い帯が行軍で黒い帯が退却です。一目でこのプロセスが壊滅的であったことが分かります。42万の兵士が出発し、カウナスに戻ってきたのは4000名と言われています。どこの場所で急速に失われていったのかもよくわかります。この地図は情報を如何に表すかを示す代表的なグラフィックスです。

私は映像から音楽を作る際に複雑さパラメータを使っています。これは何度か紹介してきました。これは今のフレームの映像と前のフレームの映像との差を数値化したものです。先回のblogでは走行映像を、映像を中央部分と左右に分けて（左右に分けた映像を一つとして扱います）、中央の映像からの複雑さパラメータをx, 左右の映像からの複雑さパラメータをｙとしました。今回これに加えて、クルマで走って戻ってく来るまでの時間を1として、1に対して今どの時間なのかを示す値をzとすることにしました。これらにより走行映像から複雑さパラメータを位置に変換した、位置(x, y, z)が求まります。これをプロットすることで、行って戻ってくるというプロセスを絵として固定することにしました。次の映像はその映像です。行っても出ってくる全体は長いので、途中だけを描いています。これは長久手という場所の市街地を走行した映像から作っています。曲も同じ走行映像からMAXを使って作製したものです。

次に出発して戻ってくる全体の時間で描いた図が次です。

これにエフェクトをかけて、重なりの部分を持ち上げ少し立体的に見えるようにしました。パラメータは少しちがいますが、先回のblogのエフェクトと同じです。背景は別に用意して同じエフェクトをかけ、それを合成することで最終の絵を作製したました。それが次です。

この絵は、クルマを走行して行って帰ってくるという場合の複雑さパラメータの変化を絵にしたことになります。どれほど意味があるかはわかりませんが、走行というプロセスが絵になりました。例えば通勤の様子を絵にしましたといった類です。もう一つ示しておきます。

この絵は中央自動車道を走行した時の映像を使いました。自動車道は市街地より風景の変化が少ないので、こじんまりした絵になっております。場所の特徴は現れるようです。(x,y,x)の軌跡をカメラで撮ることで2次元にしているのですが、カメラ位置を変えることで、バリエーションを作ることもできます。

今回のように、プロセス（体験）をなんらかの方法で絵にして固定する絵画を、「プロセス絵画」と呼ぶことにします。Azure Kinect等では、手や体の骨格を検出することができます。何かの作業をしている動きを、今回のようにトレースして絵画に固定する、といったことができるように思います。動きをトレースするだけだと直接的ですから、今回の複雑さパラメータのように少し抽象化してもいいかもしれません。こうしたことは、だからどうしたと言う域をでませんが、プロセスを記憶・活用する方法を検討していくのは重要だと思っています。