夏になれば夏らしい絵を一枚パソコンで描こうかと思いますが、どういう絵を描くのがいいのか一向に思いつかない。そうしたことは季節の絵にかぎらずよくあります。絵には、形を正確に描く方向と印象や情緒を示す方向があると思います。形の記憶は、具体的な視覚情報や構造をたどる理性的な道筋のように思いますが、情緒的な記憶はその周囲の感覚や体験の空気感を辿る感覚的な道筋でしょう。どちらも脳の中では独立している要素もあるでしょうが、強い相互作用を持っているように思います。例えば、昔訪れた海辺を思い出すとき、具体的な砂浜の形状や波の動きを覚えているだけではなく、潮風の匂いや暖かい太陽の感触も一緒に蘇るといったことです。
形をどのように見ているのかと言う点ではAIが何をしているのかということを示す、「Activation Atlases」（https://shiropen.com/seamless/activation-atlases）が話題になりました。
これはAIについてのことで人間についてではありませんが、類似するところはあるでしょう。Activation Atrasesはニューラルネットワークが何を見ているかをマップ状に可視化したサイトです。100万枚の画像をCNNと言われている畳込みニューラルネットワークで学習させています。ここでいう学習は、画像の中で繰り返しでてくるパターンを特徴として抽出することです。一つのニューロンが一つの特徴を学習します。あるニューロンは犬の口に反応し、あるニューロンはカエルの足に反応するといったようなことです。このように実際のモノの形として抽出されている階層もありますが、最初の階層では縦線とか横線とかの抽象化したパターンを取り出し、それに反応しているニューロンもあります。こういうのを見ると、抽象化した映像もパターンに反応しているのではないかと思わせます。人間に当てはめてよいのかどうかわかりませんが、例えば何かを見た時、つるつる感に反応したニューロンがどれだけで、犬のどこどこに反応したニューロンがどれだけで、というように多くの反応したニューロンの総和で、これは何々だと判断するということです。そしてニューロンの反応とした場合、これは視覚だけにとどまりません。音に反応するニューロンもあるでしょうし、匂いに反応するニューロンもあるでしょう。触覚に反応するニューロンもあるでしょう。夏の絵を描こうとした時、イメージする風景に反応するニューロンもあるし、夏祭りの思い出に対して反応するニューロンもあるのでしょう、その印象に登場する音や風に反応するニューロンもあり、そうした総体として、印象や情緒を含めて立ち上がってくると考えられます。人の脳は驚異のネットワークシステムです。この考えを受け入れと、最初に挙げたモノの形に対して思い起こすのと、印象や情緒に対して思い起こす事柄も、ニューロンの反応という見方で統一的に説明する方向がありそうです。
前に書いた「 量と質の変換」 ・・・, 「環世界」と「暗黙知の次元１」 」では、分解能の例を挙げました。上記のニューロンの発火と言う観点から再度見てみましょう。人の持つ分解能と遜色のない、あるいはそれ以上の分解能でつくられた自然を模倣した映像や造形物は、もはや見た目では自然と区別することができません。これは自然の植物を見た時に発火したニューロンのパターンと同じパターンが造形物でも発火したということになります。造形物の分解能が低いとき、それを特徴抽出していけば、自然では抽出できた特徴が抽出できないことになるのでしょう。一方抽象や情緒はどうでしょうか。単純化した映像や造形から、あの時の情景や思いが思い起こされることがあります。これはその単純化した造形から思い起こされた何かがきっかけとなり、夏の風景、そしてそれに関係する出来事、匂い、等と関連したニューロンが発火したということになるのではないでしょうか。そのきっかけを、また夏の絵をかいてみようと思った動機を志向性と言っておきましょう。志向性はその時にその人が置かれた状況が大きく影響するでしょう。そしてまた、その人の体験の印象の強さ、歴史的文化的背景などの影響も強いでしょう。こうした体験や印象の深さ、関連することがらの広さ、のことを情緒的分解能と言うならば、実際の造形物の分解能が例え低かろうが、その人の印象や体験、情緒に関する記憶が深く、広いほど、情緒的分解能は高いと言えるでしょう。志向性がそれを発動させるので、状況や個々の人に依存しますが、その人の豊かさに関係しています。「「量と質の変換」 ・・・」でベルグソンを紹介し、人は量を質に変換して体験していることを述べました。その質の内容というのが、様々なニューラルネットワークにつながり様々な発火パターンにより、情緒につながっているように思います。個人的には、低い分解能から高い情緒的分解能を引き出すこの事実に、驚きと興味を感じます。
暑い夏ですので、夏らしい情景の絵をと思って作製した２つの動画を示します。最初に示すのは「風」をテーマにした映像です。映像を示す前にロゼッテイの詩を挙げておきます。詩を知ることで、見た映像に対して関連付けを行い、発火するニューロンを増やそうという魂胆です。
だれが風を見たでしょう
あなたも僕もみやしない
けれど、こだちがあたまをさげて
風は通りすぎてゆく。
クリスチーナ・ロゼッティ
次に動画を示します。
風を感じていただき、涼しくなったでしょうか。風鈴の音を入れておきましたが、音によっても情緒的に広がったと思います。音によるニューロンの発火もあるということです。
技術的に工夫した点は、揺らぎをどう作るかと言う点と、短冊状の帯が上から下まで通っていると、いま一つ感じがでず、途中できれた帯にした点です。これは風鈴に短い短冊がついており揺れるのに似ています。動画はTouchdesigerによるもので、いつものようにbprで、color, normal, height MAPを使う方法です。帯と揺らぎを作っているのは帯の形状ではありません。次に示すGLSLで作製した円形状の帯の連環が動いています。連環を拡大することで帯を作っています。pbrを使うと、動く映像を転写される実体を動かさずに、転写する映像側を動かすことによって作製できます。
短冊状の帯が途中できれるようにするためには試行錯誤が必要でした。MAPを転写する対象が平面では短冊が途切れないのです。いくつか試していると、blederのジオメトリノードの練習で作製した都市のモデルで実現できることが分かりました。次に都市のモデルを示します。
段差によってどぎれとぎれになっていることが分かります。この都市モデルの段差が短冊の途切れに反映しています。関係なく作製していた画像がこうして役立つのは面白いことです。勿論、この映像でなくとも段差のある映像から短冊の途切れが作れるはずです。
次に、今年は暑く雨の少ない夏なので、「雨」をテーマにして作製した映像を示します。ここでも一つ歌を付けておきます。
雨降らず
日の重なれば
植えし田も
まきし畑も
朝ごとに凋（しぼ）み
枯れ行く
そを見れば
心を痛み
みどり子の
乳（ち）乞（こ）ふがごとく
天（あめ）つ水
仰ぎてそ待つ
大伴家持 雨乞いの歌より
赤ちゃんがおっぱいが欲しいと切迫した感じで泣くごとく、雨が降ることを切迫して待っているという意味でしょう。
それでは動画を見ていただきましょう。
この動画のポイントは雨をどう表すのかということでした。これにblenderの練習として作製していた稲のモデルを使いました。
この稲を大地にインスタンシングしています。noise CHOPを使ってスケールの高さ方向と回転角にもインスタンシングしています。そしてnoise CHOPのオフセットを大地の移動に従って大きくすることと合わせて、稲の長さが、ばらつきながら長くなるようにし（つまり細長くしている）、回転角も大きくしています。雨が強い時には大地を少しゆらして、雨によるぼやけたような雰囲気を表しました。音は雨音を付けています。このプログラムは前のblogの「イマージュ」の中にある、イネの成長を表す動画とほとんど同じです。今回の雨の映像ではpbrを使って稲の形状に暗いボロノイの映像を転写しているところが違います。つまり稲に暗いボロノイ模様を付けています。
昔は、波の音を作るのに小豆をザルにいれて振るととか、キャベツをノコギリで切ると刀で切る音がするとか、そうした工夫をしていたと聞きます。都市の画像とpbrに適応する円形状の帯を利用して短冊を作り、稲とボロノイで雨を作る、というようなことはそれらと何ら変わりません。手持ちの素材を試してみて、その様に見えるモノを見つけているのです。
現象学では認識している主観が全てです。決して真の存在には達することができません。ただ共通認識が真の存在に近づけると考えます。ニューロンでいうなら、その人の中で、同じ場所が発火する、あるいは同じネットワークとして組まれるなら同じモノだと認識するということでしょう。だから本物でできたモノとは大きく違っている場合もあるでしょう。ニューロンの場合、例え同じパターンが発火したとしても、AさんとBさんとは違う事をイメージしていいるかもしれません。現象学で言う本質観取はこうしたことが測定できるようになっても、コミュニケーションの中でないとできないように思います。
私は、ニューラルネットワークが発展しAIが使われるようになって、認識論が再び更新される、あるいは活性化すると思っておりました。それは上で議論してきたように、ニューロンの発火やAIの認識の仕方から認識論を見直すとことです。しかしいっこうにそのような動きは現れていないように思います。今更認識論なんてということなのかもしれません。このあたりに興味がおありの方がいらしゃれば議論したいです。
コメント