連載11回目「バルクはサーフェイスからはみ出して「モノもどき」になった🧊 」では、バルクが「モノもどき」として、ヒトの意識に立ち現れてきていると書いた。今回は、連載の最後として、意識に立ち現れてきた「モノもどき」がどのように体験されるのかを記述していきたい。そこで、前回から引き続き、小鷹研究室の《質量ゼロのガムテープを転がす》を取り上げる。そして、《質量ゼロのガムテープを転がす》で起きる錯覚体験の強さを脳神経科学からできてきた「予測誤差最小化」という考えを使って考察していく。最後に、情報を起点にモノを考えるようになったために、モノのサーフェイスからはみ出してきたバルクがつくる「モノもどき」による体験のあたらしさを示して、連載の結論としたい。

質量ゼロの「モノもどき」を体験する

前回の終わりに、「スマートフォン」という板状のインターフェイスを体験するなかで、客観的にはインターフェイスとして実体的に存在していながら、非物体的でヒトの意識のなかに主観的にしか現われてこない「モノもどき」が現れ始めたと書いた。ヒトはインターフェイスを介して、コンピュータを体験していくなかで、「ディスプレイ」というサーフェイスの奥にある見ることも触れることもできないデータをどうにかしてダイレクトに体験しようとしてきた。その結果として、インターフェイス体験を介して、ヒトの意識に「モノもどき」が現れ始めてきた。そして、「モノもどき」こそが、この連載で「バルク」と呼んできた存在なのである。

バルクもモノの大部分を占めるにもかかわらず、サーフェイスに囲まれて、見ることも触れることもできない存在であった。見ることも触れることもできなくても、サーフェイスを透して体験できるバルクが、ヒトの意識においてモノの現れを構成するサーフェイスの連なりをつくり出していた。物理的にも現象学的にも、モノは上面・側面・下面といったサーフェイスの連なりとして意識に現れるが、その複数のサーフェイスの現れを媒介しているのがバルクだということになる。つまり、バルクは、外界のモノと意識のなかのモノとを媒介する役割を担っている。インターフェイス以前のモノにおいてバルクとサーフェイスとは分かち難く結びついていて、外界のモノとだけでなく、ヒトの意識で外界と対応するバルクもまた常にサーフェイスに囲まれている存在で、空白のようにその存在が半ば消失していた。しかし、インターフェイスの体験を介して、ヒトは意識のなかにサーフェイスから解放された剥き出しのバルクを存在させるようになった。そして、意識に生成された剥き出しのバルクはあっという間に膨張して、サーフェイスがつくる型からはみ出すようになり、意識とモノとを摩擦攪拌接合のように混ぜ合わせて生成される「モノもどき」というあたらしい現れになったのである。

私に「モノもどき」の存在を強く印象付けたのは、小鷹研究室の「即錯23（即席錯覚、23のレシピ）」の一つ《質量ゼロのガムテープを転がす》¹であった。《質量ゼロのガムテープを転がす》の客観ドローイングを見てもらいたい。この作品の体験者はまずは片方の手でガムテープを転がしながら、もう一つの手もそこにガムテープがあるかのように動かす。その際に、左右の手の真ん中にある鏡に片方の手でガムテープを転がしている様子が映っている。そして、ガムテープを転がす手と鏡に映る手を見ながら、ガムテープを転がしていると、鏡の向こうの手にも「ガムテープ」を転がしている感覚がやってくるのである。鏡から視線を逸らして、その向こうにある手をみるとガムテープを転がしている感覚はどこかにいってしまう。再度、鏡を見ながらガムテープを転がすと、もう片方の手にはガムテープを転がしている感覚が当然のようにやってくるのである。

私は《質量ゼロのガムテープを転がす》から受けた衝撃を小鷹研理、谷口暁彦とともに参加したトーク「「気持ちいい」と「気持ちわるい」の錯覚論、メディアアートとの対話」で興奮して話した。その後、小鷹がそのトークの部分を次のようにまとめてくれた。

水野は、最も強い印象を受けた体験として、鏡を使用した錯覚である《質量ゼロのガムテープを転がす》を挙げた。とりわけ、体験において生まれる、主観像と客観像のコントラストが、双方の強度が損なわれないかたちで得られること（例えば、客観を把握しつつもすぐに主観へと反転する）、さらに、そうした体験の両義性をWEBやブックレットの中で、「主観ドローイング」と「客観ドローイング」という並列的なかたちで可視化している点について、興味深く感じると述べた。²

小鷹の言葉を通して、私がトークで言いたかったことがより明確になっていると私は思う。《質量ゼロのガムテープを転がす》では、左手がガムテープに触れていないのは分かりきったことであり、私もそのように理解している。しかし、作品を体験すると、私の左手は「ガムテープ」に触れているのである。主観ドローイングが示すように、ここで触れているのはあくまでも「点線」で示されている「質量ゼロのガムテープ」であって、それは錯覚なのである。しかし、体験のなかで、「点線のガムテープ」は錯覚に過ぎないと理解はしても、体験の強さによって客観的に存在しているガムテープと感じてしまうことが何度もあった。それは錯覚＝主観とモノ＝客観とが混じり合うような体験であった。

この体験は何なのかを考えていたとき、私は哲学者のディビット・J・チャーマーズの「情報の二相理論」に興味を持っていた。

ホイーラー（Wheeler 1990）の提案によれば、情報は万物理論において基礎的なものである。この「すべてはビットから（it from bit）」という教義によれば、物理学の法則は情報の観点から描くことができる。ここでは、結果において差異を生みだす状態の差異を措定しなければならないが、その状態が現にどういうものであるかを実際に特定しなくともよい。重要なのは情報空間における位置だけである。そうであれば情報は、意識の基礎理論においても役割を果たすものとして、自然な候補となる。こうして導かれる世界観は、情報こそが真に基礎的なものであり、そして情報は物理的なものに対応する側面と世界の現象的特徴に対応する側面という基本的な二側面を持つ、という世界観になる。³

私は連載の10回目で、チャーマーズが「情報こそが真に基礎的なものであり、そして情報は物理的なものに対応する側面と世界の現象的特徴に対応する側面という基本的な二側面を持つ」とする世界観を用いて、YOFの《2D Painting》を分析し、次のように書いている。

壁の向こう側にあるのは確固とした実体ではなく、ヴァルールに基づいて集められた情報状態の集合なのであり、観賞者は「観測者」として、《2D Painting [7 Objects, 3 Picture Planes]》において三次元空間と二次元的イメージという2つの空間のどちらかを唯一の事象として確率的に体験していくことになる。つまり、この作品で壁の奥に配置されたオブジェクトのバルクとサーフェイスは、ヴァルールに基づいて形成される情報源から選択される照明とオブジェクトとの組み合わせに応じてできる色彩によって、その周囲の空間とともに現れたり、消えたりする確率的なものになっているのである。⁴

YOFの《2D Painting》では「ヴァルールに基づいて集められた情報状態の集合」から、作品の観賞者は物理的側面として三次元空間、もしくは、現象的側面として二次元的イメージを体験することになった。ヒトの三次元空間がそこに確かにあることは否定しようがない事実であるが、ある状況になるとそれが否応なく二次元的イメージに見えてしまうという体験が、YOFの《2D Painting》にはあり、それが。情報を起点に考えたあたらしい表現になっていると、私は考えた。そして、同じような体験の強さが《質量ゼロのガムテープを転がす》にもあった。この錯覚を生み出す作品は両手とガムテープと鏡の位置情報と的確な手順を示すアルゴリズムによってヒトの意識における情報の流れをハックして、主観＝現象的側面と客観＝物理的側面とが反転し続ける状況をつくりあげているのではないだろうかと考えている。

さらに、チャーマーズの考えを追っているときに脳神経学者の渡辺正峰の『脳の意識　機械の意識』を読み、次の一節にあたった。

意識の自然則は、主観と客観を問答無用で結びつけるものだ。アインシュタインの相対性理論の根幹にあたる「光速度不変の法則」と同様、提案された意識の自然則が現に成立するかを問うことはあっても、それがなぜ成立するかを問うことには意味がない。仮に成立するのであれば、この宇宙はそうなっている、としか言いようのないものだからだ。⁵

チャーマーズの「情報の二相理論」は「意識の自然則」の提案の一つだが、それは成立しているとすれば、「主観と客観を問答無用で結びつけるもの」となる。渡辺が「問答無用」と書く強さを、私は《質量ゼロのガムテープを転がす》に感じている。渡辺は「意識の自然則」をめぐる意識の科学は「言ったもん勝ち」の状況にあるという。だとすれば、私も2年近く連載してきたバルクとサーフェイスについての考察を踏まえて、最後に「言ったもん勝ち」のような提案をしてみようと思う。「質量ゼロのガムテープ」は錯覚でありながら、モノであるような「モノもどき」として存在しており、それはモノを覆ってきたサーフェイスからはみ出してきた剥き出しのバルクなのである。そして、インターフェイス以後のモノは、情報を起点にして意識に生じる「モノもどき」とともに主観と客観とが問答無用に接合されていく体験を提供する場になっていくのである。

「モノもどき」が主観と客観とを否応なく接合していく場をつくるといったときに、私がイメージしているのは連載の第8回でエキソニモの《Click and Hold》という仮想世界と物理世界とを混ぜ合わせた作品を考察する際に参照した「摩擦攪拌接合」というあたらしい接合方法である。⁶

摩擦攪拌接合（摩擦撹拌接合，まさつかくはんせつごう）とは、先端に突起のある円筒状の工具を回転させながら強い力で押し付けることで突起部を接合させる部材（母材）の接合部に貫入させ、これによって摩擦熱を発生させて母材を軟化させるとともに、工具の回転力によって接合部周辺を塑性流動させて練り混ぜることで複数の部材を一体化させる接合法。⁷

https://youtu.be/EaguF5K9I-Q?t=96 ⁸

インターフェイス以後のモノは、情報を起点にした「モノもどき」を形成しつつ、ヒトの認識に強い圧力をかけてきている。「モノもどき」の強い圧力のもとで、これまで明確に分けて捉えられることが多かった主観と客観との境界が柔らかくなり、練り混ぜられていっている。その際に、主観と客観とが混ぜられながら、反転を繰り返し、最後には接合して一体化してしまうプロセスを伴ったこれまでにない体験が生まれてきている、と私は考えている。

意識で膨張し、主観と客観とを接合していくバルク

『脳の意識　機械の意識』の第5章「意識は情報か、アルゴリズムか」に「多層生成モデルが実現するリアルな脳の仮想現実」という節がある。そこで、渡辺は次のように書いている。

このようにリアルな生成モデルでポイントとなるのは、高次の視覚部位がもつ記号的な表象から、三次元のバーチャルな世界へといったん表現が膨らみ、その後、二つのカメラに相当する眼球由来の低次視覚部位の表現へと収斂されることだ。⁹

「生成モデル」というのは脳において高次の記号的表現から三次元の仮想世界をつくり、その表象と低次の感覚データとを比較して、そこに誤差があれば表象を修正していくプロセスでつくられた外界との誤差を可能な限り少なくしたモデルのことである。ここでは外界からのデータから表象が形成されるボトムアップ方式ではなく、脳からのトップダウン方式によって表象がつくられていて、意識における表象の形成について大きな転換が起こっている。哲学者のヤコブ・ホーヴィは『予測する心』で、この転換について、次のように書いている。

このアナロジーは予測誤差最小化と言う枠組みの核であり、後でさまざまな方法でこれを追求する。しかし、これは試行錯誤との単純なアナロジーを超えた考えである。実際、諸感覚を通じた外界と私たちの関係についての理解を深い意味で逆転させる。標準的な理解では、諸感覚は外界の事態をなんらかの仕方で表象する、豊かな内容を持った信号を伝達しており、脳はそれをボトムアップ的な仕方で受動的に吸収している。入力データのトップダウン解釈がある場合でも、それは重要なボトムアップ信号への認知システムからのたんなるフィードバックである。予測誤差最小化の観点からだと、この見取り図は逆さまになる。外界の事態についての豊かな表象は感覚入力のトップダウン予測で伝えられ、脳内の知覚階層によって維持される。これらの予測は、いわば、外界の状況に問いかけ、予測される感覚入力を弱める。その結果、予測誤差のみがシステム内をボトムアップ方式で伝播して、モデルパラメータの改訂を助ける（そのため、図5の上向きのライトグレー矢印と結びつけられたボトムアップの感覚入力に、「予測誤差」というラベルをつけ直す必要がある）。すると、感覚からのボトムアップ信号の機能役割は、外界についての内部モデルに対するフィードバックである。¹⁰

ホーヴィが「外界の事態についての豊かな表象」と書くものは、渡辺が「三次元のバーチャルな世界」と書くものに呼応するだろう。二人の考察から、脳内の知覚階層の高次の部分で「記号的な表象」が生まれ、それが一度「三次元のバーチャルな世界」に膨張して、感覚入力としての「眼球由来の低次視覚部位の表現」からフィードバックを受けることで、外界との誤差を最小化した内部モデルをつくりあげていくということができるだろう。この流れで注目したいのが、外界との誤差が最小化される前の段階の仮想3Dモデルが存在するということである。それは、渡辺が「高次の視覚部位がもつ記号的な表象から、三次元のバーチャルな世界へといったん表現が膨らみ」と書く、「膨らみ」に当たる部分である。この「膨らみ」とはどのような現象なのだろうか。渡辺は5章内のコラム「般化が進み精細さの欠落した高次情報から完全な生成は可能か」で次のように書いている。

一つは、この問題が多段の生成モデルによって解決されている可能性だ。ここでの多段とは、「記号的な情報表現からの生成過程および生成誤差のフィードバック」を一つのモジュールとして、それが直列に積み重ねるものだ。一つ上のモジュールの低次部位が、一つの下のモジュールの高次部位の役割を果たすことになり、「記号的な情報表現」と「感覚入力的な情報表現」は、一つのモジュールの中で相対的に規定されることになる。

そのようなモジュール構造を考えることによって、最高次の記号的な表象の不完全さを、各モジュールで発生する、感覚入力由来の生成誤差に吸収させることが可能になる。第2章に登場した「般化（ずぼらさ）」をイメージしてもらえればよい。すごくずぼらだった、最高次の記号的な表象が、その過程をとおして、だんだんずぼらではなくなる。言わば、「ずぼら」な最高次の視覚部位の記号的な情報表現と、高精細な感覚入力の混合物として、フォト・リアリスティックな仮想的な三次元世界が構成されることになる。¹¹

眼に与えられた刺激は脳に入力されて、いくつかの視覚部位をたどって認識されていく際に、ニューロンの刺激への応答特性は線分の傾きといった単純なものから、線分が組み合わされた図形、さらには顔といったように複雑化していく。そして、この複雑さと同時に起こる変化が、「般化（ずぼらさ）」である。低次の視覚部位はある特定の線分の傾きの刺激を受けるとニューロンが発火して、少しでも傾きがずれていると発火しないという厳密なものだが、高次の部位は多少角度がずれていても発火してしまう。そして、最高次の視覚部位である下側頭葉皮質（IT）の「「顔」ニューロンは，顔のカラー写真であろうが，イラストであろうが，サルの顔だろうが，ヒトの顔だろうが，顔でありさえすれば何でも反応してしまう」という「ずぼらさ」になっている。¹²

渡辺が「顔でありさえすれば何でも反応してしまう」というような「ずぼらな」記号的な表象はどのような「顔」なのだろうか。私たちがビンカン用のゴミ箱に「顔」を見てしまうように、それはおそらくおおよそ目、鼻、口が認識できて「顔」ということは認識できるけれど、その細部はまったく持たないような「顔」ということになるだろう。「顔」のように最高次の記号的な表象が「ずぼら」だとすると、そこから生じる仮想3Dモデルもまた「ずぼら」であろう。意識には誤差が最小化された「完璧」なものではなく、「顔でありさえすれば何でも反応してしまう記号的表象が三次元の物理世界に対応するように3Dモデルへと膨張し、どんな顔にも対応できる「ずぼらな顔の仮想3Dモデル」がまずは立ち現れる。そして、この「ずぼらな顔の仮想3Dモデル」に感覚データ（眼球由来の低次視覚部位の表現）が貼り付けれて、外界に存在する顔との誤差が最小化された「顔」が、ヒトの意識に立ち現れてくる。

「○○でありさえすれば何でも反応してしまう記号的表象」から物理世界のモノと対応する「ずぼらな仮想3Dモデル」が生まれる。この「ずぼらな仮想3Dモデル」を、サーフェイスを持たない剥き出しの「ずぼらなバルク」だと考えてみたい。この「ずぼらなバルク」に外界から形や質感、色などがサーフェイスとして与えられて、バルクは徐々に整形され、最終的には外界に存在するモノとの誤差が最小化した「モノ」となって意識に立ち現れてくる、ということになるだろう。下のプラスチックのブロー成型の様子を記録した映像が、意識における「ずぼらなバルク」にサーフェイスが付与されて、「モノ」が立ち現れるプロセスを表しているように思われる。最初に膨らんでいる半透明の白さをもつ風船のようなものが意識に立ち現れる練り物としての「ずぼらなバルク」で、そこに感覚データが貼り付けられる。この映像だと「貼り付け」というよりは輪郭を与えられるという感じである。輪郭＝サーフェイスを与えられて、さらに視覚から得られた「色情報」を付与されれば、意識に物理世界との誤差が最小限の「モノ」ができあがると考えられる。

https://youtu.be/HmBnaruASyk ¹³

ヒトは普段、ブロー成型の映像で膨らんでいる練り物のような「ずぼらなバルク」を体験することはない。なぜなら、この「ずぼらなバルク」にはすぐに外界のモノと誤差が最小化されるように周囲を取り囲むサーフェイスが付与され、クッキー型の「空白」のような存在になるからである。クッキー型のように型取られた「空白」のようなバルクは、外界を一定の形で「空白」と置き換えて意識に充填していくようになり、バルク自体の存在はほとんど意識に上がらなくなる。しかし、練り物のような「ずぼらなバルク」にサーフェイスを付与して「空白」化するのではなく、そのまま膨張させていくと「モノもどき」が生まれてくる。「モノもどき」は意識における予測情報の体験とともに現れる。インターフェイス以後、特にスマートフォンというディスプレイとコンピュータとを一体化した薄い板において、私たちはモノを物体として扱うのと同様に、情報として扱ってきた。そして、「マテリアルデザイン」や「Fluid Interface」などのデザインガイドによって、物理法則からモノのエッセンスを抽出して情報に適用することで、予測情報をうまく活用するようになった。同時に、iPad OSで実装されたアイコンに吸着するようなカーソルの挙動など物理法則からはみ出すような情報世界独自のルールも生まれてきている。物理世界の法則にチューニングされた予測情報をはみ出すような体験を情報を起点につくり出すことで、誤差が最小化される前の「すぼらなバルク」を表現として抽出できるようになるのである。外界との誤差が最小化される前の「ずぼらなバルク」を形成する物理法則からはみ出していく膨張した予測情報をいかに「モノもどき」として体験させるのか。この体験にこれからの表現の可能性があると、私は考えている。

では、どうすれば「ずぼらなバルク」とともに意識で膨張していく予測情報をコントロールして、「モノもどき」としてヒトの意識に立ち現れるようにできるのか。その一つの例が、《質量ゼロのガムテープを転がす》なのである。この作品では、「モノ」に型取られる前の「ずぼらなバルク」の膨張プロセスを体験して、ホーヴィが「外界の事態についての豊かな表象」と呼ぶものを主観的現象に留めることなく、半ば客観的な「モノもどき」として感じられるようになっているからである。このことを示すために、ホーヴィの予測誤差最小化に基づく表象の形成プロセスから《質量ゼロのガムテープを転がす》を考えみたい。《質量ゼロのガムテープを転がす》で設定されている状況から、脳は左手もガムテープを転がしているという予測情報を左手に送る。これは当たり外れではなく、状況から脳がそのように予測してしまうということである。その予測情報が左手に伝わり、左手は「質量ゼロのガムテープ」を転がしている感覚を得る。実際には、左手はガムテープに触れていないが、ガムテープに触れている右手の触覚情報と鏡に映る右手の視覚情報と左手の位置の情報から左手がガムテープに触れているという予測の方が、触れていないという予測よりも優位になり、触れているという情報が送られ続ける。しかし、実際には左手はガムテープに触れていないので、右手からの精細な触覚情報はフィーバックされることはない。左手は、常に予測情報としてのガムテープに触れているのみであって、それは脳が生成する内的モデルとして形成された予測情報によって形成された「モノもどき」としての「質量ゼロのガムテープ」に触れていることを意味する。

「バルクを体験する」というのは、意識で現れる予測情報から形成される「モノもどき」を体験することである、というのが、私が現時点で辿り着いた考えである。サーフェイスの連なりによってモノはモノとして物理的に現れると同時に、意識内の現象としても現れるのだが、バルクはそのサーフェイスの連なりを可能にするモノのコアとしてモノのあり方を予測する情報の集合なのである。情報に「触れる」というのは錯覚ではあるが、《質量ゼロのガムテープを転がす》が示すように錯覚の強度が上がり、予測情報としてのバルクを体験できるようになっている。そこでは、意識からの予測情報をモノからの情報と取り違えてしまうので、主観と客観とが反転し続ける場が生じるのである。

インターフェイス以後、サーフェイスを透して「ずぼらなバルク」を見ることができ、「ずぼらなバルク」に触れることができるようになってきた。なぜなら、モノではなく情報を起点にして考えることで、「ずぼらなバルク」へのアクセスが可能になってきたからである。インターフェイス以後のヒトは、モノを見て、モノに触れているのではなく、情報を見て、情報に触れている。この体験の変化によって、モノの体験とともに意識に現れる「ずぼらなバルク」が持つことになる空白の存在が改めて強調されるようになっている。だからこそ、「空白」を見る、「空白」に触れるような錯覚という体験が表現としての強さを持つようになってきている。意識に立ち上がる「空白」を孕んだ「すぼらなバルク」の起点には、予測情報からできあがる錯覚がある。錯覚を肯定的に捉えて、錯覚の生み出す情報の流れにおいて、主観的にも客観的にも存在が疑うことができないような強さをもつ「モノもどき」が生じてくる。この「モノもどき」が、主観と客観とを接合していくあたらしい体験をつくり出していくのである。

主観と客観とを接合していくあたらしい体験は、ARやVRを主戦場にして広がっていくであろう。スマートフォンを介して、情報に触れるようになった私たちは、ARやVRによって、「モノもどき」に触れていく。それはディスプレイに向かって「モノもどき」を扱う体験ではなく、ARではディスプレイを透した先の物理世界において、モノと「モノもどき」とを同等に扱う体験であり、VRではディスプレイをある意味無効化した「ディスプレイレス」の世界において、「モノもどき」をモノとして体験することである。これらの世界では、モノよりも「モノもどき」によって、体験の質が大きく変わってくる。ヒトの意識における予測情報の流れから生じる錯覚をよりうまく活用して、モノを超える「モノもどき」に満ちた環境をつくることで、私たちは慣れ親しんだ物理世界とは少し異なる形で存在する世界をつくりあげていく。そして、そこであらたな世界の法則を体験するなかで、ヒトの意識はあらたな予測情報を形成し、さらに別の「モノもどき」をつくっていく。この流れにおいて、ヒトは世界の法則そのものを主観的に改変したあたらしい客観的世界を構築していくようになり、最終的には「モノもどき」があたらしい「モノ」になっていくのである。

水野勝仁
甲南女子大学文学部メディア表現学科准教授。メディアアートやネット上の表現を考察しながら「インターネット・リアリティ」を探求。また「ヒトとコンピュータの共進化」という観点からインターフェイス研究を行う。