生成AIによるメディアアート

児玉幸子日本デザイン学会推薦｜電気通信大学 情報理工学研究科情報学専攻

生成AIを使い始めたきっかけは、2019年に生成AIで作られた作品を中心としたエルミタージュ美術館での展覧会[1]への出品のお誘いを頂いたことにある。私はそれまで生成AIを用いて作品を作っていなかったにも関わらず、参加したいと考えて、長年手掛けていた磁性流体のアートプロジェクトで作ったコンピュータを用いる作品を提案したが、残念ながら展示には至らなかった。このとき、生成AIを用いて作品を作っておらず、GAN（Generative Adversarial Networks）をはじめとする生成AIの技術を制作に使うことに対しては、どちらかというと懐疑的だった。新しそうに見える何かが生成されたとしても、それは過去に誰かが作った作品から生成されたに過ぎず、「創造」は生まれないのでは？と考えたのが主な理由だ。しかし、生成AIを使うアーティストの作品を見て、自分でも使うようになって、生成AIには道具としての可能性が豊富にあり、独特でオリジナルな美と芸術の創造も可能だと、今では考えるようになってきている。

以前より、創造性が人間と技術との相互作用の中でどのように発現するかについて考える中で、例えば、ハロルド・コーエン（Harold Cohen）のAARON[2]などアーティストが自らの芸術創造のプロセスを理解するためにコンピュータを利用した活動に注目していた。そのため、上述のエルミタージュ美術館での『Artificial Intelligence and Intercultural Dialogue』展に参加したRefik AnadolやDavide Quayola、Jonathan Monoghan達の作品を、インターネット経由ではあったが、興味深く見ていた。彼等の生成AIを使った視覚的作品の特徴は、ひとことで言えば、過去の芸術、文化遺産の画像、映像としての「記憶」の、時空間とメディアにおける大規模な変換のように感じられた。生成AIは、手作業では難しい変換や、大胆な置き換えを実現する道具として使われる。「記憶」を、多次元、複数のレイヤーのデジタル空間に放ち、分裂させ、再構成し、変容させる中で、芸術の重層性を示す。

この頃よりインターネット上のSNSでは、生成AIを使うアーティストによる、半ば壊れたようなイメージが非常に多く掲載されていた。その中で、2022年にインスタグラム上で＠sagansagansagansのSerenityと書かれた映像――この時期の生成AI特有の壊れた画像の効果が非常に多く含まれる――を見たときに、生成AIの本質を感じて、切ない気持ちがしたことを覚えている。屋上を歩く女性のビデオと、日本のアニメを学習させた生成AIモデルを使って、アニメのイラストの断片が、歩く人の姿の中に、儚さとデジャヴ感を伴ってざわめいている。何者でもない、集合の記憶の塊が、その断片をちらつかせながら歩いている。半世紀前のアメリカの詩人Emily Dickinsonの詩のフレーズ、

I’m Nobody! Who are you? Are you – Nobody – Too?

を思い出した。ややこしいが、自らも機械と生物のキメラになってしまった現代人・・サイボーグ[3]が、デジタル空間に分解され融合したものの実体化と言えばよいだろうか。 実際、生成AI自体が、機能や姿を変えるサイボーグである。そのような、大規模モデルを用いる生成AIの可能性は、アーティストやデザイナーにとって豊富にあると考えられる。ここでは、具体例として、生成AIを使用する３つのプロジェクトについて紹介したい。

一つ目は、自然現象に似た画像や映像を、生成AIで作ることである。生成AIを使えば比較的簡単に、周期的に繰り返す自然現象のような映像を作り出すことができる。去年、つくばサイエンスハッカソンに参加し、JAXAの研究者達に協力頂きながら、映像や照明光、ビニール製のオブジェなどで構成したインスタレーション《太陽との邂逅》[4]を制作した。そのインスタレーション中に、巨大現象である太陽表面に現れる黒点、粒状班のように見える生成AI映像を使用した。

図１：《太陽との邂逅》のインスタレーション中の粒状班に似た生成AI映像のシーン

《太陽との邂逅》では、科学者による「太陽風が地球の磁場に出会ってオーロラが出現する」連続的な物理現象の理論と、衛星が実際に観測した画像データと宇宙線の数値データを作品の中心軸として用い、太陽を模した映像と投光器、ビニール製のオーロラで見立てた、おもちゃのようなインスタレーションをアーティストが作った。宇宙線の観測データはコンピュータプログラムで読み込まれ、太陽風が強まるタイミングでモニター上に生成AIで作り出した黒点や粒状班のように見えるパターンが浮かび上がる。

オーロラが発生しやすくなるタイミングでは、ビニール製のオーロラに当たる光が強まってゆく。インスタレーション中の生成AI映像は、GANの一種であるPix2Pixのアルゴリズムで観測衛星による映像を学習して生成されたものだ。物理現象の科学的原理に基づいたシミュレーションによって科学者が作る映像とは、その作り方のプロセスはまったく異なっている。生成AIに使われる深層学習では、脳の神経細胞の原理を模した多数の層を重ねた人工ニューロンのネットワークを改良して画像の特徴を学習する。画像がどのように見えるか、脳を模したモデルが学習し、映像が作られていくのである。

二つ目のプロジェクトとして、見えない「動き」の情報を生成AIに学習させ、アート作品を構成する素材、メディアのひとつとして使うシステムの開発を行っている。この世界には、磁力のように、見えないけれども確かに存在する事象が沢山ある。「動き」もまた、いったん動いてしまえば、動きそのものはどこにも残らず、目の前から消えてしまう。人や物の「動き」を記録し、生成AIで学習したモデルを作り、様々な「動き」によるインタラクションデザインを可能にすることが、このプロジェクトの目的である。 開発したシステムでは、無線で通信できるモーションセンサー1個と1台のパソコン（生成AI用のスペックのグラフィックボードを搭載しているもの）を利用する。モーションセンサーを取りつけた物体を手で持ち、学習させたい「動き」になるよう動かし、その動きの三次元データをパソコンで記録して、学習済みのCNN（Convolutional Neural Network）モデルを作ることを行った。

このモデルを用いれば、どのような動きを行ったか瞬時に判別することが可能だ。実際にこのモデルを使って、インタラクティヴアートの作品《動きがイメージを呼ぶ（movement calls for images）》を制作した。手に握った物体（モーションセンサーが入っている）を握って、あらかじめ学習した異なる4種類の動きとなるよう手を動かすと、対応するCG映像を呼び出せるようになっている。[5]

図２　《動きがイメージを呼ぶ》の実験。手に握った毛糸玉（モーションセンサーが入っている）の動きに応じて、異なるCG映像が再生される。

このような手法によって、アーティストは「動き」をデザインし、独自の生成AIモデルを作成して、特定の何かの「動き」のもつ意味と関連づけられる映像やサウンド、その他のメディア等とのインタラクションを作り出せるようになると考えられる。

三つ目は、他者の映像データではなく、自分自身がこれまでに作り発表してきた（生成AIではない）作品の写真や映像などを生成AIに学習させて、新たな作品を作ることである。

筆者が2000年から取り組んでいる、磁性流体という素材を用いるアートプロジェクト「突き出す、流れる（Protrude, Flow）」では、磁性流体の棘（トゲ）を滑らかに動かす彫刻や、棘の動きをデザインして作品を制作し、発表してきた。

2008年の《Pulsar》という小さな作品は、海の中に立つ人のかたちをした彫刻の首の上に、細いポンプで送り出される磁性流体の棘の花がだんだんと大きくなるよう“生成”され、細やかな黒いトゲが胴体をつたって足元の黒い海へと流れ落ちる作品である。ソフィア王妃芸術センターで開催された「機械と心」展[6]に、《彫刻の庭》というインスタレーションの一部として展示されたが、ポンプが故障したため会期の冒頭の1週間しか展示できない幻の作品となった。（《呼吸するカオス》《モルフォタワー》《突き出す、流れる2008》などの作品は、３ヵ月半の展示を全うした。）

図３ Sachiko Kodama《Pulsar》部分 2008

当時、磁性流体の棘で変身する人の姿を作ろうとしていたことを思い出し、作品の写真を追加学習した生成AIモデルを作成して、自作の中に見られる磁性流体の棘を体や髪に纏った人物像を作り始めた。思ったような画像を生成するため、画像生成AIのStable Diffusionに入力するプロンプトのテキストの試行錯誤。生成された多数の画像の中から、作品に使う画像を選択して、自分のポートレイトと、他の複数のソフトウエアを使って、サイボーグのように成り果てた現代人である自分自身を投影して、《ferrofluid woman》を制作した。

図４《ferrofluid woman》より

今年発表されたRunway Gen-3による動画化も行っている。動きによって、映像の中にいる人（サイボーグ）の意識や気配のようなものが、伝わるようにしたいためである。

生成AIモデルは様々なものが発表されている。何をどのように学習した生成AIモデルを使うか、ということと、人間のアーティストがどのような社会的背景で、何に影響を受けて育って作品を作るか、ということの違いについて、比較対照させながら考える時代が、いつか来るのかもしれない。異なる人格、社会的バックグラウンドを持つ人。異なる個性、考え方、社会的バックグラウンドを持つサイボーグ。

近い未来では、今後、さまざまに特徴が異なる生成AIモデルが生まれ、使われていくだろう。アーティスト固有の情報で学習させたオリジナルなモデルも、役立てられるだろう。このようにして、外部化されたモデルとの相互作用で、人間存在のありさまを掘り下げていくこともまた、生成AIを使うメディアアートで行うべきことのように考えている。

謝辞：2023年に映像情報メディア学会誌のメディアアート特集号[7]で、森山朋絵氏とともにゲスト編集者として関わらせて頂き、生成AIによる作品を発表しているアーティストの考え方に触れたことも、生成AIによるメディアアートの可能性について考えを進める契機となりました。つくばサイエンスハッカソンでは、Jaxaの篠原育教授，鳥海森准教授に多大なご協力を頂きました。電気通信大学の作田遼太郎さんに、Pix２PixおよびCNN学習に関するプログラム開発でご協力頂きました。記して深謝いたします。