[インタビュー] 東京藝術大学岡本美津子先生×東映ツークン研究所美濃一彦対談インタビュー

自己紹介

岡本美津子

東京藝術大学大学院映像研究科教授（アニメーション専攻）。同大学副学長（デジタル推進担当）。
映像プロデューサー（NHK『Eテレ0655　2355』等）

美濃一彦

東映ツークン研究所主席ディレクター
コンテンツの企画開発やデジタルヒューマン研究開発を牽引

松田優作デジタルヒューマンの映像を見ての感想

岡本：素直にすごいなと。私、松田優作さんのリアルタイム世代なんですけど、ジーパン刑事（「太陽にほえろ！」日本テレビ系列1972年～1986年放送）とかすごくよく見てました。この映像に出てくるデジタルヒューマンは、もちろん優作さんにそっくりなんですが、本人に似てるというよりは、なぜ車の中でぼうっとしているんだろうとか、何を考えてこのタバコを吸ってるんだろうとか、気持ちが共有できる感じがしました。似てる似てないの話ではなく、優れた俳優さんの演技だなと思いました。
ここまでの空間でここまで演技ができてるっていうのがすごいですね。見る人は、キャラクターの微妙な顔の筋肉の動きや表情で、感情とかを読み取ろうとしてるんだと思うんですけど、見事に自然に感じられますね。デジタルヒューマンを見た感想ではなく、普通のドラマの1シーンを見た感想に近いと素直に思いました。

美濃：自然に見せたいというのが大きな目標のうちの一つだったので、そうおっしゃって頂けて嬉しいです。単なる技術開発で終わらずに、次の展開に繋げていきたい思いが強く、そういった意味では、デジタルヒューマンのモデルがリアルかリアルじゃないかということよりかは、彼を俳優の一人として捉え、演技や雰囲気、ストーリーなど普段ドラマを観る時と同じ感覚の感想をいただけたということは、大きな進歩です。

岡本：例えば「プロデューサーとして見てこの役者さんどう？」って聞かれると、「いいんじゃない？」って答えそうな気がするんですよね。それぐらい普通のアクターとして見てしまいました。

美濃：これからは実際の俳優さんと肩を並べて演技をすることもあると思いますし、もしかしたらデジタルヒューマンが主役になることもあるかもしれない。魅力的で唯一無二のものになったときに、初めて普及につながるのだと思います。

岡本：確かに。これを見た感想として、優作さんに似てますねとか、優作さんの雰囲気まで再現してますねという感想もあり得るんですけど、真っ先に入ってきたのはやっぱり、「良いアクターだな」というものでした。

美濃：今までで一番嬉しい感想ですね。いわゆる研究開発のデモ映像ではなく、デジタルヒューマンで新たな「作品」を作っていきたい気持ちが強いからです。
東映はエンターテインメントコンテンツを作ることをずっとやってきました。その延長で、デジタルヒューマンの技術を将来の新しい形の一つに繋げられたら嬉しいです。

岡本：それを提示されていると思います。デジタルヒューマンはこうやって一つのアクターとして、活躍できる可能性、その道を提示されたと思います。

デジタルヒューマンの演出

岡本：数々の既出のデジタルヒューマンは人間にそっくりだなとか、素敵だなとか思うんですけど、1〜2回見たらそれ以上お付き合いしたいと思わない。なぜかと考えたら、デジタルヒューマンにはバックグラウンドがないからではないでしょうか。ヒューマン（人間）って言ってるからには、我々もそうですけど、生活もあれば思想もあれば感情があるわけです。それがあまり感じられないので、ビジュアル的に見てすごいなと思うんだけど、それで終わるんですよね。松田優作さんのデジタルヒューマンを拝見して、その裏側の物語が感じられて、非常に魅力的だなと思いました。

美濃：テクノロジーでデジタルヒューマンを精巧に再現してもそれだけでは人の心に響かない。これは普通の映像でもそうなのかなと思うんですけど、設定や演出が入るか入らないかでどれだけ伝わるかは変わります。
さらにキャラクター開発にはペルソナが大事で、趣味嗜好から性格、特徴、生い立ちなど、それらは全てそのキャラクターが醸し出す雰囲気に影響するので、しっかりと作り込まなければいけません。

岡本：このキャラクターだったらこういうことを言うだろう、こういう行動はしないだろうとか。そういうことがきっちり矛盾なく演出されるというところが、デジタルヒューマンにおいてもすごく重要なんだろうなと思いますね。

美濃：今回のこの松田優作さんの再現に関して言うと過去の作品を繰り返し見ることから始めました。メインスタッフは若い世代が中心だったので、松田優作さんの現役時代のことをあんまり知らないんですよね。私も結構ギリギリなんです。それでもやっぱりその存在感、圧倒的なオーラを覚えていたので、そこを掘り下げる作業となりました。

岡本：なるほど。オーラっていうところまで再現しようとされていたわけですね。

美濃：演出では松田優作さんの奥様である松田美由紀さんが、積極的にご協力してくださって、表情についてとか、セリフについてとか、好きな音楽についてなど要所要所でアドバイスをくださったことで、ここまでたどり着くことができたのかなと思います。

岡本：人間を再現していかなきゃいけないっていう意味で、作り手の総合力が求められる気がしますね。

美濃：ツークン研究所では2019年から３年間研究開発プロジェクトを立ち上げて、デジタルヒューマンをテクノロジーの観点からアプローチしてきましたが、やればやるほど総合力の有無が必要だということがわかってきました。例えば、プロデュース力、演出力、照明やカメラ、その深い知識と経験が必要です。

岡本：我々もそうですけど、人間は単独では存在しておらず、取り囲む世界とか空間というものがありますよね。
デジタルヒューマンを扱っていく上では、その空間全体をデザインしなければいけない。世界観をデザインしなきゃいけないということになるわけですよね。デジタルヒューマンの持っている全体的な物語にリアリティーを持たせていくために、世界観作りはすごく重要だと思うんですね。
例えば優作さんの乗っていた車の年代だとか、大体いつぐらいの年代を設定してこの世界を作っているのかとか、それも演出家が考える要素だったりするわけじゃないですか。人間を描くということはその付随する全ての世界を描くということになるんだなと。簡単じゃないなと思いますね。

美濃：登場人物が苦悩してることや考えてることが観る人に伝わると、ちゃんとその世界に生きてるっていうことになるのかなと思いますね。

LightStage（ライトステージ）について

LightStage（ライトステージ）は南カリフォルニア大学ICT（Institute for Creative Technologies）で開発された人間の顔のスキャンシステム。天球状に設置された多数の照明で光の強弱や角度などを調整でき、それらをコントロールしながら複数台のカメラで撮影することで、形状だけでなく肌の質感までも高精細にスキャンすることができる。東映ツークン研究所では、LightStageを2019年より本格導入。

岡本：私はたまたまLightStageを南カリフォルニア大学の先生が開発したという記事を見たんですよ。質感の高精度な再現がすごいなと。
今回の松田優作さんのデジタルヒューマンについては、ご本人はもちろんいらっしゃらないわけなので似た方を撮影されたんですか？

美濃：100人分の20〜30代の日本人男性のデータを取得して、機械学習などのテクノロジーと組み合わせて松田優作さんの顔を表現しました。

岡本：装置はビジュアルも含めてものすごくインパクトがあったので、どういうことができるのかなと思っていたんですけど、基本的には静止した3Dモデルデータなわけですよね。

美濃：はい、その通りです。ただし、真顔だけでなく、目や口の開閉や喜怒哀楽など、さまざまな表情パターンを撮影しました。
静止した3Dモデルに動きをつける方法は２種類あります。一つはリグと呼ばれるモデルを動かすための仕組みを作ってアニメーターやモーションキャプチャで動かす手法。これが最も一般的です。もう一つはボリューメトリックという、パラパラ漫画のように毎フレーム3Dモデルを取得する方法です。LightStageでは両方の手法が可能ですが、今回は前者を採用しました。デジタルヒューマンを作る上で一番難易度が高いのが動きを作ることです。真顔の表情を3Dモデル化したときは似ていても、動かした途端にそうじゃないことがよくあります。例えば映画だったら１秒に24コマありますが、24コマ全てその人の顔じゃないといけないんです。

岡本：「24コマその人じゃなきゃいけない」って凄く名台詞だと思います。アニメの場合は例えば8コマ、12コマで成り立っていて、必ずしも24コマ必要じゃなかったりします。見る方もそのリテラシーができているので、アニメだからこの動きでいいんだと思えてしまう。ところがデジタルヒューマンには、現実と同じ見え方を求めるわけで、そこが一番難しいですね。

デジタルヒューマンの社会実装

美濃：これまで主戦場だったエンターテインメント業界から飛び出して、例えば通信や不動産などこれまで関わりのなかった業界の方々と話をする機会を増やしてきました。デジタルヒューマン技術ってもっと可能性があるのではと信じて。
例えば街角のサイネージや窓口にデジタルヒューマンが登場して対話できれば活用アイデアは無限に広がります。日常の場面で、我々のすぐ隣にデジタルヒューマンがいるみたいな環境を作れたらなと思ってます。

岡本：デジタルヒューマンの活用・社会実装として、例えば受付業務にいいのではないかというような話を読んで、受付業務と言ってもすごく複雑なことを実際の人間たちはこなしていて、その業務をデジタルヒューマンにインプットしていくというのは、大変なことだろうなと思いました。
実際にやってる方たちに聞くと、受付はものすごくハードな業務らしいんですね。基本的に立ち仕事で身体的にきついというのと、初めての方ににこやかに対応しつつ、てきぱきと業務をこなさなきゃいけないという心理的な圧迫があったり、心身ともに色んなストレスが溜まる仕事だそうです。デジタルヒューマンが多少なりともお手伝いをしてくれるとなると、労働の負担軽減にもなっていくでしょうね。また、ジェンダーという問題から言うと、受付は必ず女性でしかも若い人に限るみたいな、そういう社会通念の縛りからも解放されるかもしれないですね。
更に、受付の人々は必ずその現場にいなきゃいけないかといえばそうじゃない。いろんな方に就労機会を与えるという意味では、代わりにデジタルヒューマンがいてくれれば、実際にその会社に来られない人でも受付業務に就くことはできるかもしれない。いろんな可能性を提供してくれそうな気がします。

美濃：例えば、カリスマ店員をデジタルヒューマン化して、昼間は本人、夜はデジタルヒューマンが対応することができるかもしれません。そこでの出会い、やりとりしたことなどを、本人とデジタルヒューマンが情報を共有することで体験機会が2倍になるんですよね。
もしかしたら寝ている間に友達が増えてるみたいなこともあるかもしれない。

岡本：中高年の認知症対策には、思い出話を人に話すのがいいんですって。でも話をする相手がいなかったりする。そんな場合に、繰り返し自分の記憶を思い出しながらデジタルヒューマンに話せると、高度な脳を使うことになり良いかもしれません。
また、対人的な会話がなかなかつらい方とかいらっしゃったりするので、そういう方たちを支援する一つの方法として活用するのもありかなと思いました。

美濃：素晴らしいアイデアです。ぜひ具体的に考えてみたいと思います。
今後はより一層異業種とのコラボレーションが重要になると思います。我々はデジタルヒューマンを作り、そこにストーリーを加えエンターテインメントの力を持って普及に努めていきたい。さまざまなフィールドのプロフェッショナルの方々と力を合わせて連携することが鍵なんです。
ぜひご一緒に。よろしくお願いします。

岡本：ぜひ、こちらこそよろしくお願いします。

[インタビュー] 東京藝術大学 岡本美津子先生×東映ツークン研究所 美濃一彦 対談インタビュー