岐阜県で行われたフェス｢POST｣で語ったSXSW2015のこと
「テクノロジー×エンタテイメント」では、(株)ライゾマティクスでディレクターを務める真鍋大度氏が登壇しました。みなさんご存じかと思いますが、Perfumeの世界デビューのプロジェクトに関わった人物。2014年1月に公開されたAppleの「Macの30年」のサイトでも紹介されている有名人です。
ライゾマティクスでディレクターを務める真鍋大度氏
真鍋氏は、NHKスペシャル「NEXT WORLD 私たちの未来」で30年後の未来というテーマでサカナクションのライブの映像演出や、SXSWに出演したPerfumeのインタラクティブデザインを担当した際の舞台裏を明かしてくれました。「サカナクションもPerfumeも3Dスキャナーを利用してリアルな映像とバーチャルな映像をシームレスに融合しています。ステージや施設全体など動かないものは事前に3Dスキャナーで精密にスキャンしておき、人物についてはリアルタイムで3Dスキャンを実施しています」とのこと。「通常の映像だと複数台のカメラを切り替えて場面転換が必要ですが、3Dスキャンのデータを利用することで2台のカメラが映し出す映像をシームレスにつなぐことができる」と真鍋氏。ざっくりと解説すると、カメラの映像から3Dスキャンから生成した映像に瞬時に切り替え、生成した映像を別のカメラが映す映像に重ね合わせることで、あたかもカメラがそのまま移動したような効果が得られるようです。
「舞台などは動かないのでかなりの精度で生成できますが、人物などは動きが読めないのでプリスキャンとリアルタイムスキャンを組み合わせるとどうしても映像が粗くなっていまします」とのこと。実際にサカナクションの映像は、髪型や輪郭はわかるものの、メンバーの画像は粗く表情までは判別できませんでした。しかし、そのあとで見たPerfumeの映像では、のっちもかしゆかもあ～ちゃんもかなり鮮明に写っています。「Perfumeのメンバーの映像を鮮明に生成できるのは、彼女たちがプリスキャン時とリアルタイムスキャン時で表情から手の動きまで寸分違わず同じように動けるから」とのことでした。このシステムを構築した真鍋氏やライゾマティクスのスタッフもスゴイですが、演者であるPerfumeもすごいですね。
そのほか、3Dスキャンを利用した演出としてはモーフィングがあります。例として、正面方向から撮影したカメラの映像を利用して、Perfumeの3人をそれぞれアップにするという映像を見せてくれました。こちらも実映像と3Dスキャンによる合成なのですが、言われないと気付かないレベルの精度でした。ちなみに3Dスキャンによって収集したデータは、Mayaなどのアプリを利用して仮想空間として構築していくそうです。
