今回のパネルセッションで語られたのは、フジテレビと共同制作した『乃木坂46 VRホラーハウス』と東宝との共同制作となる『シン・ゴジラ』スペシャルデモコンテンツの2作品について。
■VR映像コンテンツにおけるサウンドの苦労
フジテレビのテレビ番組『ほんとうにあった怖い話』のVR作品となる『乃木坂46 VRホラーハウス』は、お台場で8月31日まで開催中の「お台場みんなの夢大陸」用に制作されたVRコンテンツ。テレビではできないような体験をVRで表現しています。
今作のVR映像は、「正距円筒図法」と呼ばれる方式で制作。パノラマの円形映像を組み合わせて360度見渡せる映像を構築しています。また、PS VRの広い視野角でも十分な情報量が得られるように、ワイドスクリーンのような横長の映像を縦に並べて立体視化しています。
映像素材自体のフレームレートはおよそ30から60fpsですが、PS VR内の処理は120HZで動作するため、VR空間で映像を見渡す際はVR酔いのしにくいなめらかな体験ができるようになっています。
一般的なゲームや映画は、5.1チャンネル等のサラウンドシステムを想定してサウンドをオーサリングしていますが、PS4とPS VRではHRTF（Head-Related Transfer Function）を考慮した3Dオーディオが使用可能です。3Dオーディオは、ドライ状態のモノラルの点音源データに座標や速度等を設定し調整することで、その場にいるかのようなサウンドが再生できます。PS4も対応している全方向型サラウンドフォーマット「アンソビニック」を利用する際は、専用にエンコードされたチャンネル情報も必要になります。
しかし、『乃木坂46 VRホラーハウス』の撮影現場で録音された音源は、上にあげたものではなかったために別の方法でチャレンジすることに。
3Dオーディオからサラウンドへはミックスできるが、ミックスされたサラウンドを3Dオーディオに戻すことは不可能となる。
別々に録音されていた各セリフや風の音といった効果音をモノラルサウンドとして1つ1つ抽出。抽出した素材がどの方位にくるのかを指示書に細かく指定し、アプリ側に3Dオーディオとして配置していく。
3Dオーディオの指示書。膨大な数の素材がどの方位に配置されるかが記されている。
SIEJAは、指示書の内容をランタイムで再生できる形にスクリプト化してくれるシステムを用意したのですが、微妙に絵と音が会わないケースが発生して細かく対応しなければいけなってしまいました。また、指示書のPCの時間軸とPS4の時間軸が合っていなかったりとさまざまなトラブルに見舞われたのだそうです。
コンマ数秒のズレが違和感を発生させてしまう。
現場で録音された環境音には室内で反響した声が入ってしまっており、BGMとして使用するとその声が役者の口パクから遅れるよう形に。クリーンにする時間がなかったためにうまく調整してくっつけてみたところ、リバーブのような聞こえ方になりました。本来はNGとなるところですが、ホラーコンテンツということもありリバーブが逆に効果的と判断、そのまま採用したのだそうです。
音声間の再生時間のズレは、波形を見ながら調整するという途方もない作業に。
今回のトラブルは経験の問題であったと語る秋山氏。次回はさらにVRに最適化したコンテンツ作りを行っていきたいと述べました。
■『シン・ゴジラ』のVR化とその苦労
PS VRのローンチに合わせて無料で提供予定となっている『シン・ゴジラ』スペシャルデモコンテンツ。秋山氏は、映画コンテンツをVRに落としこむ際の苦労や、映画用のリッチなポリゴンデータをどのように最適化したかを語りました。
VRコンテンツはカット割りができないため、既存の映画と同じ制作方法が使えませんでした。絵作りに関してはたくさんの下書きや構図が作成され、試行錯誤が繰り返されました。また、ゴジラ史上最大のサイズを誇るシン・ゴジラの大きさを、大きな魅力としてどのように表現するか頭を悩ませたのだそうです。
ゴジラの進行方向を示す図。
ゴジラは守るべきルールが多く、東宝に常にチェックしてもらいながらの作業は行われたのだそうです。初代ゴジラを彷彿とさせるシン・ゴジラの手の角度も東宝から厳しいチェックが入り修正しています。
絵コンテを切ることができない今回のVRコンテンツでは、東宝や制作会社とイメージを共有するためにプリビズ動画が作成された。
VRコンテンツはフレームレートを60fps以下に落とすわけにはいかないため、すべての処理を16ms以内に完了する必要がありました。そこで、ゲームエンジンのUnreal Engne 4が用いられることになります。
映画用のCGアセットをUE4に入れると、すぐに絵を表示することができました。しかし、PS VRで動かすためには様々な最適化作業を行う必要があります。初期状態では、GPUの負荷が高く、24fps程度しか出ていませんでした。負荷の原因を調べると、約650万ポリゴンがGPUに投入されていることが原因だとわかりました。
「PreDepth/ Base Geometｒy」といったジオメトリ描画を行うパスの負荷だけで24msを超えてしまっている。
映画用のCGアセットであったため、遠くて見えないオブジェクトにすら膨大な数のポリゴンが使われていました。そこでまず最初の最適化を行っていきます。
「Early Z-pass（Pre Depth）」を無効化し、ポリゴン数を650万から340万に削減。さらに建物のジオメトリを最適化したことによって20ms程度に。
東京駅のモデルだけで2.5ms以上の負荷になっていた。
岩や瓦礫も、鉄骨まで細かく作りこまれていたためにポリゴン数が多くなっていた。
最適化2回目。解像度を上げ、ポストエフェクトが増えたことでトータル負荷が20msのままになってしまった。
最適化3回目。SSR（Screen Space Refrections）がポストエフェクトの1.9msを占めていたので丸ごとカット。それだけで大きく処理が稼げたとのこと。
ジオメトリ処理だけでも2.4ms欲しかったためにさらに調整。これにより目標を達成、60fpsが可能となった。
余裕ができたところで4回目の最適化。パーティクルのライティングは見た目に影響がなかったので外し、処理が余ったところで解像度を上げることに。クオリティとパフォーマンスのバランスを見ながら調整を行い、最終的には14msとなりました。
ポリゴンの最適化前
ポリゴンの最適化後。
この方法は、『シン・ゴジラ』というコンテンツだからこそできたやり方であり、すべてのコンテンツに通用するものではないと秋山氏は語ります。クオリティとパフォーマンスのバランスは作品によって変わるため、試行錯誤していくことが重要です。
ここで、『シン・ゴジラ』スペシャルデモの映像制作を担当したSOLA DIGITAL ARTSの八木下浩史氏にバトンタッチ。映像クリエイターから見たVRコンテンツの難しさが語られました。
映像作品は、カット割りによって人間関係を見せることができますが、VRでは常に主観であるために従来のやり方が通用せず、非常に苦労したと八木下氏は話します。
シナリオから字コンテを制作。コンテンツの尺やアクションのタイミングなどを字コンテで設計している。
ゲームのようなリアルタイムコンテンツになれていなかったため、意図したカメラワークをつけたプレビュー映像でチェックを行った。
絵コンテがないのでアニメーションの明確な指示出しが必要となった。前半の尻尾の演出は伝わりづらかったので、イメージボードが用意された。
ヘリの軌道の指示。
音響作業はアニメーションと並行して進められました。3Dオーディオは、キャラクターの完成度が低くてもオブジェクトに音をつけることができるのでやりやすかったのだとか。尻尾に関しては、東宝のチェックが入って良いゴジラに仕上がったと秋山氏。
しかし、音の志向性がはっきりし過ぎていたことが、逆にゴジラのサイズ感に合わないものになってしまう事案が発生。これは、ゴジラの手前に配置された東京駅が音を遮断してしまったことが原因で、足音の迫力が無くなってしまったのです。その解決法として、八木下氏は東京駅の手前にスピーカーを配置することに。
DCCツール上よりもVRで見たときの方がスピードが誇張されて見えたため、さらにゆっくりとした動きに変更された。
迫力が今一つだったこともあり、秋山氏の提案で足音に合わせたDual Shok4の振動と画面ブレ、ガレキが追加された。
■VRコンテンツを作ってみて
VRコンテンツは平面とは違う映像体験になるため、非常に魅力的であると秋山氏は語っています苦労も多かったものの、ゴジラ作品に関われたという喜び、そしてVR作品を完成させたという達成感があったとコメントしています。たくさんの拍手が巻き起こる中、パネルセッションは終了しました。
