静止画の写真をもとに立体オブジェクトを生成する新技術「NeRF（ナーフ）」。
バーチャルプロダクションにおけるインカメラVFXの新たな可能性となり得るこの新技術を、ソニーがグループをあげて研究開発しています。
2024年8月21日（水）から23日（金）までパシフィコ横浜ノースで開催された「CEDEC2024」では、その1日目に「先端AI技術を用いた高速＆高精度な3Dコンテンツクリエーション ～映像制作・バーチャルプロダクションへの展開～」と題するセッションを実施。
ソニーでNeRF技術の研究開発をおこなう小林優斗氏と、バーチャルプロダクション・スタジオ「清澄白河BASE」でプロデューサーを務めるソニーPCLの遠藤和真氏が登壇し、その技術の概要と、試験的に制作した短編デモ動画について講演しました。
◆NeRFとは?
NeRFとは(Neural Radiance Fields／ニューラル放射輝度場)の略で、2020年にカリフォルニア大学とGoogle Researchの研究者が発表した技術のことです。多方向から撮影した写真をもとにディープラーニングで3Dを構築するもので、完成したオブジェクトは自由視点で閲覧することができます。
同じような技術に「フォトグラメトリ」があり、そちらも多方向から撮影した静止画を元に3Dオブジェクトを生成しますが、反射や半透明の物体の再現が弱く、その部分だけ欠けたような形状になるのが難点でした。
ところがNeRFでは空間をボリュームの集合体として認識しており、さまざまなパラメーターをもとにオブジェクトを生成するため、画像データだけで処理をするフォトグラメトリと違って半透明の物体や反射物などもきれいに再構築されます。
ソニー・グループではその日進月歩で進化するNeRF技術を、バーチャルプロダクションで活用できる新たな3D背景技術として研究開発を進行中。ソニーPCLが運営するバーチャルプロダクション・スタジオ「清澄白河BASE」で実証実験をおこないつつ、必要となる技術の抽出をしながら開発を進めているとのこと。2024年の3月には、実際にNeRFを使用したデモ動画が制作されました。
◆NeRFをより使いやすくするための関連技術も開発中
ソニー・グループの強みは、他事業と連携することでNeRFのポテンシャルを最大限まで活かせること。たとえばNeRFに対応した高性能カメラやディスプレイの開発がそれにあたります。NeRFに使用する静止画はその撮影にコツが必要ですから、カメラを高性能化させれば、それだけ簡単かつ誰でも撮ることができるようになります。
またバーチャルプロダクションで運用するなら、収録スタジオの環境づくりも同時におこなう必要があります。
NeRFは特殊な技術であるため、バーチャルプロダクションで使用するならそれ相応の運用体制を構築しなければなりません。そこでソニーでは、バーチャルプロダクションでもっとも使用されているUnreal Engine用のプラグインの開発に着手しました。
