【Unite Japan 2014】初音ミクが人気ロックバンド「BUMP OF CHICKEN」とコラボ、PV制作に使われたUnity

ゲームエンジンながら、今ではゲーム以外のさまざまな用途でも使用されているUnity。人気ロックバンドのBUMP OF CHICKENと、初音ミクのコラボ曲『ray』のPVで作成された特設映像でも、Unityが使用されています。もっともCG合成ではなく、プロジェクターで投影された初音

その他その他

2014.4.9 Wed 14:08

ゲームエンジンながら、今ではゲーム以外のさまざまな用途でも使用されているUnity。人気ロックバンドのBUMP OF CHICKENと、初音ミクのコラボ曲『ray』のPVで作成された特設映像でも、Unityが使用されています。もっともCG合成ではなく、プロジェクターで投影された初音ミクと演奏者を同時に撮影するという状況だったため、さまざまな工夫がなされました。

Unite Japanで4月8日、クリプトン・フューチャー・メディアの田地正宏氏は「円筒スクリーンを撮影する実写カメラにセンサーを設置してモデルを実写カメラに追随させる」と題した講演で、その一端を披露。なお、本講演の概要はYoutubeの初音ミク公式チャンネル内で、「【Hatsune Miku】初音ミクドキュメンタリーテクノロジー編」として、動画でも開設されていますので、あわせてご覧ください。

はじめにPVの撮影状況について簡単に整理しておきましょう。スタジオの中央に直径3メートルの円筒形スクリーンが設置され、ここに初音ミク（本作のためにデザインされた「14モデル」）が投影されます。スクリーンの周囲にはBUMP OF CHICKENのメンバーが立ち、楽曲を演奏。その周囲にドリーに載せた実写カメラが配置され、スクリーンに対してぐるぐる回転移動しながら、演奏風景とスクリーン上の初音ミクを同時に撮影していく仕組みです。

初音ミクの映像自体はUnity上でリアルタイムレンダリングされ、背景のエフェクト（ムービーテクスチャとして再生）とあわさってプロジェクターに出力されます。PC上では円筒スクリーンは横長の長方形スクリーンとして認識され、この上を初音ミクが左右に移動しながら歌い、踊ることになります。ただし前述のように「演出意図にあわせてメンバーと初音ミクを同時に撮影する」という仕様上、実写カメラの動きとスクリーン上のミクの表示位置を同期させる必要がありました。

まずUnityではマルチディスプレイ出力に対応していないため、今回のような横長のスクリーン出力は標準では不可能です。そこでマルチモニタ対応グラフィックボックスの「TripleHead2Go」を使用し、3840×1080ピクセルの画面サイズを確保しました。また背景に使用するエフェクト動画でも問題が発生。Unity標準のムービーテクスチャでは、動画の任意の地点から再生できなかったため、アセットストアからプラグインを購入して対応されました。

ドリー上の実写カメラには、3軸の加速度センサーとジャイロを合わせた6軸センサーを搭載し、Wi-fiでスクリーン中央部にある親機に角度情報を配信する形をとりました。センサー側で移動情報から角度情報を生成し、Androidデバイスを経由してWi-fiで送信。親機からUnity側に情報をわたし、角度情報を解析してミクの表示場所を決定しています。

ちなみに、このセンサーは当初人間の頭部に設置して使用することを目的に、研究開発されていたものでした。それが実写カメラの移動解析に用いられることになるとは、誰も想像できなかったようです。

このほかバックアップとして、MIDI信号を用いた同期システムも採用されています。MIDI信号をコンバータアプリで受信してコマンドに変換し、ソケット通信でUnityに送信した後に、解析して使用するという流れです。具体的には音楽演奏データをネットワーク経由でリアルタイムに共有するための通信プロトコル、OSCを用いて情報がやりとりされています。

田地氏の講演は短いながらも、非常に濃い内容のものでした。本講演内容を含む一連の技術開発は、すべてクリプトン・フューチャー・メディアが担当し、いわば共同開発といったところ。同社の高い技術力が大いに感じられました。

【Unite Japan 2014】初音ミクが人気ロックバンド「BUMP OF CHICKEN」とコラボ、PV制作に使われたUnity

関連ニュース

特集

Unite Japan 2014

初音ミク

クリプトン・フューチャー・メディア

photo