2021年は昨年に引き続きオンラインでの開催となったゲーム開発者向けカンファレンスCEDEC2021。PS5のオーディオ技術が解説された「PS5 Tempest 3D Audio の取り組み」セッションのレポートをお届けします。
このセッションにはソニー・インタラクティブエンタテインメントのプラットフォームソフトウエア部門システム開発2部2課の齋藤俊良氏と唐津佑宜氏の2名が登壇しました。
Tempest 3D AudioとPS5
PlayStationにおけるオーディオの進化では、PS2世代でSPDIFでサラウンドへの対応が、PS3世代でHDMIに対応しCellによるフレキシブルなソフトシンセが、PS4世代でMain CPUでのソフトシンセと世代を重ねる毎に新機能が盛り込まれていきました。コンソール上での進化を考えた時に、没入感/臨場感の向上にPSVRで導入した3D Audioをよりよい物することが目標となりました。
Tempest 3D Audioのコンセプトは、「より良い3D Audioの体験」と「表現空間の拡充」です。PS5は3D Audioを通常のヘッドフォンでも体験できますが、PS4ではPSVRやプレミアムワイヤレスヘッドセットなど特定のチップを搭載したデバイスだけが利用出来ていました(PS4で3D Audioを実現できるパワーがなかったとのこと)。一方でPS5ではTempest 3D Audioエンジンを搭載したことで、デバイスに縛られず3Dオーディオを体験出来るようになったことに加え、人それぞれ異なる耳や頭の大きさに合わせて3Dオーディオを調整可能です。
またTV 3D Audioは、ヘッドフォンなしで簡易的にテレビから3Dオーディオを楽しめる出来得る機能です。TV設定時のみにオーディオの接続デバイスを選択できます。また視聴位置を調整するキャリブレーション機能も持ち合わせています。
3D Audioとは何か?
3D Audioは空間音響の技術を用いてゲームの没入体験を高めるもの。前述の通りPSVR時代から実装されており、HRTFを使って実現しています。またPS5ではコントローラーにヘッドフォンを繋ぐだけでバイノーラルが体験出来ます。
HRTF(Head Related Transfer Function)は頭部伝達関数と呼ばれるもので 、簡単に言えば人の音の聞こえ方をフィルタにしたものです。人間の耳は音の伝達速度の差異から音の発生源や方向を特定しており(例えば、人より左側に音が鳴っていれば、右耳には左耳より遅れて小さく聞こえることで特定出来る)、HRTFを360度全周に配置さればリアリティのある聞こえ方になると解説します。点音源の再現をするオブジェクトベースオーディオと、音が重なりあって空間を再現するアンビソニックスの2種類を利用しています。
PS5がオーディオ面で前世代機より進化した部分とすれば、オーディオ専用ハードウェアTempest 3D Audio Engineを搭載していることです。これによって様々な信号処理をリアルタイムで出来るようになっています。
HRTFの測定はスピーカーと人間、そしてマイクさえ揃えば可能です。スピーカーを球状で囲ったスペースの中心に人間を座らせ、耳に独自のバイノーラルマイクを装着して測定/録音します。また、人によってHRTFが異なるため、測定には様々な国や性別、年齢の人に協力して貰っています。
3D Audioはシステム側で音楽や映画向けの音作りに適しており、オーディオルームや映画館を意識したサラウンドとなっているため、無響を表現したくても映画館の響きが入ってきてしまいます。
VBAP自体は一般的な手法で音の位置を三次元に変えるものですが、平面上に動いてしまうためにオブジェクトが回り込む時に、音が大きくなったり小さくなったりする問題があります。それを解決するために最小位相化したVBAPはPS5で処理しており、どの方向にいても同じ距離で音が鳴るようにしています。
測定の補完については、人間を測定するため測定中にどうしても身体が動いてしまうことや、装置自体の歪みを含めて補正しています。また真下のHRTFの生成ですが、椅子に座る性質上、測定が難しくズレているため中央に収まるよう補完したそうです。
他にも、測定時にブレてしまった部分を正す位相誤差のスムージングも実施していますが、あまりに綺麗にしすぎると作り物のように感じてしまうため、そこは違和感が無いように調整しています。また全方位のノーマライゼーションは、測定上に起きたエネルギーのバラつきを補正し歪みを正しています。
サラウンドの方向性としては透明なものになるようで、部屋の特性があるために3Dオーディオのために補正機能があり、DualSenseコントローラーの内蔵マイクから周辺の反射音を測定して補正を行います。
3Dオーディオの開発環境
マスタリングでは、オブジェクトや様々なチャンネルが3D Audio Processを経て出力される前段階でマスタリングをかけるチャンスがあります。ヘッドフォン向け、TV向けのオーディオ出力をそれぞれ作りたいという欲求に応える形で存在しています。
デバッグ環境では、詳細な状態を見れるように様々なデータを見返すCapture/Replayや、Solo/Mute、Heart Map、Propertyの4つがあります。
空間表現の拡充では、Tempest 3D AudioのHRTF自体に部屋の響きが入っていないのはゲームの中で部屋の響きを再現しているので、部屋の響きを入れてしまうとゲームと部屋の音が競合していまうためとのこと。
PS5の拡充をするに当たってConvolution ReverbとPropagationの2種類が挙げられます。Convolution Reverbは高い精度で空間の響きを再現でき、PS4から使われていたものですがコストがかかる処理だったそう。Propagationは、伝播という意味で反射や回折、遮蔽、ポータリングを実現する機能です。特に反射に力をいれており、反射によるアーリーリフレクション(定位を明確にする)とレイトリフレクション(空間の大きさと特徴)があります。
リフレクション機能もデバッグツールがあり、音の反射のパスや音の減衰など表示させられます(壁の素材としてもシミュレーションできる)。最後に、今回の発表内容を振り返りセッションを終了しました。
以上が、3Dオーディオ機能について中心に語られた「PS5 Tempest 3D Audio の取り組み」のセッションでした。3Dオーディオは、PSVRなどで以前から実装されてきたもののPS5版ではより処理出来る容量が増え、9月15日に正式実装されたTV 3D Audioも合わせてより一般的なシステムとなるため、如何にこのシステムを使いこなすかが重要になりそうです。
