これからxRを使用したシステムを検討されている皆様に、PIXERAの事例を踏まえてご紹介します。感染症の流行により人と人が集まる機会が制限されるようになってしまいました。
その中でも様々なテクノロジーを応用、活用することで仮想現実と現実世界の堺を限りなくなくしたxRというものが存在します。映画やドラマの撮影、企業の新製品発表、アーティストのステージングなどで採用されてきました。日々テクノロジーの進化によって導入の敷居が下がってきています。
今後は文教、企業、スポーツなど様々場面で予算に応じたシステムが導入検討されることが予想されています。まずはxRとは？から実際の事例をふまえてご紹介します。

本記事は2021年6月24日現在の内容となります。

xR/AR/VRを意味するものとは？

エクステンデッド・リアリティ（xR）とは、ソフトウェアとハードウェアの両方をベースにした、現実世界と架空の現実をインタラクティブに利用可能し、更にすべての技術を包含する包括的な用語です。

つまり、プロジェクトを実現するためにどのようなアプローチをとるかによって、AR（Augemted Reality）、VR（Virtual Reality）、MR（Mixed Reality）などの他の用語がより適切になる場合があります。

xRなどにこだわる理由とは？

xRステージや関連する放送設備が急激に有名になったのは、近年の感染症の流行が大きな要因であることは１つの背景としてあります。しかし、それだけではなく、ここ数年のリアルタイムグラフィックス、高性能化するハードウェアの処理能力、3Dソフトウェアエンジンの世界的な使用したアプリケーションの増加といった技術的な発展も、xRアプリケーションの急成長も背景としてあります。

印象的で没入感のあるxRのシステムを構築することは、間違いなく技術者の仕事ですが、特定のオーディエンスにポジティブな影響を与える可能性のある、刺激的なライブプロダクション環境を作ることは、かつてないほど簡単になっています。

簡単になってきたとはいえ、様々な機器の相性やテクノロジーを理解しなくてはならないのは変わりません。

コンポジットとしてのリソース

“リソース・アズ・コンポジティング“は、他のソフトウェア環境（Unreal、Unity、Notchなど）で作成された3Dワールドを、PIXERAユーザーが簡単かつ非常に効果的な方法で使用し、相互作用させることができるワークフロー機能です。PIXERAのユーザーは、バージョン1.0からバーチャルスクリーンに「dive into」することができるようになりました。このバーチャルスクリーンには、映像コンテンツだけでなく、テクスチャ付きの3Dオブジェクトを実装できるフル3D合成スペースになります。

バージョン1.8では、独自の3Dワールドを持つリソースが統合され、それらのコンポジティングがPIXERAとシームレスに結合されるようになりました。プレビュー内でのナビゲーション、バーチャルワールド内でのパースペクティブの編集など、さまざまな機能が、既存のPIXERAのツールを使って実現されています。また、前述のリソースで作成した合成物の中に、PIXERAで作成した3Dオブジェクトや映像を配置することも可能です。異なるエンジンの3Dシーンを合成で扱えるようになったことで、これらのリソースをPIXERAベースの作品の一部として、使いやすく、効果的に活用できるようになりました。

※各バージョンについて詳しくはお問い合わせください。メルマガの登録を頂くと最新の情報を配信させて頂きます。

UNREALのプラグイン

「Resource as Compositing」の機能を使うことで、UnrealのシーンをPIXERA内で表示することができます。さらに、AV Stumpfl社は、Unreal Engine用の専用プラグインを開発し、PIXERAから直接シーンのプロパティを編集できるようにしました。このプラグインを使用して、Unreal のオブジェクトを移動したり、照明の設定を調整したりすることができます。
シーンプロパティは、リソースが配置されているレイヤーの一部として、PIXERA に表示されます。PIXERAのユーザーはタイムラインツールを使って、目の前の仮想世界を自由に操作することができます。つまり、統合された編集環境を構築し、プロジェクト/ショー体験の創造に集中することができるということになります。

バーチャルプロダクション事例(UNREAL/UNITY)

• PIXERA two RTのディレクターが1台、プレビュー用のマスターとして必要です。
• LEDウォールの背景とバックプロジェクションされたカメラのフラズムのために、それぞれにPIXERA two RTが必要です。
• UNREAL（プラグイン）とUNITY（APIダイレクト）は、PIXERA two RT上で「resource-as-compositing」としてレンダリングを行います。
• カメラのライブ信号とフォアグラウンドをミックスするためには、ライブキャプチャーカードを搭載した専用のPIXERA two RTが必要です。
• ミックスされた出力は、ビデオスイッチャーへ供給されます。
• Stage Precisionは、トラッキングデータ（Mosys、Stype、Optitrackなど）をAPI経由で直接PIXERAに送るために使用します。
• ゲンロックは、カメラ、トラッキングシステム、LEDプロセッサー、PIXERAクライアントのいずれかに接続する必要があります。
• クライアントサーバーの同期には、Framelockを使用する必要があります。

HAIX社のバーチャル製品発表会のケーススタディ

バイエルン州のイベント・メディア制作専門会社であるWBLT MEDIAは、シューズメーカーHAIXの最新製品のバーチャル発表会に、PIXERAのメディアサーバー技術を採用しました。

ドイツのHAIX社は、「メイド・イン・ヨーロッパ」の高品質な機能性シューズのメーカーとして世界的に知られており、特に消防隊や特殊部隊の隊員、職人などに人気があります。製品に共通しているのは、高い品質であるということです。

非常に革新的なカジュアルシューズ「ConnexisGo！」のバーチャルローンチにおいても、品質は重要な意味を持っていました。

HAIXはWBLT MEDIAに依頼し、合成によるバーチャルスタジオのシミュレーションや、グリーンスクリーン環境の一部として実際のLEDの壁や床を統合するなど、革新的なライブイベントを実現しました。

さらに、専用のランディングページに、インタラクティブな投票やワードクラウドのクリップを実装するという課題もありました。クリップの再生後には、ビデオ会議システムを使ってジャーナリストとのQ&Aセッションが行われました。

技術的なセットアップは、3台の固定した放送用カメラで構成され、それぞれが異なるワイドショットの視点をカバーしました。

グリーンスクリーンは、WBLT社から提供されたCinema4DとAfter Effectsのレンダリングとデザインをもとに、バーチャルスタジオのセットを複数の視点から表示するためにGMW社が提供しました。

固定カメラとレンダリングされたスタジオコンテンツのストリームは、キーヤーで結合された後、ビジョンミキサーに転送されました。

また、全体的な臨場感を高めるために、本物のLEDディスプレイと2台のモバイルカメラを組み合わせて使用し、短いながらも微妙なカメラの動きでプレゼンターをカバーしました。

AV Stumpfl社のメディアサーバーシステム「PIXERA」が制作の中心的な役割を果たしたと、PIXERAは”スタジオの3つのパースペクティブ、LEDウォールとフロア、フルスクリーンの企業ビデオクリップなど、さまざまなメディアコンテンツの再生に使用されました。

スタジオのメインコンテンツのループを継続しながら、アルファクリップを持つ追加レイヤーを使用して様々な効果のオーバーレイを作成し、照明効果や下3分の1に字幕を入れるオプションを追加しました。また、セット調整の際には、スタジオの床にマーカーを素早く表示することもできました。

ショーコントロールシステムUniverseを使用して、Art-Netコマンドを制作パイプラインに統合し、照明プリセットとビデオコンテンツの変更を同時に行えるようにしました。

メディアサーバーの専門家であるゲンゼル氏は、PIXERAの使用を非常にポジティブな経験と考えています。”PIXERAでの作業はとても楽しいものでしたが、最終的にはHAIXがプロジェクトの実現に満足してくれたことが最も重要です。近い将来、バージョン1.8がリリースされれば、Unreal、Unity、Notchとの統合により、高度なバーチャルプロダクションの一環として、PIXERAを使用する方法がさらに増えるでしょう。これからどんなことが起こるのか、楽しみです。”

参考リンク

www.wblt.de
www.gmw-studio.de
www.diebildmaschine.com
www.tillyparkstudios.com
www.pixera.one