カテゴリー別アーカイブ: Techniques

GearVRとStreamingMesh

この記事はOculus Rift Advent Calendar 2016の12/20の記事です。
前日は@nryotaさんのOculus TouchでUnityちゃんの指を動かして遊ぼうでした。
発売されてまだ日が浅いOculus Touchを使ったホットな内容でした。自分もTouchを使ったゲームを作りたい。

間に合いそうにないので、申し訳ないのですが今回は構想のみの内容になりますが、現在進行中のStreamingMesh(GitHub)を開発している目的の一つにGearVR向けに何か作りたいという心持ちがあります。
若干妄想も入りがちなので、斜め読みでお読みいただくとちょうど良いかもしれません。

360度パノラマ動画の現状

VRの60度パノラマリアルタイム配信は結構増えておりますが、コンテンツは非常に頑張ってても今後の技術発展はなかなか厳しいと考えています。自分自身、SphericalImageCamというリアルタイムでレンダリング可能な360度パノラマアセットをリリースしていますが、これを次の段階に持って行こうと考えてても、なかなか良いアイデアが浮かばないです。
原則360度パノラマはカメラの位置を固定した状態を想定して記録されているため、「視点位置」の変更がとても難しいです。この軛を外して動画を作ることはすごくイレギュラーなことで、複数視点を記録しようとすると、極端に低解像度になるか、膨大なデータ量が必要になるかという二択を迫られてしまいます。以前に紹介させていただいた、複数の視差を表現できる撮影方法ですら、同じ位置に人が居続けることを想定したものであり、「視点位置が移動しない」条件を外してしまうと、途端と成立しなくなってしまいます。
今後VRの技術革新が起こった後を考えると、(歴史的なものも含めて)価値のあるものをデジタルアーカイブで保存する場合、少なくとも動画による記録ではなく、もっと未来的な技術によって記録されるのではないかと思います。
360度パノラマ動画はそれまでのごく短い繋ぎの技術になるのではないかと危惧しています。

GearVRはポジトラを得てからが本番

ところで、Oculus RiftはTouchが出てくるまでに随分とViveと水をあけられた印象がありました。この推測は多分正しいと思います。仕組みや細かいスペックは違えど、Oculus RiftとViveのHMDそのものはそこまで大きな差はないと思います。大きく違ったのは、Viveは(Preも含めて)VR用コントローラが同梱された状態で販売されたことです。
Oculusというファーストランナーがいたにも関わらず、ここまでの知名度をいきなり得られたのは、「Oculusを追い越してVive ControllerというVRコントローラを一般ユーザーに届けた」という実績に基づくと考えています。
GearVRはスペックは素晴らしいのですが、今のままではやはりカジュアルVRのグラフィックがちょっとよくなった程度という印象をぬぐえず、競合するメーカーに対して大きな牽制となるのが位置のトラッキングになり、スマホVRは真っ先にこれを制したメーカーは大きなアドバンテージを得られると思います。
そして、この状態になってからがStreamingMeshの出番になるわけです。

モデルデータのリアルタイム配信について

360度パノラマ動画の大きな問題としては、視点位置ができないことによるプレゼンスが剥離していくことにあります。また体験者が経験した時間や回数によっても影響し、それが実写であろうがCGであろうが、360度パノラマ動画を体験していくうちに削がれていきます。
まだ公開は先になりますが、StreamingMeshは3Dモデルをモーションごとストリームとして扱い、ストリーム情報の圧縮展開、ネットーワーク越しでの再生、保存を実現する、3D版の動画記録とも言える機能を備えた設計で整備しています。
実現すれば、CGだけで言えば、GearVRのスペックに足りるポリゴンと質感であれば、360度動画からおさらばできる可能性を秘めているわけです。また、頂点情報を非可逆な圧縮をかけているため、使い方は動画に近い扱いができ、場合によっては「元データへの復元を不可能にする」ことができるため、モデルデータの再配布というリスクを大きく下げることができます。このメリットは特定の界隈で非常に重要な要素になってきます。

そいつはいつ使える使えるようになるのか?

もう少しお待ちください・・・

明日のOculus Rift Advent Calendar 2016@yanosen_jpさんの「Riftでデータサイエンスっぽいことをしてみる」です。