社員ブログ

「WebVRとか文化祭」でHoloLensアプリの開発方法を話しました

|

2016年11月23日は「Web VRとか文化祭(html5j Webプラットフォーム部スピンアウト企画)」で登壇し、HoloLensアプリ開発の最初の一歩としてユニティちゃんを呼び出す方法をご紹介しました。

 

 
詳しくは下記記事をご覧ください。

NVIDIA GeForce GTX 950 搭載BRIXを試してみました

|

NVIDIA GeForce GTX 950 を搭載したベアボーンキット "GB-BNi7G4-950 (rev. 1.0) " をお借りすることができましたので検証を行いました。

詳しくは下記記事をご覧ください。

NVIDIA GeForce GTX 950 搭載BRIXを試してみました

CEATEC JAPAN 2016 "LAVIE Smart Mirror" 展示

|

今年の初め、Intel RealSenseハッカソンで「Magical Mirror」という作品が「LAVIE Smart Mirror」となってCEATEC JAPAN 2016レノボブースにコンセプトモデルとして展示され、世界的に情報が拡散しました。

詳しくは下記記事をご覧ください。

CEATEC JAPAN 2016 "LAVIE Smart Mirror" 展示

2016-04-04,05 UNITE2016 RealSense展示&HoloLens Emu展示

|

2016年4月4日~5日はUnity最大の公式カンファレンスイベント「UNITE 2016」に参加&インテルさんブースでの展示、そしてマイクロソフトさんブースでのゲリラ展示をしてきました!

会場は東京・お台場、ヒルトン東京お台場(旧ホテル日航東京)です。
ゴージャスです。

インテルさんブースにはパートナーとしてパネルを置いていただきました。
RealSenseのUnity Toolkitはとっても優れていて、UnityからRealSenseを簡単に利用できますよ!

 


Intel RealSense SDKセンサープログラミング

Unityパートを執筆させていただきました、こちらの本もどうぞよろしくお願いします。[広告]

 

さて、今回展示させていただいたデモは、SDKにα版として登場したばかりのPerson Trackingを利用した全身で孫 悟○のように元○玉を撃てるものです。
カメラの前で両腕を高く上げると、人間、動物、草、木など周囲のあらゆる生物からの元○と呼ばれる微量なエネルギーだけでなく、太陽、大気、物のエネルギーにいたるまであらゆるエネルギーを集めることができます。
次いで腕を勢いよく振り下ろすとそのエネルギーを攻撃エネルギーに変えて撃ちだすことができるのです。

テクノロジー的にはPerson TrackingはKINECTの骨格認識と同じものと思っていただければ結構です。
ただ今回はαSDKということでUnity C#から直接利用すると動作が不安定だったので、C++で作成したモジュールをUnityのネイティブプラグイン化し、利用しています。

最新のSDKでのPerson Tracking機能についてはこちらの記事をご参照ください。
Intel RealSense SDK 2016 R2 がリリースされました

 

ところでやっぱり会社でやるのと現場でやるのでは認識のフィーリングなんかも変わってきます。
展示ディスプレイの裏でリアルタイムコーディングでフィーリング調整&体験者を被験者としたサイレントデバッグなんかもしてました(笑)
 

 


さて、その他の展示ブースも見学。
UnityといえばVR、OculusRiftやPlayStation VRのブースも。

今回一緒に参加していた弊社のドイツ人エンジニア Kai ZarembaもOculusRiftを体験して興奮気味でした。
しかし鼻が高いとHMDがよく似合うなあ。
我々顔の平たい族は鼻のところに隙間ができて外界がよく見えますw

 

あと、チームラボさんの展示もありましたね。
Unityで作ってるんですね。

 

さて、インテルさんのお隣に日本マイクロソフトさんのブースがありました。
基本スタッフの方々は知り合いの方ばかりだったのでこんなの作りましたよとリリースされたばかりのHoloLensエミュレータで動くユニティちゃんアプリをお見せしたところ、公式デモに昇格w
日本マイクロソフトさんブースでのゲリラ展示も合わせて行うことになりました。

ちなみに実機で動かすとこんな感じです。

ソースコード(ほとんど書いてないけど!)はGitHubで公開しています。
https://github.com/SystemFriend/HoloLensUnityChan

 

というわけで楽しかった2日間はあっという間に終了。お台場の夜桜を見ながら帰途につきました。

今回展示の機会をくださったインテルさま、Unity Technologies Japanさま、そしてホログラフィックなゲリラを温かく迎えてくださった日本マイクロソフトさま、ありがとうございました。

Intel RealSense SDK 2016 R2 がリリースされました

|

最近HololensやOculus(弊社にも届きました!)など素敵なデバイスが矢継ぎ早に現れて息つく暇もないですが、その裏でIntel RealSense も着々と進化をしています。

今日は Intel RealSense SDK 2016 R2 がリリースされたので早速試してみました。

ダウンロードはこちらから。

 

わかりやすいところで PersonTracking 機能がかなりエンハンスされているので試してみました。
GestureやExpressionsの認識機能が増えているようです。

Gestureは現状指差し動作をすると指差し方向がわかるようです。

 

Expressionsのほうは感情を認識することができます。
認識できる種類は下記の通りです。

 

なお以前からあったSkeletonTrackingですが、SDKとしては下記の関節認識の準備があるようです。
ただしすべてのポイントを取得することは現状できません。

でもこれを見ると小さなKINECTになりそうな気がしますよね!

Intel RealSense SDK + Intel RealSense Camera R200を使ったデモは以前公開しています。

 

以上、Intel RealSense SDK 2016 R2 スピードレポでした!

GIGABYTEのUltra Compact PC Kitを試してみました

|

先日発売されたGIGABYTEのUltra Compact PC Kit GB-BSi7HT-6500-BW をメーカーさんにお借りできたので検証してみました。
Corei7を搭載した小型PCはUSBケーブルをそんなには伸ばせないKINECTの近くに目立たず置けるインタラクティブコンテンツ向けや組み込み的な用途に使えるのではないかと期待!

これぼくもうっかりしてたのですがKitなんですね。
なのでストレージやメモリは入っていません。
別途下記の用意が必要です。

  • SSDまたは2.5インチHDD
  • メモリー(SO-DIMM DDR4 2133MHz)
  • OS

というわけでそのままパワーオンしても、待てど暮らせど何も起きないので気を付けましょうw
ネジを緩めてふたを開けHDDとメモリをセット。OSをクリーンインストールする。起動するまでなかなか大変です。
今回は2.5インチHDDと16GBメモリ、Windows10をセットアップしました。

GPUはCPUにインテグレーションされている Intel HD Graphics 520。一応ハイフォーマンスモードに。

Unityをセットアップし、「きゃらみらー」のパフォーマンスをチェック。

CPU/GPUともになんとか総じて30FPSか。。
GTUNEとかでプレイするときのぬるぬる感はないかな。
あっちはCPU60FPS GPU200FPSくらいで動くモンスターなので、これだけ小さなPCでまあまあ普通にコンテンツ展示用途に使えるのは良いかもという感じはしますね。

KINECTの映像にComputeShaderとOpenCVを組み合わせて画像処理するものをチェック。
こちらも総じて30FPS。まあまあ、、たまに引っかかる感じがするときもあります。

こちらのプログラムは今夜耐久テストにかけてみます。発熱とかチェック。

次にRealSenseを検証。
R200のDepthを解析するプログラムを動かしてみました。こちらはVC++フルネイティブのプログラムです。

こちらは20FPS付近で動作します。30FPSに届かずか~。
とはいえこのプログラムはバックグラウンドで毎フレームごとのファイル出力や独自のボーン認識ロジックが動いているので処理量は大きいものです。

ちょっと触ってみましたが絶対的にはすごいパフォーマンスというわけではないですが、サイズが小さいというところに価値が見いだせるような気がしています。

というわけでシャッキリしませんが試用レポでした!

 

ページ

RSS - RealSense を購読