ブログ

2016-04-04,05 UNITE2016 RealSense展示&HoloLens Emu展示

|

2016年4月4日~5日はUnity最大の公式カンファレンスイベント「UNITE 2016」に参加&インテルさんブースでの展示、そしてマイクロソフトさんブースでのゲリラ展示をしてきました!

会場は東京・お台場、ヒルトン東京お台場(旧ホテル日航東京)です。
ゴージャスです。

インテルさんブースにはパートナーとしてパネルを置いていただきました。
RealSenseのUnity Toolkitはとっても優れていて、UnityからRealSenseを簡単に利用できますよ!

 


Intel RealSense SDKセンサープログラミング

Unityパートを執筆させていただきました、こちらの本もどうぞよろしくお願いします。[広告]

 

さて、今回展示させていただいたデモは、SDKにα版として登場したばかりのPerson Trackingを利用した全身で孫 悟○のように元○玉を撃てるものです。
カメラの前で両腕を高く上げると、人間、動物、草、木など周囲のあらゆる生物からの元○と呼ばれる微量なエネルギーだけでなく、太陽、大気、物のエネルギーにいたるまであらゆるエネルギーを集めることができます。
次いで腕を勢いよく振り下ろすとそのエネルギーを攻撃エネルギーに変えて撃ちだすことができるのです。

テクノロジー的にはPerson TrackingはKINECTの骨格認識と同じものと思っていただければ結構です。
ただ今回はαSDKということでUnity C#から直接利用すると動作が不安定だったので、C++で作成したモジュールをUnityのネイティブプラグイン化し、利用しています。

最新のSDKでのPerson Tracking機能についてはこちらの記事をご参照ください。
Intel RealSense SDK 2016 R2 がリリースされました

 

ところでやっぱり会社でやるのと現場でやるのでは認識のフィーリングなんかも変わってきます。
展示ディスプレイの裏でリアルタイムコーディングでフィーリング調整&体験者を被験者としたサイレントデバッグなんかもしてました(笑)
 

 


さて、その他の展示ブースも見学。
UnityといえばVR、OculusRiftやPlayStation VRのブースも。

今回一緒に参加していた弊社のドイツ人エンジニア Kai ZarembaもOculusRiftを体験して興奮気味でした。
しかし鼻が高いとHMDがよく似合うなあ。
我々顔の平たい族は鼻のところに隙間ができて外界がよく見えますw

 

あと、チームラボさんの展示もありましたね。
Unityで作ってるんですね。

 

さて、インテルさんのお隣に日本マイクロソフトさんのブースがありました。
基本スタッフの方々は知り合いの方ばかりだったのでこんなの作りましたよとリリースされたばかりのHoloLensエミュレータで動くユニティちゃんアプリをお見せしたところ、公式デモに昇格w
日本マイクロソフトさんブースでのゲリラ展示も合わせて行うことになりました。

ちなみに実機で動かすとこんな感じです。

ソースコード(ほとんど書いてないけど!)はGitHubで公開しています。
https://github.com/SystemFriend/HoloLensUnityChan

 

というわけで楽しかった2日間はあっという間に終了。お台場の夜桜を見ながら帰途につきました。

今回展示の機会をくださったインテルさま、Unity Technologies Japanさま、そしてホログラフィックなゲリラを温かく迎えてくださった日本マイクロソフトさま、ありがとうございました。

2016-04-03 富士通フェスティバル きゃらみらー

|

2016年4月3日は「富士通フェスティバル 春まつり 川崎 2016」できゃらみらーを展示させていただきました。
これはTMCNでよく共同でいろいろやったり飲んだりするw 「あしたのものづくり研究会」さんからのお声がけです。
あしたのものづくり研究会さんのブースでは子どもたちに向けた電子工作教室をはじめ様々な作品展示がされるのですが、その一角に謎の変身コンテンツを置かせてもらえることになりました!


桜咲き乱れるここが富士通本店。世界の富士通がここで始まった創業の地
汐留の本社に対してここはきっと心のふるさと、天皇陛下のような存在だと理解しているのですがどうなんでしょうか。

 


あしたのものづくり研究会さんのブースには子どもたちに向けた教室や配布物、展示物がたくさん。
ぼくが子どもだったら一日ここで遊ぶかもしれませんw
子どものころから「しくみ」を意識できてると素敵な大人になれると思いますね。

 

大きなディスプレイをご用意いただいていたので早速セットアップして展示開始。




いつものように子どもたちが狂ったように遊び始めました。
というわけで持ち場を離れましょう(笑)

 

きゃらみらーはとにかく「置きっぱなし、説明不要、勝手に遊べ、遊び方は自分で探せ」をコンセプトに、「遊び狂う子どもたちを後ろからビールを飲みながら眺める」ために作っているので持ち場を離れてもいいんです!

 

地下のミュージアムがムネアツすぎます!!!
これはFM-TOWNS、ぼくが初めて所有したパソコンです。
世界で初めてCD-ROMを搭載し、高度なマルチメディア機能を搭載。
i386をネイティヴモードで利用でき、4GBまでの膨大なメモリ空間を搭載メモリ2MBながらもアクセス可能!
ぼくから言わせると今のWindowsPCはすべてTOWNSの末裔であると思っています。


これは初めてBASICを打ち込んだFM-8ではないか!

 

この真空管を使った電算機も動くデモを見せていただけるなんてすごい!

 

子どもたちの長蛇の列ができるという列車運転シミュレーターも一番乗り!

 

まぐろの解体ショー!

 

お茶会に参加!

 


銀河系手話部!

 



きぐるみから戦隊まで満喫!

 

今回展示させていただいたあしたのものづくり研究会の皆さま、大変ありがとうございました!
来年もぜひよろしくお願いします!

 

 

 

2016-03-19,26 Microsoft MPCハッカソンでメンタリング

|

夏休みの宿題的にブログ更新を再開しますw


前回のアイディアソンに続き、2016/3/19, 26 マイクロソフトさんのMore Personal Computing(MPC) ハッカソンに参加しました。
今回はいちおう技術メンターとして皆さんの作品作りをバックアップさせていただきます。

このハッカソンは初日アイディア出しをし、1週間の間隔をあけて翌週が開発&成果発表となります。
この形式にすると開発期間を1週間取れるので作品のクオリティが上がるのですが、超短期案件みたいで開発する人は大変です(笑)

day 01


日本マイクロソフト エヴァンジェリストの高橋 忍さんよりWindows10周りの最新技術についてのインプット。
MPCはいわゆるコンピューターを使った新しい体験をテーマをするのですが、ものすごい最新技術でトンデモ体験、というよりはより身近な生活であったりビジネスの現場での新体験というところにフォーカスしています。
音声認識であったりペン入力であったり、今でも誰でも手が届く最新技術がWindows10ではモバイルから大型デバイス、ホログラフィックでも体験できるというところが良いですね。
開発者的にはUniversal Windows Platform(UWP)で開発すれば一つのバイナリがそのまますべてのデバイスで動くというのは素敵体験です。

 


次はKINECTの先生 中村 薫さんからKINECTについてのインプット。
さりげにKINECTを含めればMPC体験をもっといいものにできると思いますね。
"日本一センサーにやさしい男"としてデモンストレーションをお手伝いさせていただきましたw

 


SurfaceでのInk体験。
今までのペン入力とは異次元の自然さ。絵が綺麗に描けます。(絵心は人間側の問題として相変わらず必要)

 


というわけでアイディア出しとチームメイク開始。

 

そしてアイディアのプレゼンテーションへ。

 

ところでハッカソンの賞品はなんとIntel RealSense 3D Camera SR300!
RealSenseカメラがあればWindows Helloの顔認識ログインが使えるのでとてもPCが使いやすくなります。
これこそMPC体験なんですよね。
最近たまにMacを触るときにパスワードを入れないとログインできないのがどうにも前時代的に感じてしまいます。

というわけでday01は以上。

 

day02


この日は巨大デバイス Surface Hubがやってきました。
セットアップをさせてもらって嬉しかったです(笑)
立ち上げたたらとりあえず100点同時タッチで画面を掻きむしりまくるよね~。

 


というわけでday02 まる一日開発デイ開始!



チームで部屋に分かれて開発が進んでゆきます。

 


そして夕方、最終プレゼンテーションへ。

 





各チーム楽しいプレゼンテーションでした!
そして各作品へのマイクロソフト エヴァンジェリストからのコメントがかなりガチwwで本当にいいものになってほしいという真剣さが伝わってきました。

 


合間に前回のアイディアソンで出たアイディアを実装したCreate Yourselfをちょっと紹介させてもらったりも。
UWP+Azureで開発しているのでWindows MobileでもSurfeceでもSurface Hubでも同じバイナリが動きます。

 


結果発表!
優勝作品は「ANONE」!
おめでとうございます!
 


2日間(実質1週間)のハッカソンお疲れ様でした!
またやりましょう~~

ラーニングテクノロジー2016に鑑(アキラ)を出展します

|

今週、6/8(水)から6/10(金)に開催されるラーニングテクノロジー2016にモバイルモーションビジュアライザー鑑(アキラ)を出展いたします。

場所は有楽町の東京国際フォーラムです。朝山まで連絡くだされば招待券をさしあげます。公式サイトにて事前に登録することによっても無料で入場できます。

展示場所は「EdTech Playground」エリアでブース番号は444です。

鑑(アキラ)は教育用のソフトではなく医療用なのですが、患者の動作の記録を、医師や理学療法士と患者がいっしょに見ながら正しい体の動かし方を教えるツールとしても活用されています。理学療法士やスポーツトレーナーの教育の支援ツールとしても活用していただけると思います。

なお6/9(木)10:50-11:10にオープンシアターBにて、朝山が話をさせていただきます。鑑であきらかになる体の面白い話をしたいと思います。

朝山がしゃがんでいるところを鑑で計測してみました。このしゃがみ具合は良いでしょうか。問題ありでしょうか。当日説明いたしますので、ぜひお越しください。

RealTime Motion Recognizing - リアルタイム動作認識

|

滑らか感のあるリアルタイム画像処理、画像認識処理は画像の全ピクセルに対する処理を1秒間に数十回行う必要があります。
少し画像関係のプログラミングをなさったことのある方であれば画像ピクセルをすべて処理する処理を普通に行うと大変処理時間がかかることをご存知かもしれません。

そのため画像処理を高速に行うにはCPUで処理をするのでなくGPUで超並列計算を行う必要があります。

CPUとGPUの処理の違いですが、CPUはピクセルを一つ一つ順次処理をしてゆきます。
対するGPUはたくさんの小さな計算機が一斉に串刺しにするように並列処理を行います。
これがグラフィックス処理に役立ちますし、最近では機械学習などの大量データを処理する処理にも利用されています。

このGPUのプログラミングを行う言語・ツールは様々ありますが、今回はDirectXのCompute Shaderを利用しています。
このCompute ShaderによりKINECTやその他のカメラの映像をUnityでリアルタイム処理し、映像の中の動きがあった部分をいくつでも認識できるものを開発しました。
動きの認識は背景差分という方式で、あらかじめ環境に存在したもの以外の物体が現れるとそこを領域として認識します。
基本的にこの処理は60FPS、1秒間に60回以上の処理を行えるようチューニングを行っています。

この処理はどのようなところで利用されるのでしょうか?
例えばエンターテイメント分野。
最近よくあるテクノロジー系のアトラクションでは人が通路を歩くと人の位置に映像エフェクトがついてきたりしますが、その基礎処理はこの背景差分映像処理となります。
その他医療やリハビリ分野でも動きを捉えるというのは重要な処理となります。

この処理を基礎に様々なコンテンツ、システムを開発することができます。

Intel RealSense SDK 2016 R2 がリリースされました

|

最近HololensやOculus(弊社にも届きました!)など素敵なデバイスが矢継ぎ早に現れて息つく暇もないですが、その裏でIntel RealSense も着々と進化をしています。

今日は Intel RealSense SDK 2016 R2 がリリースされたので早速試してみました。

ダウンロードはこちらから。

 

わかりやすいところで PersonTracking 機能がかなりエンハンスされているので試してみました。
GestureやExpressionsの認識機能が増えているようです。

Gestureは現状指差し動作をすると指差し方向がわかるようです。

 

Expressionsのほうは感情を認識することができます。
認識できる種類は下記の通りです。

 

なお以前からあったSkeletonTrackingですが、SDKとしては下記の関節認識の準備があるようです。
ただしすべてのポイントを取得することは現状できません。

でもこれを見ると小さなKINECTになりそうな気がしますよね!

Intel RealSense SDK + Intel RealSense Camera R200を使ったデモは以前公開しています。

 

以上、Intel RealSense SDK 2016 R2 スピードレポでした!

ページ

RSS - ブログ を購読