Multi Sensors Coraborated Scanning - 複数センサー協調センシング
KINECT V2は1台のPCに1台しか繋ぐことができませんが、複数のPC、複数KINECTが協調して一つの空間をセンシングするシステムを開発しました。
システム構成はこのようになっています。
設置環境はこのようになります。
オブジェクトとして置いているのは「スマクロくん」です。
かわいいですね。
この環境でシステムを起動すると、KINECTのカメラから見えるカラー映像、深度映像を元にから空間内でKINECTが設置されている位置や向きを自動計算します。
計算後のUnity内のカメラ位置・向きは正確にKINECTが設置されている位置・向きと一致します。
さらにこのシステムは複数のPCとUDP接続することでサブPC群が1台のメインPCへ自分が担当するKINECTの位置を常に通知します。
それぞれのPCは正確にリアル環境のKINECT設置位置とキャリブレーションが取れているので情報を総合することでKINECT1台ではセンシングすることができなかった死角まで正確にセンシングすることができます。
また理論上サブPCは無限に増やすことができます。
このシステムで複数のPCと複数のセンサーを設置する場合でも大まかに設置を行い、あとはシステム側が自動キャリブレーションを行ってリアル環境を仮想空間内に再現することができるようになります。