はじめに
今年5月にオンラインでの開催となった Maker Faire Kyoto 2021、5/1 に Twitter での作品発表があったので、今年2月に作った空中に浮かんでいるように見えるボックスを投稿。
プロジェクターから透過スクリーンにボックスの映像を投写、顔の位置に合わせた視点からの映像を表示することで、あたかも立体的なボックスが空中に浮かんで見えるというもの。
仕組みとしては何か新しい技術を開発した訳ではなく、小型のAIカメラによる顔検出、レーザー走査方式のピコプロジェクター、透過型スクリーン、ボックスの映像コンテンツは PC上の TouchDesigner というアプリケーションでのリアルタイム映像処理を組み合わせて実現。
今回 Twitter で予想以上の反響があり、スイッチサイエンスさんの「MFKyoto2021 作品発表(勝手に)振り返りオンライントーク」でも紹介いただき、ありがとうございました。
今回使用した機材・開発環境
今回使用した機材、開発環境は以下の通り。
その他、AIカメラや透過型スクリーンの固定用にレゴブロックを使用。
- AIカメラ：M5StickV(M5Stack/スイッチサイエンス) 2,741円(購入価格)
今回使用した製品は販売終了となっていますが、後継のマイク搭載版でも同様に利用可能、他にも同様の顔検出が可能なカメラやPC側での顔検出でも可能
PCとの接続は USB Type-C – Type-A 3m を使用 - ピコプロジェクター：HD ピコ レーザー プロジェクター 自作キット for Pi [HD301D1](KSY) 17,820円(購入価格)
解像度は 1,280 x 720、輝度は 20lm と暗いですが、レーザー走査方式なので、常に投写面にフォーカスが合い黒浮きもないので、透過スクリーンとの組み合わせには最適
他のプロジェクターでも代用可能
PCとの接続は HDMI – HDMI ケーブルを使用、また電源供給用に USB Type-A – microB ケーブルを USB充電器に接続 - 透過型スクリーン：リア透過フィルム(シアターハウス)
無料サンプル A4サイズフィルムのクリアタイプを使用、本来ガラス面への水貼りが必要ですが、今回はフィルムと同じくらいのサイズのアクリル板に四隅をテープで止めて使用
アクリル板は Amazon で購入した「光 アクリル板 200×300×2 AC00-223 トウメイ」を使用 674円(購入価格) - 映像コンテンツ開発・実行環境：TouchDesigner(Derivative)
非商用向けの non-commercial 版(無料)を使用、出力解像度が最大 1,280 x 1,280 に限られ、使用できない機能もありますが、今回のコンテンツやプロジェクターの解像度には十分 - PC：Windows 10 Home
TouchDesigner が動作するスペック、詳細は System Requirements を満たしているPC
今回ボックス内の噴水のような表現は、Bullet Solver、Nvidia Flex Solver COMP という GPU で流体の動きをリアルタイムでシミュレーションする技術を使用
作り方
ピコプロジェクターは以前 AUTOLABさんの「ロボットアームを作ろう」というワークショップで組み立てた「CO－」というロボットアームに搭載。
今回はロボットアームを動かしていないので、一定の高さで固定できれば問題なし。ピコプロジェクターの底にはカメラの三脚用の1/4ネジ穴があるので、小型の卓上三脚や Webカメラ用のフレキシブルアーム型スタンドなどでも代用可能。
透過型スクリーンは、アクリル板に四隅をテープで貼り付け、レゴブロックで作った台の上に設置。この台も透明な素材であれば、より空中に浮いてる感が出るかと思います。
プロジェクターの光源からの距離は 約40cm、部屋の照明を付けた環境でそれなりの明るさで見えるところでこの距離としています。部屋が暗ければもう少し投写距離を確保して大きくすることも可能。
M5StickV は M5StickC 付属のレゴ互換マウンタを使用し、高さ 約50cmくらいの位置に固定。PCとは USB Type-C – Type-A のケーブルで接続。UART によるシリアル通信で、顔検出で検出した顔のバウンディングボックスの中心座標をカンマ区切りで出力。
M5StickV から実際に顔を検出する際の顔の位置(スクリーンの手前)までは 約90cm、高さが低いと透過スクリーンの影響で顔の検出が上手く行かないので、このくらいの高さが必要。
ここまで、制作に必要なものや、実際の動作環境について紹介して来ました。
M5StickV、TouchDesigner の詳細については後編として紹介する予定です。
MK Tech Lab 