あー長かった。Maker Faire Tokyo 2017 の承認通知が来ました。
このブログをきっかけに知り合ったwiwaoさんと2人で、今年のメイカーフェア東京に参加申請することになった経緯は前回書きました。トイドローンに取り付けたLEPTONサーモカメラ画像をiPhoneで確認。LEPTON1動画の大幅なスピードアップだけではなく、その4倍画素数の多いLEPTON3でもWROOM02で画像配信を実現させようというプロジェクトです。WROOM02専用ボードとトイドローンへの実装はwiwaoさん。ソフト全般が私です。Jetson TX2はあくまでもディープラーニング応用例に使うだけで、基本はLEPTON+WROOM02+iPhoneがあればテザリングで画像が再現されます。
【今回使うモノ】
【組み合わせると~~~~~~~。】
実際にLEPTON1+EROOM02をトイドローンに取り付け、今回作ったiPhone側ソフトで
実際に録画した画像!!
【iPhoneではこんなことが.....】
LEPTON1の画素 80X60を317X237(約4倍)に補間。とてもなめらか!!
カラーを白黒に変えると、より立体的にリアルに表示される!! 3D表示画面。温度差が立体的に表示される!!
【これが低解像度画像なんだろうか.....】
去年の2月.....
もともと赤外線センサーに惹かれるものがあって、OMRON D6TとかMLX90621を使って自分の好きなものを作っていたのですが、LEPTON1を手にした時、確かに衝撃的なセンサーではありました。画素数が6X6とか16X4というレベルではなく、一挙に80x60。この道のプロにとっては、こんなに荒い画像で、何ができるんだ的なものがあるとは思いますが。なにせ当方「4X4を目一杯の補間でなんとか実用的に使おう!!」から始まってるわけですから、それもPiで制御できるなんてワクワクワクでした。ただ熱も治ってから、TX1という魅力的な機器に遭遇。デープラーニングにうつつを抜かしている時、wiwaoさんから過去記事についての問い合わせがあったことで、再度WROOM02とLEPTON1赤外線センサーに目覚めてしまいました。wiwaoさんの提案はトイドローンにこのセットをつけたら面白いんじゃないか?。消費電力も低いし.....。的な。
wiwaoさんからの情報や私自身の経験から使ってみてわかったのですが、このセンサータフっ。完全防水。振動にもビクともしない。挙げ句の果てボードごと+−を間違っても煙を上げません(こんなこと絶対しないように!!)。これにPIより明らか非力なWROOM02で、Pi並みの動画スピードを達成するってことに二人ともこだわり抜いて、作り直し始めたのが今年の2月ごろでした。MFT2017の出展締め切りまでに、サンプル基板とトイドローンへの実装成功。動画も満足なスピードに達成したので応募することにしました。
思えばあの頃は....
まだまだ、画面が乱れたり、画像が遅かったりしていました。
去年まではこんなに動画スピードが遅かった!!。画像は
当初Macで再現していました。
ここ数ヶ月、WEB上でトイドローンにつけたLETONサーモセンサーからの画像配信プロジェクト記事をたくさん見ました。LEPTON側が小さくても受信側に大袈裟な機器が必要とか、動画スピードが異常に早く明らかに合成画像とか、ドローンに接続できても画像配信は搭載されたCPU任せで、画像受信ができないとか。
トイドローンに載せるには、Piじゃ無理なんです。あまりにも電池容量が少なすぎる。WROOM02じゃなきゃ!!。低消費電力と軽量化により結果的にあらゆる用途で、赤外線カメラの使用が可能になることになりました。
3ヶ月間格闘の日々。
LEPTON1センサーのデータ垂れ流しの使いにくさ、WROOMの遅さ、WiFiの限界、WROOMを改良してもiPhone側の画像処理がこれに間に合わない(なんつったって4倍画像補間してる上に双方向通信してるんですから)、深刻なドローンとWROOM02の電波干渉問題、SPIのノイズ対策。これらを乗り越えてできたのが冒頭の動画です。おそらくWROOM02+LEPTON1では世界最速、多機能!!
実際録画機能を利用して作った画像。一瞬で3Dに切り替わったり、カラーを変えたり、
ダイナミックレンジを調整したりできます。LEPTON1の動画配信スピードは、10FPS
ですからLEPTON1の最大スピードが出ています。
屋外でも50m以上このスピードで安定して画像再現します。未だかつてない(っと思っている)サーモカメラの誕生と相成りました。
iPhone側の画像処理は
OpenFrameWorksを使ってるんで、Mac、Windows、ANDROID、linux、全てのメジャーOSでWROOM02からのWiFi接続で画像データの応用が可能です。
夜間監視カメラだろうが、漆黒の闇の中をドローンで操縦しようが、暗闇の対戦型ゲームだろうが、雪山の中の人命救助だろうが、恒温動物の認識だろうが.......。この世の中のありとあらゆるものに応用が可能なんです。80x60の画素の小ささは、大きな改革を実現させる要素を秘めていました。
赤外線センサーカメラとディスプレイが一体化しているものなら、中央部のみの温度検出で良いかと思いますが、カメラが可動式で、定点観測もあり得るので、トーゼン画面の任意対象物に対する温度計測がiPhone側から確認できます。
センサーデータは、256階調表示で画面ごとにその温度範囲が変化するため、例えばタバコの火を画面に入れると、突然背景が真っ暗になります。その逆でも同じ。市販のサーモカメラは、自動調整できるのですが、WROOM02では浮動小数点演算を使うと、極端にスピードが落ちます。さらに双方向通信が成り立たないとこの種の調整はできません。今回これも実現できました。
タバコの火が入ると、周囲と温度差がありすぎるため一瞬で背景のコントラストが無くなる。
右端のスライダーでコントラストを調整すると、背景がはっきりと表示されるようになる。カーソルの移動で、その部分の温度が確認できる。186℃!!
画像録画機能も付いてます。3Dでも2DでもiPhoneと同じ品質で録画できて、メールで即配信できるんです。
今回は、
今話題のJetson TX2で、持ち前のディープラーニング環境を最大限利用した人体検出も参考展示します。これはOFとTX1でTensor RTを実現した経験をもとに作成しました。 ディープラーニングですから、少しの工夫で赤外線画像であっても、標準学習済みデータで人体を認識できます。TX2はGPIOを使えるのはご存知の通りですが、SPIを使うにはカーネルの再コンパイルが必要。リスクを伴います。それに比べればOFを利用したOSC通信で画像再現ができるので、比較的簡単に実現できました。
WROOM02からWIFIで送られて来たデータを、TX2で再現。ついでに人体認識
している様子。会場では何人くらい同時に認識できるでしょうか?
そして.............LEPTON3。
次なるとても難しい課題。そう、知る人ぞ知るLEPTON3を使った動画配信実現。160x120 の画像処理です。これが実際にできるんでしょうかWROOM02で???。
超難関だったLEPTON3
PI3の1/10のメモリ。Pi Zeroと比較しても10倍以上スピードの劣るWROOM02で安定した動画配信と呼べる処理が可能?。何よりもシングルタスクだし....。今回は、これにも挑戦しています。ホントはほとんどできてるんですけど現在は最終調整段階なので、進行状況は次回の記事をお楽しみに。
iPhoneアプリは
アプリストアからダウンロードできます!! W&T で検索。
こんなアイコンが目印です。
ESP8266(WROOM02)のアプリはここからどーぞ。
Maker Faire Tokyo 2017では
こんな感じで展示します。
なんか全体的にハデハデで、表現がイジョウで少し反省してる.....。TAKEsanより。
では、また。