Take’s diary

Macとマイコンに関すること--ワクワクの製作日記

Maker Faire Tokyo 2017 に出ます!!(その3)  LEPTON3の進行状況

f:id:TAKEsan:20170603223845j:plain

私たちはこれを目指してました。

 2月からWROOM02(ESP8266)を使ってLEPTON1画像のWIFI配信高速化と録画の実用に向けてスタートしました。その4倍画素数の多いLEPTON3で、WROOM02を使ってこれほどの動画スピードが達成できるとは思っていませんでした。LEPTON1とLEPTON3の画像の違いは、ネット上でたくさん画像があるので確認して見てください。LEPTON1から3に変わると、霧が晴れた感じとでもいいましょうか...。画素数が4倍だからWROOM02じゃせいぜい2コマ/秒あたりが限度じゃないかと思ってしまいます。前にも書きましたがメモリを19KB以上確保しなければならないので、現状のソースをコンパイルするとArduino IDEから警告が出ます。----メモリが少なくなっていて、動作が不安定----

f:id:TAKEsan:20170720135116p:plain

 こうなると、普通のWROOM02のセオリーでは、WDT(ウォッチドッグタイマー)リセットの連続で使い物にならなくなってしまいます。しかし現実はこの通り。画像スピードが早く、息つきもリセットもちらつきも皆無です!!。ここでは紹介してませんが、操作方法や3D表示についてもLEPTON1版とほぼ同じです。

    www.youtube.com

 この画像は、右手にLEPTON3を持って左手にiPhone。IPhoneで設定を変えながら、そして自分自身回りながら撮影しています。背景がかなり滑らかにぐるぐる回っています。(手放しで喜んでる感じが伝わってくるでしょうか)

 なぜできたか?消費電力の小さいWROOM02の魅力とwiwaoさんの熱意が、全て。としか言いようがありません。 

  ほんの10日程前までは、こんな感じでした。動作は少し鈍いですが安定性はピカイチ。見通しのいいところならこのまま50mはいけます。が、今回は上の画像の様にスピードが加算されました。

    youtu.be

 同じスピード(若干遅かった時の)の画像です。途中車が走って来ますが、LEPTON3なのでかなり細かいディテールまで確認できています。

    youtu.be

 もっと前まではこんな感じ。WROOM02側でWDTリセットが入り、途中2回ほど止まってます。赤外線カメラの本領を発揮する夜の風景ですが、電線や車も細かく写ってます。このころはダイナミックレンジの調整ができなかったので、天空が極端に低い温度のため、家並みのコントラストが悪くなっています。

    

youtu.be

今年の2月時点では、

 LEPTON3センサーは部品として販売されていませんでした。wiwaoさんからの情報でFLIR ONEを分解すればLEPTON3が入ってるとのこと。ブレークアウトボードが必要だが、LEPTON1のもので代用できるとか....。半信半疑でApple Storeから購入。

                                             f:id:TAKEsan:20170719121215p:plain

 FLIR ONEは、簡単に中身を開けることができました。基盤を外すには携帯電話用の特殊ドライバ(ヘキサドライバーT5H(センター穴付)が必要で、ビスさえ外せば簡単にLEPTON3を取り外せました。と言うことは、簡単に元に戻せます。

f:id:TAKEsan:20170719121154j:plain

 FLAIR ONEは新機種に変わっているので現在取り扱いしていません。金額が不当につり上がっているのでご注意を!!。でもLPTON3は、Digi-Keyで単体購入できます。もうすでにFLAIR ONE(2世代目)お持ちの皆さんは、Digi-Keyからブレイクアウトボードを手に入れて、WROOM02があれば実行可能です。ビデオカメラとの合成はできませんが、FLAIR ONEより精細な温度分布画像が「離れたところから」確認できます。うまくいかなかったら前に戻せばいいだけです。ほとんどリスクを伴いません。

LEPTON3から出力されるデータは

 こんな感じになってます。LEPTON1の場合、画素が80X60なので、80個分のデータが60回に分けて出力されて1画面になります。画面間は、delayを設けて次の画面出力って感じ。なのでデータ取り込みは比較的簡単で、どこでデータを取っても画像がつながります。しかしLEPTON3は次のようになってるんです。

 f:id:TAKEsan:20170719113701p:plain

 80x60のデータを4つに分けて出力していて、そいつをつなげて初めて1画面(160X120)といった具合です。おまけに各セグメントのデータは右左交互に配置し直さなければダメ。見ただけでめんどくさそうですが、SPIデータが垂れ流しなので、さらに上の図で言うところのSegment1を見つけ出さなきゃない。最初に読み込んだデータがSegment1とは限らないのですから!!。この段階でESP8266では、スピードとメモリ容量を考えると、絶対無理だろうと思いました。最初はESP32で開発作業を進めたんです。通信方法は今まで通りOSC。初期のデータの合成表示はMacです。

以下苦難の歴史です。

3月初期段階 1画面ようやくそれらしいのが再現されました。ただし1セグメントのみ!!

 f:id:TAKEsan:20170713212655p:plain f:id:TAKEsan:20170713212650p:plain

 

3/5  ESP32にて3画面取れた様子です。セグメントがバラバラでしかも3つのセグメントしか再現できていません。

         f:id:TAKEsan:20170713212454p:plain

3/7 Segmentの順序が不動ですが、明らかに4セグメント再現できました

 f:id:TAKEsan:20170713212449p:plain f:id:TAKEsan:20170713212442p:plain

3/9 4画面取れた様子。でも色が....。これは各セグメントをその都度探してつなぎ合わせたもので、ものすごーく遅かった。

 f:id:TAKEsan:20170713212537p:plain f:id:TAKEsan:20170713212507p:plain

3/12 配列を工夫して色バランスがなんとかなった。

         f:id:TAKEsan:20170713214538p:plain

4/1 この辺りからiPhoneにソフトを移植。ESP32のリセットがあまりに多かった。しかもノイズがひどい。

   youtu.be

iPadでその当時の高速配信。このころは外部でテストしていなかった。iPadではノイズが入らない?。外に行くと途端にダメ 。WIFIが切れたり、ESP32がWTDリセットで頻繁に止まる。

    youtu.be

4/11 あまりにESP32のリセットが多いのでこれ以上不可能と諦め、半信半疑でESP8266に戻った。

  やはりノイズがひどい。GPSとBluetooth(アップルウォッチ)が原因とは....。

   youtu.be

  この時点で、私の腕からアップルウォッチがなくなりました。

これからがリセットとの戦い!!

4/21 ドローン搭載。でもwiwaoさんの方では頻繁にリセット。

   

youtu.be

4/28 パケットを減らしたら、WDTリセットが急激に減少。でもスピードが納得できない!!。

   youtu.be

ここからが進まない...。パケットを減らしてスピードを上げるにはどーすりゃいいんだ....。毎日落ち込んだり喜んだりトライアンドゴーの連続でした。急激に進んだのは7月に入ってからで、現在(最初の動画)につながります。

今使ってる赤外線カメラ側のボードは、

こんな感じです。

f:id:TAKEsan:20170719234858j:plain

 画像ではかなり大きなLIPO電池を使っていますが、最小のものでも動作は確認しています。さらに今、wiwaoさんがWIFIのさらなる改善をすべくWROOM02基盤を改良中です。

そんなわけで

 ソフトそのものと、汎用ボードは完全にできてるのですが、Faireまでの残り時間を考えると、iPhoneアプリストアでの公開や最新ボードが間に合わない様です。最初の動画を見てホントかよ?と思う方は、是非私たちに会いに来てください!!。周りにWiFiの極端な混雑がなければ、実際のデモで確認できます。

      f:id:TAKEsan:20170720000957p:plain iPhoneアプリ用のアイコンです。

                                では、また。