私たちはこれを目指してました。
2月からWROOM02(ESP8266)を使ってLEPTON1画像のWIFI配信高速化と録画の実用に向けてスタートしました。その4倍画素数の多いLEPTON3で、WROOM02を使ってこれほどの動画スピードが達成できるとは思っていませんでした。LEPTON1とLEPTON3の画像の違いは、ネット上でたくさん画像があるので確認して見てください。LEPTON1から3に変わると、霧が晴れた感じとでもいいましょうか...。画素数が4倍だからWROOM02じゃせいぜい2コマ/秒あたりが限度じゃないかと思ってしまいます。前にも書きましたがメモリを19KB以上確保しなければならないので、現状のソースをコンパイルするとArduino IDEから警告が出ます。----メモリが少なくなっていて、動作が不安定----
こうなると、普通のWROOM02のセオリーでは、WDT(ウォッチドッグタイマー)リセットの連続で使い物にならなくなってしまいます。しかし現実はこの通り。画像スピードが早く、息つきもリセットもちらつきも皆無です!!。ここでは紹介してませんが、操作方法や3D表示についてもLEPTON1版とほぼ同じです。
この画像は、右手にLEPTON3を持って左手にiPhone。IPhoneで設定を変えながら、そして自分自身回りながら撮影しています。背景がかなり滑らかにぐるぐる回っています。(手放しで喜んでる感じが伝わってくるでしょうか)
なぜできたか?消費電力の小さいWROOM02の魅力とwiwaoさんの熱意が、全て。としか言いようがありません。
ほんの10日程前までは、こんな感じでした。動作は少し鈍いですが安定性はピカイチ。見通しのいいところならこのまま50mはいけます。が、今回は上の画像の様にスピードが加算されました。
同じスピード(若干遅かった時の)の画像です。途中車が走って来ますが、LEPTON3なのでかなり細かいディテールまで確認できています。
もっと前まではこんな感じ。WROOM02側でWDTリセットが入り、途中2回ほど止まってます。赤外線カメラの本領を発揮する夜の風景ですが、電線や車も細かく写ってます。このころはダイナミックレンジの調整ができなかったので、天空が極端に低い温度のため、家並みのコントラストが悪くなっています。
今年の2月時点では、
LEPTON3センサーは部品として販売されていませんでした。wiwaoさんからの情報でFLIR ONEを分解すればLEPTON3が入ってるとのこと。ブレークアウトボードが必要だが、LEPTON1のもので代用できるとか....。半信半疑でApple Storeから購入。
FLIR ONEは、簡単に中身を開けることができました。基盤を外すには携帯電話用の特殊ドライバ(ヘキサドライバーT5H(センター穴付)が必要で、ビスさえ外せば簡単にLEPTON3を取り外せました。と言うことは、簡単に元に戻せます。
FLAIR ONEは新機種に変わっているので現在取り扱いしていません。金額が不当につり上がっているのでご注意を!!。でもLPTON3は、Digi-Keyで単体購入できます。もうすでにFLAIR ONE(2世代目)お持ちの皆さんは、Digi-Keyからブレイクアウトボードを手に入れて、WROOM02があれば実行可能です。ビデオカメラとの合成はできませんが、FLAIR ONEより精細な温度分布画像が「離れたところから」確認できます。うまくいかなかったら前に戻せばいいだけです。ほとんどリスクを伴いません。
LEPTON3から出力されるデータは
こんな感じになってます。LEPTON1の場合、画素が80X60なので、80個分のデータが60回に分けて出力されて1画面になります。画面間は、delayを設けて次の画面出力って感じ。なのでデータ取り込みは比較的簡単で、どこでデータを取っても画像がつながります。しかしLEPTON3は次のようになってるんです。
80x60のデータを4つに分けて出力していて、そいつをつなげて初めて1画面(160X120)といった具合です。おまけに各セグメントのデータは右左交互に配置し直さなければダメ。見ただけでめんどくさそうですが、SPIデータが垂れ流しなので、さらに上の図で言うところのSegment1を見つけ出さなきゃない。最初に読み込んだデータがSegment1とは限らないのですから!!。この段階でESP8266では、スピードとメモリ容量を考えると、絶対無理だろうと思いました。最初はESP32で開発作業を進めたんです。通信方法は今まで通りOSC。初期のデータの合成表示はMacです。
以下苦難の歴史です。
3月初期段階 1画面ようやくそれらしいのが再現されました。ただし1セグメントのみ!!
3/5 ESP32にて3画面取れた様子です。セグメントがバラバラでしかも3つのセグメントしか再現できていません。
3/7 Segmentの順序が不動ですが、明らかに4セグメント再現できました
3/9 4画面取れた様子。でも色が....。これは各セグメントをその都度探してつなぎ合わせたもので、ものすごーく遅かった。
3/12 配列を工夫して色バランスがなんとかなった。
4/1 この辺りからiPhoneにソフトを移植。ESP32のリセットがあまりに多かった。しかもノイズがひどい。
iPadでその当時の高速配信。このころは外部でテストしていなかった。iPadではノイズが入らない?。外に行くと途端にダメ 。WIFIが切れたり、ESP32がWTDリセットで頻繁に止まる。
4/11 あまりにESP32のリセットが多いのでこれ以上不可能と諦め、半信半疑でESP8266に戻った。
やはりノイズがひどい。GPSとBluetooth(アップルウォッチ)が原因とは....。
この時点で、私の腕からアップルウォッチがなくなりました。
これからがリセットとの戦い!!
4/21 ドローン搭載。でもwiwaoさんの方では頻繁にリセット。
4/28 パケットを減らしたら、WDTリセットが急激に減少。でもスピードが納得できない!!。
ここからが進まない...。パケットを減らしてスピードを上げるにはどーすりゃいいんだ....。毎日落ち込んだり喜んだりトライアンドゴーの連続でした。急激に進んだのは7月に入ってからで、現在(最初の動画)につながります。
今使ってる赤外線カメラ側のボードは、
こんな感じです。
画像ではかなり大きなLIPO電池を使っていますが、最小のものでも動作は確認しています。さらに今、wiwaoさんがWIFIのさらなる改善をすべくWROOM02基盤を改良中です。
そんなわけで
ソフトそのものと、汎用ボードは完全にできてるのですが、Faireまでの残り時間を考えると、iPhoneアプリストアでの公開や最新ボードが間に合わない様です。最初の動画を見てホントかよ?と思う方は、是非私たちに会いに来てください!!。周りにWiFiの極端な混雑がなければ、実際のデモで確認できます。
iPhoneアプリ用のアイコンです。
では、また。