Take’s diary

Macとマイコンに関すること--ワクワクの製作日記

Ai実行環境で、最近びっくりしたこと

この頃プログラムをじっくり作ってる暇が無くなったので、率直に最近素晴らしいと思ったことを書くことにしました。

Pythonista3のスピードが素晴らしい。

          f:id:TAKEsan:20171130211721p:plain

 知る人ぞ知るiPhone、iPad開発環境のPytonista3ですが、いったいどのくらいのスピードで動くんでしょう?。使用ディバイスの金額から考えて、並のスピードならぜったいゆるせない....。過去iMac27インチとかPi3とかTX2でCPUのメインコアスピードの目安として使わせていただいた簡単なPythonのテストプログラムを実行してみました。

         f:id:TAKEsan:20171130212040p:plain

 実行結果はiMac4.776秒。Pi3で32秒。ゲーミングパソコンi7 6600Kで3.2秒。これに対しNvidia  TX2では7.8秒。intel Jouleでは12秒前後でした。まーCPUを考えたら納得の結果です。これを試しにPytonista3をインストールしたiPhone7 Plusで実行するとなんと5秒ジャスト!!。こりゃーiMacなみのスピード!!。さらにiPhone Xで実行すると4.5秒。エ~~ひと昔前のカスタマイズしたiMacより早い。ほかのスピードテストプログラムを実行してもほぼ同じ結果です。Pythonでこれだけ早くて、iPhoneのObjectiv-Cのクラスが使えるし、簡単なShell環境でsshもpipも使えるんですから、必要のものは何なんでしょうか?頭とキーボードだけです。どうりでサンプルが早いはずだ....。

 このアプリの開発環境は非常にスマートだし、何でもできる(この何でもの範囲が無限に近いってのもすごい!!)。UIだって精錬されたスイッチ類が使える。っていうのが率直な感想です。OSのマルチタスクと、疑似マルチタスクの差がプラスに働くとは思いますが、こんなに早いとは思いませんでした。numpyとmatplotlibが標準実装なので、AIを勉強するには環境的にも整っています(Tensorflowやpycaffe等は今のところインストールできない)。これからはメインがiMacからiPhoneになるかもしれない....。ってことは無いか。

iPhoneXがすばらしい。

 f:id:TAKEsan:20171130212919j:plain     f:id:TAKEsan:20171130211245j:plain 

  ついこの前までLEPTON3を使ったThermal Cam3W&T Thermal Cam3 for FLIR LEPTON3 - Take’s diaryにすべてをつぎ込んできました。開発ディバイスはiPhone 7 Plus。やっぱり最新機器で試してみたくなって、早速iPhone Xを手に入れ、アプリストアへのバージョンアップ申請をかねて試してみました。

           f:id:TAKEsan:20171130211220j:plain

                     Thermal Cam3はiPhone Xに完全対応してます。Thermal Cam3 on the App Store

 過去iPhone7 Plusで何十回もテストを続けた経験で、まず驚くのがWiFiのつながりがとても良くなっていること。グラスボディーが電波の改善に貢献してるんでしょうか?アンテナが2つになっているのが原因でしょうか?感覚が全然違います。そしてCPUスピード。これも大きく貢献しているようで、これらの相乗効果からか、全く別のソフトのようにサクサク動きます。Pythonista3での検証でも確認しましたが、単独アプリではひょっとしてi7を使ってるノートパソコンより早いかもしれません。iPhone 7 Plusで気になっていたBlueToothの悪さもあまり問題なくなりました。

 ネット上ではボタンがなくなったとか、カメラが普通とか、顔認証が気にくわないとか外に出てマスクをするとドーとかコーとかいろいろ言われてみますが、開発から見たら7とは別物です。こりゃーこの方たちは、あくまでも現在実行できるアプリを試して感想を伝えてるだけだと感じてます。何かを作ってみたい人はiPhoneX絶対に買いです。

 Metalを中心としたAIに関する将来性や、表示機器の明らかな優位性(これも7とXじゃ全く違います。音で言うとCDとSACDの差っていう感覚です)、なんと言ってもCPUやGPUの能力。擬似マルチタスクの優位性。さらには基本Kinectと思想が同じセンサ類の構成や、今回認識したWiFiの性能を考えると、開発者の能力次第で今後が決まってくる素晴らしいハードだと感じました。

 私のような趣味の人は、GPIOを使ってセンサーや外部機器を使ってみたくなるわけですが、Pythonista3やOpenFrameworksがあれば、ESP8266とのWiFi接続で完結します。精錬されたiPhoneのUI環境で、反応の早いソフトを何でも作れることになります。

 ためしにネット上で公開しているiOS11で実行できるMetalを使ったYOLOの実行環境を試してみました。ここでは認識対象(クラス)が人物の1種類だけですが、どう感じますか?

                           tiny Yoloで20クラスの内、人体だけを認識させている。スピードは問題なくなっている!!

TX2がいい。

  f:id:TAKEsan:20171130212959j:plain

OrbittyボードにWiwaoさんに作って頂いた、バッテリーボードを合体。TX2がバッテリーで動くようになりました。

f:id:TAKEsan:20171203230607j:plain

Wiwaoさんのバッテリーボードは、2個のバッテリー切り替え可能。ラジコン用のLiPoバッテリー(11.1V)を使い、TX2の最高スペックスピード設定で、2時間以上稼働します。しかもバッテリーの使用状況も写真のようにLEDで表示します。Orbittyボードと組み合わせると、超小型パソコンに変身します。デモにぴったり!!

 私にとってIPhoneXがカリスマ性を帯びてきている昨今。なんかTX2は自分的に影が薄くなった感じがしてましたが、この前に紹介した全体的に小型化できるOrbittyボードが使い物になったとき、全く別物に変身しました。(今までTX2ではUSB3.0が接続できなかった)

 TX2のいいところはなんつったってUbuntuがサクサクなことです。この開発環境はiPhoneのAppleに縛られた不自由さとは違って、霧が晴れたような使い勝手と潜在能力が最大の魅力。アマチュアでGPIOを触りたい人はこれ以上の環境は無いと思います。

                  

TX2で標準YOLOデータを使ってREAL-Time Object Detectionを実行しているところ。ただしスピードアップするためにyolo.cfg中 widthを608から448、heightをwidthを608から448に変更。以前試してみたPy-Fastere-RCNNとはスピード的に雲泥の差!!

                  

さらにスピードアップするためにyolo.cfg中 widthを228、heightをwidthを228に変更。このくらいだと、かなり早くなるが認識率がいくらか悪くなる。                  

                 

これはThermal Camで録画した動画を以前作ったOpenFrameworks+Jetson-Inferenceで人体認識させたもの。Jetson-InferenceではNvidiaでオススメのTentorRTを使って認識させていますが、Yoloが20クラス認識することを考えれば、ソフト作成に手間取った割には何だかなーっと言う結果です。でも、サーマル画像で人が認識できるってすごいと思いません?夜間での動物認識はお手の物ってことになります。

 やっぱESP8266が.....

GPIOを操作するには、母艦がTX2やiPhone Xだと言うことなし!!

 

                                では、また。

 

いまさらIntel Joule で Movidius!!

今回は、Intel Joule でこんなことをやってみました。

そう....ディープラーニングの学習ではなく実行環境です。Joule単体で同じようなことを同様のスピードで処理することはまず無理です。今回は Intelが販売しているMovidius Neural Compute Stickを使ってTiny YOLO で人体を認識させています。

              

              

フルセットのデータでは無いので、普通はもっと他の物も認識するはずなのですが、ちょっとイマイチでした。もう少し中身を修正すると良くなるかもしれません。スピードは動画のように遅めですが、結構使えるようです。

 これをJetson TX2(当然Movidiusは付けてません) でTiny YOLOじゃ無いやつ(Real-Time Detection)を実行するとこうなります。スピードは同じくらいですが、認識の精度が格段に違うことがわかります。

 さらにTX2でTiny YOLOを実行すると、最高Joule+Movidiusの6倍くらいになります。客観的に見るとMovidiusを取り付けたPI3やJouleで、ディープラーニングを使った複雑な物体の特定を行うにはかなり工夫が必要のようです。(一般的なものは後述のようにかなり早い)

Intel Jouleが製造ストップ

 あんなに苦労してUbuntuを入れたのに(今は簡単だけど)OpenCLまで動かしたのに..。と言ってもLEPTON3やTX2にうつつを抜かして、Jouleをほっといたのも事実ですけど、とにかくIntel Jouleは現在製造中止みたいです。

 確かにIntel JouleはGPU(GPUって呼ぶのはNVIDIAだけ。でも直感的に伝わる)環境が弱い。JouleでOpenCLができてもOpenCV環境じゃさほど早くならない。当然CaffeだってCPUだけじゃーな。って考えてたところにこんな魅力的なスティックが販売されました。しかもIntelから?。簡単に言えばUSBで接続できる外付けGPUです。

               f:id:TAKEsan:20171113214807j:plain

 巷にはびこってるブログではPI3の記事だけ。Python自体のスピードを比べれば、圧倒的にJouleに軍配があがることは前のテストで認識してました。今までの経験上、Pythonがディープラーニングのカギを握っているのは事実。CPUもそこそこの環境でUSB3.0があって、GPUが弱くて、UBUNTU16.04が動くボードって、そうなんです。Intel Jouleが再浮上してきます。こりゃー試さずにはいられないわけです。

かなり苦労したインストール

 MovidiusはIntelが買収してるから、Jouleで簡単に動くんじゃないかって思ったのが大間違い。Intel JouleのOS環境は何もかも最新のものに変更する必要があります。つまり最新BIOS、最新のubuntu16.04.3 。

おまけにディバイス名称が出てきません

take-joule@takejoule-570x-DVT2:~/workspace/ncsdk/examples/caffe/AlexNet/cpp$ lsusb

Bus 002 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub

Bus 001 Device 003: ID 8087:0a2b Intel Corp. 

Bus 001 Device 010: ID 03e7:2150  

Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub

    2150が該当ですがディバイス名が表示できていない!!。Macでは表示できてます。

 このMovideius。製造ロットによって不具合があるような気がします。私の手に入れたスティックがどうやらビンゴ。Jouleダイレクト接続しか正常に動きません。

f:id:TAKEsan:20171113214906j:plain

 これじゃーねー?マウスも何もかも動かせないし、Web Cameraですら接続できません。SSH接続したMacから操作できるのみ。

 USB3.0対応ハブを2、3種類試して見ましたが、なかなか認識できませんでした。ここで言う認識できないとは、lsusbではディバイスとして認識してるのですがMovidiusのサンプルアプリを動かすと途端にディバイスエラー!!その後lsusbで確認するとMovidiusディバイスが消えているといった症状です。なんとなく電圧が不足している感じですが、電源付きのUSBハブでもダメ。それでもたまたま認識できる場合があるので、ゆっくり差し込んだりそうでもなかったり、差し込んでからブニュブニュ動かしたり、最後まで差し込んでから少し引っ張ったり。その中で安定して接続できる場合があるので、その環境で実行した動画が最初のものです。これはコミュニティーでも記事がありますので、

[Error 7] Toolkit Error: USB Failure. Code: Error opening device - Movidius Neural Network Community

どうやら私だけではなかったようです。

 このスティックのUSBアダプタは、規格ギリギリのいわゆる粗悪品が混じっていて、これが私の手元に来た感じになりますが、Joule側にも問題があるような無いような...。

SDKのインストールは簡単ですが

 SDK自体のインストールは、とっても簡単で、クイックスタート通りでインストールできました(前バージョンはダメだったけど)。途中、サンプルのコンパイルの時エラーが出ますが、Movidiusを接続しなくてもOKでした。インストールは様々なライブラリの他にCaffeもソースからコンパイルするので、結構時間がかかります。(全部で40分ぐらいだったでしょうか)ただし、PythonのOpenCV環境に関して(いわゆるCV2)、標準のインストール方法ではWebカメラが普通に動きません。つまりOpenCVでvideo0が認識できません。最終的結論は以下の通り

  • この後が問題。なぜか以下のコマンドを実行します。

    sudo pip3 uninstall opencv

 普通OpenCV Python版をインストールする場合、pip3 listを実行してもリストされないのですが、なぜかリストされます。Movidiusの標準SDKでインストールされたOpenCV関連のライブラリが悪さをしているようで、pipでOpenCVライブラリを抜くと元に戻るというような、極めてマニアックなことをしないとダメでした。

 スイッチサイエンスさんではPi3で動画認識させてますが、少し高度なやつ

GitHub - gudovskiy/yoloNCS: YOLO object detector for Movidius Neural Compute Stick (NCS)

をWEB上で見つけて、実行させたのが最初の動画です。(関係フォルダをダウンロードしたら、そのフォルダの中にYOLO tinyをダウンロード。新しくweightsフォルダを作ってその中に入れ、Camera input Scriptを実行するだけです。(ファイル名が違っているので注意)) 

 このスティック、C++でも動くみたいなので、ROSやOpenFrameworksに移植したら面白そうですね。時間できたらやってみます。 

結論的にいうと

 今回は、少しひねくれたものを動かしていますが、標準SDKに入っているサンプルを動かすと、MovidiusはJouleのために作られたんじゃないかって勘違いするくらい、するする動きます

            

標準SDKに入っているサンプルstream_inferをJouke+Movidiusで動かしているところ。ちゃんとマウスやトイプードルを認識してます。この通り単純な画像認識だけなら実用スピードです!!。Pythonで動かしてるなんて信じられませんよねー。

 僕のようにJouleを折角買って何もしないでいる皆さん!!「復活の時」です。案外また製造ラインが動くかもしれませんね。ただしステック側のコネクタが悪いのか、Joule側が悪いのか様子を見てからの方が良さそうです。(この記事書き終わる頃は接続もいくらか良くなって来た?)

 

 

 

 

 

 

 

W&T Thermal Cam3 for FLIR LEPTON3

LEPTON3の画像をテザリングでiPhoneに送る際、今まで問題になっていた画像のノイズ、スピード、距離、動作不安定の問題がほとんど解決できたので、いよいよ公開です!!

The problems of noise, speed, distance, and motion instability of images which had been a problem until now were almost solved, so it is finally open! !

システム概要

 FLIR LEPTON3とiPhoneの動作環境です。

f:id:TAKEsan:20170923164616p:plain

iPhoneアプリ操作方法

Apple アプリストアからW&Tで検索。アプリ名称はTheamal Cam3です。

                    ※2017年10月19日有料ですがダウンロード可能になりました。

W&TとはWiwao(ハード担当)とTAKEsan(ソフト担当)の合作という意味です。

f:id:TAKEsan:20170922212805p:plain

f:id:TAKEsan:20170922180732p:plain  

 そもそもLEPTONサーモセンサーってなに?

 このセンサーだけで熱を感知して、画像を再現します。真っ暗闇で何の照明を使わずに画像が再現できます。詳しくはメーカーサイトを御覧ください。

FLIR Lepton® | FLIR Systems

LEPTON1とLEPTON3はどう違うのか?

 以前発表したLEPTON1アプリは解像度が80x60。 アプリ上は8倍に画像を補間して約320x240の画像を再現していました。今回のLEPTON3アプリケーションは、もともと持っている解像度160x120を4倍に補間して320x240の動画を再現できます。同じじゃないかって?以下の違いを見てください。ジャギーの出方や背景の詳細感の差が分かるでしょうか?。実際に使うとベールが1枚剥がれた感覚です。今までLEPTON1では見逃していた小さな部分の発見につながります。

f:id:TAKEsan:20170922191654p:plainf:id:TAKEsan:20170922183836p:plain

LEPTON1でも良さそうな気がしますが、遠景がボケる(詳細ではない)ことと。この補間方法は斜めの線にジャギーが目立ちます。

f:id:TAKEsan:20170922191919p:plain

f:id:TAKEsan:20170922183918p:plain

LEPTON3の画像。背景の細かなところまではっきり写っていることがわかります。斜めの線も問題なし。全体がシャープになります。

           背景の丸い物体はこんな形の照明です→f:id:TAKEsan:20170923162315p:plain

なぜ WROOM02 (ESP8266) を使うのか?

 その消費電力の少なさと価格の安さに尽きます。消費電力はESP32やPi Zero の約半分。基盤を選べば280mAhの極小リポバッテリーで1時間以上LEPTON3の赤外線動画を発信し続けます。

f:id:TAKEsan:20170922213505p:plain

                     f:id:TAKEsan:20170920222645j:plain

      新しく開発したドローン向けの比較的大型の基板でも、電池を含めて僅か18gです

 このことは、トイドローン搭載を始め色々な用途で使えることを意味します。ただし以前の記事でも紹介したように問題も山積み。普通であればより性能の高いESP32に走りがちですが、ESP8266にこだわり続けました。ESP8266でLEPTON3の画像を しかも、100m前後離れたところからiPhoneで受信できるなんて誰が信じるでしょう!!。

  上記写真は、Dobby特化したボードで、Wiwaoさんが自力で開発したものです。ESP8266には何も改良を加えていないので当然技適も問題ありません。このボードと今回のソフトの組み合わせで双方100m程度離れている条件で、iPhoneからLEPTON3のほぼノイズがない画像が継続して再現できました。しかも測定した場所はWIFI中継点が20箇所程度と非常に劣悪な環境でした。(下記で実際の動画が確認できます)*1

 残念ながら一般のボードでは最大の動画受信距離は50m程度です。今回のアプリはボードを選びませんが、性能と安定性を望むならWiwaoさんの作ったカスタム基盤が必要になります。ESP8266で正常に動画が配信できれば、他のプロセッサやESP32を使うメリットは何もありません

今回のシステムをDobbyに取り付けて撮影すると.......。

 次の動画は、Wiwaoさんが小型ドローンDobbyに今回のシステムを取り付けて、実際に太陽電池メンテナンス用にTestフライトを実施したものです。

 f:id:TAKEsan:20170924153833p:plain

       

 画像には定期的にノイズが入りますが、Dobbyに入っているGPSが悪さをしているようです。現在はiPhoneアプリ側で修正を行い、ほとんどノイズが入らなくなっています。右上の実写画像は、Dobbyの画像データを合成しています。十分実用に耐える解像度なのが、確認できると思います。

今回のシステムはUDP OSC通信をiPhoneデザリングで実現していますが、周りの妨害電波からほとんど影響を受けません。

 次の動画はWiFi中継点が20ヶ所程度でパケットに影響の出やすい駅構内で録画していますが、多少フレームレートが落ちる程度で、画像ノイズは全くないことが確認できます。

f:id:TAKEsan:20170922214624p:plain

    

 夜なのにこんな画像が録画できます。

 人も車も風景も、そして電線も.....。このクオリティー。結構いいかもしれません。

   f:id:TAKEsan:20170926195400p:plain

    youtu.be

100m離れた場所での画像です。

 WROOM02(ESP8266)側のWIFI中継点は20箇所。iPhone側は7箇所でした。少しパケット紛失(インジケーター黄色点滅)しているようですが、動画のスピードは問題ありませんでした。この画像の撮影ではWiwaoさんの最新ボードを使っています。

 f:id:TAKEsan:20170927212241p:plain

     

LEPTON3が風に揺れています。ほとんど遅れがないことと、画像のノイズが全くないことが確認できました。この場所はすぐ左側が崖になっている住宅地で、パケットのエラー修正がまともにできていないと、満足に画像が再現できない「魔」の場所です。

 アプリ実行前に...。

 このアプリは以下の別部品およびソースのインストールが必要です。順番に沿って部品の調達およびソフトのインストールを行ってください。WROOM02のソースコンパイル時はLEPTON1の時とは違い、メモリーとCPUスピード設定をそれぞれ80MHz,160MHzに再設定が必要ですのでご注意ください。(5.ボード設定は以下の通りとしてください 参照)

 まずESP8266開発ボード、LEPTON3LEPTONブレイクアウトボードを手に入れてください。

 以下必要部品の入手先とLEPTON3画像再現までの手順です。

             f:id:TAKEsan:20170922215134p:plain     f:id:TAKEsan:20170922213121p:plain

1. ESP8266開発ボードを用意してください。 

   f:id:TAKEsan:20170922215847p:plainf:id:TAKEsan:20170921093729j:plain   

   f:id:TAKEsan:20170922220438p:plainf:id:TAKEsan:20170921093744j:plain

LEPTON3はSPIとi2C及び3.3V出力端子が必要です。これらの端子が使用できないボードもありますので、購入時は注意してください。

そして..。お待たせしました私たちの作ったボードを販売することにしました。

WiFiの飛距離が技適範囲内で飛躍的に伸びます!!。汎用にするためにボードの大きさを最適化しました。

          f:id:TAKEsan:20171129202826p:plain
www.switch-science.com

2. LEPTON3を用意してください。

       f:id:TAKEsan:20170922221854p:plain      f:id:TAKEsan:20170924112640p:plain

       日本ではコーンズテクノロジーかDigi-Keyで手に入ります。

 もし電子機器を多少かじったことがある人であればFLIR ONE(2世代目)を持っていれば、簡単に取り外すことができます。特殊ドライバ(ヘキサドライバーT5H(センター穴付))が必要で、ビスさえ外せば簡単にLEPTON3を取り外せました。と言うことは、簡単に元に戻せます。(2017年10月6日現在Apple ストアで販売されているFLIR ONEに使われているセンサーはLEPTON1(解像度80X60)なのでご注意ください。LEPTON3が使われている機種はFLIR ONE Proです。)

     f:id:TAKEsan:20170924110121p:plain f:id:TAKEsan:20170719121154j:plain    

  LEPTON3のセンサー自体は完全防水で、衝撃にもかなり強いため悪条件にびくともしませんが、取り外し可能なシャッター部品は壊れやすい欠点があります。取り扱いには十分に注意してください。LEPTON3は定期的にシャッターを閉じて画像のキャリブレーションを行っていますが、シャッターが壊れると残像が残るなど、画像に障害が出て来ます。今の所シャッターの交換部品は販売していない様なので、取り扱いには十分注意が必要です。

3. BREAKOUT BOARDが必要です。                              

     f:id:TAKEsan:20170922222619p:plain  f:id:TAKEsan:20170924112934j:plain

      日本ではコーンズテクノロジーかDigi-Keyで手に入ります。

4. Arduino IDEをインストールします(Macの場合)

Arduino IDE https://www.arduino.cc/en/main/software  をインストール

IDEを起動させたら、

    Arduino-->Preferences..

出てきた環境設定ダイアログの下の方「追加ボードマネージャーのURL:」の中に

  http://arduino.esp8266.com/stable/package_esp8266com_index.json

を書き込む。

f:id:TAKEsan:20171008224533p:plain

 

    ツール-->開発ボード-->ボードマネージャー を選択

最後の方にesp8266 by esp8266 Community という項目があります。

       f:id:TAKEsan:20170922223921p:plain

f:id:TAKEsan:20170920210049p:plain

 バージョンは必ず2.2.0 を選択してください。(上図はすでに2.2.0を選択してるので選択画面には出て来ていない)すでに 2.3.0を選択している方は 2.2.0にバージョンを落としてください。2.3.0で今回のソースをインストールするとうまく動作しません

5. ボード設定は以下の通りとしてください。

 シリアルポートはESP8266を接続すれば表示されますが、Bluetoothでない方を選択します。注意点は、Macの場合ESP8266を何回も抜き差しすると、USBを認識しなくなることです。認識しない場合はMac側のUSBコネクタを変更すると、認識するようになります。MacBookのようにUSBコネクタが2つしかなくて両方認識しなくなったら、再起動……。です。       Flash Frequency=80MHzCPU Frequency=160MHzであることに注意してください。                     

  f:id:TAKEsan:20170922224216p:plainf:id:TAKEsan:20170920210155p:plain

   f:id:TAKEsan:20170924110748p:plain

6. OSCライブラリをインストールします。

  Arduino IDEの Arduino—>Preferences..  を選択して一番上の スケッチブックの保存場所を確認します。

                 f:id:TAKEsan:20170920210844p:plain

この中に libraries  フォルダがあるかどうか確認します

                f:id:TAKEsan:20170920211146p:plain

無かったらlibrariesフォルダを作成します。以下のURLを開いて

https://github.com/sandeepmistry/esp8266-OSC

ESP8266のOSCライブラリをダウンロード解凍してlibrariesフォルダに移動させます。

一度Arduino IDEを終了させ、再起動後 スケッチ-->ライブラリをインクルードを選択して 「OSCが入っているかどうか確認。

7. iPhoneを設定します。

 iPhone を普通に初期設定するとssidは日本語になります。エラーが起きる可能性がありますので半角英字に修正してください。

 設定-->一般-->情報-->名前-->現在のiPhone名称>を選択 で名称を変更します。名称を変更してもiPhone自体の挙動に影響はありません。

8.  今回製作したESP8266Arduino ソースをダウンロードします。

https://drive.google.com/drive/folders/0BzqxnYlVMv6uRUtMb2pRXzdsNlU?usp=sharing

 ※複数のファイルがある場合は末尾の数字が大きい方です:現在EN2

    f:id:TAKEsan:20170922224440p:plainf:id:TAKEsan:20170920214731p:plain

 LEPTON3-TestFlight_EN.inoをダウンロードしてください。Arduino IDEを開いて、今ダウンロードしたファイルをダブルクリック。フォルダの中に入れますか?と聞かれるので、YESを選択。OSCやSPIの安定化、UDPパケット紛失問題の解消、ESP特有のWDTリセットの解決方法をコメントしておきました。ボードを選べば100m以上離れた場所でLEPTON3の画像が再現できます。

9. 今回のiPhoneアプリをダウンロードします。

※2017年10月19日ダウンロード可能になりました。

  f:id:TAKEsan:20171019103455p:plain f:id:TAKEsan:20171019102434p:plain

 W&Tで検索Themal Cam3を探します。申し訳有りませんが、資金が底をついてきました。数もあまり出ないと思いますので、高いとは思いますが、2,000円くらい徴収したいと思います。様々なテストをクリアしているのでアプリはとても安定して動作します。ソースは公開を予定していますが、どうしてもGUIの調整が必要なことや、もともと実機テストは期限付きなので注意してください。

10. 今回のソースを開いて一部を修正します。

 修正が必要な部分は、以下の3箇所です。

          34,35行目

          #define SSID_X    your iPhone   //iPhone

          #define PASS_X    "your iPhone password"   //iPhone

 your iPhone iPhoneの名称、your iPhone password に 設定-->モバイルデータ通信-->Wi-Fiのパスワード を調べて パスワードを入力します。

          53行目

          #define LEDpin 16

に自分のボードに合ったLEDのピン番号を入力してください。LEDは特に必要ありませんが、ESP8266の状態がわかるので、点灯すると便利です。サインは以下の通りです。

  • LED 長点滅 初期のWiFi接続中の場合点滅。中間でWDTリセットが入った時やWiFi再接続中の場合点滅。
  • LED 短点滅 iPhone側のアプリが中断した場合点滅。
  • 無点滅   正常にデータを送っている場合。
  • 無点滅中一瞬LEDが光る場合 パケットが紛失して、再度同じパケットを送っている時。ピカッピカッが多いときは、周囲の電波状態が悪く連続してパケット修正をしている状態なので、画像のフレームレートが下がります。
  GPSをONにすると、周期的に一瞬ピカッと光ります。確実にパケットを紛失してるのですが画像にはさほど影響がないことがわかると思います。BlueToothをONにするとさすがにいっぱい光ってフレームレートが落ちます

11. ESP8266とLEPTON3を接続します。

 スイッチサイエンスESPrの場合、LEPTONブレイクアウトボードとESP8266の結線は以下の通りです

                               f:id:TAKEsan:20170923112802p:plain

12. WROOM02(ESP8266)ボードにプログラムを転送します。 

 以上設定が終わったらコンパイル、転送します。たまにエラーが出る場合がありますが、その場合は再度転送してください。(USBを認識していない場合が多い)

13. いよいよサーモグラフィー開始。

 iPhone7、7plus、 SE、 iPad mini4 での動作確認をしています。一般のiPadでも動くと思いますが、両者ともCPUA9以上が必要です。iPhone8,8Plus X に関してはシュミレーターで動作を確認・調整しています。

 インストール作業から1回目の動作確認までは、簡単とは言えませんが、Arduinoに慣れている皆さんにとっては全く問題のない過程です。セキュリティーを保ったまま、2回目以降は3ステップ(LEPTON側スイッチオン-->インターネット共有-->iPhoneアプリ起動)で動いてしまいます。煩わしいWiFi選択やIP、パスワード入力などは全く必要ありません。また、テザリングを使っていても外部とは通信しないので、Thermal Cam3動作に関する通信料金は発生しません。

 皆さんのアイディアで、用途に合わせた素敵なThermal Camケースを作って見てはいかがでしょうか。私は今回Wiwaoさんが試作したボードを利用してレザーケースを3種類作って見ました。

     f:id:TAKEsan:20171021224403j:plain

 

 

*1:距離、周囲の条件により、ノイズはほとんどありませんがフレームレートは落ちます。

Maker Faire Tokyo 2017 に出ます!!(その3)  LEPTON3の進行状況

f:id:TAKEsan:20170603223845j:plain

私たちはこれを目指してました。

 2月からWROOM02(ESP8266)を使ってLEPTON1画像のWIFI配信高速化と録画の実用に向けてスタートしました。その4倍画素数の多いLEPTON3で、WROOM02を使ってこれほどの動画スピードが達成できるとは思っていませんでした。LEPTON1とLEPTON3の画像の違いは、ネット上でたくさん画像があるので確認して見てください。LEPTON1から3に変わると、霧が晴れた感じとでもいいましょうか...。画素数が4倍だからWROOM02じゃせいぜい2コマ/秒あたりが限度じゃないかと思ってしまいます。前にも書きましたがメモリを19KB以上確保しなければならないので、現状のソースをコンパイルするとArduino IDEから警告が出ます。----メモリが少なくなっていて、動作が不安定----

f:id:TAKEsan:20170720135116p:plain

 こうなると、普通のWROOM02のセオリーでは、WDT(ウォッチドッグタイマー)リセットの連続で使い物にならなくなってしまいます。しかし現実はこの通り。画像スピードが早く、息つきもリセットもちらつきも皆無です!!。ここでは紹介してませんが、操作方法や3D表示についてもLEPTON1版とほぼ同じです。

    www.youtube.com

 この画像は、右手にLEPTON3を持って左手にiPhone。IPhoneで設定を変えながら、そして自分自身回りながら撮影しています。背景がかなり滑らかにぐるぐる回っています。(手放しで喜んでる感じが伝わってくるでしょうか)

 なぜできたか?消費電力の小さいWROOM02の魅力とwiwaoさんの熱意が、全て。としか言いようがありません。 

  ほんの10日程前までは、こんな感じでした。動作は少し鈍いですが安定性はピカイチ。見通しのいいところならこのまま50mはいけます。が、今回は上の画像の様にスピードが加算されました。

    youtu.be

 同じスピード(若干遅かった時の)の画像です。途中車が走って来ますが、LEPTON3なのでかなり細かいディテールまで確認できています。

    youtu.be

 もっと前まではこんな感じ。WROOM02側でWDTリセットが入り、途中2回ほど止まってます。赤外線カメラの本領を発揮する夜の風景ですが、電線や車も細かく写ってます。このころはダイナミックレンジの調整ができなかったので、天空が極端に低い温度のため、家並みのコントラストが悪くなっています。

    

youtu.be

今年の2月時点では、

 LEPTON3センサーは部品として販売されていませんでした。wiwaoさんからの情報でFLIR ONEを分解すればLEPTON3が入ってるとのこと。ブレークアウトボードが必要だが、LEPTON1のもので代用できるとか....。半信半疑でApple Storeから購入。

                                             f:id:TAKEsan:20170719121215p:plain

 FLIR ONEは、簡単に中身を開けることができました。基盤を外すには携帯電話用の特殊ドライバ(ヘキサドライバーT5H(センター穴付)が必要で、ビスさえ外せば簡単にLEPTON3を取り外せました。と言うことは、簡単に元に戻せます。

f:id:TAKEsan:20170719121154j:plain

 FLAIR ONEは新機種に変わっているので現在取り扱いしていません。金額が不当につり上がっているのでご注意を!!。でもLPTON3は、Digi-Keyで単体購入できます。もうすでにFLAIR ONE(2世代目)お持ちの皆さんは、Digi-Keyからブレイクアウトボードを手に入れて、WROOM02があれば実行可能です。ビデオカメラとの合成はできませんが、FLAIR ONEより精細な温度分布画像が「離れたところから」確認できます。うまくいかなかったら前に戻せばいいだけです。ほとんどリスクを伴いません。

LEPTON3から出力されるデータは

 こんな感じになってます。LEPTON1の場合、画素が80X60なので、80個分のデータが60回に分けて出力されて1画面になります。画面間は、delayを設けて次の画面出力って感じ。なのでデータ取り込みは比較的簡単で、どこでデータを取っても画像がつながります。しかしLEPTON3は次のようになってるんです。

 f:id:TAKEsan:20170719113701p:plain

 80x60のデータを4つに分けて出力していて、そいつをつなげて初めて1画面(160X120)といった具合です。おまけに各セグメントのデータは右左交互に配置し直さなければダメ。見ただけでめんどくさそうですが、SPIデータが垂れ流しなので、さらに上の図で言うところのSegment1を見つけ出さなきゃない。最初に読み込んだデータがSegment1とは限らないのですから!!。この段階でESP8266では、スピードとメモリ容量を考えると、絶対無理だろうと思いました。最初はESP32で開発作業を進めたんです。通信方法は今まで通りOSC。初期のデータの合成表示はMacです。

以下苦難の歴史です。

3月初期段階 1画面ようやくそれらしいのが再現されました。ただし1セグメントのみ!!

 f:id:TAKEsan:20170713212655p:plain f:id:TAKEsan:20170713212650p:plain

 

3/5  ESP32にて3画面取れた様子です。セグメントがバラバラでしかも3つのセグメントしか再現できていません。

         f:id:TAKEsan:20170713212454p:plain

3/7 Segmentの順序が不動ですが、明らかに4セグメント再現できました

 f:id:TAKEsan:20170713212449p:plain f:id:TAKEsan:20170713212442p:plain

3/9 4画面取れた様子。でも色が....。これは各セグメントをその都度探してつなぎ合わせたもので、ものすごーく遅かった。

 f:id:TAKEsan:20170713212537p:plain f:id:TAKEsan:20170713212507p:plain

3/12 配列を工夫して色バランスがなんとかなった。

         f:id:TAKEsan:20170713214538p:plain

4/1 この辺りからiPhoneにソフトを移植。ESP32のリセットがあまりに多かった。しかもノイズがひどい。

   youtu.be

iPadでその当時の高速配信。このころは外部でテストしていなかった。iPadではノイズが入らない?。外に行くと途端にダメ 。WIFIが切れたり、ESP32がWTDリセットで頻繁に止まる。

    youtu.be

4/11 あまりにESP32のリセットが多いのでこれ以上不可能と諦め、半信半疑でESP8266に戻った。

  やはりノイズがひどい。GPSとBluetooth(アップルウォッチ)が原因とは....。

   youtu.be

  この時点で、私の腕からアップルウォッチがなくなりました。

これからがリセットとの戦い!!

4/21 ドローン搭載。でもwiwaoさんの方では頻繁にリセット。

   

youtu.be

4/28 パケットを減らしたら、WDTリセットが急激に減少。でもスピードが納得できない!!。

   youtu.be

ここからが進まない...。パケットを減らしてスピードを上げるにはどーすりゃいいんだ....。毎日落ち込んだり喜んだりトライアンドゴーの連続でした。急激に進んだのは7月に入ってからで、現在(最初の動画)につながります。

今使ってる赤外線カメラ側のボードは、

こんな感じです。

f:id:TAKEsan:20170719234858j:plain

 画像ではかなり大きなLIPO電池を使っていますが、最小のものでも動作は確認しています。さらに今、wiwaoさんがWIFIのさらなる改善をすべくWROOM02基盤を改良中です。

そんなわけで

 ソフトそのものと、汎用ボードは完全にできてるのですが、Faireまでの残り時間を考えると、iPhoneアプリストアでの公開や最新ボードが間に合わない様です。最初の動画を見てホントかよ?と思う方は、是非私たちに会いに来てください!!。周りにWiFiの極端な混雑がなければ、実際のデモで確認できます。

      f:id:TAKEsan:20170720000957p:plain iPhoneアプリ用のアイコンです。

                                では、また。

 

 

 

 

 

 

特殊なiOSアプリが6日で承認された!!for Maker Faire Tokyo 2017

何が特殊か?

 どんなアプリかは、すでに前々回の記事で紹介しましたが、このiOSアプリが今日アプリストアからダウンロードできるようになりました。

 このアプリを実行するには、別途自作ボードが必要。LEPTON1とWROOM02をつないでソースをインストールするだけですが、アプリを審査する側では、動かして確認することができません。また、離れた場所にカメラを置いて動作させる点が特徴なので、この辺りもAppleの厳しい規則に抵触する恐れがあります。最後まで半信半疑でした。それ以前に、なんつったってこっちは1度もアプリ申請などしたことがないんですから...。ボクは規則が大嫌いな還暦過ぎたおじ(おじい)ちゃん。まだまだお兄ちゃんたちには負けられない〜〜〜〜〜。

申請の前準備

 とにかくどうすれば動くのか、そして実際アプリが動かなくとも全ての動作内容が、審査員に理解できるようにしなければならないので、動画を作成。

                       改めて見ると、結構内容があると思うんですが。

 そのほかWROOM02側で使用する部品やソースの説明が必要なわけで、そちらの方はこのブログを追加してます。 テストフライトまでのアプリ修正内容やエラー対策の概要もメモしておきました。
 また応用方法や、目標をアピールするために、Maker Faire出展内容を書いたブログを修正--->一番最初の「メーカーフェア東京2017に出ます」参照

申請はオール日本語!!

 申請を日本国内に絞ると、後からグローバルにするには手間がかかるって記事がありますが、基本Maker Faireに的を絞っているので、日本国内に限定することにしました。そして、名前と住所以外全ての項目を日本語で申請しました。iTunes Connect の登録では、説明内容が全て日本語になってるんで、日本語で受け付けないわけがないですよね。審査はアメリカのアップル本社らしいのですが、日本語を理解できる方が存在するようです。

 結局、一番問題になると思われるApp Reviewに関する審査員へのアピール情報の内容は、以下のようにすごく簡単なものになりました。一切英語の説明文なし!!

・このアプリは小型、軽量、低消費電力の赤外線カメラ画像をWIFIテザリング機能を利用してiPhoneまたはiPhoneで表示します。
・iOSディバイス単独では動かないため、実際のすべての操作内容をビデオ記録しました。
https://youtu.be/r3oXfjMgX1Q
・赤外線カメラ側の使用部品、プログラムソースは次のURLの後半をご確認下さい。
    http://takesan.hatenablog.com/entry/2017/06/22/124803
・Maker Faire Tokyo 2017(2017年8月5〜6日)への出展が決まり、今回の赤外線カメラを超小型トイドローンへ取り付け、iPhoneで画像を再現するプロジェクトで使用を予定しています。出展予定内容の説明は次のURLをご確認下さい。
    http://takesan.hatenablog.com/entry/2017/06/04/201856

驚きの機能を少しでも多くの皆さんに楽しんでいただけるように、また多くの研究・産業開発用途への応用を期待して、無償配布にしたいと思っています。

 その他の内容は、詳しく説明しているブログiPhone アプリ開発 | スマホ・アプリの作り方入門がありますのでそちらを参照して下さい。入力は難解な部分がありますが、エラー処理がなかなか優れているので、なんとかなります。今回のプロモーション用テキストや概要(実際にアプリストアで表示される)については、嘘のない内容でごく当たり前に書いています。

 最後に「審査へ提出」ボタンを押したらローカライズエラー!!。UINewsstandIconがどうのこうのと表示されるのでinfo.plistからNewstand Icon部分を削除して再度バージョンナンバーを変えてUPLOAD。この辺りはエラー内容に応じて修正すれば良いだけです。

さーてどうなるんでしょうね。

審査経過

6月25日 20:00:審査へ提出 すぐに

    Your app (iOS) status is Waiting For Reviewのメールが来る

 6月27日 5:40:審査中のメールが来る。

 6月27日 6:37:リジェクトメールが来る。ガッカリ😞

We found that your app records the user but does not have the proper indicators that the app is recording, as required by section 3.3.8 of the Apple Developer Program License Agreement<https://developer.apple.com/terms/>.

Specifically, your app records video but does not have a clear visible visual indicator that the app is recording. The small red dot at the corner of the screen is not sufficient to be in compliance.

Next Steps

Please revise your app to implement the required means of indicating the recording activity to all parties. Please note that the recording indicator cannot be disabled and your app cannot go blank during recording.

  こんな感じで、すごく遠回しな言い方の内容。共同開発者wiwaoさんに手伝っていただいて、だいたい分かったのは、録画ボタンを押した時に点灯するインジケーターランプが、あまりにも小さすぎるってことらしい。だったらiPhone付属の写真アプリ(ビデオ録画ボタン)に合わせれば良いんじゃねーってことで、

  新しく録音中のビデオを作って

        

            星に願いを...がふるってるでしょ!!

こんなコメントを書いて再申請することにしました。これも日本語

●録画ボタンを変更しました、また、録画中も明確に録画していることが分かるように修正しました。録画中及び再生中の動作は以下の画像を確認してください。
   https://youtu.be/zb3TG6tX-Vo

●録画ボタンを変更しましたので、すべてのプレビューとスクリーンショットを変更しました。

6月27日 19:46再申請(バージョン番号を新しくして再コンパイル&UPLOAD)

6月28日 未明:またまた同じような内容のリジェクトメール!!。内容を見てないというより向こうはWIFIの電波状況を示すインジケーターランプを録音中ランプと勘違いしてる。

6月28日13:12 :今度は慎重に日本語と英語で抗議文を提出。さらに、修正した内容を駄目押しでPDF添付。(今度ばかりは英文を添付

今回提出した最新版アプリ(1.20.2)ですが、録画前と録画中を明確にしたつもりです。
画像中に現れるインジケーターは、赤外線カメラとのWIFI電波状況を示すもので、接続していないと赤く点灯します。
どこが不足しているか、具体的に教えてください。
今回のアプリの説明ファイルを添付します。
It is the latest version application (1.20.2) submitted this time, but I intend to clarify before recording and during recording.
The indicator appearing in the image indicates the WIFI radio condition with the infrared camera, and it will be lit in red if not connected.
Please tell me exactly what is missing.
I will attach a description file of this application

    f:id:TAKEsan:20170630144349p:plain

6月29日15:47 :こんな内容の文書が書き込まれる

We apologize for the delay. Your application is still in review but is requiring additional time. We will provide further status as soon as we are able. Thank you for your continued patience.
Best regards,

これも遠回しだけどなんとなく申請が通りそうな雰囲気

 6月30日6:54:突然審査が通ったメールが来る。 すごく嬉しい!!

そして....

 結局致命的なリジェクトは1回で済みました。最初から録画ボタンがこんな感じだったら、3〜4日で通ることになります。みなさん録画ボタンにはくれぐれもご注意を。あーそうそう。今回のアプリはW&Tで一発検索できます。Maker Faire TOKYO 2017でお会いしましょう。

Maker Faire Tokyo 2017では こんな感じで展示します。

f:id:TAKEsan:20170718183603p:plain

WROOM02側アプリは、こちらの記事に書いてあります。

takesan.hatenablog.com

 

                                では、また。

 

Maker Faire Tokyo 2017 に出ます!!(その2)

iPhone側のソースをビルドして動かせる様になるには、

 かなりつまづくことも多いかと思うので、先週からアプリストア登録作業を行うことにしました。メイカーフェア( Maker Faire Tokyo 2017)に展示するので当然無料配布です。

           f:id:TAKEsan:20170613224819j:plain

 と言っても、iPhone単独では画像が再現できないことと、私はまだ1度も登録作業を行ったことがないので、今のところなんとも言えないのですが.......。同じ様なこと「アプリ単独では、実行が確認できないアプリのアプリストア登録??」を考えている方もいると思うので、申請の過程をメモすることにしました。アプリストア登録完了が、Maker Faire Tokyoに間に合わなかったらすいません。ただその場合は、実機テスト用のインストール説明を書くつもりです。

 まず、本申請の前のテストフライトまでの要点を説明します。OpenFrameWorksを使ったアプリの登録紹介記事がほとんどないので、特に引っかかった点などをまとめてみます。

 今回の基本的な登録の方法は、次のブログを参考にさせていただきました。
痒いところに手が届く素晴らしい記事が満載です。テストフライトもこの記事に沿って実行していくとバッチリ!!

OpenFrameWorks(以降OF)上での問題点

標準UIの問題

 OFでiOSのGUIを使うため、基本的には多摩美の田所先生の記事を参考にさせていただきましたが、iOSがバージョンアップしているので、そのままではすんなり実行できません。以下iOS特有のUI環境構築手段です。

 newfile->iOS->Source->Cocoa touch Class->Next->Class名変更、サブクラスはそのまま、Also creat XLB fileにチェック。3つのファイル(この場合EPSView.h,EPSView.m,EPSView.xlb)は自動で作成されます。そしてxxxx.m の拡張子を .mm に変更。

f:id:TAKEsan:20170613221707p:plain

 一番厄介なのは、iOSのUI環境に関して、OFでも、ビジュアルCを使用しなければない点です。(自動作成されるxxxx.h,xxxx.m2つのファイル)他の言語に慣れている者にとっては何もかも勝手が違うので、この部分を極力少なく記述するのが一番無難な手段だと思われました。今回のアプリは、画像上の位置を取得する必要がありますが、通常のiOSでは、UIのタップイベントに焦点を当てているため、画面の座標取得方法がかなり厄介です。なので、UIを最小限にまとめてディバイスに合わせて縦方向に伸び縮みさせる手段を取っています。

f:id:TAKEsan:20170613205419p:plain

 ボタン等のリンク方法は田所先生の記事

iOSのGUIをopenFrameworksのプロジェクトに追加する | yoppa org

を参考にしてください。ただ、setup()内の初期設定は現状少し変更の必要があります。以下の様にします。EPSViewは固有値です。

    gui = [[EPSView alloc] initWithNibName:@"EPSView" bundle:nil];

    [ofxiOSGetGLParentView() addSubview:gui.view];

標準OSCアドオン応用方法の改善

 過去の記事に書いていますが、iPhoneとWROOM02の通信手段はUDPです。これを使ったOSCという通信プロトコルを使って、画像配信を実現しています。たまたまOFと、WROOM02にライブラリが存在していたので、比較的簡単に双方向通信が実現できました。OSCは、音響機器の通信制御用に開発されたものなので、画像通信にはあまり適していません。今回はプログラムの作成が簡単なOSCの文字列送信を使い、LEPTON1の低解像バイナリデータを余計な変換なしで送っています。通常OSCでバイナリデータを送る場合は一旦文字に変更する必要がありますが、それでは単純にデータ量が4倍近くなるため、WROOM02の処理能力では問題が出て来ます。今回の画像データは、256階調のグレースケールであること(ASCIIコード内で収まる)をうまく利用して、一番問題となるデータ上の、ゼロを1に変更することでなんとかなってます。さらにLEPTONのX方向1行分のデータ164ビットを、String処理の限界に近い5行分送ることで、動画スピードを大幅に改善させました。

位置情報の取得

 これはplistへの追加と、OFの標準関数を使えば簡単にデータを読み取ることができました。実現するまで時間がかかりましたが、最終的にはOFのサンプルソースにヒントがありました。----->CoreLocationExample

plistにLocationを追加して(今回は2つ)

f:id:TAKEsan:20170613211615p:plain

ofApp.h

    ofxiOSCoreLocation * coreLocation; を追加。

ofApp.mm

    coreLocation->getLatitude()

    coreLocation->getLongitude() で緯度経度の値を取り出せます。

動画の保存

 今回は、OF唯一のiOS動画保存addonを使用しています。内部的にはFBOを使って動画保存を実現している様です。ただ、iPhoneのフォトライブラリフォルダに保存しないと使い物にならないので、仕方なくビジュアルCでコードを記述しています。とにかくこれ(ofxiOSVideoWriter)を作った方には感謝しか言葉がありません。

GitHub - julapy/ofxiOSVideoWriter: ofxiOSVideoWriter allows to screen record OF applications on iOS. (still very much a work in progress)

 ただし今回はofVbo(3D画像処理に使用)がうまく表示できないため、main.cppglesVersion をES1に指定する必要がありますが、実行時エラーが出るようです。

    [ error ] ofShader: sorry, it looks like you can't run 'ARB_shader_objects'

    [ error ] ofShader: please check the capabilites of your graphics card:       

    他。

アプリが中断することはないので、無視して良いと思います。また、カメラロールに保存させるために

ofxiOSVideoWriter/src/ofxiOSVideoWriter.mm の中のfinishRecording()関数を以下の様に変更する必要があります。

 

void ofxiOSVideoWriter::finishRecording() {

    if((videoWriter == nil) ||

       [videoWriter isWriting] == NO) {

        return;

    }

    [videoWriter finishRecording];

    killTextureCache();

    //****************************by Takesan ******************************************

    //ローカルフォルダに保存してから、カメラロールにセーブする。

    NSString * docPath = [NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) objectAtIndex:0];

    NSString * docVideoPath = [docPath stringByAppendingPathComponent:@"/video.mov"];

    UISaveVideoAtPathToSavedPhotosAlbum(docVideoPath,nil,nil,nil);

    //********************************************************************************

}

 

さらにplistに2項目追加する必要がありました。

f:id:TAKEsan:20170622123539p:plain

動画の表示方法

 今までは、画像上で各ピクセルに対応した小さな円を書いて画像を表示していたのですが、あまりにも遅く、非力なWROOM02から送られてくる画像データでも、4倍補間と円の描画に手間取り、iPhone側の処理が間に合いませんでした。今回は、LEPTON1の3D画像を実現させた時に使っている図形描画が非常に早いことに目を付け、高さ方向を0にして2D通常画像を表示させています。円描画に比べると詳細感は出ませんが、スピードを優先させました。ピクセル中に黒を背景に入れると全体が引き締まり、にじみが出にくいのですがが、今回使っているVboでピクセルを小さくするとモアレが出る様です。今回はモアレが発生するギリギリの大きさで、各ディバイスの動画表示を調整しています。ただこれだけでは惜しいので特別にロゴを利用したボタンで詳細感を味わえる様にしています。

          f:id:TAKEsan:20170613214228p:plain

各画素を円にして背景を黒にすると、画像が引き締まり詳細感(にじみが出にくい)が出るが、表示が遅くなる。

テザリング中のiPhoneとWROOM02の電波干渉問題

 今回はテザリングを利用して通信していますが、不思議なことに定期的・時間帯によって画像が乱れました。原因が暫く掴めず、この部分でも10日近く調整を行いましたが、結局はiPhone側のBlueTooth(特にApplewatch使用時)とGPS原因だとわかりました。データ配信量の多いLEPTON3の場合は、これが顕著で決定的に乱れた画像になりますが、今回のLEPTON1ではさほど問題となりません。したがって、より綺麗な画像を求めるなら、両方をiPhone側でOFFにすることをお勧めします。今回は位置情報の同時録画が必要になる場面があると考え、位置情報をONにした場合、位置情報を表示させる様にしています。

アプリ名称の変更

 OFではプロジェクト名がアプリの名称になり、このアプリ名称変更について誰しも悩むところですが、1箇所だけの修正でなんとかなりました。

f:id:TAKEsan:20170613215516p:plain

             Plist のBundle display nameを変更する!!

iOSのソースは

 今回のアプリは、アプリストアからダウンロードできる様になりました。W&T で検索。

               f:id:TAKEsan:20170720011602p:plain

ソースが必要な方は、必要であることを下のコメントに書き込んでください。

テストフライトエラー対策

アイコン登録でのエラー

 各ディバイスのアイコンが全て存在しないとエラーになります。

f:id:TAKEsan:20170613220548p:plain

 OFではアイコン表示に特殊な処理をしているので、修正方法がなかなか見つけられませんでしたが、基本は至って簡単でした。参考にさせていただいた記事は、

iOSな日々: iOS7:アイコンサイズの追加対応について

1種類のアイコン画像を作って各サイズに変換。それぞれ大きさの違う画像をMedia.xcassetsに貼り付けるだけでした。

f:id:TAKEsan:20170613220606p:plain

 さらにplistのアイコン名称は全て消す必要があります、ですから一般的にWEBで紹介されているアイコンの追加方法ではうまくいきませんでした

オリエンテーションの修正部分

 傾けるとUIが追従する機能ですが、これも正しく設定しないとエラーになります。General-->Deployment info-->Devise Orientation部分を下図のように全てONにするか、

f:id:TAKEsan:20170613220555p:plain

 下図の様にすることが必要。今回のアプリはiPhoneの傾きに追従すると、ドローンの操作中めまぐるしく画面が回転する可能性があるため、下図のようにUI追従を外しました。

f:id:TAKEsan:20170613221311p:plain

          Devise OrientationはPortaitのみON、Status Bar StyleはRepuires full screenのみON

ディバイス対応方法

 基本的にOFではdraw()内で座標を指定する数値を変更するだけでOKですが、この時、OF標準関数でディバイス名を確認する手段があります。今回はそれを使っています。

            string devtype= ofxiOSGetDeviceRevision();

 今回のアプリは、iPhone6,6s,7  iPhone plus 6,6s,7  iPhone SE   iPad=5th generation以降(mini含む)に対応しています。

 以上の対応で、テストフライトは一応成功しました。共同開発者wiwaoさんに手伝っていただいて、5機種のインストールと表示確認を行い、バグッフィックス終了。いよいよ明日からアプリストア登録作業開始です!!。

WROOM02ソースについて

SPI読み取り部分の改善と単純化

 今回は標準SPIライブラリを使い、少し中途半端なクロック数にしていますが、この設定が最も安定していました。またバイト単位の読み込み関数では、スピードが間に合わないため、LEPTON1データの1行分を全部読み込む処理を行っています。またCS信号のON OFFスピードが決め手となるため、この方のブログ

ESP8266 ( ESP-WROOM-02 ) SPI 通信の高速化に挑戦 | mgo-tec電子工作

を参考にできるだけCS信号の切り替えスピードを速めています。

Yield(),Delay(),などの使い分け

 WROOM02のArduino IDEを使う上で一番厄介な部分です。WIFIやSPIを使う場合これを適度に散りばめないと、yield()やdelay()時間内でWIFI処理を行っている関係上、頻繁にリセットする原因になります。今回は通常考えられないところにyield()やdelay()が入っていますが、各行に入れたり抜いたりして調整した結果がこの位置になっています。今回はLEPTONの上限10FPSが達成し、リセットしないところが最適位置ということになります。色々なブログに対策方法が載っていますが、繰り返し文以外にもどうやらプログラム内容によって確実に必要な場合があり、決定的な決め手がないことにご注意ください。現状での最終的な調整方法は、コンパイルを繰り返し、リセットを起こさない最適値・最適位置を探すだけです。この部分だけでもLEPTON3版開発も含めて、合計1ヶ月間は潰された唯一のアイマイで厄介な所でした。

ダイナミックレンジ変更について。

 LEPTON1には14bit階調のグレースケールデータを出力するモードと、8bit 256階調のカラーデータを出力するモードがあります。カラースケールモードを利用すれば画像を再現する上で最も簡単なのですが、単純にデータ量が3倍になる点とセンサーが感知した温度を計算することが難しいので、今回は不採用。したがって、今回は14bitグレースケール出力を採用しました。ただし、これを採用すると、画像表示上8bitデータに変換する必要があり、確実に階調が落ちます。また、例えば火などが一部に入った画像を確認する時など、温度差がありすぎて背景が消えてしまいます。これらを避けるため測定温度範囲を調整できる様にして256階調表示の欠点を改善しています。 

WROOM側のソース他

 下に提示したソースをWROOM02にインストールし、iPhone側アプリを立ち上げることで、最良のスピードかつ、iPhone側で指定した温度の計測や、先に書いたダイナミックレンジの調整ができる様になります 。今回私たちが作成するボードに頼らなくてもWROOM02市販基盤で実現が可能です。たった300行足らずののソースで、50m以上離れていても動画が鮮明に再現できて、付加価値情報も取得できる点は、驚くべきところだと思います(WROOM02が...です)。

LEPTON1とWROOM02の接続方法

 以下の配線は、スイッチサイエンス版ESPr Developerを使用した場合です。

   f:id:TAKEsan:20170622112807j:plain

             LEPTON基盤   ESPr Developer

            CS----------> IO15

            MOSI-------> IO13

            MISO-------> IO12

            CLK -------> IO14

            GND-------> GND 

            VIN---------> 3V3

            SDA--------> IO4

            SCL--------> IO5

wiwaoさん設計ボードの場合

 今回の最新試作基盤です(共同開発者wiwaoさん設計)。当然ながらLEPTON基盤にダイレクト接続可能。写真ではLEPTON3を接続しています。

    f:id:TAKEsan:20170622113956j:plain

必要部品は、wiwaoさん設計ボード(キットとしてMaker Faireで販売予定)LEPTON1(シャッター付き)、LEPTONブレイクアウトボード、Lipo電池またはUSB電源、USBシリアルアダプタ、スルーホール用テストワイヤー(マルツパーツ)です。

f:id:TAKEsan:20170624231406j:plain

ピンヘッダを取り付けるとドローンなどに載せるとき邪魔になるので、基盤に直接接続できるスルーホール用テストワイヤーを使います。

f:id:TAKEsan:20170624231425j:plain

配線状況です。Arduinoソースをインストールするときは、この状態でスイッチをONにします。インストール完了後ワイヤーを外せばOK。iPhoneから30m以内(見通しの良いところで50~60m)ならどこにでも持ち運び自由かつ画像表示可能です。

f:id:TAKEsan:20170624231348j:plain

Arduino IDE について

 ESP8266 Arduino IDEのバージョンは2.2.0を設定してください。最新版の場合Delay()やYield()、SPIの再調整が必要のようです。

     f:id:TAKEsan:20170623095436p:plain

 ESP8266の設定は以下の通りです。Flash FrepuencyとCPU Frepuencyのスピードを上げたいところですがうまくいきませんでした。また、Upload Speed も115200推奨です。これ以上に設定すると、バイナリコードの転送がうまく行かない場合があります。

      f:id:TAKEsan:20170623095443p:plain

WROOM02ソース

 SSID、パスワード、必要ならポート番号を変更(localPortはoutPort+1として下さい。変更した場合は、iPhone側でも変更が必要です)、基板に合わせてLEDのGPIO番号を最初の方で設定してから、ビルド転送して下さい。変更部分は以下の通り4箇所です。

//#######################################################################
//******1.OSCライブラリを以下よりダウンロードして所定の場所にコピーしてください*******
//     https://github.com/sandeepmistry/esp8266-OSC
//========================================================================
//*************** 2.自分の環境に合わせて以下の設定を変更してください **************
//========================================================================
#define SSID_X "XXXX-iPhone" //iPhone
#define PASS_X "99999999999" //iPhone
#define IP_X 172,20,10,1 //iPhone "なし,仕切り。テザリングはこのアドレス固定

//#define SSID_X "YYY-iPad" //iPad
//#define PASS_X "88888888" //iPad
//#define IP_X 172,20,10,1 //iPad "なし,仕切り。テザリングはこのアドレス固定

//#define SSID_X "router ssid" //WiFiを使用する場合
//#define PASS_X "router pass" //WiFi
//#define IP_X 192,168,XX,XX //WiFi "なし,仕切り
//========================================================================
//***************** 3.ポート番号を設定してください ****************************
//========================================================================
const unsigned int outPort = 8090; // 送信は標準で8090 iPhone側は8091
const unsigned int localPort = 8091; // 受信は標準で8091 iPhone側は8090
//========================================================================
//***************** 4.LEDのGPIOピンを設定してください ************************
#define LEDpin 16
//========================================================================

#include <ESP8266WiFi.h>
#include <WiFiUdp.h>
#include <SPI.h>
#include <OSCBundle.h>
#include <OSCData.h>
#include <OSCMatch.h>
#include <OSCMessage.h>
#include <Wire.h>

//iPhoneテザリングLAN設定
char ssid[] = SSID_X; // 無線ランのSSID名称:文字列。
char pass[] = PASS_X; //同上 password
const IPAddress outIp(IP_X); //macの場合

//**************スピード調整******************
//2017/3/14 安定板 スピードは以下に決まり。5行まとめて送信版
#define CLOCK_TAKE 11000000
#define DELAY_READ1 6 //6 1回目の読み取り
//******************************************
OSCErrorCode error;
//************LEPTON コマンド用***************
#define ADDRESS (0x2A)
#define AGC (0x01)
#define SYS (0x02)
#define VID (0x03)
#define OEM (0x08)
#define GET (0x00)
#define SET (0x01)
#define RUN (0x02)
//**************CS信号高速化用*****************
#define PIN_OUT *(volatile uint32_t *)0x60000300
#define PIN_ENABLE *(volatile uint32_t *)0x6000030C
#define PIN_15 *(volatile uint32_t *)0x60000364
//******************************************
WiFiUDP Udp;
char zz[81*5+1]; //5LINE分一挙に送るため Stringの限界450程度
unsigned int min = 65536;
unsigned int max = 0;
float diff;
char ip_ESP[16];
static uint8_t lepton_image1[82*2*60];
int touchX = 39;
int touchY = 29;
//*************OSCアドレス********************
OSCMessage msg1("/minmax");
OSCMessage msg2("/img_8");
float sl_256=0.0f;
//################################# 初期設定 ########################################
void setup()
{
pinMode(LEDpin, OUTPUT);
Wire.begin();
Serial.begin(115200);
pinMode(2, OUTPUT); //使わないピンはOUTPUT

SPI.begin();
SPI.setClockDivider(0); //念のため
delay(1000);
SPI.setFrequency(CLOCK_TAKE); //SPIクロック設定

Serial.println("Wait!! Now SPI set up.........");
PIN_OUT = (1<<15);
PIN_ENABLE = (1<<15);
delay(500);
PIN_15 = 1; //LOW
delay(1000);
Serial.println("setup complete");
Serial.println();
Serial.println();
Serial.print("Connecting to ");
Serial.println(ssid);
WiFi.begin(ssid, pass);

while (WiFi.status() != WL_CONNECTED) {
digitalWrite(LEDpin, HIGH);
delay(50);
digitalWrite(LEDpin, LOW);
delay(50);
Serial.print(".");
}

digitalWrite(LEDpin, HIGH);
Serial.println("");
Serial.println("WiFi connected");
Serial.println("IP address: ");
//ローカルipを文字列に変換moziretunihennkann
sprintf(ip_ESP, "%d.%d.%d.%d", WiFi.localIP()[0], WiFi.localIP()[1], WiFi.localIP()[2], WiFi.localIP()[3]);
Serial.println(ip_ESP);
Serial.println("Starting UDP");
Udp.begin(localPort);
Serial.print("Local port: ");
Serial.println(Udp.localPort());
Serial.println("LEPTON START!!");
}
//################################# SPI データ 読み取りコマンド ########################################
void read_lepton_frame(void)
{
int i;
uint16_t data = 0x0f;
delay(DELAY_READ1); //********************************<-----肝心!! 6固定
while ((data & 0x0f) == 0x0f)
{
PIN_15 = 1; //LOW
SPI.transferBytes(0x0000,lepton_image1,164);
PIN_15 = 0; //High
data = (lepton_image1[0]<<8 | lepton_image1[1]);
}
for (int frame_number = 1; frame_number < 60; frame_number++){
PIN_15 = 1; //LOW
SPI.transferBytes(0x0000,&lepton_image1[frame_number*164],164);
PIN_15 = 0; //High
}
}
//#################################メーカーSDK i2C 操作コマンド########################################
void lepton_command(unsigned int moduleID, unsigned int commandID, unsigned int command)
{
byte error;
Wire.beginTransmission(ADDRESS);

// Command Register is a 16-bit register located at Register Address 0x0004
Wire.write(0x00);
Wire.write(0x04);

if (moduleID == 0x08) //OEM module ID
{
Wire.write(0x48);
}
else
{
Wire.write(moduleID & 0x0f);
}
Wire.write( ((commandID << 2 ) & 0xfc) | (command & 0x3));

error = Wire.endTransmission(); // stop transmitting
if (error != 0)
{
Serial.print("error=");
Serial.println(error);
}
}
//######################LEPTON SDK i2C 操作コマンド#############################
void set_reg(unsigned int reg)
{
byte error;
Wire.beginTransmission(ADDRESS); // transmit to device #4
Wire.write(reg >> 8 & 0xff);
Wire.write(reg & 0xff); // sends one byte

error = Wire.endTransmission(); // stop transmitting
if (error != 0)
{
Serial.print("error=");
Serial.println(error);
}
}
//######################LEPTON SDK i2C 操作コマンド#############################
int read_reg(unsigned int reg)
{
int reading = 0;
set_reg(reg);
Wire.requestFrom(ADDRESS, 2);
reading = Wire.read(); // receive high byte (overwrites previous reading)
reading = reading << 8; // shift high byte to be high 8 bits
reading |= Wire.read(); // receive low byte as lower 8 bits
return reading;
}
//######################LEPTON SDK i2C 操作コマンド#############################
int read_data()
{
int i;
int data;
int payload_length;

while (read_reg(0x2) & 0x01)
{
Serial.println("busy");
}
payload_length = read_reg(0x6);
Wire.requestFrom(ADDRESS, payload_length);
//set_reg(0x08);
for (i = 0; i < (payload_length / 2); i++)
{
data = Wire.read() << 8;
data |= Wire.read();
}
return data;
}
//############################# iPhone Touch XY #############################
void touch(OSCMessage &msg) {
float sli=sl_256;
touchX = msg.getInt(0);
touchY = msg.getInt(1);
sl_256 = msg.getFloat(2);
if (sl_256 > 0.95 || sl_256 < -0.95) sl_256=sli;
}
//########################### メインルーチン ###################################
void loop()
{
int p,tempXY1;
int reading = 0;
String debugString;
int col;
float value_min,value_max,tempXY;
//**********Osc Receive**********
OSCBundle bundle;
int size = Udp.parsePacket();
if (size > 0) {
while (size--) {
bundle.fill(Udp.read());
}
if (!bundle.hasError()) {
bundle.dispatch("/tmpXY",touch);
} else Serial.print("error!!");
}
//********** 温度計算 **********
min = 65536;
max = 0;
read_lepton_frame();
yield();
for (int frame_number = 0; frame_number < 60; frame_number++){
for (int i = 2; i < 82; i++)
{
p=(lepton_image1[frame_number*164+2*i] <<8 | lepton_image1[frame_number*164+2*i+1]);
if(frame_number==touchY && i-2==touchX) tempXY1=p; //iPhoneをタッチしたアドレスの温度データ
if(p < min) min = p;
if(p > max) max = p;
}
}
int rrr=(int)(max - min)*(1.0f-abs(sl_256)); //高温側を256等分 iPhoneスライダーに連動 標準は0。最高で0.9
diff = rrr/ 256.0f;
rrr=(float)(max - min)*sl_256; //開始低温度側温度
lepton_command(SYS, 0x14 >> 2 , GET); //ondo : 0x14 = chip 0x10 = aux
float aux=read_data() ;
ESP.wdtFeed(); //大事!!

if(sl_256>0) min=(float)min+rrr; //最低温度表示も開始温度に連動させる
if(sl_256<0) {max=(float)max+rrr;} //最高温度表示も開始温度に連動させる minはそのまま

float fpatemp_f =- 472.22999f + (aux/ 100.0f) * 1.8f - 459.67f;
value_min = (((0.05872 * (float)min + fpatemp_f)) - 32.0f) / 1.8f;
value_max = (((0.05872 * (float)max + fpatemp_f)) - 32.0f) / 1.8f;
tempXY = (((0.05872 * (float)tempXY1 + fpatemp_f)) - 32.0f) / 1.8f;
//*****************Send osc data*****************
msg1.add(value_min).add(value_max).add(tempXY).add(ip_ESP);
if(Udp.beginPacket(outIp, outPort)==1)
{
msg1.send(Udp);
Udp.endPacket();
msg1.empty();
}
yield();
//***********************************************
for (int frame_number = 0; frame_number < 60; frame_number+=5){
for (int ii = 0; ii< 5 ; ii++)
{
for (int i = 2; i < 82; i++)
{
int ax=(frame_number+ii)*164+2*i;
col = (int)((lepton_image1[ax]<<8 | lepton_image1[ax+1]) - min)/ diff; //(int)を入れないと符号無し演算になる!!1; //=0
if(col <= 0) col = 1; //=0
if(col > 255) col = 255;
zz[ii*81+i-1]=col;
yield(); //これがデータ安定の決め手
}
zz[ii*81]=frame_number+ii;
if(frame_number==0) zz[0]=0x3c; //=0 nara 0x3c tosuru.
}
zz[81*5+1]='\0'; //String の最終処理
//*****************Send osc data************
msg2.add(zz );
if( Udp.beginPacket(outIp, outPort)==1)
{
msg2.send(Udp);
Udp.endPacket();
msg2.empty();
}
//******************************************
yield(); //絶対必要!!
}
}

iPhoneアプリはアプリストアからダウンロードできます!!

W&T で検索。 

              f:id:TAKEsan:20170720011602p:plain

使い方は

           www.youtube.com

Maker Faire Tokyo 2017 では

 こんな感じで展示します。

f:id:TAKEsan:20170718183603p:plain

   

                                                  では、また。 

 

 

メイカーフェア東京2017に出ます!!

あー長かった。Maker Faire Tokyo 2017 の承認通知が来ました。

f:id:TAKEsan:20170603223845j:plain

  このブログをきっかけに知り合ったwiwaoさんと2人で、今年のメイカーフェア東京に参加申請することになった経緯は前回書きました。トイドローンに取り付けたLEPTONサーモカメラ画像をiPhoneで確認。LEPTON1動画の大幅なスピードアップだけではなく、その4倍素数の多いLEPTON3でもWROOM02で画像配信を実現させようというプロジェクトです。WROOM02専用ボードとトイドローンへの実装はwiwaoさん。ソフト全般が私です。Jetson TX2はあくまでもディープラーニング応用例に使うだけで、基本はLEPTON+WROOM02+iPhoneがあればテザリングで画像が再現されます

f:id:TAKEsan:20170604131934p:plain

        【今回使うモノ】

  

       【組み合わせると~~~~~~~。】

       実際にLEPTON1+EROOM02をトイドローンに取り付け、今回作ったiPhone側ソフトで

       実際に録画した画像!! 

f:id:TAKEsan:20170604134903p:plain         【iPhoneではこんなことが.....】

      LEPTON1の画素 80X60を317X237(約4倍)に補間。とてもなめらか!!

 

f:id:TAKEsan:20170603214339p:plain       カラーを白黒に変えると、より立体的にリアルに表示される!!f:id:TAKEsan:20170603214333p:plain           3D表示画面。温度差が立体的に表示される!!

         【これが低解像度画像なんだろうか.....】

 去年の2月.....

 もともと赤外線センサーに惹かれるものがあって、OMRON D6TとかMLX90621を使って自分の好きなものを作っていたのですが、LEPTON1を手にした時、確かに衝撃的なセンサーではありました。画素数が6X6とか16X4というレベルではなく、一挙に80x60。この道のプロにとっては、こんなに荒い画像で、何ができるんだ的なものがあるとは思いますが。なにせ当方「4X4を目一杯の補間でなんとか実用的に使おう!!」から始まってるわけですから、それもPiで制御できるなんてワクワクワクでした。ただ熱も治ってから、TX1という魅力的な機器に遭遇。デープラーニングにうつつを抜かしている時、wiwaoさんから過去記事についての問い合わせがあったことで、再度WROOM02とLEPTON1赤外線センサーに目覚めてしまいました。wiwaoさんの提案はトイドローンにこのセットをつけたら面白いんじゃないか?。消費電力も低いし.....。的な。

 wiwaoさんからの情報や私自身の経験から使ってみてわかったのですが、このセンサータフっ。完全防水。振動にもビクともしない。挙げ句の果てボードごと+−を間違っても煙を上げません(こんなこと絶対しないように!!)。これにPIより明らか非力なWROOM02で、Pi並みの動画スピードを達成するってことに二人ともこだわり抜いて、作り直し始めたのが今年の2月ごろでした。MFT2017の出展締め切りまでに、サンプル基板とトイドローンへの実装成功。動画も満足なスピードに達成したので応募することにしました。

 思えばあの頃は....

 まだまだ、画面が乱れたり、画像が遅かったりしていました。

                    

             去年まではこんなに動画スピードが遅かった!!。画像は

             当初Macで再現していました。 

 ここ数ヶ月、WEB上でトイドローンにつけたLETONサーモセンサーからの画像配信プロジェクト記事をたくさん見ました。LEPTON側が小さくても受信側に大袈裟な機器が必要とか、動画スピードが異常に早く明らかに合成画像とか、ドローンに接続できても画像配信は搭載されたCPU任せで、画像受信ができないとか。

 トイドローンに載せるには、Piじゃ無理なんです。あまりにも電池容量が少なすぎる。WROOM02じゃなきゃ!!。低消費電力と軽量化により結果的にあらゆる用途で、赤外線カメラの使用が可能になることになりました。

 3ヶ月間格闘の日々。

 LEPTON1センサーのデータ垂れ流しの使いにくさ、WROOMの遅さ、WiFiの限界、WROOMを改良してもiPhone側の画像処理がこれに間に合わない(なんつったって4倍画像補間してる上に双方向通信してるんですから)、深刻なドローンとWROOM02の電波干渉問題、SPIのノイズ対策。これらを乗り越えてできたのが冒頭の動画です。おそらくWROOM02+LEPTON1では世界最速、多機能!!       

       実際録画機能を利用して作った画像。一瞬で3Dに切り替わったり、カラーを変えたり、

       ダイナミックレンジを調整したりできます。LEPTON1の動画配信スピードは、10FPS

       ですからLEPTON1の最大スピードが出ています。

 屋外でも50m以上このスピードで安定して画像再現します。未だかつてない(っと思っている)サーモカメラの誕生と相成りました。

iPhone側の画像処理は 

 OpenFrameWorksを使ってるんで、Mac、Windows、ANDROID、linux、全てのメジャーOSでWROOM02からのWiFi接続で画像データの応用が可能です。

  夜間監視カメラだろうが、漆黒の闇の中をドローンで操縦しようが、暗闇の対戦型ゲームだろうが、雪山の中の人命救助だろうが、恒温動物の認識だろうが.......。この世の中のありとあらゆるものに応用が可能なんです。80x60の画素の小ささは、大きな改革を実現させる要素を秘めていました。

  赤外線センサーカメラとディスプレイが一体化しているものなら、中央部のみの温度検出で良いかと思いますが、カメラが可動式で、定点観測もあり得るので、トーゼン画面の任意対象物に対する温度計測がiPhone側から確認できます。

 センサーデータは、256階調表示で画面ごとにその温度範囲が変化するため、例えばタバコの火を画面に入れると、突然背景が真っ暗になります。その逆でも同じ。市販のサーモカメラは、自動調整できるのですが、WROOM02では浮動小数点演算を使うと、極端にスピードが落ちます。さらに双方向通信が成り立たないとこの種の調整はできません。今回これも実現できました。f:id:TAKEsan:20170603235730p:plain

      タバコの火が入ると、周囲と温度差がありすぎるため一瞬で背景のコントラストが無くなる。

f:id:TAKEsan:20170603235735p:plain

右端のスライダーでコントラストを調整すると、背景がはっきりと表示されるようになる。カーソルの移動で、その部分の温度が確認できる。186!!

 画像録画機能も付いてます。3Dでも2DでもiPhoneと同じ品質で録画できて、メールで即配信できるんです。

今回は、

 今話題のJetson TX2で、持ち前のディープラーニング環境を最大限利用した人体検出も参考展示します。これはOFとTX1でTensor RTを実現した経験をもとに作成しました。 ディープラーニングですから、少しの工夫で赤外線画像であっても、標準学習済みデータで人体を認識できます。TX2はGPIOを使えるのはご存知の通りですが、SPIを使うにはカーネルの再コンパイルが必要。リスクを伴います。それに比べればOFを利用したOSC通信で画像再現ができるので、比較的簡単に実現できました。       

         WROOM02からWIFIで送られて来たデータを、TX2で再現。ついでに人体認識

          している様子。会場では何人くらい同時に認識できるでしょうか?

 そして.............LEPTON3。

 次なるとても難しい課題。そう、知る人ぞ知るLEPTON3を使った動画配信実現。160x120 の画像処理です。これが実際にできるんでしょうかWROOM02で???。

f:id:TAKEsan:20170604001835j:plain

                                                   超難関だったLEPTON3 

  PI3の1/10のメモリ。Pi Zeroと比較しても10倍以上スピードの劣るWROOM02で安定した動画配信と呼べる処理が可能?。何よりもシングルタスクだし....。今回は、これにも挑戦しています。ホントはほとんどできてるんですけど現在は最終調整段階なので、進行状況は次回の記事をお楽しみに。

 

iPhoneアプリは

 アプリストアからダウンロードできます!! W&T で検索。

               f:id:TAKEsan:20170720011602p:plainこんなアイコンが目印です。

 

ESP8266(WROOM02)のアプリはここからどーぞ。
takesan.hatenablog.com

Maker Faire Tokyo 2017では

   こんな感じで展示します。

f:id:TAKEsan:20170718183603p:plain

なんか全体的にハデハデで、表現がイジョウで少し反省してる.....。TAKEsanより。 

                                では、また。