情報技術の四方山話

AI、IoT、ヤマハルータ、VPN、無線LAN、Linux、クラウド、仮想サーバと情報セキュリティのよもやま話

IoTデータ収集の軽量実装を始めました[第二回]

2020-08-12 06:53:50 | AI,IoT,SensorNetworking
今日は、IoTを実装しているトピックスを紹介します。
今日の話題は「IoTデータ収集の軽量実装を始めました[第二回]」です。

IoTの実装は、データ化するところがたいへんです。
今回は、生データをクリーニングして、正規化する部分についてのヒントです。

■生データとは
IoT対象の機器が出力するデータです。今回入手するCSVデータは、監視対象機器の監視パネルの操作でコンパクトフラッシュメモリーに書かれます。

■生データを正規化する
この状態のデータは、機器単体の情報です。もともと他の機器と比較する形ではありません。例えば機器ごとにタイムスタンプの形式が違います。

"2020/8/12"と"2020-08-12"は日付として一致していますが、コンピュータが比較するときは異なる文字の並びなので単純には一致しません。もちろん比較する方法はいくつか考えられますが、比較のための変換プログラムが必要です。

それに加え、機器固有の様々なデータがあります。典型的には温度です。日本では摂氏℃ですが、海外製品では華氏℉の可能性もあります。華氏を入力して気づいたのですが、単位文字は機種依存文字です。単位を付記するにしても「化けない文字」でないと、後が困ります。

■生データの正規化プログラムを書く
何らかの方法で機器から取得したCSV内の表記を正規化するプログラムを書きます。単純にはタイムスタンプ表記を揃えることから始めます。

正規化の過程で生データの名前、形式、単位が決まっていき、仕様化されます。

今回のシステムでは、スクリプティング言語はPython3を使います。プログラムを実行する環境はbash/Linuxです。開発環境・実行環境も正規化します。

■正規化データのシステム連携
システム間はAPIを明確に定義することで、その両側で独立に開発を進めることができるようにします。

正規化したデータを、出力目的に応じたシステムごとに適材適所なデータ表現に変更し、他のデータと連携して情報に加工し出力します。

IoTで観測する対象のデータが正規化ができれば、分析はできたも同然です。


いつもアクセスありがとうございます。引き続きよろしくお願いします。

コメント   この記事についてブログを書く
« IoTデータ収集の軽量実装を始... | トップ | IoTデータ収集の軽量実装を始... »
最新の画像もっと見る

コメントを投稿

ブログ作成者から承認されるまでコメントは反映されません。

AI,IoT,SensorNetworking」カテゴリの最新記事