データの濃縮化に挑戦

●捨てるから拾うへ転換
　エクセルＶＢＡでのファイルの修正を今日終えました。
この作業はチョット辛いものがありました。なにせ、いったん作ったものを修正するというのは面倒なものです。

作成の段階というのは、試行錯誤のくり返しである意味たのしく作業を進められます。しかし、今回のは単純な誤記の修正ですから大変です。この記述のある全ファイルを呼び出し、修正し、保存するという作業を永遠と行いました。

この時、データを見ていて新しい気づきを得ました。

この作成中の、プログラムは、最初１２０００個というデータを７２００個まで一気に減らしたあと、３０個を一つのユニットとして、段階的に減らしてゆく仕組みです。

考え方はこうです。

確率アップをはかるというのは、予測の制度を引き上げるということですが、確率は以前にも書きましたが、真のデータ数／全体のデータ数×１００％で計算されます。

たとえば最初の真のデーター数を仮に４００個とします。
最初は全体個数は１２０００個ですから、この場合の確率は４００／１２０００×１００＝３．３３％なります。

仮にこれを７２００個に全体を減らした時、真のデータが２５０個になったとします。２５０／７２００×１００＝３．４７％の確率に変化しました。

このように、全データに含まれる真のデータの残す割合を増やしながら、全データ削減を、３０個のデータをユニットとして何段階にもわたって実施するという考え方です。

では、その段階数を幾つにしたかといいますと、７９段階に設定しました。

目標は７９段階の計算を通して、１段階の確率アップを０．３％に設定しました。
単純に思惑通りに行けば、７９×０．３＝２３.７％の確率の上昇を目論んだのです。

ダミーデータでシュミレーションした結果は、そうはなりませんでした。（涙）

ところが、ここで思わぬ発見をしたのです。

段階を追ってデータを減少させる際に、残ったデータ内に真のデータが幾つあるかにばかり気を取られていました。
もちろん、減らす側にまじってしまう真のデータをいかに少なくするかには最初から意識はありました。

しかし、このいってみれば捨ててしまったデータは、捨てたデータとして扱っていたのです。しかし、この捨てたデータにも真のデータがまじっているのです。

ついに、このプログラムの完成形を見いだしました。

捨てたデータの再利用システムをつくる事によって、データの濃縮化という考え方に到達しました。

◆今日の祈り
全能なる御父天の神様、あなたの豊かな恵みと祝福に心から感謝申し上げます。
主の御前にあって愚かで弱く、罪深い私をお許しくださいますように。

しもべは、主の導きによって、一つの到達点を見いだしました。

この考え方がこのプログラムの完成形になる予感があります。
問題は、これによっていかに精度を高められるかに、移行しました。
これから先は、実際のデータを用いて行わなければなりません。

どのような結果に終わるかわかりませんが、これによって新しい道を切り開くことが出来ますように助け導いてください。
この祈りと願いとを尊き御子、主イエス・キリストの御名前を通して感謝してお祈りもうしあげます。
アーメン。