「ディープラーニングを使って、事前に行動を予測して画面合成する」には、どうすればよいか

昨日の姿勢推定の話だけど、まじめに考えたら、姿勢推定しなくても、
事前に行動を予測して画面合成することは、できそうな気がしたので、
ちょっと書いておく。

---

■まずはじめに、（予測はナシで）画面合成にディープラーニングを使うということは、どういうことかを示す

　Perfumeの３人と背景を合成することを考える。この合成結果の画像Xを構成するピクセル（画素）xは、
　　・Perfumeの３人の画像Aの当該画素aか
　　・背景画像Bの当該画素b
　のいずれかの値をとるはずである（というか、とるものとする）

で、A,Bどちらの値をとるかだが、「クロマキー」という方法をとる場合、簡単にできる
例えば、「赤」なら抜くとして場合、
　　Aの画像の画素aが赤なら、Bの画素bを使う
　　それ以外なら、Aの画素aを使う
とすればいい。

しかし、この場合、特殊な色でないと抜けない。黒とかだと、ひとみの色と一緒になってしまい、
目の中に拝啓が移ってしまう。

これを避けるためには、輪郭線をもとめ、輪郭内だったらa,輪郭外なら背景のbを使えばよい
　→切り抜きですね

この輪郭線の散りだし方は、行列を使ってうじゃうじゃしてもいいし、ディープラニングなどの機械学習を
使ってもいい。

機械学習を使う場合は、
　入力を画像A（の全画素a)
　出力は、合成画像Xの当該画素xがaの画像を使っていたら１、使っていなかったら０
　とすると、入力画面（実際にはその一部分を使うと思うけど）と画素Xの結果1,0の対応関係ができる。
　この対応関係を機械学習する

　もし学習できれば、輪郭を経ずに、ディープラーニングで画像合成ができたことになる。

---

■しかし、動画ではこの方法は使えない

もし、動画で行うとなると、たとえば、１秒間に２５フレーム（計算しやすくするため、この数字にした）だとすると、１フレーム当たり1／25＝０．０４秒＝４０ミリ秒で画面合成しないといけない。

　いま、200X200の画素だったとすると（実際はもっともっと）１画面は200X200=4万画素なので、
　1画素あたりに許される計算量は、４０ミリ秒÷４万画素＝１マイクロ秒になる。

　A,Bどちらの画像を使うかは、クロマキーならAの画素が赤かだけを判断すればよいから、
　(a & RGB(RED))の結果が分かればいい。つまり、AND１回路でできるが、秋葉原で売っている
　AND回路を使っても（汎用の75系のチップ）１マイクロはかかる。

　なので、並列処理させないといけない。
　が、並列にも、限界がある

---

■事前に行動を予測して画面合成する方法

しかし、もし、５秒前の画像を入力し、現在の画像を出力させたらどうなるだろう。

　　　入力　　５秒前の画像A
　　　出力　　現在の画像　X
　　　（ここで、Aの画素a、Xの画素xは32ビットで、α、R,G,Bを８ビットで構成しているものとする）
　　　　aは、５秒前の画像のRGBを保持し、
　　　　xは、現在の画像が、背景を使う場合はαが255、Aを使う場合はα=0で、RGBは現在の画像の値とする）

　もし、これで学習が成立すると、このAIは、入力に対し、５秒後の出力を出すAIになる。
　だから

　　入力　今取ったリアルタイム画像
　　出力　予測した５秒後の画像

　ということができるこになり、事前に行動を予測していることになる。

　これを画面合成するには背景色が多い場合（背景は事前に計算できるのであれば）
　　　αが２５５のところは、５秒後の画像を５秒間かけて処理し
　　　αが０のところは、　　５秒後に今取った画像をそのまま流して
　合成すれば、合成処理が完成する（背景が少ないと、間に合うかどうか疑問）。

---

このように、事前にX秒（分・時間・日）の状態を予測したかったら、
X秒（分・時間・日）前の状態を入力（説明変数）、
現在の状態を出力（教師信号、目的変数）として機械学習させるとできる


・・・姿勢推定つかわなかったね（＾＾；）

もちろん、これも入力にしていいけど・・・

PoC貧乏からPoC不況へ

年頭にあたり、今年のAI,IoT関係ですが、

2018年のAI,IoT案件は、PoCはやっても、先に進まないというPoC貧乏だったけど、
2019年はAI,IoT案件自体が減り、PoCすらやらないというPoC不況になるんじゃないですかねえ・・

いや、AIを使うところは使うと思います。
だけど今までのようにAIで新しいビジネスをしよう・・なにも案はないけれど・・・
という会社がPoCするというケースは減るんじゃないかなあ・・・

理由はって・・・不況だから。
景気全体が不況になれば、PoCも減ってくるんじゃないかなあ。

そうじゃなくても、元号が変わったりと、コンピューターにお金がかかるのに、
利益にむすびつくかわからない、AI,IoT投資をするだろうか？って話ですよね・・・

そういう意味で2019年は、PoC貧乏からPoC不況へだと思う。