MIT App Inventorで遊ぶ (AI 2 勘違いしていました + α）

前回、AIに関するMIT App Inventor Labのチュートリアルを実際にやってみた結果をブログにアップしましたが、ちょっと勘違いをしていたようです。

2番目のFacemesh Filter Cameraで、「画像の下に二つのボタンがあるが、いずれも機能せず。チュートリアルによれば、ファイルに保存できるらしいが。。。」と書きましたが、ボタンはいずれも正しく機能していた。

ちょっと手を加えてみた。エフェクトを選択できるようにするために、若干デザインを変更し、ブロック・コードも修正・追加した。

保存ができれば、エフェクトをかけた写真をSNS他でも使用することができる。エフェクトは、耳や髭だけではなく、色々なマスクを適用しても面白いかもしれない。マスクを作るのが大変そうだが。。。

髭（又は口）は face point の mouth bottom にセットしてあるが、口を開けると髭（又は口）が メッシュのface pointの移動に合わせ下に移動するのが確認できます。

FaceMeshは、486ヶ所のランドマークと呼ばれる点（3次元座標？）があり、それぞれ番号が振ってあるようです。例えば、頭のてっぺんのforehead（下の図）は、10。では、その番号はどこで知ることができるのか。あちこち探し回った結果、ようやくこのブログでわかった。（ブログの中ほど以降に「追記」（2022.01.15）があり、そこに説明があります。かなり拡大してようやく見えました。）

                       

このランドマークを追いかけることにより、顔の中での変化（口を開けるとか、左右に首を振るとか）がわかることになるらしい。まだ、実験していないので確証はないが。。。

こんな風に、考え、また情報を探し回ると、まだまだこのFaceMeshで遊べるような気がする。FaceMesh自体は、Googleが2019年3月（？）に発表した機械学習モデルとのことで、かなりの方が使い込んできたモデルと思われるので、情報が多いかもしれない。