colmapがようやく最後まで動く（その2）

1．はじめに

　colmapが最後まで動き、嬉しくなったので、今度は動画をもとに3Dモデル作成に挑戦した。ある対象の周りを静止画で何十枚も撮るのは結構大変。動画で撮影したものから3Dモデルができれば便利ではと考えた結果です。。

　参考にしたのは、以下のサイトです。

サイト1：https://blog.goo.ne.jp/yoossh/e/d1278b39229eca47774fe5646a2bb2d7

サイト2：https://buaiso.blogspot.com/2018/11/colmap.html

 

2．実行

　実行は以下の順序で行った。

　(1)　動画から静止画の作成

　(2)　静止画に対しcolmapの適用

 

3．動画から静止画の作成

　参考にしたサイト1，2でも用いている　ffmpeg　というフリーソフトを用いてDOS窓から

ffmpeg -i akatsuka_20220815.mp4 -vf framestep=10 -vcodec png images\img-%03d.png 

 　とした。-i, -vf -vcodec などのパラメータの意味はよくわからないが、　xxx.mp4　は入力する動画ファイル、出力はimgesというフォルダーの中に連番で img-xxx.png という静止画ファイルができるようにした。 framestep=10　は間引くフレーム数。最初このパラメータなしで実行したところ約30秒の動画から849枚の静止画が作成されたので、10フレーム毎の間引きとしたところ85枚に減少した。

　　　　

　　　【近くの公園での動画】    　　　　　　　【抽出した静止画の一枚】

 

4.　静止画に対するcolmapの適用

　当初、パラメータの調整ができるマニュアルモードで行おうと思ったが、最初の Feature extraction の Camera model を設定するところで困ってしまった。上記サイト2では、設定の例が示されているが、その背景にある理屈がよくわからなかったので、サイト1にしたがいAutomatic reconstruction でやってみることにした。この場合、下に示すパラメータ設定画面に max_image_size の項がないことが問題となる。一方、Data type として Video frames を設定すれば、カメラパラメータの設定を避けることができる（本当は何らかの設定がされているはず。どうなっているのだろう）。また、非力な実行環境を考慮して Quality を low に設定した。これで、Runさせるとなぜか最後まで実行できた。

【Automatic reconstructionでのパラメータの設定】

【Qualityをlowに設定したときのDense reconstructionの結果】

 

　このように、lowではさすがに出来上がった点群の品質が低かったので、上の設定で Quality を medium にして実施すると、6枚目のステレオマッチングのところで落ちてしまった。Feature extraction と Feature matching  の部分はできていたようだったので、Sparce reconstruction からマニュアルで実施。

　Dense reconstruction では max_image_size を500に設定して実施した。その結果、画質は lowのときに比べ数段向上した。

【Qualityをmediumに設定したときのDense reconstructionの結果】

 

　その後、QualityをHighにして実施すると、Automatic reconstruction の Feature matching の部分で「GPUメモリが足りない。SiftGPUが十分サポートされていない。」とのエラーが出る。結局、前回のブログに示した実行環境では mediumで得た成果が限界のようだ。これ以上良い質の成果を colmap を用いて出すためには、PCのメインメモリやGPUメモリを 増設しなければいけないようだ。

 

5.　その他
　4.にあげた例の動画は、歩きながら左側面を撮ったものであった。左右両面が一度に撮れればいいなと思い、歩きながら前方を撮影した動画で colmap を適用してみた。結果を以下に示す。

【歩きながら前方を撮影した動画からのDense reconstructionの結果】

 

　そろそろPCを買い替え、実行環境を強力にしようかな。