引用元:<https://shiropen.com/seamless/disney-research-ar-costumes>
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
チューリッヒ工科大学とDisney Research、1枚のRGB画像から人の体にフィットした3Dデジタル衣装を重ねる技術「AR Costumes」発表
チューリッヒ工科大学とDisney Researchの研究者らは、1枚のRGB画像から人の体にフィットした3Dデジタル衣装を重ねる技術「AR Costumes」を発表しました。
本論文は、単眼カメラで撮影した1枚のRGB画像から、人の体にフィットした3Dデジタルコスチュームを重ねる手法を提案します。
本提案手法は、MPIIとCOCOのポーズデータセットで訓練したdeep learningを用いて、人物の2DポーズをRGB画像から推定し、対する3Dマッチングに最適な3Dコスチュームを最適化します。
最適な形状(姿勢と割合)が見つかると、次にアーチファクトを除去するために、推定した2DポーズとGrabcutを用いて、身体と頭部の2次元マスクを推定し、背景情報を使用して身体領域を塗りつぶします。
これにより、画像内の人によりフィットした3Dデジタルコスチュームを着せることを可能にします。将来的には、より強力なポーズと形状の推定により改善され、最終的にはリアルタイムで実行されるだろうと述べます。
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
渋谷のハロウィーン問題はひとまずこれで解決とはならなさそうですね。。。