物体の明度と法線ベクトルの関係学習による3次元形状復元

摘要

本稿では，機械学習を用いた新しい3次元形状復元の手法を提案する．従来の3次元形状復元手法では様々な拘束条件が必要であるが，本手法ではこのような条件を用いずに，1枚の面像から物体表面の法線ベクトルを復元する．これを実現するために，物体の明度と法線の関係を機械学習を用いて獲得する．まず様々な環境下において3次元形状が既知である画像とその法線マップから，k×k の蛮を使って畿内の明度・色相と窓の中心の法線を得る．これらの関係を機械学習により獲得し，その結果を用いて未知入力画像における法線を復元する．この後元によって得られた法線を，学習を用いて補正する手法も提案する．また，法線から得られた深さを基に，異常な法線を検出して修正する手法も提案する．顔画像を対象とした夷験では，従来手法よりも提案手法の方が高速で精度の高い復元ができた．%We propose a new method for 3D reconstruction by a machine learning approach. Existing methods for 3D reconstruction are restricted by various assumptions. However, the proposed method does not use any assumptions and reconstructs normal vectors of an object surface from a single image. To achieve this, we acquire a relationship between brightness and normal vectors of objects by machine learning. First, fc x fc brightness and hues are obtained from images whose 3D shape is known under various environment in a fc x fc pixel window and a normal vector is obtained from center of fc x fc pixel window from normal map. These relations are obtained using machine learning. Then normal vectors of an unknown input image are reconstructed by using these relations. We also propose a method for correcting the reconstructed normal vectors by machine learning and a method for correcting the abnormal normal vectors detected by using the depth map. Experiments using human face images show that the proposed method achieved faster and high-precision 3D reconstruction than existing methods.