映像合成のためのRGB画像からの3次元復元結果とDepth画像との比較による光源方向推定法に関する研究

摘要

本論文は、撮像対象シーンの光源方向の推定を，Kinectセンサー等により獲得されるRGB画像とDepth画像から行う方法を提案する。本提案手法は、RGB画像から得られる濃淡画像を、Deep is dark paradigmに基づくKhanらの式を利用して距離画像に変換し、その距離画像に含まれる物体が光源方向に歪む性質を利用する。即ち、前述のようにして得られた距離画像とDepth画像とを画素ごとに比較して差分値を求めるとともに、その画素の法線べクトルの方向をDepth画像より計算する。法線べクトルの方向を表す2つの角度パラメータにより張られる2次元パラメータ平面において、各画素の法線ベクトルの方向に対応するcellに、その画素の差分値を加算する。全画素についてこの処理を行った後、パラメータ平面のピーク値に基づき光源を推定する。数種類の物体を対象に光源位置を変えて実験を行った結果、良好な光源推定が行える見通しを得た。%This paper proposes a method for estimating the light source direction from RGB image and Depth image (K-D image), which can be acquired by Kinect sensor etc. The proposed method utilizes the property that the 3D reconstructed result, which is obtained by converting the RGB image to gray-level image and then converting that gray-level image to depth image (D-D image) by Khan et al.'s method based on "Deep is dark paradigm", is deformed to the light source direction. The value difference at each pixel of the D-D image and K-D image is obtained, and that pixel's surface normal is computed from the K-D image. In the 2D space defined by the two angle parameters that represent the surface normal's direction, each pixel's difference is added to the cell that corresponds to that pixel's normal's direction. After this process is performed for all the pixels, the light source direction is determined based on the peak in the parameter space. Experiments using some different objects under different light source directions were performed. Promising results were obtained.