顔器官位置推定に基づく任意姿勢顔生成

摘要

現在一般的に利用されている遠隔対話コミュニケーションツールでは，対話者を撮影してそのまま相手に伝送したり，仮想空間を構築して自分の分身である2次元あるいは3次元アバタを登場させて対話したりする方法などが採用されている.しかしながら，顔映像のみの送受信では相手の存在感が得にくいという問題があり，3次元アバタによる対話者の表現では個性が失われるという問題がある.これらの問題に対して，自己の顔表情を反映した3次元アバタを遠隔対話コミュニケーションにおける仮想空間上に表現することができれば，より自然な遠隔対話コミュニケーション環境を実現することが可能となる.このとき，よりリアルな3次元形状情報の表現よりも，般的な利用を想定し，比較的入手が容易な機器を用いつつ最低限度の対話者の表情の個性が表現可能な手法が望ましい.そこで本研究では，人間の顔がいくつかの小さな4角形平面領域で構成されていると仮定し，その平面領域のコーナーを特徴的な顔器官の位置とみなすことで，3次元アバタの顔を構成する平面と対応させ，これらの間で平面射影変換を施すことにより，1台のカメラで撮影した対話者の顔画像から，3次元アバタなどに適用可能な任意姿勢の顔画像を生成する手法について考察する.%In a recent remote conversation communications tool, interlocutor's situations are shared by videos which reflects their face expression or 3D avatar in a virtual space between them. However, it is difficult to feel a sense of existence of remote interlocutors only by face videos, and individual characters should be lost by 3D avatar in a virtual space. If the 3D avatar that reflects individual's face expression can be expressed on a virtual space in a remote conversation communications, t natural conversation can be achieved in the remote communication environments. In this sense, rather than the expression of more real 3D shape information is assumed, the minimum individuality of interlocutor's can be expressed with a comparatively easy equipment to obtain is preferable. Therefore, we propose a method for generating arbitrary posture image of interlocutor for 3D avatar etc. In order to generate the image, we assume that human's face consists of some small quadrilateral planes. Then, the homography projections for the 3D face model are applied to these quadrilateral planes.