多个彼此相对运动的刚性对象的检测、三维重建和跟踪

摘要

本发明涉及一种用于从至少一台摄像机的图像序列中检测、三维重建以及跟踪多个彼此相对运动的刚性对象(11、13、15、16、17；19)的方法和系统，并尤其能够在基于摄像机的环境检测系统范围内用于辅助驾驶或自动驾驶。所述(计算机实施)方法包括下列步骤：a)从至少一台摄像机的图像序列中选择出特定拍摄时间点(＝关键循环)的图像，b)基于关键循环中稀疏选择的像素，根据关键循环的图像，对用于描述刚性对象(11、13、15、16、17；19)的模型的所有参数进行联合优化，其中，模型包括用于描述关键循环中刚性对象(11、13、15、16、17；19)的姿势、数量、三维结构的参数，以及用于描述所选像素与刚性对象(11、13、15、16、17；19)的对应关系的参数，为此，c)使误差函数最小化(S20)，其中，误差函数包括与多个关键循环的图像的强度相关的光度测量误差Ephoto，以及与刚性对象(11、13、15、16、17；19)的数量相关的第一先验能量项Ecomp，以及，d)输出从图像序列中检测到的刚性对象(11、13、15、16、17；19)的数量、三维结构和轨迹。虽然基于多个时间点的图像数据对所有参数进行了联合优化，但该方法适合用于(在线)数据采集期间的同时使用。