基于Hadoop的人脸图像识别并行处理方法研究与实现

摘要

近年来，随着网络的发展，网络图像数据量剧增，怎样高效地分析和处理这些海量图像数据成为各领域的研究热点。人脸图像作为海量图像数据中重要成分，它是各监控和安保领域识别个体的重要依据。面对海量的人脸数据库，怎样高效地进行人脸识别，已成为各监控和安保领域研究的关键性问题。因此针对海量人脸识别算法的效率研究，是一个具有理论研究意义和实际应用价值的课题。
　　云计算是目前处理海量数据的前沿技术，其中以Hadoop云平台为代表，广泛应用于各领域海量大文件的处理，并已取得了较好成效，但对于海量的小文件处理（如人脸图像识别）研究还不成熟。本文在海量人脸识别算法的效率研究过程中引入Hadoop技术，对云计算在海量小文件处理上表现的性能和优势进行分析，并提出优化策略，有助于Hadoop技术的应用领域推广。本文的主要工作如下。
　　本文首先进行人脸特征提取方法的选取，在常用的Feret、ORL、Yale和AR四种人脸库里进行基于典型特征方法的人脸识别性能测试，通过实验选定出综合表现最好的局部定向模式为整个人脸识别过程的特征方法，为后续工作奠定基础。其次，研究利用Hadoop并行化处理人脸数据方法，通过深入研究Hadoop框架，发现其不提供图像处理的IO接口，而且在对海量小文件直接处理时，Hadoop表现出既耗时又耗内存。针对这些问题，本文将Hadoop提供的组合分片技术引入到小文件处理过程，通过小文件在逻辑上组合成大文件的方式，解决了Hadoop读取海量小文件时效率低下的问题，经过并行化实验验证了该方案的可行性和高效性。进一步研究发现该方法存在内存消耗大的不足，本文通过引入SequenceFile方法，将海量小文件打包成大文件的形式存储和供Hadoop处理，可以充分利用Hadoop处理大数据的优势，减少海量小文件给HDFS带来的存储压力，经过实验表明该方案可使Hadoop轻松应对海量小图片。最后，本文基于Hadoop实现人脸识别并行化，实验证明利用Hadoop可有效地提升了人脸识别整个流程的效率，为人脸识别的大规模应用提供了一种可行的解决方案。

目录

声明

摘要

第1章 绪论

1．1 论文的研究背景和意义

1．1．1 研究背景

1．1．2 研究意义

1．2 国内外研究现状

1．2．1 人脸识别研究现状

1．2．2 云计算研究概况

1．2．3 Hadoop图像处理研究现状

1．3 本文研究内容与组织结构

1．3．1 研究内容

1．3．2 组织结构

第2章 预备知识

2．1 Hadoop技术

2．1．1 Hadoop技术概述

2．1．2 HDFS架构

2．1．3 MapReduce框架

2．2 人脸识别技术

2．2．1 人脸识别流程

2．2．2 特征提取技术

2．2．3 特征识别技术

2．2．4 常用人脸数据库

2．3 相关技术与问题描述

2．3．1 Hadoop中视觉库的调用

2．3．2 Hadoop的小文件处理问题

2．3．3 图像数据格式问题

2．4 本章小结

第3章 传统人脸识别与特征选择

3．1 引言

3．2 人脸特征介绍

3．2．1 HOG特征

3．2．2 GABOR特征

3．2．3 LDP特征

3．3 比对方法选取

3．4 对比实验与结果分析

3．4．1 实验平台介绍及搭建

3．4．2 FERET人脸库实验

3．4．3 ORL人脸库实验

3．4．4 Yale人脸库实验

3．4．5 AR人脸库实验

3．4．6 实验结果分析

3．5 本章小结

第4章 基于Hadoop的人脸数据并行处理

4．1 引言

4．2 组合分片方法简介

4．3 人脸数据并行处理方案

4．3．1 组合分片接口实现

4．3．2 Hadoop主程序设计

4．4 实验对比与结果分析

4．4．1 测试集

4．4．2 实验环境

4．4．3 Hadoop平台搭建

4．4．4 实验结果分析

4．5 本章小结

第5章 人脸数据并行处理优化

5．1 引言

5．2 SequenceFile简介

5．3 并行处理优化方案

5．3．1 结合组合分片技术的SequenceFile文件生成

5．4．1 SequenceFile文件读取

5．4 实验对比与结果分析

5．4．1 实验平台说明

5．4．2 生成SequenceFile实验

5．4．3 读取SequenceFile实验

5．4．4 实验结果分析

5．5 本章小结

第6章 基于Hadoop的人脸识别并行化实现

6．1 并行人脸识别实现

6．1．1 特征提取JOB设计

6．1．2 特征识别JOB设计

6．2 实验对比与结果分析

6．2．1 特征提取过程实验

6．2．2 特征识别过程实验

6．3 本章小结

结论

致谢

参考文献

攻读硕士学位期间发表的论文及科研成果