面向移动应用程序无障碍检测的图形界面爬虫

摘要

在移动互联网高度发展、搭载完备操作系统的移动设备高度普及的背景下，移动应用正在逐渐接替基于网页的信息渠道，在现代生活的诸多方面发挥作用。然而，数量众多的残障人士由于视觉、听觉或行动能力上的缺陷，在移动设备的使用上有很大的限制。因此，对移动应用进行无障碍合规程度的评估，同时检测和寻找移动应用中难以被残障人士使用的交互元素，提供给移动应用开发者作为参考，是有意义的。
　　由于移动应用的界面系统和基于HTML的网页有较大差异，用于Web页面的自动化爬虫无法简单地在移动应用的视图爬取中使用。另外，移动应用的视图元素缺乏类似URL的较为稳定的资源定位符，在爬取大量移动应用的视图元素之后，难以像Web爬虫一样通过URL对元素进行稳定的界面重现和相似性判定等工作。这些都对面向移动应用的自动化无障碍检测造成了困难。
　　本文基于移动应用的特点，实现了一种能够遍历移动应用的自动化移动应用交互元素爬虫。该工作以Android移动平台提供的自动化测试框架UI Automator为基础，对用户的交互操作进行模拟，对移动应用界面进行遍历。针对移动应用缺少URL，难以重现交互元素进行爬取的问题，本文提出通过综合元素属性与交互顺序，构建基于XPath的元素定位符的解决方案。在工作过程中，采集应用界面的XML表示和图像表示，用于自动和人工的移动应用界面无障碍检测。
　　另外，针对移动应用爬虫运行效率较低、爬取过多重复界面的问题，本文提出了基于树编辑距离、面向移动应用界面的相似度衡量方法，通过结合移动应用界面的节点特征与视觉特征，增加了移动应用自动化检测过程中样例发现的准确度，通过减少不必要的遍历工作，提高了自动化检测的效率。
　　最后，本文在上述工作的基础上实现了面向无障碍检测的移动应用界面爬虫，通过在移动应用中进行自动化的交互元素爬取，并在过程中应用改进的相似度衡量算法，同时提供界面无障碍检测的接口，验证了上述工作的可行性。

目录

声明

摘要

图目录

表目录

1．1 课题背景

1．2 研究意义和目的

1．3 本文的组织结构

1．4 本章小结

第2章 相关工作和文献综述

2．1 无障碍检测技术

2．1．1 信息无障碍相关标准

2．1．2 适用于移动应用的无障碍检测技术

2．2 面向XML的相似度度量算法

2．2．1 基于标签频率的相似度

2．2．2 基于公共标签子序列的相似度

2．2．3 基于路径模型的结构相似度

2．2．4 基于树编辑距离的结构相似度

2．2．5 基于视觉表示的相似度

2．3 Android移动操作系统

2．3．1 Android移动应用的交互界面

2．3．2 Android操作系统提供的无障碍辅助功能

2．4 移动应用自动化测试技术

2．4．1 Android提供的自动化测试框架

2．4．2 基于静态分析的检测手段

2．4．3 基于黑盒测试框架的检测手段

2．5 本章小结

第3章 支持无障碍检测的移动应用界面爬虫设计

3．1．1 Android移动应用的视图元素属性

3．1．2 使用Android自动化框架提取图形界面的XML描述

3．2 基于构造URL的图形界面元素定位方法

3．2．1 缺少元素定位方法对移动应用界面爬虫带来的问题

3．2．2 基于构建URL的图形界面爬虫定位方法

3．3 基于黑盒测试方法的Android移动应用界面爬虫

3．3．1 面向移动应用的GUI Ripping遍历技术

3．3．2 移动应用界面爬虫工作流程

3．4 本章小结

第4章 面向移动应用界面的相似度衡量方法

4．1 基于树编辑距离的XML相似度衡量方法

4．2 面向移动应用界面的相似度衡量方法

4．2．1 使用节点种类衡量节点编辑代价

4．2．2 使用视觉特征衡量节点编辑代价

4．2．3 移动应用中的装饰性元素判定

4．2．4 改进后的相似度衡量算法与实现

4．3 实验和分析

4．4 本章小结

第5章 支持无障碍检测的移动应用界面爬虫的实现

5．1 开发环境介绍

5．2 整体架构

5．2．1 自动化接口模块实现

5．2．2 爬虫控制模块实现

5．2．3 界面存储模块实现

5．2．4 无障碍检测接口实现

5．3 系统效果

5．4 本章小结

6．1 总结

6．2 展望

参考文献

致谢