基于不完整电信数据的用户相似性查询

摘要

随着城市的发展，技术的进步，“智慧城市”这一将城市化与信息化结合的概念得到了深入的讨论。电信运营商们通过传输基站建立的手机基站网络，记录着广大手机用户日常的呼叫详细记录（Call Detail Record, CDR），这一电信数据为“智慧城市”的建设提供了宝贵的数据。手机用户每一次的语音呼叫或短信服务都会在其连接的基站上产生一条CDR记录，同一个用户产生的CDR数据有可能分布地存储于不同的基站上，这就造成了短期内一个基站上仅有该用户的部分数据，即不完整电信数据(incomplete data)。电信CDR数据的这一特性在诸多电信数据挖掘的研究工作中有所涉及但并未进行深入讨论。 相似性查询问题一直是数据挖掘领域的重要研究内容。面向电信数据的用户相似性查询问题的研究对于基于电信数据的用户分类聚类、基于相似用户/用户群的营销和推荐应用都有指导意义。然而，目前基于不完整的电信数据，即局部CDR数据的相似用户查询问题并没有得到过多关注，传统的集中式查询需要提前把所有CDR数据汇集到数据中心，传输代价很高，实用性和即时性都不如分布式的查询方式，有必要对分布式查询方式解决基于不完整电信数据的相似用户查询问题进行讨论。 通过对现有研究工作的分析总结和对真实电信数据集的观察分析，本文定义了相对相似度的计算方法，提出了相似用户分布查询方法（Relatively-Similar-User Distributed Query,RSU-DQ），可有效降低查询过程中的数据通信量和查询计算量。RSU-DQ在接收到一个新的查询后，首先建立目标用户的全局模型并对其进行主基站分析，选择在其全局活跃度模型中起主导作用的基站，从而减小查询涉及的基站规模;然后分布式地在主要基站上运行局部算法，基于各自局部CDR数据建立用户模型并计算相对与目标兴趣用户的局部相似度;最终由数据中心收集主基站的计算结果后返回回答集，响应查询请求。 本文在理论分析的基础之上，设计开发了基于呼叫详细记录的相似用户分布式挖掘系统原型，并利用真实的电信数据集对所提出的相对相似用户分布式查方法询RSU-DQ进行了仿真和评估。实验结果表明RSU-DQ具有高准确率、低时间和传输代价的特点。

目录

声明

摘要

第一章 绪论

1．1．研究背景

1．1．1．智慧城市概述

1．1．2．电信数据挖掘

1．2．不完整的用户CDR数据集

1．3．用户相似性查询

1．4．本文主要工作

1．5．本文组织

第二章 研究现状及相关技术

2．1．基于CDR数据的用户建模和应用

2．2．相似性度量

2．2．1．欧式距离和Lp-norm距离

2．2．2．动态时间折叠(DTW)距离

2．2．3．编辑距离

2．3．分布式查询方法

2．3．1．分布式数据挖掘

2．3．2．分布式模式匹配

2．3．3．分布式时空相似性查询

2．4．本章小结

第三章 相对相似用户分布式查询

3．1．问题描述

3．1．1．研究目标

3．1．2．问题定义

3．2．系统模型

3．2．1．CDR数据集

3．2．2．用户模型

3．2．3．分布式相似性定义

3．3．相对相似用户分布式查询方法(RSU-DQ)

3．3．1．问题分析

3．3．2．数据观察

3．3．3．分布式查询过程

3．4．本章小结

第四章 基于CDR的相似用户分布式挖掘系统原型

4．1．系统原型简介

4．2．系统原型提供的功能

4．2．1．原始CDR数据预处理

4．2．2．自定义用户建模

4．2．3．相似用户分布式查询

4．2．4．中间结果的转存

4．3．系统原型的实现

4．3．1．预处理模块

4．3．2．用户模型管理模块

4．3．3．相似度量管理模块

4．3．4．分布式查询模块

4．3．5．辅助模块

4．4．本章小结

第五章 实验评估及结果分析

5．1．实验平台环境和数据集预处理

5．1．1．实验平台环境

5．1．2．数据集预处理

5．2．实验目标和方法

5．2．1．实验目标

5．2．2．评价指标

5．2．3．实验方法和流程

5．3．实验结果及分析

5．3．1．精度

5．3．2．时间代价

5．3．3．通讯代价

5．4．本章小结

第六章 总结和展望

6．1．论文总结

6．2．进一步的工作

参考文献

作者攻读硕士学位期间发表的学术论文

致谢