一种面向互联网微内容的分布式聚类方法

摘要

本发明公开了一种面向互联网微内容的分布式聚类方法。本发明采用多机分布式聚类的方法，主控机器把要处理的微内容切分成多个小文件，并把这些小文件分配给多台聚类机器进行聚类操作。单台聚类机器对分配到的各个小文件循环进行元聚类，接着合并这些元聚类结果文件，得到相应的单机聚类合并文件，然后把它发送给主控机器。主控机器在接收到各个聚类机器发送过来的单机聚类合并文件后，从各个单机聚类合并文件中抽取微内容代表点，对这些微内容代表点进行再次元聚类，生成新的聚类项，并将对应的类别合并，得到最后的聚类结果。本发明能够准确、快速地对海量级的互联网微内容进行聚类，是一种既高效又实用的分布式聚类方法。