UGC指纹签名确定方法、装置及UGC去重方法、装置

摘要

本申请公开了一种UGC指纹签名确定方法、装置及UGC去重方法、装置，UGC指纹签名确定方法包括：本申请实施例提供的UGC指纹签名确定方法，获取UGC；过滤所述UGC中的排版信息，得到文字信息；对所述文字信息进行分词以及词频统计，得到若干词以及各词的词频数；计算各个词的hash值；利用各词的词频数对相应词的hash值进行加权，得到加权后hash值；将各词的加权后hash值进行累加，得到序列串信息；将所述序列串信息转换为二进制格式，得到UGC的指纹签名。本申请参考了UGC中各分词及分词词频数确定最终的指纹签名，其指纹签名能够很好的标识UGC的身份。