一种基于音形义的中文词相似度检测算法

摘要

本发明提供了一种基于音形义的中文词相似度检测算法，通过综合考虑汉字的音形义三大特征去检测中文字符串的总体相似度，首先将中文字符串s1、s2的每个汉字的拼音转换成对应的音码，将中文字符串s1、s2的每个汉字转换为形码，然后分别计算中文字符串s1、s2之间的音码相似度和形码相似度，其次单独算出中文字符串义的相似度，最后结合音形义，针对应用场景，设置贡献参数算出最后中文字符串s1、s2的总体相似度。此算法可以满足较为复杂的应用场景，可应用于结构化数据项重复度的检测，特别是存在手工输入错误的情况，另外，也可应用于错别字隐藏的敏感词检测等。相比同类型的中文字符相似度检测算法，大大增强了对中文字符串相似度的检测效果。