微博消息中命名实体识别方法及系统

摘要

本发明提供一种微博消息中命名实体识别方法。该方法指定少量命名实体作为种子，从待处理的原始微博消息集合中自动标注一定数量的微博作为训练数据集，然后该训练数据集来训练命名实体识别器并利用训练好的命名实体识别器对微博消息中的命名实体进行识别。该方法只需指定少量已有的种子实体，便可自动标注高质量的训练集。对于微博消息这种更新速度较快的文本来说，显著缩减人工成本。而且采用迭代的方式逐步产生高质量的标注数据，每次选择最能体现真实微博数据中命名实体出现规律的前N个新命名实体补充到种子库，最终生成的标注数据能很好的覆盖整个微博数据集。