一种众包任务中的数据偏见处理方法

摘要

本发明提出了众包任务中的数据偏见处理方法。在众包数据收集阶段，需要获取足够多的数据，并且需要保证数据质量。但是在利用众包获取大量的标签数据可能会存在偏见。该方法利用可解释机器学习方法对众包数据收集的结果进行诊断，分析可能存在的机器学习方法中前处理，后处理对众包数据可能存在的偏见进行处理。数据偏见分析和诊断阶段，对数据中可能存在的偏见和模型漏洞进行分析；前处理阶段，通过前处理，包括盲点法，因果歧视法改善数据偏见，提升模型公平性；后处理阶段，通过均等机会，均等PPV等方法改善模型偏见。本发明可以比较有效地诊断数据收集过程中可能存在的偏见，并可以较为有效地消除后续可能使用数据的机器学习模型偏见。