人群中的偏见如何影响毒性预测 源码
人群中的偏见如何影响毒性预测 在这个项目中,我试图确定人群中偏见对毒性评分模型预测的潜在影响。 抽象的 注释毒性预测已成为自然语言处理领域中的热门话题,因为注释的分类是有意义的,并且可以在各种应用中使用。 Wikipedia Talk语料库提供了重要的评论来源,可用于构建毒性预测的机器学习模型。 然而,先前对语料库注释者的人口统计数据的分析表明,不同性别注释者给出的毒性评分存在偏差。 在这个项目中,我创建了几个具有不同女性注释符比率的数据集,并在数据集上训练了LSTM模型以预测毒性分数。 对预测结果的分析表明,人群工作人员中的偏差所引入的偏差可能会影响机器学习模型的最终输出,从而影响相关应用程
文件列表
How-Biases-in-Crowdworkers-Affect-the-Toxicity-Prediction-main.zip
(预估有个24文件)
How-Biases-in-Crowdworkers-Affect-the-Toxicity-Prediction-main
.gitignore
2KB
lstm-train.py
8KB
results
train_female0.25_predictions.csv
7.4MB
train_female0.5_predictions.csv
7.4MB
train_female1_predictions.csv
7.4MB
train_female0_predictions.csv
7.4MB
train_female0.75_predictions.csv
7.4MB
images
暂无评论