TY -的盟Shakeri·侯赛因·阿贝德Zahra AU -巴特勒,格雷戈里·P AU -汤普森,温迪AU -李,在俊PY - 2022 DA - 2022/1/18 TI -众包的机器学习公共卫生监测:教训亚马逊土耳其机器人乔- J地中海互联网Res SP - e28749六世- 24 - 1 KW——众包KW——机器学习KW -数字公共卫生监测KW -公共卫生数据库KW——社交媒体分析AB -背景:Amazon Mechanical Turk (AMT)等众包服务允许研究人员利用广大网络用户的集体智慧来完成劳动密集型任务。由于数据量大、周转时间短，很难对收集结果的质量进行人工验证，因此，关于这些资源用于开发数字公共卫生系统的可靠性，仍有许多问题有待探索。目的:本研究旨在探索和评估大众外包和AMT在开发数字公共卫生监测系统中的应用。方法:我们收集了98,722条推文的296,166个群体生成标签，由610名AMT工作人员标记，以开发机器学习(ML)模型，用于检测推特用户中与身体活动、久坐行为和睡眠质量相关的行为。为了推断基础真值标签并探索这些标签的质量，我们研究了4种统计共识方法，这些方法与任务特征无关，只关注工人标记行为。此外，为了建模与每个标记任务相关的元信息，并利用上下文敏感数据在真相推断过程中的潜力，我们开发了7个ML模型，包括传统分类器(离线和主动)、基于深度学习的分类模型和混合卷积神经网络模型。结果:尽管大多数基于众包的公共卫生研究通常将多数投票与质量等同起来，但我们使用9000条人工标记推文的事实集进行的研究结果表明，基于共识的推理模型掩盖了数据中潜在的不确定性，并忽略了任务元信息的重要性。我们对3种身体活动、久坐行为和睡眠质量数据集的评估表明，真相推断是一个上下文敏感的过程，本文研究的方法在预测真相标签方面没有一种方法始终优于其他方法。我们还发现，在人群标记数据上训练的ML模型的性能对这些标签的质量很敏感，而质量差的标签会导致对这些模型的错误评估。 Finally, we have provided a set of practical recommendations to improve the quality and reliability of crowdsourced data. Conclusions: Our findings indicate the importance of the quality of crowd-generated labels in developing ML models designed for decision-making purposes, such as public health surveillance decisions. A combination of inference models outlined and analyzed in this study could be used to quantitatively measure and improve the quality of crowd-generated labels for training ML models. SN - 1438-8871 UR - //www.mybigtv.com/2022/1/e28749 UR - https://doi.org/10.2196/28749 UR - http://www.ncbi.nlm.nih.gov/pubmed/35040794 DO - 10.2196/28749 ID - info:doi/10.2196/28749 ER -