上市前临床试验在有限的环境下评估药物的安全性，因此，这些药物对特定人群(如孕妇、儿童或患有特定疾病的人)的影响无法评估。出于对胎儿安全的考虑，孕妇在新药开发期间被积极排除在临床试验之外[ 1］．因此，一旦药物投放市场，除了动物生殖毒理学研究之外，通常没有可用的数据来评估子宫内暴露对胎儿的影响[ 2］．然而，从动物研究中得出的结论可能不适用于人类[ 3.］．自发报告系统，如食品和药物管理局不良事件报告系统，用于上市后药物安全监测，它们提供了一种报告与药物消费相关的不良事件的机制。尽管这些来源可能积累了关于特定人群的药物安全知识，但研究表明，它们存在各种问题，如漏报、缺乏分母数据和缺乏对照[ 2， 4］．此外，自发报告系统等上市后监测技术在本质上是回顾性的，根据未知数量暴露的孕妇的不良结果报告登记病例，使样本偏向不良结果。

为了解决这些问题，为新药开发了妊娠暴露登记。这些登记以自愿的方式前瞻性地登记妇女(例如，暴露后但分娩前)，并在整个怀孕期间或更长时间内跟踪她们。这种妊娠暴露登记的设计使研究人员能够进行前瞻性观察性研究，这种研究优于回顾性研究，因为与回顾性研究相关的偏差(例如，出生缺陷等结果在回顾性研究中已经已知)[ 2］．因此，妊娠暴露登记所遵循的模型比其他研究设计具有明显的优势，因为这些登记可以产生关于妊娠期药物安全性的人类数据，同时避免随机对照试验的伦理和后勤陷阱[ 5］．

尽管与其他研究设计相比有优势，但妊娠暴露登记面临着许多挑战。登记或招募可能是最关键的问题，大多数登记处只能登记一小部分暴露的怀孕，导致缺乏评估具体畸形或健康结果的能力[ 6］．自愿登记过程亦可能存在偏见[ 7]，因为同意登记的妇女可能已经了解某些健康状况。其他挑战包括较大的退出率或失访率[ 7]，这导致许多暴露怀孕的信息丢失，发现怀孕前缺乏可用信息，以及报告不完整[ 8］．这些与妊娠登记相关的挑战需要探索更多的信息来源，以评估妊娠期间药物的安全性。

就全球用户而言，社交网络已经出现了前所未有的增长。根据皮尤研究报告[ 9，全球近一半的成年人和三分之二的美国成年人(65%)使用社交媒体，其中65岁及以上的人群占35%，18岁至29岁的人群占90%以上。因此，公共卫生监测和监测研究正在迅速纳入通过社交媒体提供的数据，并开发能够有效挖掘社交媒体数据的工具[ 10］．由于在上市前临床试验期间可获得的关于孕妇的信息有限，以及现有前瞻性和回顾性监测方法的挑战和缺点，有必要探索额外的信息资源。在药物上市后，社交媒体有可能成为获取关键药物安全信息的重要补充资源。然而，通用社交媒体在这项任务中的可用性取决于能够主动识别孕妇并收集有关孕妇的相关数据的系统的成功开发。这一需求是本文研究的主要动机。本文的具体目标如下:

本文的主要贡献如下:

为了评估社交媒体是否可以用来识别孕妇群体，我们使用Twitter进行了初步分析[ 11］．为了进行分析，我们使用了一个手动创建的表单查询模式——“I.*(m|am|’m)”。* |月(周)。*怀孕了。”通过查询检索到的推文被手动分析并分为两类:PIT和非PIT。共有1200条检索到的推文以这种方式进行标记，其中753条(62.75%)被标记为真pit, 447条(37.25%)被标记为假阳性。这一早期分析非常有希望，因为它表明，由此类查询检索到的推文很可能是女性自己发布的真实怀孕迹象。此外，该模式每月收集超过1500个公告，这表明从长远来看，可能会检测到大型队列，特别是添加了新的查询之后。

在同一分析中，我们还评估了使用自动监督分类器进一步过滤收集的推文的可能性，以便能够更精确地识别怀孕队列。我们尝试了几种有监督的分类方法，包括Naïve贝叶斯和支持向量机(svm)，发现后者在F的情况下产生了可接受的性能₁PIT类的得分为0.80(精度约为0.83)。我们的可行性分析研究的这些结果为我们进一步探索这个问题并开发一个更强大的队列收集解决方案提供了强有力的鼓励。我们将在以下小节中讨论这一初步研究的扩展。 图1给出了一个流程图，说明了整个工作流程，从查询公式部分开始，直到使用结构化数据进行队列分析。

我们手动研究了初步研究中识别的推文，并使用Twitter图形界面(即实际的网站)，我们确定了额外的高频单词n-gram模式和规则，通过这些模式和规则可以高精度地检测pit。对于每个潜在的模式，我们通过在Twitter图形界面上手动使用它作为查询来评估其有用性。对于每个查询，大约有50条推文被手动评估。能够检索大约60%以上真实妊娠post的模式被选择用于大规模检索。那些检索到大量真阳性，但有太多噪声的假阳性的模式被丢弃了，因为我们主要关注的是确保高精度。

通过这种方式，除了初步分析中使用的模式外，我们还确定了13个查询模式。一旦确定了每个查询，就会使用它从Twitter Streaming应用程序编程接口(API)收集推文。该API实时公开所有公开推文的示例，并支持收集。但是，API不允许直接使用正则表达式。因此，我们使用种子术语“怀孕”、“怀孕”、“婴儿”、“家庭”和“妈妈”从API检索推文，然后将它们与特定的正则表达式匹配。数据收集模块运行了18个月，对14个查询中的每个查询都有微小的变化。 表1显示所使用的查询以及在定义的时间段内由它们检索的推文的相对频率的估计。

在收集期间早期收集的数据样本已准备好用于注释。我们在收集阶段的早期观察到，每个查询检索到的tweet数量有很大的差异(如中第三列所示) 表1表示)。为了确保注释集中推文的分布代表检索到的全部数据集，我们选择了14,300条推文的分层随机样本。制定了注释指南，以确保注释过程的一致性。注释指南可在 多媒体附件1．

三个注释器以二进制方式注释了所有推文，并对1000个推文进行了重叠注释。多数投票是用来解决重叠推文的分歧。样本注释者之间的一致性为κ=.79(Fleiss kappa)，这代表着重要的共识。总共有9819条推文被标记为真实的pit, 4338条推文被标注为假阳性。然后，这些带注释的推文被传递到下一个阶段，用于训练和优化自动监督分类器。 表2显示一个带注释的推文示例，其中删除了用户名。

在完成的14300条注释中，有14156条tweet适合用于分类。其余部分由于编码问题和其他语言的存在等各种原因被删除。我们探索了许多有效执行分类任务的特征集，包括那些我们通过在该领域的广泛过去工作确定的对社交媒体文本分类有用的特征集。 12- 14］．此外，我们还试验了几种流行的监督分类方法，以确定在问题上表现最好的方法，以及基线分类系统。我们探索的分类器是支持向量机(svm)、随机森林(RF)和具有3个隐藏层的卷积深度神经网络(DNN)，基线是Naïve贝叶斯。我们将注释数据集分成大约80-20的比例(80%用于训练和系统开发，20%用于评估)。我们使用较大的分割来优化分类器和识别有用的特性。根据我们过去的研究，我们已经将培训数据样本和其他资源公开提供给研究界[ 15］．为了保持隐私和可复制性之间的平衡，并遵守Twitter的数据共享政策，我们将只使用用户id共享推文，而不是逐字逐句的文本。因此，所有被原海报删除的推文将不会向公众开放。下面是我们为最终分类系统选择的特征的描述。

所有与我们选择的分类器分类为积极的推文相关的用户句柄都被收集和存储。对于每个用户，根据API的限制，使用Twitter搜索API收集该用户过去所有可用的帖子。此外，这些用户每周发布的新推文被收集，从而形成了一个 时间轴对于封装纵向信息的每个用户。所有信息都存储在Mongo数据库中，以备将来分析。

从时间轴上可以获得关于每个用户怀孕情况的广泛纵向信息。这些信息包括但不限于药物使用情况、健康习惯(如吸烟或饮酒)和生育结果。我们的检测和收集方法的目标是对这些信息进行大规模分析。我们在讨论部分提出了一些可能性，并将具体的分析留给将来的工作，因为这超出了本研究的范围。

我们使用收集到的数据进行了几次初步分析，以评估时间线的效用，它们在未来研究中的潜在用途，以及为提高它们的有用性所需的面向nlp的未来工作。这些分析包括:(1)评估从收集的队列中检测妊娠期信息的可能性，(2)确定队列成员是否存在与药物相关的信息，以及(3)确定时间线中是否存在与杂项健康状况有关的信息。我们现在简要地讨论一下这些分析方法。

最终的训练集由7830个怀孕类实例和3494个非怀孕类实例组成。测试集由1989个怀孕类实例和843个非怀孕类实例组成。 表3介绍了该分类器在测试集上的性能。从表中可以看出，三种非基线分类器和集合在F级怀孕方面表现相似₁得分。支持向量机和DNN的性能优于射频分类器，尽管这些性能在统计上不显著。三种分类器的集成在测试集中的性能略好于其他分类器，但改进并不显著，并且在时间方面付出了非常高的代价(例如，它的运行速度大约是独立svm的5倍)。所有这些分类器都显著优于Naïve贝叶斯基线。

基于注释集上的这些结果，我们选择在我们的系统中使用支持向量机。与DNN相比，svm似乎有更高的精度，这是我们整个管道的首选。请注意，使用更深的dnn可能会导致更好的性能，这是典型的情况。然而，更深层次的网络在计算上也要昂贵得多，所以我们没有把它们包括在我们的探索中。支持向量机的表现比DNN和集合快得多。因此，考虑到所有这些因素有利于支持向量机的使用。

图2显示所选分类器在每个查询模式检索的帖子上的性能。这些性能结果是通过对整个注释集进行10倍交叉验证获得的。从图中可以看出，对于检索率最高的两个查询(“(im|i am|i’m).*[时间]。*怀孕”和“我怀孕了”)，表现得分高于整体平均水平。这可能是因为注释是在分层随机集上进行的，因此，这些集的注释推文总数远远高于其他集，导致这些模式的算法训练得更好。模式“(im|i am|i 'm) having a baby”的检索率第三高，但该集合的分类器性能要低得多，这导致整体性能下降。一般来说，从图中可以看出，具有低检索率的模式表现较差。我们在讨论部分简要分析错误的原因。

图3提供对系统性能的进一步了解。图(上)中的ROC曲线表明，一旦使用了超过50%的训练数据，预测性能将保持相当稳定。这表明，对同一类型数据的进一步注释不太可能提高分类器的性能。学习率图(底部)显示了两个类的性能指标以及不同训练数据大小下的完整数据集。这个图表还显示，对于每个集合，在训练集大小约60%后，性能保持稳定。不出所料，随着训练集规模的增加，较小的非怀孕班的表现指标得到了最大的改善。随着这个类的性能提高，整体性能也会提高，尽管是有限的。

表4介绍了该分类器在留一和单特征实验中所获得的性能。召回率，精确度和F₁每节课的分数和全部的成绩都显示出来了。在任何一个剔除一个特征的实验中，当去掉一个特征时，特征组合的性能都没有显著下降。去除n-grams的结果是最大的下降，但只是边际下降。这表明分类器的性能不依赖于任何单个特征，而是依赖于所有特征的组合。这在Twitter数据分类器中是可取的，因为每条tweet中的字数较少，这意味着一种类型的特征通常无法捕获足够的信息来正确地进行分类。结合多个特征可以增加正确分类的机会。表中的单个特性得分可以更清楚地说明哪些特性在单独使用时信息量最大。不出所料，n-grams似乎是最强的特征集，其性能非常接近于分类器的最佳性能。密集向量和词簇本身也有很好的性能，验证了这两个特征集的有用性。结构特征和情感特征，虽然在我们使用更小的训练数据进行的初步研究中被证明是有用的，但一旦训练集大小足够大，它们就不会有显著的贡献。 For these two features, large drops in performances are observed when they are used stand-alone. In all cases, we see a greater drop in the nonpregnancy class compared with the pregnancy class once a feature or a combination of features is removed. Although our focus is the pregnancy class, it is crucial to improve performance over the nonpregnancy class as changes in performance in one class directly affect the performance in the other.

在18个月的时间里，我们系统的数据收集组件(检索和分类)共收集了71,954名潜在怀孕用户。过去收集用户数据的结果是收集了超过2.5亿条推文，平均每个用户约3500条推文。怀孕的新用户以每月9000到10000的速度被检测出来，同期平均检测到2500万到3500万的新推文。按照这个速度，我们预计在未来12个月内将收集到额外的10万到12万条时间线。

我们对34,895名在研究早期被分类器分类为怀孕的用户时间线应用了我们的妊娠三个月提取算法。我们的算法检测了15,523名(约44%)用户的妊娠三个月信息。该算法进一步将属于这些时间线的每条推文分类为三个三个月中的一个。虽然检测三个月信息的可用性是非常准确的，但对时间线的一个小样本的人工分析表明，在将时间线分为三个月方面，该算法仅在大约50%的情况下是准确的。这验证了在我们队列的大样本中，三个月的信息是可用的，但需要一个更健壮的算法来自动将信息分类到三个月。

计算同一样本的药物提及频率，其中三个月的信息被检测，验证有一些药物相关的颤振可用的时间轴。 图4显示了推特用户在怀孕三个月期间常用药物的分布情况。然而，对之前提到的时间线的人工分析表明，只有一个提到的药物样本是真正的摄入例子。除了药物提及之外，分析还显示，从时间轴上还可以挖掘出各种其他与健康相关的信息。然而，这些信息与大量的噪音交织在一起。 表5从我们手动分析的一条时间线上，按时间顺序显示样本帖子，说明了一些可用的信息类型。从 表5可以看到，推文8、11和15提供了关于怀孕进程的信息，并与推文上的时间戳相匹配，这些信息可以用来识别一条推文的三个月。

我们研究的目标是确定是否可以使用公开发布的社交媒体数据和自然语言处理来检测孕妇群体。我们设计了用于检索强烈表明用户怀孕的用户帖子的查询。在收集这些帖子后，使用监督分类进一步过滤假阳性，并收集一组极有可能怀孕的用户。获得的结果表明，这种方法能够检测孕妇，并创建一个基于社交媒体的妊娠队列，可用于进一步分析。我们的首要目标是从社交媒体数据中挖掘数据，补充现有的怀孕安全信息来源。为了能够做到这一点，第一步，也是最关键的一步，是能够高精度或精确地检测孕妇。我们的研究证实，通过使用精心构造的查询和设计良好的监督分类策略，这是可以实现的。尽管查询能够为每个查询收集具有不同准确性的pit，但监督分类方法的总体评分为F₁怀孕类的得分为0.88，这几乎等同于人类对这些数据的认同。这表明，我们的模型确实有效地从嘈杂的社交媒体数据中准确检测出怀孕人群。

除了分类器的性能外，从队列中收集到的大量用户帖子和通过小规模分析检测到的健康相关信息强烈支持了我们建立这样一个系统的最初动机。根据我们的小型分类后分析，从队列中收集的数据似乎封装了关于各种健康相关信息的关键知识，尽管在大量嘈杂的、不相关的信息中。因此，这些数据可用于研究药物摄入与妊娠结局、孕产妇健康模式、行为模式及其与妊娠结局、新生儿健康等之间的潜在关联。

我们的监督分类方法也有可能被应用到其他类似的问题。我们的方法结合了稀疏和密集向量，它们独立地在分类任务中表现良好。这种组合表示可能有利于其他使用短文本块作为输入的社交媒体文本分类任务，这些文本块具有有限的上下文信息。

如手稿第一节所述，某些队列(如孕妇)不包括在临床试验中。因此，当药物投放市场时，孕妇群体的药物安全信息通常是不知道的，发现与不良反应的新关联可能需要数年时间。利用社交媒体数据开发成功的监测技术可能会加快发现未知关联的过程。未来，这些技术将不得不在我们的探测机制的基础上发展。此外，社交媒体可能会提供有关母亲行为模式的信息，而这些信息可能不会向医生透露。这些模式可能包括吸烟、饮酒、抑郁行为和滥用处方药。这些信息可能有助于得出与不良胎儿结局和孕后产妇健康之间的因果关系。

我们的框架也可以用于检测和监测其他队列。关键在于能够识别可以检索用户所在帖子的查询 订阅一个队列和一个自动分类策略可以过滤掉噪音。例如，该战略可用于检测患有特定健康状况的使用者、特定药物或医疗干预的使用者以及对处方药物或非法药物上瘾的使用者。

本研究在方法学上存在一些局限性，值得进一步研究。首先，这项研究的队列成员是从单一的社交网络Twitter中选择的。Twitter作为一种独特的社交媒体资源，帖子的最大长度为140个字符。这给NLP工具带来了许多问题，因为缺乏上下文，替代拼写等等[ 28]，但这一特性也限制了可用于描述怀孕相关信息的模式的数量。将我们的框架扩展到Twitter之外，需要对所选择的社交网络进行定制查询，并使用额外的数据训练监督学习算法。

通过Twitter接触到的人群也很有限，而且样本只偏向于社交网络用户。然而，对于类似的任务，在所有样本中都存在这种偏见，而社交媒体可能是与大量不同人群接触、沟通和协作的最有效方式[ 29， 30.］．使用社交媒体的一个更重要的限制是，与传统的流行病学研究不同，关于个别病例的完整信息可能更难获得。虽然可以发现大量的同组人群，但并非所有与健康有关的活动和健康状况都可以从其工作岗位得到。因此，大队列规模的好处可能会减少。还存在发现人口统计信息的问题——关于个人用户的人口统计信息可能只有有限或根本没有。在某些情况下，用户的地理位置是可用的。其他人口统计信息，如年龄和种族，需要通过自动化技术确定。将来必须开发可靠的技术来发现怀孕队列的人口信息。然而，在这一点上，以我们所描述的方式使用社交媒体似乎很有希望在未来补充传统资源。

据我们所知，目前还没有现有的工作试图通过社交媒体识别孕妇群体，以进行大规模的药物安全性分析。基于社交媒体的研究主要集中在更一般的监测任务，如流感传播预测[ 31， 32]、药物警戒[ 33]、药物滥用监察[ 13， 34]，以及药物-药物相互作用[ 35举几个例子。大多数基于社交媒体的研究试图从职位层面的信息中得出结论，而不是试图从纵向数据中得出关联。一些研究利用简单的检测方法来识别具有特定特征的用户，然后对发布的信息进行分析。Correia等[ 35)，例如，使用Instagram上的标签来收集用户时间线并检测药物与药物的相互作用，而De Choudhury等人[ 36利用推特数据预测产后抑郁症。黄等[ 37]评估了从Twitter用户时间轴检测有害处方级联的可行性。然而，正如作者所讨论的那样，由于社交媒体数据的不确定性和稀有性，这种检测具有挑战性。本文提出的工作超越了这些先前的工作，建立了一个全面和准确的方法来检测一个专门的队列，也提供了一个新的机会来使用公开数据对孕妇进行安全监测。

在本文中，我们提出了一种通过社交媒体自动识别大型孕妇队列的方法。我们提出的两步检测方法首先使用有针对性的查询来识别潜在的孕妇，然后使用监督分类来过滤掉大多数假阳性。我们彻底评估了我们的队列识别和分类方法，以验证这是一种可行的妊娠队列检测方法。我们还展示了收集到的信息的潜在用途和未来的任务。

基于我们的研究结果，社交媒体有望成为对妊娠队列进行药物安全性研究的有用资源，特别是考虑到与其他来源(包括妊娠登记)相关的缺陷。然而，必须指出的是，人们并不期望社交媒体取代这些传统资源，而是作为一种补充资源。相同的管道也可以用于自动检测其他类型的队列。未来的研究，收集到的数据的具体目标应用，将提供关于其有用性的进一步见解。