我们使用前测后测设计进行了一项试点研究，以评估“Vac Chat, Fact Check”，这是一个聊天机器人，旨在提供最新信息并揭穿有关COVID-19疫苗的错误信息。这项研究是在2021年11月进行的，在香港爆发的第四波(2021年6月)结束至第五波(2022年1月)开始之间，累计约有1.2万例病例和200例死亡。

研究对象为年龄≥18岁、能阅读和交流中文的成年人。2021年11月8日，香港一所公立大学向所有学生发送了一封群发电子邮件，邮件中附有COVID-19疫苗接种网络调查的链接。调查链接开放了7天，收到了290份有效回复。其中，273名(94.1%)受访者在调查结束时留下联系信息，表示有兴趣参与聊天机器人的前后评估。我们确定并邀请了所有46名受访者，他们要么未接种疫苗(n=22)，要么完全接种了疫苗，但如果符合条件，对接种加强剂犹豫不决(n=24);回应率:46/46,100%)。计划的样本量(未接种疫苗或犹豫是否接种疫苗的参与者每人20-25人)是基于先前对促进人乳头瘤病毒疫苗接种的聊天机器人的形成性研究[ 18]。 图1显示研究流程图。

这项研究已获香港大学/医院管理局香港西区联网院校检讨委员会(uw21 -449)批准。

被邀请参加前后研究的参与者收到一条描述研究目的的WhatsApp消息，并提供知情同意。然后，参与者收到一个URL链接，可以访问基于网络的聊天机器人，并开始为期7天的试用期。聊天机器人可以被反复访问。使用聊天机器人的WhatsApp提醒分别在第3天、第5天和第7天发送。在第8天，我们发送了一个URL链接到干预后问卷。完成前后研究的参与者将获得300港元(38.5美元)的奖励，以奖励他们所付出的时间和努力。

2022年3月30日，前后研究完成约4个月后，我们通过WhatsApp进行了一次关于COVID-19疫苗接种或加强状态的单一问题的事后随访。参与是自愿的，并得到了回答问题的人的同意。额外的随访是为了检验测量聊天机器人长期效果的可行性。

“Vac Chat, Fact Check”聊天机器人是由我们的团队开发的。为了促进传播，聊天机器人可以通过智能手机、平板电脑和个人电脑上的任何互联网浏览器访问(即基于网络的)。这个聊天机器人只有中文版本，因为大多数香港居民(>90%)说中文。进入聊天机器人后，用户会收到一条关于如何使用聊天机器人的消息，以及一个显示聊天机器人核心功能的选项菜单。用户可以通过在菜单中输入相应数量的选项或关键字(如过敏症)来导航聊天机器人，直接获取信息( 图2和 3.）.

聊天机器人的对话通常按照预定义的规则或决策树展开。为了更好地模拟人类互动，聊天机器人还使用了由Google Dialogflow提供支持的自然语言处理(NLP)来处理闲聊(例如，问候和感谢)。聊天机器人提供的回复主要使用带有表情符号的文本，但也有一些消息包含信息图表( 图3）.

干预内容遵循疫苗犹豫的信心、自满和便利(“3C”)模型[ 19]。具体而言，这些信息涉及对疫苗的有效性和安全性缺乏信任(信心)，缺乏对COVID-19风险的感知或认为没有必要接种疫苗(自满)，以及获取疫苗的障碍(便利)。聊天机器人提供的信息分为六大主题( 表1）.我们基于人群的调查显示，对COVID-19的了解不足可能导致疫苗犹豫[ 16]。因此，聊天机器人包含了有关COVID-19的一般信息。由于香港有两种疫苗(灭活疫苗和mRNA疫苗)，其资格标准(年龄和怀孕状况)不同，聊天机器人还包括选择合适疫苗的决策辅助。

为了评估聊天机器人的功效，我们采用了单样本、双尾的方法 t检查干预前至干预后接种疫苗或增强剂意愿的变化和COVID-19 VHS评分。我们还研究了COVID-19 VHS中“缺乏信心”和“风险”分量表的变化。COVID-19 VHS评分前后差异的效应量(Cohen d)计算为平均差除以平均差的SD。我们的样本量为46名参与者，可以检测到0.43的中等效应量(Cohen d)对COVID-19 VHS评分前后差异的影响，在双侧5%显著水平下，80%的显著性。可检测到的相应效应量对于接种疫苗的意图为0.64 (n=21)，对于接受增强剂的意图为0.60 (n=24)。描述性地报告干预的可用性和可接受性。次要目的是，我们使用双变量和多变量线性回归来检查与所有调查对象的COVID-19 VHS评分相关的因素。研究的因素包括社会人口统计学特征、慢性疾病状况、以前的流感疫苗接种、电子健康素养以及对COVID-19的易感性和严重程度的感知。

所有统计分析均在Stata/MP软件(15.1版;StataCorp)。我们使用完整的病例分析，因为在基于网络的调查和干预后评估中，除了电子健康素养(n=2)和COVID-19的感知易感性(n=4)和严重程度(n=4)外，没有缺失数据。一个双向 P<。05denoted statistical significance.

所有受访者的平均(SD)年龄为21.4(6.3)岁，61%(177/290)受访者为女性( 表2）.前后研究的参与者(n=46)与非参与者(n=244)具有相似的特征，但正如预期的那样，他们的COVID-19疫苗犹豫性明显更高( P<措施)。

在所有调查对象中，双变量和多变量模型均显示，较低的电子卫生素养和对COVID-19的感知危险与较高的COVID-19疫苗犹豫相关( 表3）.在对COVID-19疫苗接种状况进行额外调整后(数据未显示)，结果相似。

干预后评估完成率为100%(46/46)。 表4显示了从干预前到干预后与COVID-19疫苗接种相关的所有措施的有利变化(平均持续时间:15.0天)。主要疗效指标COVID-19 VHS评分由干预前的28.6分降至干预后的24.5分，平均差值为-4.2分( P<.001)和效应量(Cohen d)为0.94。同样，“缺乏信心”和“风险”分量表得分都显著下降。从干预前到干预后，接种疫苗或接受加强剂的意愿和鼓励他人接种疫苗的意愿显著增加。一名在干预前未接种疫苗的参与者报告在干预后接种了第一剂疫苗。

在为期一周的试验期间，参与者使用聊天机器人的平均时间为64分钟(SD 47)。花在聊天机器人上的时间越长，疫苗犹豫的减少幅度越大，且具有边际显著性(Spearman) ρ= 0.26; P=。08)。在使用聊天机器人的参与者中(n=46)，平均(IQR) SUS得分为72.5(65-77.5)(满分100分)。从1(完全不同意)到5(非常同意)，在获取COVID-19疫苗信息方面，聊天机器人感知有用性的中位数(IQR)得分为4(4-4)，在做出疫苗接种决定方面为3(2-4)，在增加接种疫苗的动机方面为3(2-3)。推荐评分中位数(IQR)在0到10的范围内为7(6-8)。

总体而言，22名最初未接种疫苗的参与者中有18名(82%)和24名犹豫接种疫苗的参与者中有19名(79%)对事后4个月的随访有反应。所有18名未接种疫苗的参与者报告接受了COVID-19疫苗接种(2剂:n= 16.89%;1剂量:n=2, 11%)，而19名增强剂犹豫不决的参与者中有7人(37%)报告接受了增强剂。

这项初步研究显示，在使用“Vac聊天，事实核查”聊天机器人后，对是否接种疫苗或接受增强剂犹豫不决的年轻人的COVID-19疫苗犹豫度显著降低。根据科恩的经验法则[ 29]，效应大小(Cohen d=0.94)大。其他疗效结果，包括接种疫苗或接受增强剂的意愿以及鼓励他人接种疫苗的意愿，一致显示了聊天机器人的好处。聊天机器人的可用性得到了SUS评分的中位数72.5分(满分为100分)的支持，该评分介于“好”(71.4分)和“优秀”(85.5分)之间。 30.]。在0至10的评分范围内，推荐得分中位数为7表示聊天机器人的可接受性令人满意[ 31]。

我们使用疫苗和聊天机器人及其同义词的关键词进行PubMed搜索，只发现了1项同行评审的研究，这些研究为聊天机器人促进COVID-19疫苗接种的有效性提供了经验证据。这项研究是对法国样本人群进行的一项基于网络的实验，该实验发现，与聊天机器人互动可以促进对COVID-19疫苗的更积极态度和接种意愿[ 32]。一项研究(预印本)还显示，在使用LINE即时通讯工具中的聊天机器人“Corowa-kun”后，日本成年人对疫苗的接受度有所提高。 33]。由于研究方法、样本特征和结果测量的差异，很难将我们的研究与这些研究进行直接比较。然而，我们的研究结果与这些研究一致，显示了聊天机器人对COVID-19疫苗摄取的积极影响。

据我们所知，我们的研究首次将COVID-19疫苗或增强剂的实际接收情况作为聊天机器人评估的结果指标。假设(保守地)所有失去随访的参与者都没有接种任何疫苗或加强剂，82%(18/22)最初未接种疫苗的参与者至少接种了一剂疫苗，而29%(7/24)不愿接种加强剂的参与者接种了加强剂。作为参考，在二二二年三月三十日(与跟进调查同日)，二十至二十九岁的香港居民的相应比率分别为92%及28% [ 34]。请注意，由于样本特征的差异，这些数据不能直接比较，我们的参与者可能比一般人群更不愿意接种疫苗或增强剂。尽管如此，80%(37/46)的满意反应率为在未来的试验中进行更长期(>3个月)随访的可行性提供了支持。

证实了我们之前在普通人群中的发现[ 16我们发现，对COVID-19的感知严重程度越高，但对COVID-19的易感性越低，对COVID-19疫苗的犹豫度越低。先前的研究发现，电子健康素养与COVID-19非药物预防措施的知识和依从性有关[ 17， 35]。本研究进一步发现，电子卫生素养与COVID-19疫苗犹豫有关。提高电子卫生知识水平有助于人们处理和辨别基于网络的卫生信息的可信度，这可以缓冲信息大流行(疾病爆发期间准确或不准确的信息过多)和针对疫苗的错误信息的影响，从而缓解犹豫。我们的研究结果证实了建立电子卫生素养对抗击COVID-19大流行的重要性。

类似于在COVID-19大流行期间为支持医疗保健而构建的大多数聊天机器人[ 11， 12，我们的“Vac聊天，事实核查”聊天机器人主要是基于规则的。出于实际原因，我们决定不构建完全由NLP驱动的聊天机器人。首先，现有的和现成的NLP引擎在处理粤语(中国当地方言)的自由对话方面仍然不足。其次，基于规则的聊天机器人相对便宜，可以在医疗资源紧张时迅速开发和部署，以缓解大流行。基于nlp的聊天机器人可以更好地模拟人类互动，但需要大量的培训和资源才能充分可用。尽管如此，我们的研究提供了概念验证证据，支持聊天机器人作为一种促进疫苗接种的交付模式，这为开发更复杂、可能更有效的聊天机器人提供了动力。

前后研究的主要限制是缺乏对照组或对照组，这限制了使用聊天机器人后观察到的任何变化的因果推理。不能排除观察到的变化可归因于疫情过程中环境变化的可能性。然而，该研究是在香港本地传播水平较低的情况下(2021年6月至12月)进行的，每天有近0例本地病例。这种情况，加上干预前和干预后评估之间的时间间隔较短，不太可能对疫苗接种结果产生实质性影响。然而，这些发现必须被认为是初步的和假设生成的。另一个限制是样本量小，这就排除了对聊天机器人在社会人口亚群体(如性别)中的功效的检验。第三，由于所有的测量都是自我报告的，因此不能排除社会可取性偏见。最后，我们的研究目标是年轻人，因为他们比老年人更犹豫是否接种疫苗，而且他们经常使用社交网站——这是错误信息的主要来源。这些发现是否能推广到其他人群还不清楚。由于方便的抽样方法，我们的参与者可能不能代表所有未接种疫苗或犹豫不决的年轻人。

促进接种COVID-19疫苗对于减轻COVID-19的影响至关重要。这项试点研究提供了初步证据，支持聊天机器人在未接种疫苗或对接种疫苗犹豫不决的年轻人中促进COVID-19疫苗接种的有效性、可用性和可接受性。需要进行随机对照试验来测试聊天机器人在增加COVID-19疫苗接种方面的有效性。尽管我们的研究表明聊天机器人对未接种疫苗和犹豫接种疫苗的年轻人都有好处，但两组之间疫苗犹豫的驱动因素可能不同。还需要进一步的研究来了解它们之间的差异，以提供更有针对性的信息并优化聊天机器人的功效。