侵袭性肺炎球菌疾病电子健康项目:推广活动的综合评估

简介

侵袭性肺炎球菌病:高负担和低认识

链球菌引起的肺炎肺炎球菌，又称肺炎球菌，是人类重要的病原体。它可以引起非侵袭性(如中耳炎、鼻窦炎、肺炎)和侵袭性肺炎球菌病(IPD)， IPD被描述为在正常无菌的体液中存在肺炎球菌。IPD有多种临床表现，最常见的是脑膜炎、菌血症和细菌性肺炎[1，2］．据估计[3.全世界每年约有160万人死于IPD。在意大利，IPD是一种侵入性细菌感染，在发病率方面负担最重。事实上，2014年共通报了952例IPD病例(占所有病例的78%)，而由侵入性疾病引起的病例脑膜炎奈瑟氏菌占163例(13%)和由流感嗜血杆菌占105 (9%)[4］．发生IPD的风险在不同人群中分布不均匀，在幼儿、老年人和有几种潜在疾病和危害健康行为的人群中明显更高[5，6］．

接种疫苗是能够大幅降低IPD发病率的唯一公共卫生措施[7，8]，强烈推荐[9]为上述高危人群提供。然而，意大利和意大利的免疫接种率仍然相对较低[9]及其他发达国家，包括美国[10］．造成这种情况的原因很可能是多种不同性质的，尽管卫生保健从业者和患者对IPD的知识和认识不足似乎是一个主要因素。的确，Lode等人[11]发现，非专业人士接种疫苗的主要障碍是对疫苗的可用性缺乏认识，IPD风险认识不足，以及缺乏全科医生的建议。同一个研究小组[11]报告对肺炎球菌疾病的术语知之甚少，只有50%的全科医生知道IPD这个术语。尼科尔等人[12]发现，卫生保健提供者的建议提高了有IPD风险的成年人对肺炎球菌疫苗的依从性。肺炎球菌疫苗接种决定因素的系统检讨[13]证实了这一发现，表明全科医生的强烈建议是提高免疫接种率的有效策略。

气动Rischio项目

我们之前已经展示过[14]尽管IPD在意大利造成了沉重的健康和社会经济负担[4]，与其他发病率较低的感染性疾病相比，关于这种疾病的信息要少得多。为了填补这一信息鸿沟，即疾病发生与现有信息之间的差异[15我们最近开发并启动了一个电子健康项目气动Rischio［14］．上述非专业人士及医护专业人士对IPD的认识不足，亦促使该项目的实施[11-13]以及意大利疫苗接种率低[9]，尽管有安全有效的疫苗。

气动Rischio于2015年2月26日在意大利三大应用商店推出，即谷歌Play(谷歌Inc, Mountain View, CA, USA) [16]， iTunes(苹果公司，库比蒂诺，加州，美国)[17]和微软(微软公司，美国华盛顿州雷德蒙德)[18商店。的发展过程和主要特点气动Rischio已在其他地方报告[14］．简而言之，这款应用的设计理念是功能最大化，易于使用和导航。该应用程序的核心组件是一个检查器，旨在评估感染IPD的个人风险，并以用户友好的沟通方式通知客户。一旦用户完成了检查，他们可以通过电子邮件将完整的输出发送给他们的医生。该应用程序的最终目标是提高社区对IPD的认识。我们创建了一个姊妹网站[19]以确保更高的人口覆盖范围[14］．此外，我们还设立了一个Facebook帐户(气动Rischio产品页面、子类别应用页面)[20.]，共享与ip相关的信息和资源。图1的屏幕截图气动Rischio应用程序，网站和Facebook页面。

‎ 查看此图

理由及目的

一个关于健康和保健的应用程序要有效，不仅要在技术上高效，而且要(1)基于证据[21]，(2)满足客观素质和主观素质的不同方面[22]，(3)对最终用户有用，并以最终用户为目标[23(4)可下载并覆盖尽可能多的人群[24］．毫无疑问，第一个要求应该在开发的初始阶段得到满足;例如，应用程序开发人员可以让特定医疗保健领域的专家参与进来，采用循证医学的方法来构建产品内容，并在测试应用程序原型的阶段测试应用程序的质量和感知有用性。关于气动Rischio，这是一个用户友好的产品，我们尝试以证据为基础，邀请IPD专家起草项目的内容和特点，并进行全面的文献回顾[14］．但是，达到这一目标并不能保证上述其他三项要求的实现。因此，由于目标人群的代表性较差，或者现实世界用户的判断可能分散且高度主观，现实世界用户在应用程序发布后做出的质量和有用性评估可能与发布前阶段做出的评估不同[22］．持续监测用户反馈和特定工具可能有助于评估用户感知的应用程序质量和有用性，并可能在未来更新中提示修改应用程序的内容和功能。第四个方面(即使用人数)与公共卫生和预防医学特别相关。

鉴于上述考虑，我们旨在从不同角度评估应用程序/eHealth项目提供一些潜在有用的见解。具体来说，关于气动Rischio项目中，我们的目标是(1)描述和分析使用趋势及其决定因素，(2)描述用户及其代表性，以及(3)评估用户对应用程序质量的评分。

方法

增加人口接触的营销活动气动Rischio

项目启动后的前7个月，我们没有明确的营销推广策略;我们只是偶尔在会议上展示它，我们还做了一些网络新闻发布。从2015年9月第四周开始，我们开展了为期4个月的更激烈的营销活动(以下简称干预)。这使用了各种方法和渠道，包括传统和数字营销策略。传统的做法是在会议、大会上展示应用程序及其最初的使用结果。25，26]，研究生课程，参加电子健康竞赛，在医生办公室做广告。在线部分包括在线广告(谷歌AdWords，谷歌AdSense，谷歌AdMob, Facebook广告)和社交媒体(主要是Facebook)。虽然按点击付费广告是一种公认的、具有成本效益的广告方式[27]，社交网络为社交推广提供了独特的机会[28]，并已证明是一个可行的招聘选择[29］．我们使用气动RischioFacebook页面定期发布有关IPD风险因素的风格一致的消息。大多数问题可以被归类为设计问题[30.)例如，“我的气动Rischio增加如果……?”)。此外，我们还在一些流行的主题和信息门户网站上张贴横幅。

用法:趋势和决定因素

我们使用谷歌Analytics的数据，这些数据是严格匿名的，并以汇总的形式呈现，以记录用户数量、会话数量、用户的人口统计特征以及风险(与IPD相关)配置文件气动Rischio用户。主要的分析单位是应用程序和网站用户的日数量(n=365)。我们分别考虑了应用程序和网站用户，因为他们有不同的特征和使用模式[14］．

我们利用不同的时间序列分析技术来突出使用趋势。修正的Mann-Kendall检验[31]的序列自相关数据，用于评估的数量趋势的统计显著性气动Rischio用户随着时间的推移。然后，我们进行了变化点检测分析，以定位时间序列的统计属性(均值和方差)发生变化的点[32］．为此，我们使用了二元分割方法。

随后，我们对中断时间序列进行分段负二项回归分析(以解释过度分散)，以量化干预启动后用户数量的即时和与时间相关的变化。具体公式为:

U_t＝β₀+β₁×时间_t+β₂×干预_t+β_3.×时间postintervention_t+ε_t，

你在哪里_t应用程序或网站每天的平均用户数是多少t；时间是天从哪来的气动Rischio发射;干预二进制变量表示时间吗t干预开始(0)之前或(1)之后;postintervention干预开始后的天数是一天吗t，干预前为0，干预后为(时间检测到的变化点);β₀为0时刻用户的基线水平;β₁为干预前用户平均数量的逐日变化;β₂是干预后立即出现的用户平均数量的水平变化;β_3.为干预后与干预前相比逐日平均用户数的变化趋势;而且ε是误差项[33］．由于两个模型的残差均为异方差和序列相关，故模型参数的推断检验采用异方差-自相关一致性标准误差。

随后，我们描述了的用法气动RischioFacebook产品页面;我们从Facebook Insights收集了这些匿名的汇总数据。我们还调查了不同类型的Facebook帖子，如“Photos”(包含照片的帖子)、“SharedVideo”(包含视频的帖子)、“Notes”(带有HTML功能且没有字数限制的帖子)和“Links”(带有其他网站链接的帖子)，是如何影响访问者对网站的参与度的气动RischioFacebook页面。帖子也根据类型分为个性化的(包含个人或所有格形容词或代词的帖子;例如，“我的”，“我的”)和中立的帖子(没有任何限定词)。由于人们对Facebook帖子的参与度分布高度倾斜，我们应用了非参数曼-惠特尼方法U测试并计算科恩效应大小r_c＝z/√n［34］．

气动Rischio:最终用户特征

接下来，我们描述了气动Rischio用户(应用程序和网站用户以及Facebook粉丝)的性别、年龄和IPD风险类别;即，低剂量(健康成年人)、中剂量(健康老年人和有慢性疾病的任何年龄的具有免疫功能的人)和高剂量(任何年龄的免疫功能低下的人)[35］．这些数据来自谷歌Analytics(应用程序和网站)和Facebook Insights (Facebook页面)。作为对项目有效性的理论衡量，气动Rischio用户被问及(一旦最终结果可视化)他们是否打算向他们的全科医生询问关于IPD及其预防的进一步信息。第二个衡量项目有效性的代理指标是发送的包含详细IPD风险简介的电子邮件数量。这种代理测量方法基于用户向其全科医生发送个人健康相关记录的假设。

最终用户定义的客观和主观质量

应用程序的质素以流动应用程序评定量表(MARS)评定[22]，其意大利版本最近已得到验证[36］．该量表由23个李克特式项目组成，分为5分(从1，“差”到5，“优秀”)，从4个客观维度(粘性、功能、美学和信息)和1个主观质量维度评估应用质量。每个维度的汇总分数是通过将单个项目的相应分数平均得到的。MARS总分由4个客观质量维度的总成绩平均而得。意大利版本的MARS显示出良好的心理测量特性;MARS总分的类内相关系数为0.96,Cronbach alpha为0.90，在收敛性、发散性、判别性、已知群体有效性和可扩展性方面具有可接受的水平[36］．

由于MARS最初是为训练有素的专业人员使用的，为了获得应用程序用户质量评级，还创建了一个简化的免培训版本的量表[37］．两个MARS版本非常相似;然而，用户版使用了更简单的措辞，包含更少的技术术语，并在信息子量表上省略了3项(应用商店中应用描述的准确性，目标和证据基础)[22，37］．此外，两个MARS版本都有一个应用程序特定的部分，可以根据研究目标进行调整。在这项研究中，我们评估了应用程序对用户的知识、态度、意识和行为的潜在影响。考虑到上述相似性，我们认为专业版本的大多数心理测量特性可以转移到用户版本。

随后，我们评估了客户决定的应用程序质量。为此，我们在会议和课程(医疗保健专业人员)和讲座(各种研究生和研究生课程的学生)期间招收了参与者。参与者被要求在应用程序的所有组件和功能中导航至少10分钟，检查每个子量表提供的应用程序质量的描述/定义，然后填写一份匿名的纸笔调查表格。在评估应用程序之前，参与者并不知道气动Rischio项目。

参与这项非生物医学、非介入性研究是自愿的，并保证匿名。这项研究不需要伦理批准，因为它只关注现有服务的质量评估，这些服务在公共领域免费提供，对参与者没有潜在风险。我们不收集任何个人或敏感资料。

我们将近似正态分布的汇总分数表示为具有标准差的均值，并将单个李克特量表项总结为具有四分位差(IQRs)的中位数。平均MARS总结分数超过3.0分(60%)被视为令人满意[38］．我们比较了MARS总分在性别和职业(医疗保健vs非医疗保健)之间的差异t测试，并计算皮尔逊r评分与评分者年龄的相关系数。的效应量t试验采用Cohen方法进行量化d．最后，我们构建了具有异方差一致标准误差的多变量线性模型(通过最小化校正后的赤池信息准则选择)来预测MARS总评分和子量表评分。

所有统计分析和建模程序都在R环境中进行(R Foundation for statistical Computing)。

图2概述了研究的时间顺序和评估方法。

‎ 查看此图

结果

用法:趋势和决定因素

2016年2月25日，也就是上线整整1年后，该应用已经被下载了9295次，运行了10090次会话(1.09个会话/用户)。平均每节课持续04:01分钟。该网站有143,993名用户访问，他们运行了150,790个会话(1.05个会话/用户)，平均每个会话有2.13个页面。网站会话的持续时间大约是普通应用会话的四分之一(01:02分钟)。

修正后的Mann-Kendall趋势检验显示，两款app均有显著的递增趋势(修正后)z= 3.33,P<.001)和网站(已更正z= 2.75,P= . 01)的用户。变化点检测分析揭示了应用程序和网站使用的日常时间序列的5个显著变化。第一个点对应于干预的开始(2015年9月第四周)。类似地，分段回归分析证实了干预的有效性(图3)．作为表1显示，应用程序和网站用户的基线水平在统计上与零不同。干预前的趋势显示出相反的模式，对应用程序是消极的，对网站是积极的;然而，这些参数估计值没有达到<.05。估计使用量大幅增长(P在干预开始后，我们估计应用程序的日用户数增加了1562% (95% CI 456%-4870%)，网站的日用户数增加了620% (95% CI 176%-1777%)。此外，干预后用户数量的逐日趋势对网站来说也是积极的，具有统计学意义，增长了1.4% (95% CI 0.7%-2.1%)，但对应用程序来说不是，仅增长了0.9% (95% CI 0.0%-1.8%)。

2016年2月25日，气动RischioFacebook主页上有1216个赞。每日新点赞数与两款应用(r=。60，95％CI .53-.66) and website users (r=。59，95％CI .52-.65). Since the start of the intervention, 30 posts had been published; most of these were of the Notes (n=16) and Photos (n=12) types, while there was only 1 SharedVideo and 1 Link. We excluded the SharedVideo and Link types of posts from the analysis, owing to their singularity. We categorized 9 posts as personalized, and the remaining 19 as neutral. Photo posts engaged a significantly (P<.001)的用户中位数高于Notes (1075 vs 376)，且效应量较大(r_c= 0.74)。相比之下，个性化帖子的用户数量(中位数为631)高于中性帖子(中位数为540)在统计上并不显著(P= .76)。

‎ 查看此图

气动Rischio:最终用户特征

应用用户、网站访问者和Facebook粉丝的人口统计资料不同(表2)．从用户的性别来看，女性下载应用程序的频率是男性的1.5倍，四分之三的Facebook粉丝是女性。

相反，男性访问该网站的人数更多。应用程序和网站用户数量最多的年龄段是25-34岁的成年人。气动RischioFacebook粉丝的年龄大于气动Rischio用户中最具代表性的年龄阶层为45-54岁，其次为55-64岁和35-44岁。令人鼓舞的是，大约12%(145/1216)的Facebook粉丝年龄≥65岁。

大约70%(应用:2732/3965;网址:8061/11,643)的使用者，可被定义为有患上IPD的风险。应用程序和网站用户的风险类别分布相似(图4)．共有2617名应用用户(25.9%，95%置信区间为25.1%-26.8%)和2112名网站用户(1.4%，95%置信区间为1.3%-1.5%)表示，他们会向全科医生询问有关IPD及其预防的进一步信息。总共发送了2142封(应用程序1700封，网站442封)包含详细IPD简介的电子邮件。

‎ 查看此图

由最终用户定义的应用程序的客观和主观质量

共有171名参与者填写了MARS用户版。参与者的平均年龄为34.3岁(SD 12.7岁);女性更多(107/171,64.1%女性vs 60/171, 35.9%男性)。共有117名(68.4%)受访者为医护专业人员。MARS总分平均为3.97 (SD为0.45)，占79.5%。

所有MARS子量表的平均分都超过了预先设定的60%的阈值，从主观质量子量表的62.8%到功能子量表的84.4%。就单项单项而言，大部分(15/20)的中位数得分为4.0分，而4项中位数得分为3.0分，1项中位数得分为5.0分(表3)．

无显著性(t₁₆₉= 0.67,PMARS总分存在性别差异(男性平均4.00,SD 0.40，女性平均3.96,SD 0.47)。有一个弱阳性(r=。16，95％CI .01-.30) correlation between the score and the age of participants. Non-health care professionals scored significantly (t₁₆₉= 5.59,P<.001)高于卫生保健专业人员(4.20,SD 0.32 vs 3.87, SD 0.46)，且效应量较大(d=0.92, 95% ci 0.58-1.26)。表4报告最终的多变量模型。受访者职业的主要影响显著(PMARS总分的预测因子<.001):平均而言，医疗保健专业人员比医疗保健部门以外的人少了0.78分(15.6%)。此外，有显著的(P=.01)年龄与职业的交互作用:随着年龄的增加，医护人员的得分越高，而非医护人员的得分没有出现与年龄相关的模式。模型解释了15.5%的方差;残差呈正态分布(Shapiro-Wilk检验:P=.94)，但异方差(Breusch-Pagan测验:P=.02)，证明了稳健标准误差的使用。5个特定于亚量表的模型(多媒体附件1)得出了非常相似的结果。

图5显示对应用程序特定MARS项目的响应模式。超过60%的受访者认为至少有4分(即“同意”或“非常同意”)，这对应于图表中条形图的浅绿色和墨绿色区域图5(109/ 171,763.7%)和知识(105/ 171,761.4%)，而应用程序能够改变态度的项目的比例为52.0%(89/171)，鼓励搜索进一步信息的项目的比例为53.6%(90/168)，行为改变项目的比例为47.0%(78/166)。然而，就像回归分析的结果一样，应用程序的感知有用性因专业类别而异。对回答类别的比较(即非常同意/同意vs中性/不同意/非常不同意)显示，卫生保健专业人员在所有项目上的得分明显低于卫生保健领域以外的人。

‎ 查看此图

讨论

主要发现及与以往工作的比较

我们研究的主要新颖之处在于，它采用了多维方法来评估电子健康项目。所使用的各种技术使我们有机会进行分析气动Rischio从开发人员、最终用户和公共卫生当局的角度来看。然而，正如我们相信在电子健康时代[39不同利益相关者的观点正在融合，我们的讨论不会试图区分单个行为体。

我们的主要发现之一是，营销活动和持续监测使用指标是至关重要的，以增加人群对特定主题电子卫生项目的接触，如气动Rischio．根据加拿大国家免疫应用程序的开发者[24在美国，应用的传播是其成功的关键参数，但这可能具有挑战性。虽然气动Rischio该应用无需付费和注册，不含应用内广告，可在所有主要的意大利应用商店中购买，并且由肺炎球菌疾病专家积极参与开发(这可能与更大的成功有关)。40-42])，在项目启动后，我们每天都在监测项目的使用参数，这促使我们制定了一个营销组合。事实上，我们判断了干预前的下载量(n=340)和网站访问量(n=3994) [14不足以达到主要项目目标。

我们注意到，1年的生命周期气动Rischio被明确地分为两个阶段，这一事实无疑归因于促销活动。因此，宣传活动对于传播关于该项目的资料是必不可少的。的确，如果没有这种干预，每天的数字气动Rischio应用用户可能不会发生变化，甚至可能会减少，而营销策略的实施却使应用下载量呈指数级增长。此外，创建姐妹网站和社交媒体活动可能是增加人口暴露的有价值的方式。

我们的促销活动可以看作是一个自然的实验，使用了一个中断的时间序列设计。这种准实验方法在量化干预的纵向效应方面非常稳健[33］．分段回归分析的结果将使我们既能预测未来促销活动的效果，又能比较按时间顺序进行干预的效果。实际上，分段回归模型允许具有多个更改点的规范[33］．

我们观察到应用程序和网站的使用参数有很大差异。事实上，尽管气动Rischio网站的访问量是应用下载量的15.5倍，平均会话时间更短。这一发现支持了Hearn等人[43]，他建议应用程序和网站应被视为互补的资源。这些作者得出结论，应用程序可能有助于吸引用户，而网站是一个有用的信息源[43］．较高的用户粘性(游戏邦注:下载应用需要付出比访问网站更多的努力)可能在一定程度上解释了应用会话持续时间较长的原因。

照片类型的Facebook帖子有更多的用户参与。这证实了之前的发现，这些类型的帖子可以增强用户互动和用户粘性，并可能被视为社交媒体营销的有用指标。30.］．相比之下，我们并没有证实我们的假设，即含有人称代词或物主代词或形容词(如“我”，“我的”)的Facebook帖子吸引了更多用户。尽管已经有充分的证据表明，个性化的信息更适合人们的参与[44，45]，通过使用人称限定词的纯语言学方法可能是不够的。因此，更高层次的定制可能更有成效。

然而，应该记住的是，尽管社交网络有助于推广这款应用，但它也可能产生一些风险。例如，在它发布大约2个月后，气动Rischio被Facebook上一个名为“自闭症和疫苗”的反疫苗小组引用和批评，截至2016年9月，该小组拥有8600多名粉丝。具体来说，他们的帖子质疑了“被歌颂的科学方法”，并敦促人们“不要陷入混淆肺炎球菌和脑膜炎球菌的陷阱”——脑膜炎球菌大概是指脑膜炎的病原体。这篇文章是典型的反疫苗运动;在Web 2.0时代，反疫苗活动人士经常声称歪曲科学[46］．此外，这篇文章使用了陷阱这个词(tranello)，这有明显的负面含义。虽然这篇文章没有对形象造成负面影响气动Rischio或者它的每日下载量(游戏邦注:没有负面评论或那周的注册用户数量下降)，这种类型的风险很难发现和管理。

不出所料，就年龄和性别而言，气动Rischio用户不能完全代表意大利成年网络用户[47］．事实上，大多数应用程序用户和Facebook粉丝都是女性，而在意大利，男性互联网用户略占优势。另一方面，网站用户的性别分布与参考人群的性别分布非常接近。在年龄方面，我们观察到应用和网站用户以及Facebook粉丝的不同模式。超过一半的应用用户是25-44岁的成年人，而61%的网站访问者是18-34岁。Facebook的粉丝年龄稍大一些，其中四分之三的人年龄在35岁到64岁之间。只有35岁以上的应用程序用户的分布接近成年网络用户的参考人群。

一个值得注意的结果是关于IPD风险类别的分布:大约三分之二的用户可以被定义为有IPD风险。尽管据我们所知，意大利没有IPD风险分布的数据，但德国的一项大型研究[35]发现普通人群中有IPD风险的比例明显较低。我们认为，有几个因素可能导致了所观察到的现象。首先，个别用户可能参与了多个会话。例如，他们可以在第一次填写检查表时给出真实的答案(以便发现自己的风险)，然后可以假设地回答(例如，“如果我有……会发生什么?”)。为了解决这个缺点，我们只考虑谷歌Analytics显示的单个事件。第二种解释可能在于应用用户的自我诊断。为了避免这种情况，我们用第三人称提问(“你的医生有没有告诉过你……?”)。然而，考虑到该主题的高度特异性，我们认为，我们人群中风险较高的最可能原因与真正有IPD风险、能够定位网站或下载应用程序的用户比例过高有关。确实，患有任何慢性疾病的人比健康的人更有可能在手机上安装与健康相关的应用程序[[endn]]。48］．

观察到的应用程序用户在性别、年龄和IPD风险类别方面的分布模式与意大利一项关于电子健康使用的调查结果一致[49］．的确，Siliquini等人[49研究发现，女性、年轻人和慢性病患者更有可能将互联网用于与健康相关的目的。有趣的是，在该研究中，大多数男性电子健康用户是18-29岁的年轻人，而这一比例在30-41岁的女性中最高。虽然男性在流动电话用户中所占的比例较高[50]，女性更有可能安装与健康相关的应用程序[48］．

虽然应用程序、网站和Facebook页面的用户在年龄和性别方面不能完全代表意大利互联网用户，但基本上不知道是谁下载了疫苗或疾病特定的应用程序，并为了免疫相关的目的上网冲浪。为了更好地理解有关我们的数据代表性的问题，值得比较的使用模式气动Rischio网站与VaccinarSi［51)，这是意大利最大的免疫相关门户网站之一。这是一项为期两年的使用研究的结果VaccinarSi计划最近已出版[52］．的气动Rischio而且VaccinarSi网站的男性和女性用户比例相似，这一模式反映了全国男女对互联网的使用情况，其中男性略占优势。这种现象被称为“数字性别鸿沟”，即使在发达社会也依然存在。53］．这两个网站用户的年龄阶层分布非常相似，而Facebook上的粉丝气动Rischio比他们的年龄大VaccinarSi．两个网站的另一个相似之处在于平均会话时间和浏览网页数量[52］．

令人鼓舞的是，大约5000人气动Rischio用户声明他们打算向他们的医生询问更多关于IPD的信息，大约2000人发送了一封电子邮件(可能是发给他们的全科医生)，其中包括他们详细的IPD风险概况。在现代数字时代，医患关系不断变化，当信息更灵通的患者更密切地参与决策过程时，医患关系变得更具参与性[54］．在美国医生的一个大型代表性样本中，85%的受访者至少有一名患者在就诊时携带了从网络获取的健康相关信息，以询问医生对相关问题的意见[55］．因此，全科医生在提高公众对IPD及其预防的认识方面发挥着至关重要的作用，特别是在所谓的疫苗犹豫人群中。

到目前为止(截至2016年9月)，据我们所知，我们的调查是在社区环境中使用MARS的最大研究。用户认为这款应用功能强大;也就是说，高性能，易于使用和导航，信息丰富(定性和定量)。这2个火星子量表超过80%。事实上，在整个应用开发过程中[14，应用程序的可用性属性和易于理解和基于证据的内容是我们的首要任务。另一方面，MARS的主观质量维度平均得分较低，仅略超过60%。第19项可能降低了这一分数，即关于应用的潜在购买;这是唯一一个IQR为1-3的分数。因此，这可能意味着高度针对性和针对疾病的应用程序(特别是在发病率相对较低的疾病情况下)应该是免费的。事实上，免费应用的下载频率要比付费应用高得多。56到2016年，94%的应用程序将被免费下载。同样令人鼓舞的是，参与分量表的平均得分为75%，因为除了信息质量外，互动性也是有助于提高客户对信任商品或服务的意愿的重要因素[57］．

医疗保健专业人员将MARS得分较低归因于所有子量表和应用程序特定项目。调整后的回归模型预测MARS总评分和子量表评分证实了这一发现。因此，医疗保健专业人士对健康相关应用的期望较高是有道理的。这些较低的分数并不奇怪，因为应用的目标人群是普通成年人[14］．然而，研究表明，只有一半的医生真正知道IPD这个术语[11］．气动Rischio因此对许多全科医生也很有用。

研究的局限性

在解释我们的研究结果时，我们注意到三个主要的局限性。首先，我们被迫使用项目有效性的代理措施，即意图向全科医生询问IPD的进一步信息以及发送详细IPD风险概况的电子邮件数量。在我们看来，这两个指标比应用下载量、网站访问量或Facebook粉丝数量更接近项目效率。的最佳指标气动Rischio有效性将是用户真正向全科医生询问IPD及其预防信息的比例，甚至是在使用项目后(或因为)接种了肺炎球菌疫苗的比例。然而，获取这样的数据在计算上、经济上和伦理上都具有挑战性。其次，尽管MARS的专业版本和用户版本非常相似，但只有专业的意大利版本得到了验证。考虑到MARS的两个原版英文版本只是略有不同(尽管用户版不需要培训)，我们认为专业意大利语版MARS的心理测量特性[36]将与用户版本类似。第三，由于我们填写MARS的参与者样本不能代表意大利成年互联网用户，我们的估计可能与参考人群的平均分有所不同。事实上，考虑到我们的便利样本过度代表了医疗保健专业人员，他们认为MARS得分明显低于外行的目标人群，MARS的总结得分可能更高。

结论

尽管它的主题非常具体，而且有点小众，气动Rischio这可能是一个成功的项目，因为它在一年内吸引了超过15万用户。此外，它还在电子健康竞赛中获得了专业认可。因此，我们希望我们的项目将有助于对抗侵入性细菌疾病。

然而，为了接触到潜在的最终用户，这些项目应该推广。事实上，健康相关应用程序的开发过程应该是持续的，而不应该随着应用程序的公开发布而结束。在我们看来，需要开发一个多维度的框架来评估健康相关应用程序;这至少应包括(1)证据基础，(2)客观和主观质量，(3)有用性，(4)使用指标，以及(5)结果评估(如果适用的话)。