花粉应用程序预测的评估:电子健康服务中质量控制的需要

简介

背景

花粉过敏是一个全球性的健康问题[1］．它们在很大程度上影响到各国相当一部分人口[2-5］．花粉预测已被证明是避免过敏原、处理和治疗花粉过敏的极有价值的工具[6，7］．花粉信息在花粉季节消耗得更多[8-说明对此类服务的需要。今天，花粉预报也通过移动技术(手机、平板电脑、任何无线设备)传播，移动健康(mHealth)在告知公众方面变得越来越重要。然而，电子保健仍需要制定标准和伦理框架[9避免意外后果[10］．萨旺德等人[11]提供了安全电子健康监测的最近综述。此外，世界卫生组织进行了一项关于电子保健的全球调查[12报告称，在收入较高的国家，电子卫生或移动卫生活动有所增加。

数据质量值得关注[13，并可根据准确性、精确性、完整性、及时性、相关性、易读性、可访问性、实用性、通用性或新鲜度以及保密性等多种标准进行判断。在任何电子保健服务中提供的数据或信息的质量，特别是准确性、准确性和完整性方面，并不总是得到审查;其中包括食物成分的移动应用程序[14]、糖尿病[15，复杂慢性疾病和残疾[16，铁摄入量[17]、狼疮治疗[18]，或为痴呆症患者开设的网上入门网站[19都是很好的例子。所有这些研究都表明，需要改进电子保健或移动保健服务的质量和可用性。

花粉的预测

一系列与花粉过敏相关的移动应用程序可以免费提供花粉预测，但直到目前为止，用户还没有被告知花粉预测的准确性。与此同时，针对花粉过敏患者的健康相关内容应用程序的发布者身份还不得而知。此外，专注于花粉过敏和过敏原预防的应用程序研究仍然很少[20.，21］．本文审查的5个应用程序包含在Berger等人的一项研究中。20.对其功能和内容进行评估。Berger等人的研究标准与本研究不同，他们从正式的角度检查了应用程序，但没有考虑花粉预测本身的质量。尽管花粉预测良好科学实践的参数最近才确定[22]，目前还不清楚不同的应用程序在花粉预测质量方面表现如何。花粉预测在多大程度上代表了现实，以及花粉预测对开花准备情况的预测效果如何，这些问题仍然没有答案。

本文分析了来自4个不同国家的9个手机app在2016年草花粉季节的花粉预测。此外，为了检验这些预测的准确性和可靠性，还对开花换草准备的预测日期进行了评估。预测中的差距和错误也被考虑在内，以完成特定应用程序的性能图。

方法

包括移动应用程序的选择

本研究包含以下免费下载的应用程序:(1)“花粉”[23]，(2)“Biowetter”，(3)“Pollenwarner”，(4)“DWD Pollenflug- index”(简称:“DWD”)，(5)“Allergiehelfer”，(6)“Pollenflug Vorhersage”(简称:“Pollenflug”)，(7)“Allergohelp Deutschland”(简称:“Allergohelp”)，(8)“花粉新闻”，和(9)“Hayfever花粉预测”(简称:“Hayfever”)。应用Apps 1-3对奥地利进行预测，并对其对维也纳的预测进行评估。应用程序4-7用于德国，并对其对柏林的预测进行评估。应用App 8对瑞士进行预测，并对巴塞尔进行评估。应用App 9对英国进行预测，并对伦敦的预测进行评估。在研究期间，每天都在同一时间(下午1点)制作每个应用程序预测的截图，以便总是使用最新的预测(当天的预测)进行评估。为了检验花粉预测的基数准确性，没有提前2或3天分析预测。由于草花粉季节是一个较长的花粉季节，波动较小，因此是预测较简单的季节之一，因此对禾本科草花粉预测负荷进行了分析，以评价预测结果。

数据集

所使用的花粉数据检索自欧洲空气过敏原网络(EAN)数据库，并来源于国家花粉监测网络(见“致谢”)。通过hirst型花粉捕集器获得花粉数据[24］．该等容量测定阱的操作，以及对所得空气样本的光显微镜评估，均符合欧洲有氧生物学界的最低要求[25]也需要从EAN数据库中获取，以确保花粉数据的高质量。根据当地草花粉数据，根据EAN标准定义，每个地点的草花粉季节为年度草花粉指数的1%至95%:维也纳(2016年5月1日至2016年8月5日)、柏林(2016年5月12日至2016年7月23日)、巴塞尔(2016年4月30日至2016年8月8日)和伦敦(2016年5月28日至2016年7月22日)。

统计数据

使用描述性统计和R3.3.1 (R统计计算基金会，维也纳，奥地利)进行分析。将这个确定的草花粉季节内的每日草花粉浓度与预测负荷进行比较。用过的负荷等级及其各自的花粉浓度范围见表1．所用的范围采用了奥地利花粉信息服务和部分对应的范围也在德国，瑞士和英国使用。引入了负载类别之间的容忍，以允许边界的灵活性(由于生物地理差异或不同的花粉负载定义)。在此设置中，正确的预测意味着预测的负载是“确切的”类别，或者是用增加或减少的值计算的类别。我们在此将“命中率”定义为对每日花粉浓度预测准确性的花粉预测性能的衡量，即在确定的时间段内预测的正确率。计算包括一个精确的命中率(无偏差)，一个±2花粉的命中率，和一个在每个类别边界附近±4花粉的命中率(表2)．这是因为预测不应该因为重叠的微小差异(例如，一个花粉粒)而自动证伪。必须为“DWD”应用程序开发一种采用的方法，因为它也使用中间预测负载，与所有其他应用程序相比，这些应用程序应该与相邻的两个类别重叠。数值区间是基于负载边界和20%区间之间的平均值计算的表1)．对于精确匹配，计算正确预测的比例(在“DWD”应用程序的情况下，如果花粉浓度在重叠区间内，两类都被视为正确)。

此外，将牧草“开花准备状态”预测的表现与该季节首次出现的适度花粉负荷进行了比较。选择第一个中等的草花粉负荷作为“阈值”，因为在草花粉季节之前的空气中可能出现较低的草花粉负荷。然而，只有两个花粉应用程序(“花粉”和“花粉新闻”)提供这样的服务。

结果

移动应用程序的描述

本文所研究的移动应用程序从其主要选项、功能背景和值得注意的观察三个方面进行了描述。所有这些都是免费的。

“花粉”包括花粉信息(预测、季节倒计时、不同花粉传播模型和预测地图)、花粉过敏相关服务(过敏症状和负担日记、基于症状记录的每日负荷、个性化花粉信息、搜索过敏症医师)、植物信息、推送通知服务和印记(奥地利花粉信息服务是开发和运营商)。据我们所知，这是唯一一款经过科学描述和发布的应用。23]。

“Biowetter”是一款关注天气和生物节律的应用程序，花粉信息只是应用程序的一部分。应用程序中不存在印记，并定期出现广告。在研究期间，它是最常见的崩溃报告和缺少预测信息的应用程序(图1)．

“Pollenwarner”包括花粉信息、推送通知服务、症状日记和一般信息(提示和技巧)。上面没有标记，但从logo可以看出Tempo和Otriven公司与这款应用有关。

“DWD”提供花粉预报、预测地图，并拥有“Deutscher Wetterdienst”的标识，这不仅是德国官方气象服务，也是联邦交通和数字基础设施部业务领域的更高一级联邦权威机构，根据德国花粉信息基金会(PID)的花粉测量数据提供花粉预报。

“Allergiehelfer”包括花粉预测，包括推送服务和一般信息。制药公司葛兰素史克公司(GlaxoSmithKline GmbH & Co. KG)出现在商标上。

“Pollenflug”提供花粉预测、预测地图、推送通知服务、过敏问卷和一般信息。印牌中提到了制药公司Hexal AG，该应用程序包括过敏药物的广告。

“Allergohelp”提供花粉预测，预测地图，过敏和治疗的一般信息，治疗文档，以及过敏症专家的搜索。印牌中提到了allergpharma GmbH & Co. KG制药公司。

“花粉新闻”包括花粉信息(花粉预测、开花开始、地图)和一般信息(提示和技巧、空气过敏原信息)。啊哈!Allergiezentrum Schweiz和Bundesamt für meteologie und Klimatologie MeteoSchweiz被指定为出版社。啊哈!Allergiezentrum Schweiz认为自己是一个病人组织，而Bundesamt für meteologie und Klimatologie of MeteoSchweiz是瑞士的国家天气和气候服务机构。

“花粉热”提供花粉预测和预测地图。广告存在，而印记不存在。然而，a . vogel(天然和草药疗法)公司以商标的形式出现。

以命中率评价花粉预测质量的结果

以击中率衡量的草花粉预测质量(表2考虑到确切的点击率，5个应用程序的得分在40-50%之间(“DWD”，“Allergiehelfer”，“Pollenflug”，“Allergohelp”和“花粉新闻”)，而3个应用程序的得分较低，低于40%(“Biowetter”，“Pollenwarner”和“Hayfever”)，只有一个应用程序的得分在60%以上(“花粉”)。当计算出一个容忍范围时，命中率就会提高，而且大多数应用都能从不断增加的容忍范围中受益。只有“花粉热”表现出较低的改善，随后出现花粉耐受量从±2到±4的停滞。在大多数应用中，准确命中率都显著提高到±2的容忍范围，特别是《花粉》的准确命中率提高了15%左右。“花粉”也是总命中率最高的应用(高达80%，误差为±4)，改进最大，误差最小的应用。其次是50%到59%(“Pollenflug”、“Allergiehelfer”、“DWD”、“Allergohelp”和“花粉新闻”)。即使有最高的容忍度，也有得分低于50%的应用程序(“Biowetter”、“Pollenwarner”和“Hayfever”)。

所有应用程序的花粉水平预测箱线图揭示了进一步的见解(图1)．在草花粉季节出现空白或错误的应用程序有“Biowetter”、“Allergiehelfer”和“花粉新闻”。值得注意的是，与所有其他应用程序相比，“Biowetter”不仅显示了最高的漏报频率，而且预测没有或较低的草花粉负荷。在预测负荷的均值和25-75%分位数(如“Biowetter”，“Allergohelp”和“Hayfever”)的类似分布中，低质量也变得明显。

根据2016年5月9日维也纳“花粉”的预测倒计时，草已经准备开花;第一次适度的草花粉负荷也发生在同一天。根据2016年5月10日巴塞尔“花粉新闻”的预测倒计时，草已经准备开花;第一次中度花粉负荷发生在3天前(即2016年5月7日)。

讨论

主要研究结果

预测花粉浓度或花粉负荷不是一件小事，因为许多因素在花粉过敏患者的负担发展中发挥作用。需要几个数据源和信息，包括该地区的生物地理、持续的花粉监测和可靠的花粉数据、高质量的天气预报、物候学、模型(花粉扩散的数值模拟)、医疗-过敏症专门知识各自的症状数据和花粉预测任务的经验[22］．在应用花粉误差范围为±4的情况下，本研究中的大多数应用程序对实际当天花粉预测的命中率仅为40-60%(8个应用程序)。研究结果表明，预报质量已有一定的提高空间。

虽然只有两个应用程序提供了开花准备情况的预测(“花粉”和“花粉新闻”)，但这些预测都有出色的表现。这里使用的预测日期是信息“准备开花”发生时使用的日期。早前的预测日期为4月中旬(例如，2016年4月15日)，这两个应用程序宣布2016年5月6日为草准备开花的日期，考虑到这是在各自的草花粉季节开始前近一个月的预测，这仍然足够准确。预测的日期与第一次适度的草花粉负荷(“花粉”)或在几天内(“花粉新闻”)一致，因此可能被推荐为花粉过敏患者为草花粉季节做好准备的有用服务。

‎ 查看此图

限制

必须提到的是，某些事实和依赖关系使精确花粉预测的生成变得复杂。花粉预测活动依赖于尽可能准确的天气预报。虽然当天最低和最高气温的天气预报正确率由85%至95%不等，但降水和日照时数的预报则较为复杂，准确率较低[26］．此外，对诸如臭氧等环境污染物的预测取决于气象参数的准确性。例如，在一项3年评估中，由于气象预报误差，臭氧预报的准确性从6%到25%不等[27］．此外，还应考虑花粉预报是否应与概率天气预报同等对待。在此，我们想明确一个问题，即科学界和花粉信息服务机构是否应该将“低花粉负荷”的预测视为“低花粉负荷的高概率”，其后果包括定义概率，并以一种可理解的方式向公众宣传和传播，这对于概率天气预报来说已经很困难了[28］．此外，授粉作用因植物丰度和小气候而异，导致同一地点或城市的花粉浓度不同[29-31］．这一事实在本研究中被考虑到命中率与公差的分析。我们建议，如本文中所使用的带公差的分析是有利的，因为它们补偿了可能不归为误差的微小差异。缺少花粉预测是一些应用程序(4个应用程序)的问题，也是公司发布的应用程序的问题。对于过敏患者来说，没有任何信息就像不准确的花粉预测一样无用，因此有必要提高服务的可靠性。很明显，对预测的质量控制将有利于花粉过敏患者，使他们了解特定供应商花粉预测的可靠性，并提高花粉预测的质量。

未来的建议和可能的网关

为支持花粉过敏原患者而避免过敏原的移动应用程序应满足一定的标准和功能，其中包括容易理解的花粉预测、最少的预测空气过敏原、植物信息、症状日记、过敏风险问卷，以及应用程序的发行商标明负责机构的标识，最多不存在利益冲突[20.］．在此需要注意的是，花粉信息app中广告很常见，尤其是发布者是公司，不直接参与花粉预测。有直接广告的应用程序有“Biowetter”、“Pollenflug”和“Hayfever”。应用的发行商是谁代表了重要的信息。在“花粉”、“DWD”和“花粉新闻”这三个应用程序的背景中，有一个参与预测的机构，但在其他六个应用程序中没有。本研究的结果强调了花粉预测的改进和质量控制的必要性。

数据来源和方法的结合将导致花粉预测的改善，并已在该研究中发现的性能最佳的移动应用程序中使用。物候规律评估花粉季节的局部进展。花粉扩散模型和开花准备模型支持准备花粉预测的人。症状数据揭示了每日花粉浓度对花粉过敏患者的影响，并允许根据相关人员的需要调整预测。这些可能是需要与未来花粉预测建立更紧密联系的途径。关于改进花粉预测的具体建议包括:(1)最多在花粉季节持续评估花粉预测质量，以尽快提高质量;(2)理解花粉预测的概率性质，并在用户可见的服务中实施这方面的工作(如预测准确性的百分比信息);(3)实施除花粉数据外的所有必要信息源，如症状数据和物候例程，以改进花粉预测[22］．

结论

花粉预测对于花粉过敏患者来说是避免过敏原的关键，因此花粉预测的准确性是提高生活质量的关键因素。大多数应用程序发布的预测命中率约为50%，这一分数对于这个目的来说太低了。花粉预测的质量控制应该引入，因为错误的预测可能被视为潜在的身体伤害，并可能对相关人员造成重大伤害。制药公司不应提供花粉资料和花粉预报，也不应附带广告[22]以确保花粉预测不偏不倚。最后，我们已经确定，为开发或推广花粉预测应用程序的机构提供知识证明和必要的数据集，对于确保用户的安全和这种电子健康服务的质量是必要和至关重要的。