使用英国国家卫生服务开放数据的障碍

背景

开放数据的简单定义是任何人都可以访问、使用、修改和共享的数据;更多的技术定义可从各种来源获得[1］．因此，开放数据必须在公共领域共享，或在开放许可下提供，免费访问和下载，以机器可读的形式提供，并以开放格式提供，这种格式本身对使用没有限制。

英国政府早就认识到，仅仅发布数据本身不足以满足这些标准，也不足以推动变革和创新。2012年《开放数据白皮书》提出了14项信息原则，宣称数据应易于查找，无需注册即可获得，并附有有意义的描述性文本，以及各种其他更具技术性的建议[2］．它还采用了Tim Berners-Lee的5星级方案来评估数据集真正可重用的程度:范围从非结构化的专有文档到具有统一资源标识符的非专有格式的完全链接数据。尽管大量数据已被适当授权免费重用，但白皮书中概述的更详细的原则并没有得到一致采用。

英国国家卫生服务体系(NHS)一直认为，透明度可以为病人和纳税人带来更好的结果。3.，4]，而卫生署早在1998年就要求公布部分处方数据[5］．然而，据我们所知，很少有工作描述NHS分析师、行业或健康研究人员在实践中如何使用开放健康数据;而且之前没有遇到过关于屏障的工作。

我们的团队开发和维护OpenPrescribing.net，这是一个在线和公众可访问的工具，帮助用户探索高度细化的NHS初级保健处方开放数据。它被广泛使用，每月有超过15,000个独立用户。它的用户主要来自NHS内部，但行业和患者群体也有很好的代表性。在英格兰，每个地方地区的卫生保健服务的规划和委托由临床委托小组(CCGs)进行，这些小组与英格兰国民保健制度一起从个人全科医生(GP)的实践中委托初级保健服务。全科医生在处方行为上有相当大的自由，处方费用通常由ccg承担。从ccg到药房(和其他组织)的资金转移由NHS商业服务管理局(NHSBSA)调解，该管理局处理所有处方交易以确定正确的付款。因此，NHSBSA还负责将药店提交的数据转换为标准格式。虽然它的存在是为了经济目的，这个非常高质量的数据集的存在提供了一个独特的机会，找到方法来提高质量，安全性，和成本效益在英国所有个人GP实践。我们的工具支持复杂的定制数据查询，以及许多预定义的安全、成本和有效性标准措施。总的来说，92.1%(176/191)的ccg签署了每月警报，自动识别高优先级的行动项目。 We have published peer-reviewed research showing that prescribing is substantially improved in practices and CCGs where OpenPrescribing.net data are accessed [6］．

OpenPrescribing.net建立在理论上可以公开访问的数据之上。在访问和处理这些数据时，我们多次遇到耗时的障碍。在这篇论文中，我们描述了其中的一些障碍，并就NHS如何更有效地共享数据提出了建议。

下面列出的观点是基于我们建立OpenPrescribing.net的技术工作，同时也基于我们更广泛的背景。牛津大学的数据实验室是一个由软件工程师、临床医生、学者和分析师组成的混合团队，将NHS数据转化为工具和服务，直接改善患者护理。我们的目标是汇集技能，结合软件工程和学术界的最佳实践，生产开源软件、开放原型和开放工作簿。在GitHub上，在开放许可下，我们在34个公共存储库中共享了44,000行代码，提交了超过5000次;850个Python文件;105个结构化查询语言(SQL)文件，包含4600行SQL;140本Jupyter笔记本;以及超过1000个GitHub问题，每个问题都包含我们遇到的具体问题及其技术解决方案的详细描述。我们中的许多人以前也在促进知识开放获取的组织中工作过。更具体地说，参考我们与NHS开放数据合作的经验，至少8个不同的数据集必须被定位、下载、转换、标准化、解释、组合，然后处理，以在OpenPrescribing.net上创建一个明显简单的映射洞察:“在过去的5年里，NHS North Cumbria在利那洛肽上花费了63,000英镑。”

在下一节中，我们描述了在访问NHS开放数据时遇到的一系列障碍。对于每个问题域，我们描述了我们打算访问的数据集、遇到的障碍，以及一些建议的解决方案，这些解决方案将使数据可用且有影响力。

处方数据本身的问题

每个月，我们下载并处理英格兰国民医疗服务系统的处方数据。最佳做法[7-9它应该很容易被发现，在没有人为干预的情况下访问，在不改变的地址上提供，并记录在案，以便清楚地解释相关概念。这些处方数据都不是完全正确的。

例如，始终如一地定位数据是困难的:无论是最初的还是在每个月的数据的持续基础上。数据消费者面临的第一个挑战是选择要使用的数据集。两个不同的组织发布了两个非常相似的数据集:NHS数字和NHSBSA。NHS数字数据集在数据收集后的第三个月的第一个星期五发布，而NHSBSA数据集通常在数据收集后6周可用。这两个数据集都没有在文档中引用其他数据集，我们也没有找到一个单独的位置将它们标识为互补源。

在2017年之前，我们使用的是NHS数字版(被称为实践水平处方数据)，只是因为这是最容易找到的。两年来，我们从NHS Digital的数据存储库中检索数据[10但这种联系在2018年破裂了;经过内容重组，现在可以在新的NHS数字网站上获得[11］．复杂的容易发现这个数据集的事实是，它也列在NHS英格兰数据目录但数据截止到2016年5月[12］．每次数据的位置发生变化，就会破坏我们编写的自动下载数据的软件。

我们自2017年以来使用的版本被称为实践详细处方信息(PDPI)，并由NHSBSA在其信息服务门户网站上发布[13］．转向使用该数据集的决定是由其及时性驱动的:每月发布的数据比实践级处方数据要早得多。然而，它很难使用。首先，数据集只有在完成CAPTCHA后才能访问，这意味着自动化下载过程是不可能的:每个月软件工程师都必须手动填写一张表格(图1)．

其次，尽管提供了PDPI文档，但文档是不完整的:它引用了不存在的字段，并且没有引用存在的15个字段[14］．最后，令我们惊讶的是，我们在NHSBSA的通讯中读到，他们的信息服务门户网站上的数据版本将在2018年12月被新系统取代[15］．我们已经确定，对于最终用户来说，暂时不会有任何改变，但令人惊讶的是，没有就这种可能性进行公众咨询。改变我们的系统来支持一个新的位置(和潜在的格式)可能需要几个星期的时间，对这种变化进行早期预警是必要的。文本框1概述了可以采取的改善数据获取的一些步骤。

‎ 查看此图

英国国家公式名称

每个处方都由“BNF代码”标识:这通常是15个字符长，唯一标识药物的表现。例如，曲马多HCl 300 mg片剂的代码为040702040AAAMAM。为了使处方数据对分析人员有用，所有英国国家处方集(BNF)代码必须转换为人类可读的BNF名称。支持这一点的数据由NHSBSA在信息服务门户网站上发布(在另一个CAPTCHA后面)[16］．

编码方案是基于BNF的旧分类，他们不再维护自己。因此，NHS的修改版本被恰当地称为“伪BNF分类”[17］．BNF编码的更改全年都在进行，每年1月都会进行一次大规模的重新分类，一些药物会在BNF部分或BNF章节之间移动，而其他药物则会获得全新的BNF代码。这个重新分类的过程没有被提及，更不用说描述了，我们可以在互联网上找到的任何地方。BNF文件更新的过程尚不清楚。虽然我们知道每年1月都会发布一个主要的修订版本，但每月也会发布一个次要的修订版本，但用户并不知道这一点，因为数据下载页面只引用了1月份的版本(图2)．

一些BNF代码会随时间变化，这使得基于时间的数据分析变得困难。例如，用户使用当前的BNF代码搜索利那洛肽(Linaclotide)，将发现2014年之前没有处方。这是因为药物从BNF段移走1.2: Antispasmod。&其他Drgs Alt.肠道运动到BNF段1.6.7:用于便秘的其他药物，其BNF代码也随之改变。

‎ 查看此图

由于在互联网上没有提到这种变化是可能的，我们首先推断这是用户询问明显消失的药物的情况。在直接查询之后，我们现在通过直接向NHSBSA发送电子邮件，获得了每年1月详细说明变化的电子表格，并将其应用于导入的处方数据。通过比较每个月的伪BNF代码列表，我们推断出代码有时也会在年中发生变化，但还没有获得每月这些单独变化的访问权限[18］．文本框2描述了NHS可以帮助公众理解BNF代码变化的一些方式。

实践数据

为了在我们的分析中包括患者名单大小，并显示实践名称和地址，我们在NHS Digital提供的数据集中查找了额外的信息。自2015年以来，该数据集的格式没有变化;然而，我们经常遇到位置变化的问题，这阻止了我们完全自动化这个每月的过程。

直到2018年，我们的程序都是自动搜索短语“在全科医生诊所登记的病人人数，然后在返回的结果列表中寻找数据集。从7月开始，数据被转移到另一个地方。此外，文件中日期的格式在6月和7月之间发生了变化。从那以后，地点又换了两次。所有这些变化都意味着，自动导入练习列表信息的代码通常会中断并需要手动输入。

一旦获得了实践数据，我们就遇到了数据质量问题。总的来说，NHSBSA提供的数据是高标准的。但是，对于几个已知的反复出现的错误没有文档，也没有办法系统地报告和纠正它们。

例如，了解一个机构是标准的全科医生诊所还是另一种机构(例如，无家可归者服务机构或救助中心)是很重要的。然而，在所提供的数据中，有少量但数量显著的编码错误，例如对护理院的分类[19]及暴力病人服务[20.]作为标准设置。当我们询问这些问题时，我们被告知错误只能由ccg自己纠正;然而，他们无法向我们提供CCG的联系方式，让我们自己系统地联系这些组织，并通知他们需要对自己的数据进行更正。同样不清楚的是，NHS是否有任何部门认为自己有责任维护这一领域的准确数据。

作为最后一个例子，这个问题由于列表大小数据经常包含虚构值而进一步复杂化。有时，我们会发现一些做法的处方水平不太可能，远远超过了他们的患者总数[21］．这些错误可能是数据输入错误，但有时似乎是由数据规范的不寻常设计引起的:当注册一个新实践时，NHSBSA形式表声明列表大小必须，可以是“名义上的”，但必须低于100 [22］．我们对此的解释是，任何小于100的列表大小都必须被认为是任意的，不能依赖。这种解释可能是错误的，但在缺乏文档的情况下，这是我们最好的猜测。数据管理的最佳实践是，缺失的值应该清晰地编码。文本框3包含帮助使用练习列表大小数据的进一步建议。

临床调试组代码、边界和成员

为了在CCG级别上分析数据，我们需要将每个实践数据聚合到CCG级别。源数据为每一行提供一个CCG，因此这对于当前数据来说很简单。

地图

我们在OpenPrescribing.net的不同地方的地图上显示CCG边界:在图3在诺福克郡，一种非常罕见的抗精神病药哌雅嗪的处方异常高。直到2017年，我们从英国国家医疗服务体系获得了地图数据[23］．这是偶尔更新;有一次，它提供的格式与平时不同，所以我们不得不相应地改变我们的软件。2017年，很明显，这张地图不再随着ccg的变化而更新。我们发现了英国国家统计局(ONS)提供的一份新文件[24]，这是最新的。在一段时间内，这两张地图都可用。在此期间，NHS英格兰地图已经过时2年，并且没有迹象表明在不同的位置有更最新的地图。最终，NHS英格兰版从网站上消失了。目前的国家统计局地图似乎是准确的，但不像英格兰NHS的地图，它不包括CCG标识符，因此需要一个单独的数据文件来将CCG与其边界关联起来;同样，提供的文件没有明确指出在哪里可以找到这样的映射。

‎ 查看此图

临床调试组实践成员的变化

我们的每个实践数据提供了一个实践的CCG会员本月。然而，历史分析由于实践经常改变CCG、CCG边界有时改变以及CCG经常合并这一事实而变得复杂。例如，2017年，NHS坎布里亚郡和NHS莫克姆湾之间的界限发生了变化。我们可以从数据中推断出，32家诊所因此搬到了莫克姆湾[25］．

OpenPrescribing.net软件通过预测当前CCG成员的时间来解决实践可能在CCG之间移动的问题:例如，2012年分发的处方被分配到实践当前所属的任何CCG。这在大多数情况下都很有效，但当诊所关闭时就变得复杂了。以2017年4月的坎布里亚郡为例，有5家诊所在边界变更前关闭;因此，这些都没有反映在当前CCG成员数据中。这就留下了一个问题:他们的病人并没有消失，只是转移了，但不可能找到或推断他们被转移到哪里，因为关于诊所的病人名单在关闭后发生了什么，这些信息无法作为数据获得。

我们自己的研究已经确定，当一家诊所关闭(或合并)时，它必须填写至少两份几乎相同的表格，以通知NHSBSA的处方定价部门[26]及英国初级护理支援(PCSE) [27］．我们在信息自由(FOI)请求中向有关组织索取了这两种表格所产生的任何数据[28，29］．NHSBSA通知我们，“处方者和实践/成本中心的修订仅以纸质形式保存，”PCSE最终向我们提供了一份电子表格，该电子表格似乎与实际闭包关系不大[30.］．因此，每年4月(当边界发生变化时)，我们的开发人员必须对封闭实践中的患者现在属于哪些当代ccg进行有根据的猜测，在实践层面，我们无法正确修改数据[25］．

文本框4就如何提高测绘数据的质量和可访问性提供了一些建议。

“数量”是什么意思?

单行处方数据包括一列，表示所配发的药物数量。例如，在扑热息痛片剂的情况下，25的“数量”意味着25平板电脑被分发。这个字段在我们的大多数分析中使用。例如，我们的单价工具[6)通过在“数量”水平上比较全国不同做法的分配药品价格，确定可能的节省。然而，对于每一种产品的“数量”究竟意味着什么，一直没有一个一致而精确的定义。31］．例如，NHS数字词汇表[17定义如下:

一种药物的配发量以单位计量，取决于产品的配方，这是在药品名称中给出的。如配方为片剂、胶囊、安瓿、小瓶等，则数量为片剂、胶囊、安瓿、小瓶等的数量。当配方为液体时，量为毫升数。其中，公式是固体形式(如;霜，凝胶，软膏)，数量将是克数。

但是，这个定义不够精确，不能用于统计分析。例如，泡沫应该被归类为液体还是固体并不明显。进一步广泛的调查发现，每个产品都存在一个“标准数量单位”字段，它精确地定义了属性。然而，它只能在一个地方找到，每月处方成本分析电子表格[32]并且在该数据集之外的任何地方都没有提到。从2018年12月起，这一有用的列在没有任何警告的情况下被删除。

即使已知一种演示的标准数量单位，数量的定义有时也会有所不同，例如，在“剂量”和“包”之间。在开发单价工具的过程中，我们发现一些产品的最高价格超出了正常范围的数量级[33］．例如，每包分发56件的物品有时被记录为1或56件。

NHSBSA的一个术语表是这么说的:“产品包装在‘特殊容器’中……在某些情况下[我们的重点]这些物品显示的数量是提供的单位数，即1或2，即使一包可能包含56片。[31］．

从这句话中，我们不清楚“数量”在单一表述中的意义变化是有意的还是偶然的。我们向NHSBSA提出了具体的例子，这导致其中一些数字被回顾性地纠正，但在其他情况下，我们被告知“正在进行审查，并就前进的方向达成一致”。

数据出错是不可避免的，也是可以预料的。总的来说，NHSBSA数据集非常没有错误。然而，作为分析人员，我们需要了解错误在哪里，如果它们是系统性的，在哪里，以及我们可以预期它们出现的频率。为了了解这些数据，需要进行详细的调查分析，这使得我们的单位价格节约工具的推出推迟了几个月。这种延迟会对现实世界产生影响;已发表的同行评议数据显示，该工具每年为ccg节省数百万英镑[6］．文本框5总结了提高已发表数据集的意义和质量的一些方法。

我们如何通过电子邮件联系实践?

2017年，我们开始进行一项简单、低成本的随机试验:我们通知全科医生在处方中节省成本和提高质量的机会，目前正在衡量这一通知对他们行为的影响。干预分为3种沟通方式:信件、电子邮件和传真。我们假设NHS必须至少有一个关于从业者电子邮件地址的中央数据库;例如，英格兰国民医疗服务系统每月向全科医生发送一份全科医生实习简报。我们知道公开这个数据库可能会有问题，但我们也惊讶于查明数据库是否存在是多么困难。

首先，我们查阅了WhatDoTheyKnow，这是一个根据《信息自由法》(FOI Act)公开提出的请求档案，以查找过去任何关于全科医生执业联系信息的信息自由请求。我们发现英格兰国民医疗服务体系拒绝了类似的实践信息请求，并表示“英格兰国民医疗服务体系不持有与您的请求相关的信息”[34］．我们知道这不太可能是正确的，所以我们发送了一个新的请求，专门询问全科医生实践公告的联系方式，我们知道这是通过电子邮件发送给英格兰国民医疗服务体系的实践。35］．该回复承认存在一份名单，并承认“根据英国国民医疗服务体系对公开和透明的承诺，发布此类信息符合公众利益。”

然而，根据《信息自由法》中允许的两项豁免，该请求被拒绝。第一个是第40条(与个人信息有关的豁免)。他们认为，这对员工来说是不公平的，他们是为了一个目的而签约的，却因为另一个目的而被联系。第二项是第43条(关于商业利益的豁免)。这显然是因为NHS英格兰从第三方购买了一些全科医生的电子邮件地址，该许可禁止NHS共享信息。

在我们知道存在的一个数据库失败后，我们向每个可能拥有GP电子邮件地址数据库的公共机构提出了请求。我们预先加入了一个论点，即第40条不应适用，因为这些是工作电子邮件地址。所有人都被拒绝了，理由与英国国家医疗服务体系(NHS)类似，或者援引第21条(信息已经可用——这是不正确的)，或者声明他们没有掌握信息。回应总结在表1．

在我们看来，许多回复给人的印象是一个组织积极地寻求方法拒绝发布这些信息。NHSBSA认为，提供电子邮件地址将损害商业利益，因为它降低了安全性:“电子邮件地址可能被网络犯罪分子用来针对实践，ccg等。如果这样的攻击成功，可能会导致经济损失和/或患者数据的丢失。”在我们看来，这是一种极不现实的担忧。长期以来，在安全研究界，隐藏信息本质上增加安全性的观点一直被揭穿，在那里，这种观点被轻蔑地称为“通过模糊实现安全”;而且，无论如何，电子邮件地址都可以通过商业数据提供商获得。此外，大多数全科医生都希望病人可以通过电子邮件与他们联系。

我们最终能够进行随机对照试验(RCT)，但成本大大增加。我们向所有201个ccg发送了信息自由请求[40，其中29人同意至少分享一些电子邮件。我们还编写了从NHS选择网站下载数据的代码。最后，我们将我们的结果与我们购买的商业数据集相结合。最后，我们从NHS选择网站收到了27.0%(190/703)的实践电子邮件，7.9%(56/703)来自我们的信息自由要求，其余来自商业提供商。值得注意的是，从商业供应商购买的电子邮件地址明显比直接从NHS资源中获得的质量更高:当我们从商业渠道获得电子邮件地址时，18%(86/474)的实践访问了电子邮件链接，而从其他渠道获得的电子邮件地址的实践访问了11%(23/211)。

总而言之，不提供电子邮件地址的理由前后不一致，有时难以理解。我们认为第40条的豁免(即公布这些数据对个人不公平)被滥用了:鉴于这些是管理人员的工作地址，根据当前的《信息自由法》准则，将有充分理由公布它们。至少，考虑到33%(66/201)的ccg愿意提供电子邮件地址，豁免的解释和应用非常不均衡。我们也明白，绝大多数的做法都有一个通用的nhs.net收件箱，这肯定会免受第40条的限制，但即使是这些电子邮件地址的列表显然也无法获得。

最终，对于研究人员、卫生专业人员或公众来说，通过电子邮件联系任何全科医生都应该不难;在此之前，数据消费者应该不难(就像目前一样)确定不存在这样的资源。我们在收集这些数据时遇到的问题使我们的随机对照试验的开始推迟了几个月。这种延迟间接地影响了护理，因为目前关于如何通过NHS最好地传播信息的研究有限。我们还注意到，卫生和社会保健国务大臣突出地提倡在国民保健制度中首先使用电子邮件而不是信件进行沟通的原则。如果NHS组织本身未能使电子邮件地址易于获取，或积极阻止访问，这将变得更加困难。文本框6总结了我们建议可以采取的步骤来解决这个问题。

历史药品关税价格是多少?

在英格兰，对于初级保健机构开出的处方，NHS会报销社区药房购买药物的费用。非专利药品的报销价格由国民保健制度的卫生和社会保障部每月确定药物的关税．药品关税中的价格变化是ccg成本变化的主要来源。此外，DHSC每月以价格优惠的形式授予临时超额费率，这可能会对成本产生突然和意想不到的影响。我们开始在OpenPrescribing.net上创建一个工具，用于跟踪这些变化，并根据每个CCG过去的处方行为对新的价格优惠的成本影响进行建模(图4)．通过在数据发布后立即处理数据，我们可以向CCG预算持有者发送电子邮件提醒他们即将到来的价格压力。

‎ 查看此图

该工具相对容易构建。然而，我们只能在经过大量困难的研究和手动数据编辑后才能构建它。首先，数据必须从两个完全不同的网站上找到的电子表格进行组合，尽管这两个网站最终都来自DHSC。其次，每个电子表格都以不同的方式引用信息，它们每个月都提供单独的数据文件，这些文件的格式随着时间的推移而变化。最后，它们的存档不一致，这使得查找历史数据变得困难。

查找最新的数据相对容易。药品关税数据由NHSBSA在单一地点提供，该地点提供过去2年药品关税的每月电子表格[41］．在这些数据中，每个产品都提供了一个独特的系统化医学命名法(SNOMED)代码，我们可以使用该代码映射到处方数据。减让价格数据由药剂服务谈判委员会公布[42];然而，这些数据没有提供SNOMED代码，这意味着产品必须仅通过名称与处方数据匹配。这很难自动化，因为名称往往会有细微的偏差(例如，“平方厘米”vs“平方厘米”)。

为了找到前几年的早期数据集，我们转向了NHSBSA的信息自由档案[43］．Web页面没有搜索功能，因此我们必须手动查看存档中的所有内容。我们在2个不同的FOI请求中发现了2个ZIP文件的Excel电子表格[44，45］．这些项目在覆盖范围上存在差距。通过对文件名和位置的有根据的猜测，我们能够通过在互联网上找到“隐藏”文件来填补这些空白:这些文件可以在公共互联网和BSA网站上找到，但在任何搜索引擎中都没有索引，也没有从任何地方链接到。收集数据后，我们有49个不同格式的文件，我们使用公式、启发式和Excel插件对这些文件进行标准化和组合[46］．一旦完成了这一点，我们就能够构建一个工具并自动进行每月更新;然而，由于价格优惠数据中缺乏SNOMED代码，大多数月份我们仍然需要手动匹配1或2个产品与处方数据。文本框7总结了可以改进对这些数据集(以及类似的链接数据集)的访问的一些方法。

讨论

总结

如上图所示，尽管几个NHS数据集按最狭义的定义是“开放”的，但NHS通常违反了开放政府白皮书的原则，几乎不符合其他最佳实践标准，如Berners-Lee 5星级开放数据量表。总的来说，本文中描述的障碍代表了旨在提高NHS护理质量、安全性和效率的新数据驱动工具发展的实质性障碍。这些障碍可以大致分为4个方面:访问数据的问题，理解数据的问题，处理数据的问题，以及与NHS关于数据的沟通问题。这意味着4种解决方案:更好的管理，更好的文档，更好的变更管理，更好的与用户对话。在这里，我们总结了这些障碍，并就如何改善这种情况提出了一些具体的建议。

更好的管理

如前几节所述，NHS的信息管理存在一个非常严重的问题。数据集的收集和共享花费相当大，但通常无法发现或索引很差;它们不可预测地移动位置，而且感兴趣的用户通常无法确定给定数据集是否存在。英国国民保健服务数据目录[47很大程度上是非结构化的:这意味着用户在找到它之前必须已经知道他们要找什么。它还包含大量的旧数据集，用户无法推断数据集本身是否已被废弃，是否没有进一步的更新，或者是否只有目录记录过时。目录通常按组织划分:这假设所有用户都理解NHS的复杂组织结构，并能够预测数据集是否属于NHS England、NHS Digital、NHS Improvement、NHSBSA或其他组织。我们所描述的问题通常是由无效的自动化引起的。我们为NHS提出了两种方法:“主动策展”和“反应性策展”。

积极地，NHS应该投资于人工管理它已经共享的数据。这将需要信息管理和图书管理方面的专家提供详细的战略投入;这里我们提供一些简单的原则。首先，这种管理应该由人来完成，个人或团队拥有特定的主题区域。其次，这些团队必须包括已经在相关NHS组织中工作的领域专家，他们了解数据。第三，不是由NHS组织安排的单独的数据筒仓，而是应该有一个链接到所有NHS数据的单一位置;而且应该有信心，所有与该主题相关的数据都按照最佳实践和政府指导在一个地方建立了索引[7］．最后，这些资源应该在多个维度上进行标记，包括其临床领域、主题和技术特征。在我们看来，理想的模式是“基于主题的指南”，明确地标记，拥有，并由单个团队维护;专注于添加可用的新资源;并确保数据资源不会消失或移动。

反应式管理也提供了大量的好处，但成本要低得多。简而言之，当用户积极地处理数据集时，他们向NHS报告某些东西缺失、过时或记录不良，那么这些错误、遗漏和缺点应该得到解决和纠正。简而言之，应该有一种简单的方法，让用户报告现有目录中的错误，并纠正这些错误。

我们看不出为什么任何NHS资源都应该在CAPTCHA后面，但如果这是不可避免的，这种选择的原因应该在目录中得到强有力的记录和预警。

更好的文档

在前面的部分中，我们已经记录了许多案例，其中NHS数据集由于文档质量差而难以解释，并且NHS没有对文档质量差或缺乏的问题做出反应。编写文档既具有挑战性又耗时。然而，良好的文档带来了清晰的思路:不能生成或共享关于其所持有的数据的文档的组织不太可能在内部有效地使用这些数据。

我们认为，上述“主动和被动”模式仍有发展空间。每个数据集都应该附带说明其上下文(如何以及为什么在NHS中使用)、出处、每个字段的含义、更新频率以及数据的任何已知问题的文档。至少，定期下载、使用或查询的数据集应该优先用于此最佳实践。NHS应该积极响应查询，并且用户应该有简单的途径就文档中的歧义或错误提供反馈。然而，NHS也应该与数据的最终用户进行更有战略意义的合作，因为这是数据集的真正价值经常被实现的地方:理想情况下，文档应该是开放的，与数据消费者合作，以确保它是最新的和相关的。

更好地管理随时间变化的变化

如前几节所述，随着时间的推移，NHS数据集的结构和格式发生了很大的变化，通常没有记录这些变化。这些更改通常是微不足道的:2-way表中列的名称或它们的顺序。然而，每次数据集格式的改变都会对每个最终用户产生重大影响:导入和处理数据的管道将会中断，必须发现错误，开发人员必须解决它。通常，我们在NHS数据集中看到的变化似乎没有技术上的原因:这些变化很可能只是反映了粗心大意，或者对最终用户如何使用和处理数据缺乏兴趣和知识。

在理想的情况下，数据格式永远不会改变;然而，偶尔的变化是不可避免的。因此，清楚地传达变化是至关重要的。我们建议每个数据集都应该在其目录条目中附有更改日志。这个更改日志应该描述每个格式更改的性质。至关重要的是，还应该有明确的文件记录发生变化的原因，因为这可能是一个非正式的反馈系统，促使NHS的工作人员仔细考虑是否真的有必要进行更改。应该有一种方法可以让数据的消费者订阅更新并接收这些更改的预先通知，并在没有文档的情况下提供发生更改的反馈，从而提示更新更改日志。

一个相关的问题是在使用旧数据集时，数据结构随时间推移的稳定性。用户通常不仅希望自动检索和处理当前数据，还希望自动检索和处理历史数据。在此过程中，他们遇到了两个问题:找到所有历史文件并解决它们之间的格式差异。为了帮助发现，数据的命名约定(例如，“标题，日期”)应该以与数据结构本身相同的方式记录，并随着时间的推移保持稳定，以支持自动检索。如果共享数据集的格式必须改变，但NHS内部以一致的格式保存历史数据，那么对于除了最大的数据集之外的所有数据集，我们建议理想情况下应该提供以最新格式批量导出所有历史数据。同样，在不可能大量出口的情况下，应在文件中提到并解释这一点。

数据生产者和数据消费者之间更好的对话

我们已经反复强调数据生产者和消费者之间更好的沟通的重要性，即使只是作为一种围绕策展和文档对工作进行反应性优先排序的手段。在我们看来，这种双向交流是至关重要的:生产者应该能够通知消费者数据中的重要变化，而消费者应该能够通知生产者数据中的错误或提出问题。在这里需要注意的是，良好的对话不能仅仅由积极的态度驱动:我们在不同的NHS组织中与非常有帮助的个人进行了许多非常积极的互动，但个人可以换工作，或去度假，找到合适的人交谈往往依赖于个人网络或纯粹的决心。

对话的战略方针需要良好的制度和正式结构。简而言之，NHS需要一个单一的地方供用户询问有关数据的问题，并在公共领域记录和搜索答案。这应该很好地宣传，公开，公开，并从整个NHS在线财产自由链接。鉴于NHS对透明度的总体承诺[3.，4]，对于NHS的数据生产者来说，借鉴开源软件运动中开发的最佳实践是有意义的，在开源软件运动中，每个人都可以获得源代码，任何人都可以提出编辑建议，任何人都可以报告错误。每个公开回答的问题都将被添加到知识的公共领域，可以通过任何互联网搜索引擎轻松访问。该平台应由一名NHS员工管理，他有权代表用户询问问题，并期望在合理的时间框架内得到答案。随着时间的推移，问题和答案的数据库可能演变成一系列基于主题的指南，由用户社区协作编写。NHS数据工作人员面临的许多问题已经被NHS内部或其他地方的第三方分析师解决了几次。

这些都不需要定制软件，都可以通过标准的、广泛使用的、免费的、开放的服务(如GitHub和GitLab)提供。最终用户可以为文档贡献bug报告;他们可以通过漏洞跟踪系统提问;每个人都可以看到其他人的投入，有助于提高标准和意识;数据生产者可以通过内置的通知功能回复，向最终用户推送更新。解决这个问题最重要的部分不是软件，而是员工的专业知识和时间。通过减少数据交换双方之间的摩擦，数据将得到更好的利用。

明确地说，这不是一个“蓝天”或具有挑战性的建议。这是NHS之外的标准工作方式，也是我们自己团队的工作方式:我们公开记录我们解决问题的每一步，在GitHub上我们的封闭和开放“问题”中，现在超过1000个[48］．任何使用NHS数据的人，如果遇到了与我们相同的技术障碍，都可以通过使用搜索引擎找到我们的解决方案——以及导致这些问题的推理。

结论

在开放许可证下发布数据是开放数据和开放政府运动的起点，英国一直是这方面的全球领导者。然而，根据我们的经验，NHS中这些开放原则的实施一直缺乏或有缺陷，文件记录不佳，管理不善，对话不佳，这对创新构成了重大障碍。我们选择花时间详细地记录这些问题;许多遇到类似障碍的第三方要么放弃，认为服务不切实际，要么悄悄地花费大量资源和精力在变通办法上。这反过来又会增加交付成本，阻碍创新，并转移本应用于为临床医生、专员和患者提供更好服务的资源。

目前，人们对更好地利用NHS中的数据和软件有很大的兴趣。49］．只有在系统与每天实际使用NHS数据的个人和团队进行建设性和技术上的接触时，这才会发生。我们希望这篇论文将促进数据提供商和最终用户之间的进一步对话;我们欢迎反馈意见和进一步的良好和不良实践的例子，我们热衷于参与，在细节和更广泛的战略问题上，与NHS的所有成员和更广泛的社区。