这是一篇开放获取的文章，根据创作共用署名许可(http://creativecommons.org/licenses/by/2.0/)的条款发布，允许在任何媒介上无限制地使用、分发和复制，前提是正确引用最初发表在《医学互联网研究杂志》上的原创作品。必须包括完整的书目信息，//www.mybigtv.com/上的原始出版物的链接，以及此版权和许可信息。
在过去的几十年里，病人对医疗质量的看法已经无条件地融入到质量管理中。近几年来，患者评分网站迅速引起了人们的关注。这些提供了一种新的方法来听取病人对医疗保健质量的看法。
我们研究的目的是探索患者对医院的评论(如评级网站所报告的)是否以及如何有助于卫生保健检查员对医院护理的日常监督。
鉴于该主题的未探索性质，在荷兰设计了一项医院检查员的访谈研究。我们对10名高级审查员进行了两轮访谈，探讨他们对评级网站评论数据的使用和判断。
所有10名荷兰高级医院检查员都参与了这项研究。督查人员最初对在日常监督中使用主要患者评级网站表现出一些不情愿。这主要是因为反对意见，如担心它们的代表性，主观性，以及对患者复查与监督的相关性的怀疑。然而，检查员对负面评价的对抗和评估导致23%的评价被认为与风险识别相关。大多数检查员对审查对其风险识别的贡献持谨慎的积极态度。
病人评级地点可能对卫生保健监察员对医院护理进行基于风险的监督有价值。卫生保健检查员确实对使用患者评级网站进行日常监督有一些反对意见。然而，当他们看到他们监督下的医院的负面评价文本时，大多数检查员似乎认为这是发现护理质量差的另一个信息来源。不过，它应该始终伴随着其他质量和安全指标的验证。患者评级网站在日常医院监督和其他健康环境中的价值和可用性需要更多的研究。
在过去的几十年里，病人对医疗质量的感知已经无条件地融入到质量管理中。传统的患者满意度或体验调查已成为衡量医疗质量的公认工具。研究证明，这些工具为专业质量指标和结果测量增加了有价值的信息[
起初，病人评级网站的引入导致医生和政策制定者对使用这些信息提出了一些反对意见。他们被认为容易受到一些陷阱的影响，例如被操纵，显示出对医院和医生的评分数量的巨大变化，对于那些要么受到批评，要么根本没有评分的医生来说是情感负担，或者在选择患者时存在偏见，例如，由于不满患者的比例过高[
然而，评级网站最近的研究结果越来越多地质疑这些观点，并显示出一定的优势。收视率大多是正面的。
最近的一项范围综述得出结论，尽管关于该主题的文献仍然有限，但社交媒体，特别是患者评级网站，可以成为收集护理质量信息的一种快速而廉价的方式，并可以补充传统方法[
由于信息对判断护理质量的潜在价值，一些监管机构已经使用评级网站作为额外的信息来源[
荷兰卫生保健监察局(IGZ)关于医院风险检测的监督框架首先包含了为监测医院护理质量和安全而制定的若干过程和结果指标[
尽管研究表明IGZ检查员希望患者能够发现定期检查可能遗漏的不良表现或风险[
因此，我们研究的目的是探索在卫生保健检查员的眼中，评级网站上报告的患者体验是否以及如何有助于医院护理中的风险识别。
我们提出了3个研究问题:
1.卫生保健检查员在对医院的日常监督中是否已经使用了患者在评级网站上的经验?以何种方式?
2.检查人员是否期望在评级网站上报告的患者在医院的体验有助于他们对风险的估计?
3.在评级网站ZorgkaartNederland上积极呈现患者评论报告，是否提醒检查人员评估患者安全风险?
鉴于该主题的未探索性质，设计了一个探索性的访谈研究。
我们采用了半结构化访谈方法，并对来自患者评级网站的回顾数据的判断进行了调查。定性研究报告综合准则(COREQ)指引[
为了监督医院护理，IGZ将该领域分为10个部分。每个分部平均覆盖10家医院，由1名高级视察员负责。因此，我们的样本由10名高级检查员组成。
2015年1月和2月，首席研究员(SK)对高级检查员进行了第一轮半结构化访谈，以确定他们在医疗保健监督中的实际应用，以及通过评级网站报告的患者体验，并探讨他们对此类患者评级的潜在贡献的看法(研究问题1和2)。通过电子邮件与他们进行了联系。访谈指南包括关于工作和私人目的对社交媒体总体态度的一般性话题;使用病人评分网站作工作用途;并(预期)利用价值评级网站进行监督。这些一般性话题包括几个开放性问题，只是探索性的:“你对……有什么看法?为什么?”采访被录在录音带上。采访过程中做了现场记录。访谈持续了1个小时。前两次访谈由两位研究员(IB和RK)进行讨论，以确保访谈的完整性和访谈技巧。
在第一轮访谈之后，视察员收到了评级网站ZorgkaartNederland对他们监督下的一家医院的负面评价。ZorgkaartNederland [
我们将评级定义为给予医院或医生的定量评分，而将评论定义为书面评论[
所选医院和“荷兰医院”覆盖的所有医院的评级概况(2013年11月1日- 2014年10月31日)。
|
|
10家选定医院的评级(10家医院的平均值(范围)) | ZorgkaartNederland所有(94)家医院的评级(94家医院的平均值(范围)) |
| 总评分数 | 129年(65 - 170) | 173 (4 - 859) |
| 平均评分一个 | 8.2 (7.9 - -8.6) | 8.5 (7.5 - -9.1) |
| 正面评价(评分>8.4) | 86 (40 - 116) | 122 (3 - 598) |
| 中性评分(6.5-8.4分) | 22 (11-33) | 36 (1 - 250) |
| 负面评价(得分<6.5) | 21(银幕上) | 15 (0-56) |
| 比例> 6.4 | 83.6 (78.5 - -89.7) | 91.1 (67.9 -100) |
| < 6.5百分比 | 16.4 (10.3 - -21.5) | 8.9 (0 - 32.1) |
一个评分:在1到10分的范围内，平均6分，包括预约、住宿、员工、倾听、信息和待遇。
随后，我们将选取的医院负面评价文本制作成Excel表格，通过电子邮件发送给检查人员。我们还提供了医院的背景信息，如名称、平均评分、正面和负面评分的总数、与其他医院相比的负面评分的百分比，以及评价的级别:医院、位置、部门或医生。要求视察员根据以前制定的有序评估方案，对每一项负面评价对卫生保健视察员的相关性进行评分[
第一研究员(SK)于2015年4月至6月进行了第二轮访谈。目的是确定这些综述是否包含患者安全风险的信息(研究问题3)。这些访谈包括两个部分。在第一部分中，检查员被问及他们对每个负面评论的判断，并被问及评论文本中的哪些元素触发了他们的评分。我们提供了一些可能的触发因素，比如主题、语气、具体性或评论的广泛性。除此之外，检查人员还可以添加新的触发点。第二部分，询问督察人员对评审结果在日常监督工作中的应用和价值的总体看法。主题列表包括可用性、可靠性、新的或已知的信息，以及风险评估的价值。这些访谈也被录了下来。
所有的访谈都被逐字记录，并被发送给受访者进行三角测量。
根据定性研究的指导方针对其进行分析[
所有10名高级视察员都同意参加这两次访谈。他们的平均年龄为53岁(范围40-64岁)。其中7人是女性。所有检查人员都受过卫生保健专业教育，并在医院工作了几年。督察的平均工作年数为8.5年(范围为1-17年)。四名检查员将社交媒体(推特、脸书)用于私人目的。所有人都使用互联网进行工作(谷歌，ZorgkaartNederland, Twitter，新闻网站)。
第一轮访谈解决了第一个研究问题，即卫生保健检查员在对医院的日常监督中是否已经使用了患者在评级网站上的经验，以及以何种方式使用。
7名检查员在监督工作中使用ZorgkaartNederland收集信息。在准备与医院董事会的年度会议或应对严重事故的报告时，他们会在谷歌等搜索机上搜索信息，然后最终登录患者评级网站ZorgkaartNederland。
然后我谷歌那个人。你很快就到了荷兰之家。谷歌的首支热门单曲显然是《ZorgkaartNederland》。
我特别使用ZorgkaartNederland，无论如何，我都是在为年度董事会面试做准备。而且，如果我们关注的是一份报告中涉及的某个医生，或者例如因为怀疑他不称职，那么我就会检查《ZorgkaartNederland》，以了解与该医生有关的个人判断。
三名检查员没有使用患者评级网站ZorgkaartNederland。然而，他们确实从互联网上收集信息，但在他们的案例中，来自医院网站、时事通讯或新闻网站，而不是来自包含患者视角的来源。
我看医院的通讯但是推特也是一个可能的来源。对我来说，这很容易读，而且很方便，因为我可以很快地浏览它是否对我有价值。
第一轮访谈还讨论了第二个研究问题，即卫生保健检查员是否希望评级网站报告的患者在医院的经验有助于他们对患者安全风险的估计。
所有在ZorgkaartNederland工作的检查员都表示，他们发现在日常监督中很难使用这些信息或重视这些信息。
我认为你对这个信息应该非常小心。它必须被视为一个信号，仅此而已。一个信号值得认真对待，并得到适当的检查和核实。
你用它做什么?你把它带走。你可以这样使用，但具体地说，在与医院董事会的谈话中，或者在报告中，不，你不能这样使用。
因此，除了收集信息的来源外，使用ZorgkaartNederland的7名检查员在日常监督实践中没有将信息的内容用于风险识别。然而，他们认为这些评论是一种信号，提供了有趣的背景或上下文信息。5名视察员认为，这些信号应始终由其他现有资料加以核查和核对。
事实上，它是一个指标。一个指标总是需要进一步的研究。它必须与其他指标结合起来看:它们之间的联系和相关主题是什么?
检查员对“荷兰之家”作为风险识别来源的重量和价值提出了3个主要质疑。首先，4名检查员担心偏见或选择性，即他们认为只有一小部分人使用评级网站。
评论的数量太少，不值得认真对待。只有一小部分病人做出了努力。
检查人员认为，这一群体可能不能代表医院的患者群体。例如，医院可能会刺激非常满意的患者对他们的经历进行评分，以提高他们的平均评分。此外，医生的家人和朋友可能已经发布了积极的评论。第二，9名检查员表示，审查往往过于主观和情绪化。因此，评论可能会在某个时刻使公众舆论两极分化，并可能被用于不必要的指责医生。
我觉得评分网站上评论者的心理很有趣。事实上，这些网站上有很多心理学内容。人们很容易模仿对方，因此强化了信息，从而使某一时刻发生的事情两极分化。这样就会对医院或医生产生错误的印象。它受瞬间和两极分化的影响太大了。我们应该意识到这一点。
它可以用来指责和羞辱。这在互联网上很容易，因为它是安全和匿名的。
第三，检查员对审查内容与检查员评估风险的相关性存在怀疑。负面评论被认为主要是对病人的称呼方式、糟糕的食物、招牌或等待时间的评论，而不是对潜在安全风险的评论。
病人谈论的是非常基本的层面，通常是关于如何称呼病人，这不在我们的职权范围内。
我不知道如何解释这些评论。你知道，如果一个医生很好，他会得到8分，尽管严格来说，他不是那么好。病人无法理解。我觉得那对我没用。
如果关于ZorgkaartNederland的信息可以整合到其他关于患者安全的信息来源中，大多数检查人员会认为这些信息有助于识别风险。他们指出，如果审查以事实为依据，而且是实质性的，审查对他们的监督的价值就会提高，但文本的语气也很重要。
这取决于审查是否有事实支持。如果它是用具体的、正确的句子写的(…)我宁愿接受它，而不是一个像“这真的很糟糕”这样充满感情的言语虐待的故事。
然而，检查专员表示，如果审查中包含医疗错误、严重事件、损害、不可接受的护理或护理缺陷，将促使他们采取行动。这些评论会比对待病人的方式或投诉的评论更受重视。当负面评价的数量突然增加时，他们也会注意到，因为这可能是失败的信号。审查员应该有这样一种感觉，即审查报告不是出于冲动而写的，
但另一个理性的病人也会做出同样的判断。
第二轮访谈讨论了第三个研究问题，积极呈现评级网站ZorgkaartNederland上报告的患者评论，是否会在评估患者安全风险时提醒检查人员。
调查人员总共收到了207条负面评论，他们根据相关性对这些评论进行了评分。审查员给47篇(22.7%)评论打分为“相关”(1分、2分或3分;看到
审查员评分的审查的相关性。
|
|
差评(N) | 百分比 | “相关”分数的百分比 |
| 无附加值(0) | 160人(10家医院) | 77.3 | - - - - - - |
| 相关信息导致组织文件中的信号(1) | 31人(7家医院) | 15.0 | 66.0 |
| 相关信息导致进一步调查(2) | 15人(6家医院) | 7.2 | 31.9 |
| 相关信息导致立即行动(3) | 1人(1家医院) | 0．5 | 2.1 |
| 总计 | 207 | One hundred. | One hundred. |
大多数评分为与监督无关的评论(160/207)被标记为关于如何对待患者、医生的态度、信息和沟通或等待时间的投诉。检查人员指出，处理这类投诉是医院本身，即委员会或投诉官员或委员会的任务。
这是关于如何处理病人的问题，比如被倾听的糟糕经历。我认为每家医院都有这种情况，我相信在这方面可以做很多改进，但这不是卫生保健监察局的任务。
不给评论打分的其他动机是他们的模糊，描述的简短，或者高度情绪化的语气，比如这样的评论:
“他是个可怕的人。”那个人可能很可怕，但卫生保健检查员能对此做些什么呢?
31篇评论(31/207;15%)被评为“相关的，信息导致组织文件中的一个信号”(得分1)。检查员给出这个分数的原因是:
审查提到了质量和安全方面的风险。
这篇评论有医学方面的内容。
审查可能表明存在结构性问题，例如对脆弱的老年患者或儿童的护理存在缺陷;因此，它有助于编制有关该特定医院或部门的档案。
这位医生同时也是学生的导师。
该部门或医生是知名的，例如在早期的调查中，或表现不佳的部门。
我认识这个医生，他经常在谈话中出现。早前的一项调查也提到了他。虽然没有针对他的严重事件的报道，但他是一个众所周知的很难对付的人——可以这么说!
15篇评论(15/207;7.2%)被评为“相关，信息导致进一步调查”(得分2)。检查员认为这些审查具有更大相关性的原因是医疗、程序或与医院的概况有关:
审查提到了严重事故或手术或医疗失误、并发症或对患者的损害或其他重大后果，如住院时间过长;或者是关于药物的审查，例如，它被遗忘了，或者是给另一个病人的处方在出院时被错误地开了。
审查涉及医院的实际程序主题，例如，关于初级治疗医生的程序缺陷，关于心脏康复的程序缺陷，或关于抗凝剂的缺陷。
如果审查涉及医院的概况，这可能表明两种可能性。要么审查的主题是医院不擅长的;
这家医院没有遗传研究部门，所以在这种情况下，如果遗传因素起作用，应该通过特定的程序来处理。而且，根据这篇综述，对遗传因素的重视不够。
或者审查的主题与医院的专业有关。
这家医院是减肥中心鉴于这种背景，这种情况不应该发生在这里。
一篇评论(1/207;0.5%)被认为是“相关的，信息导致立即行动”(得分3)。检查员给出的考虑是:
审查报告叙述了一起严重事件，也向视察团报告了这一事件。
这篇评论涉及到一个已经臭名昭著的医生。
此外，医院在这一严重事件后没有作出适当反应。
检查专员提到了判断审查是否具有更大相关性的其他几个考虑因素:
评论数:关于某一特定部门、医生或主题的评论数;
审查的具体性;
5次手术，2次门诊手术，5次感染;这些都是具体的事实，这让我不禁想知道那是一间什么样的手术室?
他们对医院运作的看法和经验;
我知道这个部门最近发生了一起严重的事件，所以当我看到这篇评论时，我被提醒了。然后我看到了另一篇关于一位医生的评论，同样是这个部门。所以可能还有其他原因。
给定的时间和在医院发生的实际事件;
这家医院在那段时间里有很多负面报道。我认为这反映在负面评论中。
医院在其他知名排行榜上的排名;
几年来，这家医院一直名列前茅。然而，去年它下降了(…)我认为解释这段时期很有趣，特别是这个组织从何而来，他们现在在哪里，他们将走向何方?
IGZ已经从其他质量指标中了解到的情况;
大多数检查人员在评估审查时认为，所有医院的平均分的背景信息是有价值的，但从来都不是决定性的。
与其他医院相比，负面评论的比例很高，但也许这家医院会挑战患者在ZorgkaartNederland上的评分。这符合我对这家医院的正面印象。
9名视察员采取行动的主要原因是审查证实了他们对该医院的了解和经验。在这些情况下，对《荷兰之国》的审查支持了所使用的其他资料来源。五名检查员明确表示，这些评论提供了新的信息，主要是关于评论中不止一次提到的某个医生或部门。
对我来说，它导致了两个新的关注点:这个医生，他被提到了四次，我从来没有听说过，还有对那个我不知道的特定部门的批评。
总之，在面对审查后，检查人员提到了他们在未来的监督工作中使用荷兰联邦汽车公司这一信息的两种方式。根据9名检查员的说法，这些信息可以用来在医院董事会的年度面谈中把话题、部门或特定的医生提上议程。
我想说这是一个信号:我在ZorgkaartNederland上看到……你也看过这部电影吗?你怎么看?如果有，你做了什么?
三名视察员表示，这一新信息可用于对医院的不事先通知的访问，特别是提及通过审查引起注意的具体部门。
我们评估了很多东西，指标，严重事件的报告，但如果你为了进行一次不事先通知的访问而寻找主题，这肯定是其中的一部分。人们努力写一篇关于ZorgkaartNederland的评论，他们是故意这么做的。
我们研究了患者评分网站上报告的患者体验是否以及如何有助于医院检查员识别安全风险。目前，大多数检查员只使用患者评级网站ZorgkaartNederland上的患者体验作为收集医院或医生背景或上下文信息的来源。它会随着搜索互联网而自动产生。然而，对于大多数检查员来说，这似乎导致了一个问题:究竟该如何处理评级和评论，以及如何确定他们得到的图片的价值?这可能是由检查员在本研究开始时提出的3个主要异议造成的。首先，检查人员担心患者评分地点的代表性如何，例如，所选择的患者组的反应和相对较低的评分数量。其次，它们表明，评价往往过于主观和情绪化。三是质疑审查内容的监管相关性。
早期的研究也表明，检查员对使用患者评级网站进行监督的另一种反对意见。他们关心的是病人是否能够评价个别医生的医疗专业知识和能力[
关于评分站点的代表性有多大，从文献中可知，患者评分站点的使用者与非使用者在社会人口学和心理变量以及健康状况方面存在显著差异。用户明显更年轻，受教育程度更高。此外，女性患者和慢性疾病患者使用患者评分网站的频率高于其他患者群体[
患者评估的主体性是文献中众所周知的讨论。事实上，病人对护理的评估本质上是主观的。尽管如此，已经进行了大量研究，表明患者的(主观)评估与护理质量、患者安全和临床有效性之间存在积极关系[
虽然有证据表明，在医院层面上，患者评分站点的得分与质量指标和临床结果之间存在相关性[
尽管他们对使用患者评级网站进行日常监督持保留态度，但当面对他们监督下的一家医院的负面评论时，检查员将23%的评论评为与风险估计相关。当审查包含的信息涉及重大安全问题(如用药错误、严重事件、对患者的严重损害或后果)、结构性组织问题(如出现故障的部门或医生)、实际主题以及审查是否符合医院的概况时，就会被认为是相关的。检查人员在研究开始时，在对所提交的审查进行评分之前，也提到了许多可能相关的“医学”指标。然而，审查的评分也揭示了新的相关指标，如结构和程序性组织问题，这可以为风险估计产生相关评分。
与之前的研究相比，ZorgkaartNederland对其在长期老年人护理中的监督附加价值进行了审查[
起初，医院检查人员在日常监督中具体使用“ZorgkaartNederland”时表现出了一些克制。然而，在面对其监督下的一家医院的负面评价后，大多数检查员对评价对其风险识别的贡献持谨慎的积极态度。尽管如此，他们坚持使用评分站点应该始终伴随着临床指标并得到验证。审查员对使用患者的评论的谨慎态度是近期监管政策的一个关注点。似乎值得向卫生保健检查员定期提供精心编辑的评级网站(如ZorgkaartNederland)上的负面评论摘要，并补充有关其监督下的医院的背景信息。几乎所有检查人员都表示，在与医院董事会的年度面谈中，可以介绍荷兰医院的具体主题、部门或医生。此外，在评估中表现不佳的特定部门可能会受到突击检查。然而，在不久的将来，评估这一额外资源对医院监督的价值和可用性是必要的。此外，还需要更多的研究来理解和支持患者对医疗保健质量的观点的额外价值，例如，通过比较患者的观点与临床结果指标或监督判断。
在监督工作中使用评级和审查的一个积极方面是，除了每年可用的常规质量指标之外，还可获得实际资料。因此，在大量的卫生保健组织中，一种基于风险的更有效的优先排序方式是可能的[
然而，ZorgkaartNederland上的大部分评级都是积极的，就像大多数评级网站一样[
本研究有优势也有局限性。事实上，患者评级网站ZorgkaartNederland是一个独立的，非商业的网站，有自己的编辑办公室，对其真实性文本的评论逐一进行判断，并检查评级的发送者，这是这个患者评级网站的优势。它增加了评论的价值。在其他国家，并非所有患者评级站点都是如此。
所选择的医院不一定代表zorgkaart荷兰的医院。然而，我们的研究重点是识别负面评论文本中的风险。因此，我们希望每家医院都有大量的负面评价，并将最低门槛设置为10。通过这种方式，可以识别趋势、主题、部门或医生，例如，被多次提到。
在本研究设计中，我们为每位检查员选择了他或她负责的医院。事实上，大多数检查员都知道这些医院有一段时间了。因此，他们根据自己积累的知识和经验来评估审查。这可以是对检查员已经知道的信息的支持，例如，关于一个功能失调的部门。然而，这也可能使检查员看不到新的见解或安全方面。在未来的研究中，一个不熟悉某家医院的检查员是否会选择相同或不同的相关评论，这是值得调查的。
此外，这是荷兰卫生保健环境中医院检查员的案例研究，需要在其他环境中进行更多的研究，以得出关于患者评级网站在监管中风险检测的可用性的一般性结论。
患者评级网站可能有助于卫生保健监察员对医院护理进行基于风险的监督。卫生保健检查员确实对使用患者评级网站进行日常监督有一些反对意见。然而，当他们看到来自他们监督下的医院的负面评价文本时，大多数检查员似乎认为这是从患者的角度来发现护理质量差的额外信息来源。不过，它应该始终伴随着其他质量和安全指标的验证。最好，它还应该伴随着其他方法来揭示患者的经验，以拓宽患者对护理质量和安全的看法。此外，需要对患者评分网站在日常医院监督和其他卫生保健设置中的价值和可用性进行更多的研究。
荷兰卫生保健监察局
病人和消费者组织联合会
作者感谢NPCF给予ZorgkaartNederland的全部数据访问权限。
没有宣布。