在线医生评论:他们跟踪外科医生数量吗?护理质量的代表?

介绍

每天都会有某个地方的病人问:“某某医生是个好医生吗?”

这样的声明本身是没有意义的。病人实际上是在问X医生是否适合某一特定的治疗。例如，X医生是一个解决特定症状或执行特定治疗的好医生吗?

打个比方，这个问题就像“这是一辆好车吗?”更好的问题是:“这辆车油耗高吗?”或者“这是一辆物有所值的好车吗?”或者“这辆车适合快速加速吗?”每个问题都有不同的答案。

病人上网寻找“某某医生是个好医生吗?”但他们真正想问的是，X医生是否适合某一特定目的。X医生是一个好的诊断学家吗?还是他富有同情心，善于倾听?或者她是一位治疗过1000多名基亚里畸形患者的医生?一个典型的医生评论网站很少有足够清晰的区分。

我们的假设是，孤立的医生评论网站可能不能很好地代表患者真正关心的东西——即临床结果和安全性。医生评论网站衡量病人是否喜欢他们的医生。这些网站也测量主观反应。医生沟通得好吗?医生会听吗?他们是如何经历手术的?这些措施很重要，因为临床结果取决于患者在决策和依从性方面发挥的协作作用。这些措施可以通过更客观的沟通措施加以补充，例如医生向具有广泛医学知识的患者持续传递有关风险、益处和选择(例如各种治疗方法)的信息的能力。其他补充的客观指标包括临床结果和安全性。在某种程度上，个人医生的结果或安全记录存在明确的在线指标[1]，他们目前没有被流行的医生评论网站整理。

医学文献支持这样一种观点，即对于某些外科手术，外科医生的数量与临床结果相关[2-11]．换句话说，对于特定的手术，大容量(HV)外科医生比小容量(LV)外科医生有更好的结果。目前还不清楚为什么会出现这种情况:也许熟能生巧——或者更成功的医生会得到更多的转诊。但是，网上关于外科医生手术量的信息也很难找到——如果有的话。

我们提出的问题是，作为三种不同手术质量的代表，在线医生评论网站上的帖子总体上是否与外科医生数量相关。我们的研究目标是之前已经提出这种相关性的外科手术:腰椎手术[12]、全膝关节置换术[13-14]和减肥手术[15-18]．换句话说，总体而言，与业务量小的外科医生相比，业务量大的外科医生是否更有可能发布正面帖子(负面帖子更少)?在这样做的过程中，我们希望更好地理解，是否大容量医生(总体上有更好的临床记录)总体上有更好的在线声誉。

方法

医生

进行腰椎手术、全膝关节置换术和减肥手术的外科医生被选为研究对象，因为有数据支持每种手术的外科医生数量与临床结果/患者安全性之间存在相关性。此外，与血管或肿瘤手术相比，这些手术更有可能被认为是“选择性的”，对年轻人的影响更大(对于血管或肿瘤手术，也有与外科医生数量和临床结果/患者安全相关的数据)。我们认为，考虑“选择性”手术的“年轻”患者更有可能访问在线评论网站，以帮助指导他们选择外科医生。

对减肥手术、腰椎手术和全膝关节置换术的现行程序术语(CPT)代码进行了识别和选择(表1)。尽管还有其他代码用于标记这三种手术，但在表1确定绝大多数接受过减肥手术、腰椎手术或全膝关节置换术的患者。

医生姓名是从OptumInsight的规范健康信息数据库(NHI)中获得的，该数据库是由美国最大的综合保险公司之一维护的国家数据库。NHI包含多支付款人，符合健康保险流通与责任法案(HIPAA)的交易级索赔，超过2500万参保患者。Lewin小组搜索了数据库，并创建了一份医生名单，这些医生在2009-2010年至少提交过一次关于这三种外科手术的CPT代码的账单(表2)。

我们的样本包括600名从事减肥手术(n = 200)、腰椎手术(n = 200)和全膝关节置换术(n = 200)的医生。从每个CPT/ICD9编码的目标程序提交报销申请最多的四分位数医生中，随机选择100名医生代表“高容量”医生，从最低四分位数医生(2009-2010年为目标程序报销提交CPT/ICD9程序代码最少的医生)中随机选择100名“低容量”医生。小容量外科医生为相关手术提交至少一个CPT/ICD9程序代码。2009-2010年向国民健康保险承运商提交账单的高业务量和低业务量外科医生进行的三类手术中位数分别报告于表3。潜在的假设是，打算进行减肥手术、腰椎手术或全膝关节置换术的患者会在互联网上搜索有经验进行此类手术的医生的信息(并向保险公司提交报销账单)。

数据收集

作者不知道哪些医生是大容量外科医生，哪些是小容量外科医生。

从9个不同的访问量较大的网站收集了以数字评分和评论形式进行的医生评价:1个评论网站将其重点限制在医生和律师(Avvo);3个网站只关注医生(HealthGrades, RateMDs和vital);还有5个网站对包括医生在内的广泛的商业和服务进行了评论(Citysearch, InsiderPages, Yahoo!本地，谷歌地图和Yelp)。在美国的流量排名由Alexa (www.alexa.com)的网站呈现在表4。Alexa是全球网络指标(如流量)的领先提供商。

评分是由患者的主观印象定义的数值度量。例如，在1-5分的范围内，患者如何评价医生的整体素质、及时性、沟通能力等。每个网站都有不同的衡量标准，但大多数网站都问了至少一个类似于“总的来说，你会如何评价医生?”

我们使用样本中每个医生的名字和位置搜索每个网站。我们记录了每个医生的评分数量和“总体”评分。在允许对多个维度(如沟通、信任、准时性和与病人相处的时间)进行评分的网站上，也记录了所有数字评分的平均值。

评论是对患者主观体验的自由文本描述。例如，“X医生非常有同情心，倾听我的每一个担忧。”

我们记录了每个医生的评论数量。三名独立评委中的一名，同样不知道医生的执业量，审查每一篇文章，并将其分类为包含热烈的赞扬或严厉的批评，以及赞扬或严厉的批评是否涉及护理质量/安全或客户服务。一个帖子可以包括关于护理质量和客户服务的评论。如果是这样，那么这两项都包括在内。既不发光也不尖锐的评论被记录在帖子总数中，但不记录在发光/尖锐的统计中。关于护理质量/安全评价的一个典型例子是“X医生救了我的命”。相比之下，关于护理质量/安全的尖刻评论是“X医生是个屠夫”。一个热情洋溢的客户服务评论的典型例子是“X博士深夜回我电话，给了我所有我需要的时间。”相比之下，一个尖刻的客服评论是“X博士不屑一顾，傲慢自大，从不听。”其中一个网站HealthGrades不允许发表评论。

由于许多消费者可能不会详尽地搜索医生信息，我们记录了在谷歌搜索腰椎和全膝关节置换术样本时，每个医生的前20个检索结果中是否有任何研究网站的链接。在谷歌上对每位医生进行了三种格式的搜索:

1.“Dr. First_Name Last_Name”+“City, State”

2.“First_Name Last_Name, D.O.”+“城市，州”

3.“博士，First_Name, Last_Name, M.D.”+“城市，州”

单独的分析只使用在这个简短的搜索中检索到的数据进行。在典型的搜索中，前20个链接与前2个网页相关，因为谷歌搜索的默认设置是每页10个结果。［20.]

一旦从在线评论网站获取数据，电子表格就会被发送到Lewin集团。他们增加了一个字段，表明医生是高容量还是低容量。随后，所有其他识别医生的信息都被删除，并被洗牌。然后将数据库返回给作者进行分析。

分析方法

医生评论网站上的评分和评论是否提供了关于手术量(临床结果/安全性的代表)的有效信息?我们通过比较高容量和低容量医生的可用信息来回答这个问题，并在2 × 3方差分析中控制手术实践。我们的分析还考虑了在减肥、腰椎和全膝关节置换手术中，高容积和低容积医生之间的差异是否一致。

使用每个网站的平均评分数进行分析(每个医生至少被评分一次)。对每位医生的总体评分进行了额外的分析，并在各网站上取平均值。使用医生总体评分的分析非常密切地跟踪了包括特定医生特征评分(多维数字评分的平均值)在内的平均值r> .85)，因此只提供使用总体评级的分析。Vitals网站的评分标准(1-4)与其他网站的评分标准(1-5)不同;因此，每个网站的评分使用a进行标准化z测试(将每个医生的分数转换成一个值，表示为每个网站上与平均值的标准差数)。的z分数，或标准分数，允许在网站上平均评分。

使用每位医生在至少有一条发表评论的网站上的平均评论数进行分析。进行了额外的分析，以确定是否涉及医生的护理质量或客户服务的评论中发光和严厉的评论的比例。

结果

首先，我们使用每位医生的所有可用数据报告这些分析的结果。其次，我们报告的分析仅限于腰椎手术和全膝关节置换术样本中每个医生在谷歌搜索的前20个链接中可用的数据。最后，我们提出了一项分析的结果，该分析探讨了使用评分和发表评论的数据来区分高容量和低容量医生的增量有效性。

表5在每个研究网站上显示我们样本中医生的数量以及评分和评论。

所有可用数据

在我们的样本中，大多数医生(547/600,91.2%)都有数字评分;385名(64.2%)医生发表了评论。平均每位医生在9个网站中的3个上有评分(范围:1-7)，在1个网站上有评论(范围:1-5)。初步分析指出，医生在所有网站上的总评分数的排名顺序与每个网站的总评分数之间存在相关性r= 0.86， (P<措施)。额外的初步分析显示，与业务量小的医生相比，业务量大的医生在所有网站上的总评分和在更多网站上的评分都要高。我们的分析集中在每个网站对医生评分的平均数量上，这是基于一个假设，即一个典型的消费者可能不会对许多网站上所有可用的评分进行详尽的审查，但在找到一个有他或她的医生信息的网站时就会感到满意。

表6介绍了所有可用的医生数据的分析结果。在每个网站上，大容量医生的评分明显高于小容量医生(P< .001)，没有证据表明这种效果在医生组之间存在差异(P=酒精含量)。然而，分配给大容量医生的标准化数字评分与分配给小容量医生的标准化数字评分没有显著差异(P= .27)，这一零发现在不同医生组之间也没有差异(P=的相关性)。表6还显示，在每种类型的实践中，高业务量的医生比低业务量的医生在每个网站上得到的评论更多(P= . 05)。同样，没有证据表明这在医生组之间存在差异(P= .74点)。

表7表明只有与护理质量相关的评论才能区分高容量和低容量的医生;高质量的医生有更大比例的好评(P= .002)，对护理质量提出尖锐评论的比例明显低于低容量医生(P= .005)。同样，我们观察了每一种手术实践的这些模式，我们的分析并没有提供推断某一组比另一组更正确的依据(P发光= 0.70;P= .41表示严厉)。我们还观察到，总体而言，即使是对低业务量的医生，褒奖的评论也远远多于严厉的评论。总的来说，我们观察到，在医疗质量方面，大容量医生往往有近64%的好评(相比之下，小容量医生只有51%)。总体而言，与客户服务相关的热情/尖刻评论的比例在高业务量和低业务量的医生之间没有区别(P发光= .52;P= .48)，也没有证据表明这一无效发现在医生组之间存在差异(P发光= 0.92;P= 0.20表示严厉)。

前20个链接

我们对医生数据进行了重新分析，这些数据被限制在谷歌搜索医生名字返回的前20个链接内的评论网站(表8)。这些搜索返回到部分或全部样本医生评论网站的链接，这些链接可以访问大多数(896/1134,79%)医生至少有一个评级的网页和医生至少有一个评论的网页(347/456,76%)。该分析仅限于腰椎和全膝关节置换术样本。我们从这个亚分析中排除了减肥手术，因为通过前20个链接可访问的评论和评论数量不足以得出有意义的结论。的分析表9与表7使用完整的可用数据。

我们再次发现，在每个链接的网站上，高质量的医生比低质量的医生有更多的评分和评论。给高容量和低容量医生的数字评分没有差异。与业务量小的医生相比，业务量大的医生对护理质量的评价更高(而尖刻的评价更低)。关于客户服务的评论比例没有差异。

额外的分析

上述分析表明，高容量和低容量的外科医生可以根据(1)评分的数量来确定;(二)评论数;(3)对护理质量给予好评的比例;(4)对护理质量的尖锐评价比例。接下来，我们试图建立这些不同信息的实际用途，以区分高容量和低容量的医生。(判别)分析开发了一个功能，最大限度地区分研究小组彼此。函数系数(见表10)是支持这种区别的权重;较高的绝对权重表明变量对区分群体的贡献更大。如表所示，判别分析表明，每个网站的评分和对护理质量的好评比例是两个最具区别的信息(绝对权重最高)，其次是对护理质量的严厉评论比例。每个网站的评论数虽然在单独检查时提供了一些信息，但提供的附加信息很少(除了其他措施之外)。

作为后续研究，我们还进行了分类分析，其中医生的手术量(高或低)是通过他们收到的评分和评论的数量以及对护理质量的赞扬和严厉评论的比例(使用判别函数)来“预测”的。结果显示，在61.6%的时间里，人们可以准确地识别医生的手术量。对由此产生的判别函数的检查显示，每个网站的评分数量和热帖的比例似乎是歧视的最核心因素，其次是严厉评论的比例。对于这些其他措施，评论的数量基本上是多余的。

讨论

我们的研究发现，有证据表明，在线医生评论网站可以用来识别执行目标手术的大容量外科医生——这与更高质量的护理相关。病人自然希望找到最好的医生，并接受最好的治疗。他们在网上寻找这样的信息。在美国，互联网在决定患者医疗保健选择方面的重要性不应被低估。皮尤互联网和美国生活项目最近的一项研究指出，59%的成年人在网上搜索过15种健康主题的信息，如特定疾病或治疗方法。21]．他们也在寻找医疗服务提供者的信息;12%的成年人曾在网上查阅医生或其他医疗服务提供者的排名或评论。

在线评论网站跟踪病人的情绪。最近的进展甚至允许根据情绪对病人的评论进行自动分类。夏等[22描述了一个用于患者意见挖掘的多步情感分类器，原则上，它可以分析在线或其他方式的大量数据集，为患者评论分配情感分数。虽然患者的情绪是有帮助的，但据我们所知，我们的研究是第一个解决患者评论、患者情绪和临床结果代理之间联系的研究。

定义医疗保健的质量是困难的。从患者的角度来看，软措施(如沟通技巧和倾听能力)对决策和依从性等问题很重要，这些问题会影响结果。更客观地说，质量往往会影响患者安全和临床结果。这些指标包括发病率和死亡率、住院时间、失血、重返工作岗位的时间等等。这种对个别医生的详细信息跟踪并不能轻易地在网上提供给患者分析。

医学文献表明，对于许多外科手术，单个外科医生每年进行的病例量与患者安全和临床结果指标相关。换句话说，对于特定的手术，大容量的外科医生比小容量的外科医生有更好的结果。

我们的目标是三种外科手术，这些手术之前已经显示出这种相关性:腰椎手术[12]、全膝关节置换术[13-14]和减肥手术[15-18]．据我们所知，我们的分析是第一个解决在线评论是否可以通过临床结果和安全性来识别更成功的外科医生的问题。我们提出了以下假设问题:在这三种不同的手术中，在线医生评论网站上帖子的数量和特征是否与医生数量相关，作为质量的代表?

我们的研究结果提供了证据，证明来自9个医生评论网站的以下数据可以区分高容量和低容量的外科医生:数字评论总数;文本注释总数;积极评价的比例;以及尖锐的负面评论的比例。对实际数字评分的分析并没有区分高容积和低容积的外科医生。在谷歌搜索医生名字的前20个链接的医生评论网站上，也得出了同样的结论。

虽然我们的分析提供了证据，证明医生评论网站的数据可以帮助消费者识别高质量的医生，但效应量很弱。从病人的角度来看，判断外科医生是否做过大量手术的更好方法是询问医生。或者医生可以预先在各种评论网站上提供这些信息。

一个令人惊讶的结果是，虽然评论总数与外科医生数量相关，但实际评分值却没有。此外，尚不清楚为什么评论和评论的总数与外科医生数量相关。也许大容量的外科医生对他们的技术/结果更满意，更有可能在内部或互联网上向病人寻求反馈。无论如何，这些观察值得进一步研究。

我们的分析也支持了其他人先前报道的一项发现[23];也就是说，在在线评论网站上，单一指标(总体评级)与更细粒度、多维度的数字评级高度相关。在我们的分析中，这种相关性存在于总体评分和所有多维评分的平均值(所有多维评分)之间r> .85)。因此，分析患者对“总体而言，你会如何评价这位医生?”从更详细的问题中预测出积极和消极的情绪。

即使有了这些发现，消费者是否应该严重依赖这些网站仍然是一个悬而未决的问题，部分原因是这些网站的数据有限。在这600名医生中，在对医生进行评分的网站上，医生的平均评分在4到6分之间，评论在2到3分之间。随着网站积累的数据越来越多，我们的结论可能会发生变化。

我们的研究确定了样本中91%的医生至少有一种评分。这与Lagu等人的研究形成对比[24在他们调查的33个网站中，70%的医生样本没有在任何一个网站上发表过评论。这项研究收集了2009年春季波士顿通才和未定义的专科医生的数据。我们的研究收集了2011年夏天全国特定类别外科医生的数据。病人在外科医生那里的经历与在全科医生或许多类型的专科医生那里的经历是不同的。手术经验通常是“一次性的”。与多面手和许多类型的分科专家打交道的经验通常是长期的。患者可能更倾向于根据与外科医生的单一(更情绪化的)经验发表评分和评论，而不是与通才的常规长期经验。但是，医生从在任何网站上没有评论到在网站上至少有一篇评论的门槛很低。医生平均每年要看1000多名病人。如果只有一个病人花了力气发布评论，那么这个门槛就被越过了。 As our data was gathered two years after that of Lagu et al, this suggests that although the number of online reviews per doctor is still limited, the trend is for more reviews for more doctors.

我们的研究仅限于靶向外科手术的样本。在该数据集中，可能有大量临床结果/患者安全记录较差的外科医生。也可能有少量的外科医生有很好的临床结果/病人安全记录。我们的研究只是试图追踪临床质量的一个指标——手术量——而不是临床质量本身。此外，我们的样本没有得出任何关于外科医生的结论，除了那些被分析的手术，也没有得出任何关于非外科医生的结论。

另一个限制是，NHI数据库用于识别低容量和高容量的外科医生，虽然广泛，但只包括提交给私人保险公司的CPT/ICD9程序代码。NHI数据库不反映提交给Medicare的数据。在调查外科医生数量与护理质量相关的文献时，我们有意选择了三种比其他手术更有可能在年轻人群中进行的手术，希望将缺乏医疗保险数据可能对我们分析的影响降到最低。

一个进一步的限制是，我们将评论分为关怀质量和客户服务两类，即热烈的赞扬或严厉的批评，这需要人类的判断，这使得它容易受到潜在的评论者之间差异的影响。虽然不同的审稿人不太可能对“屠夫”和“救命者”等词进行不同的分类，但新技术[22可能有助于自动化审查过程，以获得更大的一致性。

在线医生评论网站提供了越来越多的数据供消费者使用。这些网站为未来的研究提供了肥沃的土壤，研究其数据是否可以帮助患者可靠地区分提供更好临床结果和患者安全的医生。

总之，在线评论网站提供了丰富的数据来源，可以跟踪医疗质量，尽管效果大小是弱的，并不是所有的评论网站指标一致。