评估消费者健康词汇熟悉度:一项探索性研究

介绍

提高在线消费者健康资料的可读性是电子健康研究的一个重要领域。研究表明，网络上的健康信息超出了普通消费者的阅读能力[1，2]。对普通读写能力的研究表明，可读性随着“难”字的增多而下降，这些词对普通读者来说并不熟悉。由于熟悉程度与教育和文化水平相关，所以“简单”术语是那些阅读能力较低的人所熟悉的术语。例如，戴尔-查尔可读性公式包含了美国80%的四年级学生熟悉的3000个单词和短语(表达)[3.]。然而，由于获得一个全面的、经验推导的熟悉单词列表是困难的，许多其他现有的可读性公式使用每个单词的平均音节数作为单词难度的替代。

许多研究人员指出，需要缩小读者的健康素养与消费者健康资料的可读性之间的差距[4]。由于指南要求使用简单的常用词，遵守指南要求预测消费者对各种健康相关词汇的熟悉程度。目前，唯一可用的方法是由K-12研究人员开发的通用可读性公式。然而，使用这种可读性公式来预测读者理解健康文本的能力受到了健康素养社区的批评。正如麦克雷所观察到的那样，“数单词和音节以及查阅年级水平的单词表很可能不足以确定一篇文章的可读性”[5]。对单词长度的依赖尤其不适用于健康领域，因为消费者可能不熟悉简短的技术术语(例如，呼吸暂停)。分级词表的逻辑通过暗示它本质上是二元的，并暗示读者不熟悉或熟悉某个特定的词，在不知道和知道之间的切换发生在一个单一的时间点，从而简化了词知识的现象。然而，消费者对健康术语的熟悉程度是一个更微妙的现象，涉及部分知识[6，而增加的接触可能会增加熟悉度。

认识到这些以前的方法的局限性，我们开始探索替代措施，以解释消费者便利样本成员对健康术语的“平均”熟悉程度。识别术语的能力很重要，因为读者需要将健康术语与其相应的概念联系起来，以便从文本中提取有用的信息。因此，我们将健康词汇知识分解为两个部分:(1)表层术语熟悉度，即对词汇形式的识别;(2)概念层面术语熟悉度，即对潜在概念的理解。在认知科学中，一个概念可以被看作是一组槽，这些槽可以填满描述一类物体或事件的特征[7]。例如，“疾病”概念可以通过诸如原因、严重程度、持续时间和病理生理学(以及其他)等属性来表征。概念知识的完整性和准确性存在于一个连续体中，由上下文决定。因此，一个有糖尿病家族史的健康个体和一个糖尿病患者可能都受益于针对糖尿病不同方面的解释(例如，预防与治疗)。然而，从历史上看，可读性研究并不区分表面水平的词汇形式(通常称为“术语”)和概念，因此，不单独评估每个“水平”的熟悉程度。

我们之前开发了一个支持向量机回归模型，用于预测消费者健康词汇(CHV)术语的“熟悉似然得分”，该模型使用来自用户研究的经验数据来评估医疗概念的“消费者友好显示”名称[8]作为训练数据，健康文本语料库中的词频计数作为特征[9]。本研究评估的模型是2005年发表的初始模型的改进版本[9]:从41名受试者中收集实际熟悉度数据进行训练，并使用三种不同语料库中的术语和词频作为特征，包括(1)路透社新闻报道(健康和非健康文章)，(2)对健康搜索引擎(MedlinePlus)的查询，(3)对通用搜索引擎(MetaCrawler)的查询。该算法为每个消费者健康术语分配一个预测分数，范围从0到1.0，表示一个术语为普通消费者所熟悉的可能性。术语根据其得分分为三个熟悉类别:“可能”(> 0.8)，“有点可能”(0.8-0.5)和“不太可能”熟悉(分数< 0.5)。

本文研究的主要目标是开发和应用一种简单的方法来验证CHV熟悉度预测模型，根据实际经验得出的健康消费者对各种健康术语的熟悉程度。验证是不同的，独立于经验数据用于推导模型。从参与者那里收集了表面水平(即识别)和概念水平熟悉度(即对潜在含义的理解)的数据。表面水平的熟悉度被调查，因为它符合现有的传统方法来评估健康词汇知识。概念级熟悉度评估的目的是探索这种新方法的潜力，并表征两个熟悉度水平之间的关系。最后，我们试图描述人口因素(包括健康素养和教育水平)对实际消费者得分的影响。以下三个假设解决了研究的目标:

1. 预测熟悉度可能性水平对消费者表面术语熟悉度和消费者对潜在概念的理解有显著影响。
2. 人口因素，包括但不限于健康和教育水平，将对这两类熟悉度得分产生显著影响。
3. 消费者对术语的表面熟悉程度将超过他们对潜在概念的理解。

方法

参与者

消费者(n = 52)从布莱根妇女医院招募。用成人功能健康素养短测试(S-TOFHLA)评估健康素养[10]，评分范围为22 ~ 36(平均= 33.04;Sd = 3.83)。根据这些分数，50名参与者具有足够的健康素养技能(得分在23-36分之间)，而两人具有边缘技能(得分在17-22分之间)。

其他人口统计变量是通过一份简短的问卷(表1）.有8名非英语母语者，他们说英语的年数从6年到40年不等(中位数= 12年)。由于初级和二级语言健康素养之间关系的复杂性超出了本研究的范围，因此没有评估英语熟练程度水平。在8名非英语母语的参与者中，7名达到了S-TOFHLA分数在高识字范围内，其余参与者在中等识字范围内(自我报告说英语40年)。

仪器

一项评估CHV表面水平(45项)和概念水平(15项)熟悉度的调查被开发、试点测试和实施，如下所述。工具开发过程包括两个阶段:(1)选择纳入测试的健康术语和(2)为每个术语开发多项选择题(图1）.

‎ 查看此图

候选CHV术语从消费者健康文本中选择，用于三个经常访问的MedlinePlus健康主题:高血压、背痛和胃食管反流病(GERD)。从MedlinePlus列出的消费者健康网站中，就每个选定的主题选择一篇有代表性的文章。一名大四医学生手动从每篇文章中提取所有与健康相关的术语。接下来，将所有提取的术语提交到预测熟悉度模型[9]并被划分为“可能”、“有点可能”或“不太可能”熟悉的类别。最后，从三篇文章中随机抽取每个预测熟悉度似然水平中的五个术语(多媒体附录)。

仪器构建的下一阶段包括开发多项选择题，评估两种熟悉程度，操作定义如下:

1.表面熟悉度:将书面健康术语与超类别、地点或功能级别的基本相关术语相匹配的能力(例如，“活组织检查”是一种“测试”)

2.概念级熟悉度:能够将书面术语与描述“gist”含义的简短短语联系起来(例如，“biopsy”的意思是“切除组织样本”)。

表面熟悉度项目(图2)为所有选定的术语编制。概念级熟悉度项目(图3)仅针对从有关胃食管反流的文章中摘录的术语而编制，以尽量减少调查管理时间。

所有测试项目的布局均参照西班牙语成人健康素养简短评估(SAHLSA) [11]，而这又是基于对说英语的人进行的成人医学素养快速评估(REALM)健康素养测试[12]。我们之所以选择SAHLSA模型，是因为这种经过验证的工具评估了将健康术语与其他相关术语关联起来的能力。相比之下，通常用于以英语为母语的研究的REALM只测试健康术语的正确发音能力，我们认为这对于我们的单词知识评估目的不太合适。SAHLSA易于管理，由50个项目组成，每个项目都有一个“主干”或目标术语，一个与目标术语有意义关联的“关键”术语，一个“干扰”和一个“不知道”选项。我们对这种格式的唯一改变是添加了第二个“干扰因素”，以减少通过猜测选择“关键”术语的概率(参见图2）.在开发CHV评价项目时，我们遵循以下标准:(1)关键词和干扰因素与目标词具有相同的难度;(2)干扰因素不正确但合理;(3)关键词和干扰因素与目标词具有相同的语义关系(如全部位置或全部功能)。标准2和标准3采用SAHLSA。

‎ 查看此图

SAHLSA结合REALM程序，要求考生既要正确发音目标词，又要选择关键词。然而，由于我们的目标是使用自我管理的工具(例如，通过网络)明确地测量对书面健康表达和概念的熟悉程度，因此SAHLSA对考生发音每个目标表达的要求被删除。最后的测试包括三个健康主题的表面熟悉度项目(问题1-45)和GERD术语的概念熟悉度项目(问题46-60)。整个仪器可在多媒体附录中找到。

‎ 查看此图

管理，评分和分析

参与者首先完成人口统计调查，然后是S-TOFHLA和CHV熟悉度调查(表面水平项目后是概念水平熟悉度项目)。在计分时，每个正确答案加一分。表面水平和概念水平的熟悉度得分分别计算。对数据进行回归分析检验，显著性水平为0.05。由于该研究本质上是探索性的，因此报告0.05至0.1之间的值是出于描述性目的，表明进一步调查的趋势。

结果

平均熟悉度得分

对于每个预测的熟悉似然水平(“可能”、“有点可能”和“不太可能”熟悉)，计算了三种类型的方法:总体表面水平熟悉度、GERD表面水平熟悉度和GERD概念水平熟悉度(表2）.总的表面熟悉程度反映了对所有三个主题的术语的表面熟悉程度。由于每个级别每个主题包含五个术语，因此每个级别的最大可能表面熟悉度得分为15分。GERD表面熟悉度表示对GERD术语的表面熟悉度，5分是可能的最高分(基于每个级别的5个GERD术语)。GERD概念级别的熟悉程度反映了GERD概念问题的答案，每个级别的最高可能得分为5分。

表面熟悉度和GERD概念熟悉度是假设1和假设2的因变量。GERD表面水平熟悉度用于计算GERD表面水平与概念水平熟悉度(假设3的因变量)之间的差距。

总表面水平术语熟悉度的预测因子

七个自变量-预测熟悉似然水平、性别、英语水平、最高教育水平、年龄、种族和健康素养水平(S-TOFHLA分数)-回归到因变量，总表面水平术语熟悉度得分。线性回归发现有统计学意义的影响(P< 0.001)的预测熟悉度似然水平对表面水平的术语熟悉度。健康素养是表面水平熟悉程度的另一个统计显著预测因子(P<措施)。英语水平显著(P= . 05);教育程度不(P=酒精含量)。

GERD概念水平熟悉度的预测因子

先前回归分析的所有七个自变量加上GERD表面水平熟悉度回归到GERD概念水平熟悉度得分。线性回归发现预测熟悉程度似然水平(P= .009)和胃食管反流表面熟悉度评分(P< .001)。健康素养水平对GERD概念熟悉度的影响值得进一步研究(P= 0。06)。

关联GERD表面水平和概念水平熟悉度得分

虽然之前的回归分析表明，GERD表面水平熟悉度得分是GERD概念水平熟悉度的重要预测因子，但在所有三个水平上，概念水平熟悉度始终落后于表面水平熟悉度(见表2）.通过线性回归分析预测熟悉度似然水平对表面-概念-熟悉度差距的影响。对于整个模型，差距在统计上与零有显著差异(P=措施)。此外，从统计上看，被预测为“可能”的词汇与被预测为“不太可能”的词汇之间的差距要大得多(P= .006)。预测为“有点可能”与预测为“不太可能”的词汇之间的差距值得进一步调查(P= . 07)。

讨论

CHV熟悉度模型的有效性和有用性的启示

虽然这是初步的性质，但这项研究提出了对第一种模型的初步评估，用于估计消费者对特定健康术语的熟悉程度。研究结果证实了假设1和3，部分证实了假设2。假设1的证实为CHV熟悉度似然模型提供了初步的效度证据[8通过证明预测熟悉度和两种经验推导的消费者熟悉度得分之间的关系。本研究中使用的简短“概念验证”调查需要额外的研究来评估潜在模型对在线消费者健康材料的各种目标受众的稳健性:老年人，低文化个体，慢性病患者等。研究中使用的方法为此类后续验证研究提供了方法学框架。然而，本研究对该领域做出了贡献，因为它表明基于健康语料库频率的算法为估计消费者健康材料的难度提供了一种可行且更灵活的替代方法，而不是一般的单词列表或单词长度算法。例如，我们现有的预测术语难度的模型可以用作快速筛选工具，用于确定消费者健康文本中的“困难”术语，并建议更多消费者友好的同义词。将该模型整合到生成单一文本可读性分数的公式中，可能会自动完成将消费者健康材料与读者匹配的复杂任务(假设有相关的读者信息)。

提高CHV熟悉度预测能力的见解

假设2的部分证实和假设3的部分证实都指出了模型在识别“消费者不友好”词语方面的局限性。读者表现的部分差异可能与人口特征有关，而模型并未考虑到这一点。随着进一步的研究，也许有可能根据已知的人口统计变量的影响，调整一些目标人群的预测熟悉可能性类别。然而，确定所有有意义的人口变量是不现实的。此外，大多数网站是为具有不同能力和经验的广泛健康消费者开发的。这种限制并不是我们的方法所独有的，而是适用于所有评估术语或文本难度的尝试。虽然在模型的基础上对文本难度进行个性化预测是可取的，但它也比人口范围的预测更容易出错，因为大多数预测模型都是基于人口统计或经验专家知识。任何预测都必然是近似值，但高质量的近似值具有相当大的价值。目前，我们的预测模型框架也没有对表面熟悉度和概念理解进行理论区分，也没有对两者之间可能存在的不均匀差距做出规定。如果不均匀的差距现象得到证实，那么预测的术语“容易”很可能是熟悉的，可能是欺骗性的。 Answering this question requires a strong operational definition of sufficient concept knowledge and a way of assessing it. The present instrument is an exploratory step in the direction of concept knowledge measurement. A satisfactory instrument should reconcile the goals of assessing a complex and multifaceted construct while being relatively quick and easy to administer.

本研究的局限性

虽然大多数研究结果符合我们的研究假设，但令人惊讶的是，大多数人口统计学变量，特别是教育水平，缺乏显著的影响，这可能是由于抽样偏差。不均衡的代表性可能掩盖了教育的影响——52名参与者中有41人至少受过一些大学教育。请注意，教育是普通扫盲的代表，而普通扫盲只是卫生扫盲的一个组成部分[10]。其他因素，如医疗保健经验和动机，可能对健康术语熟悉程度有更强的影响，需要进一步研究。

后续工作

后续工作包括验证并可能调整特定人群的算法，评估潜在影响的人口变量在设计中的作用，这些变量在广泛的值范围内表示，并开发一个公式，该公式将在当前算法的基础上分配单一值的文本难度。为了估计不同人群的期望分数，这些公式的校准将需要一套广泛的心理测量学研究，这超出了大多数信息学研究项目的范围。然而，开发算法并测试其对现有可读性公式的有效性是在消费者健康信息学研究的能力范围内。开发方法深入探索消费者对健康概念的理解也是至关重要的，因为目前的研究只触及了这个重要主题的表面。