电子健康素养问卷(eHLQ)的有效性证据第2部分:评估澳大利亚社区卫生环境中测试内容、响应过程和内部结构的混合方法方法

简介

背景

数字技术给现代生活带来了根本性的变化，包括我们如何管理自己的健康。我们可以在指尖上快速搜索卫生信息，但也面临着大量错误信息，这在COVID-19大流行期间表现得很明显[1］．我们可以立即访问我们的电子个人健康记录，但这些数字系统可能难以使用或不符合我们的期望[2-5］．此外，有些人根本没有或只有有限的机会或技能来使用卫生技术，当获得有限机会或技能的人在数字时代落后时，可能会导致卫生不平等扩大。

为了描述获取和使用数字技术促进卫生方面的挑战，2006年提出了电子卫生扫盲的概念[6］．当时，它被定义为"从电子来源寻求、发现、理解和评价卫生信息，并将所获得的知识应用于解决或解决卫生问题的能力" [6］．人们进一步认识到，如果不满足用户的电子卫生素养需求，任何数字或电子卫生战略或干预措施都将无效[6-8］．例如，在英国现已停止使用的基于网络的个人健康记录HealthSpace的后评估阶段，得出的结论是，该系统与用户的期望不匹配，一些用户似乎缺乏使用该系统所需的健康知识和数字知识[2，3.］．

电子健康知识普及问卷

为了描述和解决电子健康知识普及需求，Norgaard等人[9]根据与各种利益攸关方举行的一系列概念绘图研讨会的结果，使用基于有效性的方法制定了电子卫生素养框架。因此，确定了电子卫生素养的7个维度，描绘了人们如何访问、理解和使用涉及技能、卫生系统以及个人与系统之间互动的卫生技术的总体愿景[9］．这一基于基础的框架提供了比原始定义更全面和更现代的电子卫生素养观点，因为它还利用了数字系统的作用以及用户和系统之间的交互。随后，该框架被用于开发电子卫生素养问卷(eHLQ)，作为基于以下七个维度衡量电子卫生素养的工具:

1. 利用技术处理健康信息
2. 了解健康概念和语言
3. 积极参与数字服务的能力
4. 感觉安全，一切尽在掌握
5. 积极参与数字服务
6. 获得有效的数字服务
7. 适合个人需要的数码服务[10］

eHLQ包含了与使用数字卫生系统的用户交互和体验相关的电子卫生素养维度，在捕捉数字技术的交互性和不断增强的功能的同时，拥抱了用户的真实体验。它可以提供关于个人能力以及数字卫生系统成熟度的丰富信息，因为成熟的系统可能更能响应用户的个人需求[10］．因此，eHLQ是数字卫生开发人员和实施者促进公平驱动的数字卫生系统并最终促进卫生公平的有用工具。

eHLQ同时以丹麦语和英语编写，以避免习惯用语和改进项目措辞，以加强今后将问卷翻译成其他语言的工作[10］．该工具由35个项目组成，有7个量表，每个量表有4到6个项目，响应选项是一个4点的顺序量表强烈反对来强烈同意．结果是7个同等加权的综合量表得分[10］．丹麦版eHLQ的初步有效性测试，基于从丹麦社区和卫生保健机构收集的475人的数据，证明了该工具的心理测量鲁棒性。7因素验证性因素分析(CFA)模型采用贝叶斯结构方程模型(BSEM)方法得到了满意的拟合结果。该工具的所有35个项目在其相关因素(0.36-0.94范围)上都有很强的负载，没有显著的交叉负载。良好的内部一致性也证明了7个量表中每个量表的复合量表信度都令人满意(范围0.75-0.87)。除了采用经典测试理论(CTT)方法来测试心理测量特性外，还使用了项目反应理论(IRT)方法。结果证实，这35个项目代表了一系列困难，并对测试具有不同水平的电子卫生素养能力的人具有良好的识别能力。年龄和性别的测量不变性也得到了证明[10］．虽然该研究提供了令人满意的有效性证据eHLQ在丹麦设置，证据的英文版本需要建立。丹麦被称为世界上电子健康的先驱，拥有一个全国性的公共电子健康门户网站，截至2019年，每月至少有230万独立用户使用该门户网站，其中580万公民[11，12］．数字健康是许多丹麦公民日常生活的一部分。尽管澳大利亚也有国家数字健康记录系统，但澳大利亚参议院2019年估计听证会上的信息显示，只有4%的澳大利亚人登录过澳大利亚的系统。13］．因此，eHLQ在公共数字卫生服务使用不那么突出的情况下将如何表现尚不清楚。

有效性的证据

效度测试是一个持续的过程，根据教育和心理测量的开发和使用的权威参考，根据测试内容、反应过程、内部结构、与其他变量的关系以及测试的后果，积累5个证据来源教育与心理测试标准(标准） ［14］．

基于测试内容的证据用于确定项目是否代表内容领域，还可能包括措辞是否易于阅读和管理格式是否易于使用。响应过程是指调查参与者的认知过程，即参与者对项目的解释是否与测试开发者对项目的预期解释一致。它还可能包括口译是否在子组或不同管理格式之间保持相同。内部结构是项目符合结构的程度，与因素分析、可靠性和测量不变性等方面有关。与其他变量的关系是分析在被测量结构的理论网络中相关的另一种工具的得分与得分可以预测的其他外部变量之间的关系，而测试的后果与建议使用测试分数的稳健性有关，包括预期的好处、间接影响和意想不到的后果，如构造代表性不足或构造不相关性[14-19］．本研究的重点是在澳大利亚社区卫生环境中收集的证据。Cheng等人描述了在这种情况下与其他变量的关系的证据[20.］．本研究的目的是报告和评估澳大利亚英语eHLQ测试内容、反应过程和内部结构的证据。

方法

数据收集

对有效性证据的收集和评价方法，以文献中的讨论为指导标准以及相关文献。采用混合方法和认知访谈来检验测试内容和反应过程的证据，而采用横断面调查来检验内部结构的证据。认知访谈于2017年在澳大利亚维多利亚州大都市区的一家非营利性社区卫生组织进行。该网站的客户，以及来自大都市和地区的2家私人初级保健医疗诊所的客户，被邀请参加2018年的横断面调查。

参与这两项活动的资格标准是年龄≥18岁，有或没有任何健康问题，能够完成纸质、网络或面对面访谈形式的问卷调查。有严重认知或心理健康问题、临床症状严重、英语水平不足以完成问卷、没有护理人员协助的客户被排除在外。

伦理批准

该研究获得了迪肯大学人类研究伦理委员会的伦理批准(HEAG-H 146_2017)。

认知面试

认知访谈通常用于探索人们如何回答调查项目的认知过程[21-23］．它可以揭示人们如何构建他们的答案，以确定他们的思维是否与测试开发人员所期望的项目相匹配，人们在回答问题时是否遇到困难，或者布局是否合适。研究结果还可用于识别不同社会文化群体的反应差异[17，22，24，25］．

鉴于认知访谈的定性性质，不需要大样本量，但需要具有代表性和多样性[14，24］．这个过程采用了一种迭代的方法，如果发现了问题，需要修改问题，就会进行几轮测试[21]，所有项目至少测试五次或直到数据饱和[26，27］．

在卫生网站的协助下招募了参与者，并提供了一份简单语言的信息表，并征求了书面同意。访谈在参与者完成书面形式后进行。当参与者回答问卷时，观察他们的行为。完成后，研究人员提出了两个问题，以深入了解认知过程:(1)回答这个问题时你在想什么?你为什么选择这个答案?鼓励与会者就项目或格式提出任何进一步意见。他们可以就全部35个项目或部分问卷进行采访，主要是针对年龄较大的参与者，以避免疲劳和认知过载。

数据分析采用文本汇总[24］．内容分析首先由其中一位作者(CC)根据eHLQ的项目意图进行审查，然后由另一位作者(RHO)进行进一步审查。所有作者都讨论了需要修订的任何问题，直到达成协议。

心理测试横断面调查

对于横断面调查，在等候区招募客户，并向其提供一份信息表。作为一种促进参与的策略，在返回完成的问卷时，不要求签署同意书作为隐含同意。除了使用纸质或基于网络的形式进行自我管理外，还包括访谈，以确保老年人或文化水平低的人能够参与。人口统计问题包括年龄、性别、邮政编码、家庭语言、教育程度、健康状况、感知健康状况和数字服务的使用情况。在Cheng等人的研究中对招聘进行了进一步描述[20.］．

类似于丹麦eHLQ效度测试[10]，本研究同时采用CTT和IRT方法进行心理测量分析。CTT是一种传统的方法，它基于观测分数由真实分数和错误分数组成的论断[28，29］．这种方法通常涉及对维度、辨别和可靠性的评估。然而，CTT被批评为依赖样本，没有考虑到测试项目的特征以及处于不同兴趣结构水平的人在这些项目上的表现，这是IRT的重点，现代方法[28，29］．因此，本研究采用了两种方法来加强证据的收集。

统计分析

概述

使用三种统计软件程序进行分析，即SPSS (version 25.0;IBM公司)[30.]， Mplus(8.3版本;Muthén及Muthén) [31]和IRTPRO(患者报告结果的项目反应理论;4.20版本;矢量心理测量组)[32］．对人口统计数据、eHLQ评分和上限和下限效应进行了描述性统计。下限和上限效应的存在可能表明在最小值或最大值上辨别能力较差[33]，如果超过15%的参与者得分在分数范围的顶部(上限)或底部(下限)，则被认为影响显著[34，35］．

缺失值

为了处理eHLQ分数的缺失数据，首先检查数据集。如果没有发现明显的缺失模式，即可以认为缺失是完全随机的，则采取两步方法。第一步是删除缺失值超过50%的案例，以减少潜在的偏差。第二步是用SPSS中的期望最大化算法imputation替换所有缺失值[30.，36，37］．最后的数据集用于所有心理测量分析。

结论分析

道具难度是一种道具属性，通常是CTT方法中道具分析的第一步[28，38］．该参数的计算方法为赞同“不同意”和“非常不同意”的受访者比例与赞同“非常同意”的受访者比例[39］．因此，回答“不同意”和“强烈不同意”的比例越高，说明难度越高。

为了衡量信度，评估了内部一致性和重测信度。除了常用的克朗巴赫α对于内部一致性，当项目不具有相等的因素负载或在相关项目错误的情况下，由于产生偏差估计而受到批评[39]，采用Raykov推荐的Mplus结构方程建模计算复合尺度可靠度[40]也进行了评估。当项目集是单维的，具有不相关的误差，并且对真实分数有很高的负荷时，这两个估计值预计具有相当的可比性[29，40］．两个估计值的可接受范围为0.70至0.95,0.80通常被认为是较好的可靠性[41］．对于test-retest，对于时间点之间的最佳长度没有共识，并且在第一次完成问卷1周后发出邀请。使用类内相关系数(ICC)评估测试-重测信度[42］．至少有10个参与者被认为足以检测到可接受的ICC为0.70，功率为80%，显著性水平为.05 [43]，估计样本量为30。

在经典项目分析之后，假设假设结构是先验指定的，进行了CFA。与丹麦效度测试相似，采用BSEM方法[10使用Mplus。CFA的样本量尚未达成一致，其范围从100到400 [33，44]，估计样本量为500。与使用最大似然估计程序的传统频率论方法相反，该方法假设与潜在因素不相关的测量将对该因素具有零负载，这很容易导致模型拟合不良和拒绝[29，45]， BSEM中的参数被视为变量，这种更灵活的方法被描述为更好地反映了实质性的理论[45］．

在分析开始时，BSEM中的不同参数规格被描述为先验，它可以是弥漫的(非信息性的)或信息性的[45］．弥散先验是由数据完全估计出来的假设参数，而信息先验则可能是由以前的研究、研究人员的理论或先验信念得出的参数值[45］．信息先验可以应用于交叉负荷和剩余协方差。对于交叉加载先验，方差先验为0.01意味着95%的加载变化在−0.20到+0.20的范围内，这被认为是小加载。项目残差之间的协方差采用逆wishart先验。应用程序开始时是足够大的df的逆wishart分布，并逐渐降低df参数，以产生更灵活的模型，使残馀协方差不严格约束为零[46］．

一个由1因素模型和7因素模型组成的序列(多媒体附件1)与数据相符。几种不同参数规格的模型，以丹麦的研究为参考[10]，进行了测试和比较，以确定感兴趣的模型，这是一个没有被数据拒绝的模型，并且“最接近于足够适合的CFA模型”[46］．为了评估模型拟合，Mplus产生后验预测P（购买力平价)值，以及观测值与复制卡方值之差的95% CI。一个低购买力平价值和95% CI为正表明拟合较差，而a购买力平价值在0.5左右，而接近95% CI的中间值为0则表示极好的拟合[45］．此外，一个不显著的前-后验预测P（PPPP)值，即>。05，在dicates that the estimates of the cross-loadings can be considered approximate zero and are thus negligible [47］．除了上述估计外，还可以通过检验模型的收敛性和信息准则进行模型比较。我们感兴趣的模型是收敛速度较快的模型，即在迭代次数最少的情况下，潜在尺度降阶始终小于1.05，且具有较低的差异信息判据[46］．

根据所选7因素模型的结果，使用Fornell-Larcker准则评估判别效度[48]基于共享方差和平均方差提取(AVE)。共享方差由2个因素之间的因子间相关性平方计算，AVE由相关项目的因子负荷平方和的平均值产生[49］．如果AVE为>0.5，则福内尔-拉克尔第一个准则，即“一个因素比测量误差或类似的外部未测量影响更能解释与之相关的观测变量的方差”[49]是满足的。为了满足关于该因素与概念框架中其他因素的关联的第二个标准，任何2个因素的AVE都“必须大于2个因素之间的共享方差估计”[48，49］．

BSEM方法进一步用于测试差分项功能(DIF)，即测量在不同组或分组变量之间的稳定性[50，51］．通过使用多指标、多原因(MIMIC)模型方法，可以同时检测DIF和组间差异[52］．该方法已被用于测试在相同环境下不同人口统计学群体之间的群体差异，并在Cheng等人的研究中详细描述了该方法[20.］．在这项分析中，管理格式(纸质vs面对面访谈)、场地面积(大都市vs地区)和卫生环境(私人诊所vs非营利社区卫生)被作为协变量。由于使用这种格式的参与者数量有限(13/ 525,2.5%)，没有将基于web的格式纳入分析。看到图1为测试DIF的贝叶斯模型，以1标度为例。模型测试和选择的过程类似于前面描述的BSEM，除了先验应用于DIF路径而不是交叉加载。对于DIF的评价，一个显著的直接影响表明DIF的存在，和一个1尾P的值。025was considered significant as no directional hypotheses were set up. If DIF was identified, the estimates were further evaluated based on the model selected. For example, if the model with variance prior of 0.01 was selected and thePPPP值不显著，则−0.2至+0.2范围内的估计值可被认为可以忽略不计[53］．组间差异也作为补充结果进行了检验。

‎ 查看此图

红外热成像分析

要执行IRT分析，需要满足4个假设。单维性(项目测量相同的结构)、局部独立性(每个项目不应该相关，除非它们测量相同的结构)和项目不变性(项目参数在子组中相同)的假设可以通过CTT分析部分中描述的CTT方法进行检查。通过检查测试特征曲线来评估单调性假设(赞同某项的概率随着特征水平的增加而增加)[54］．IRT分析的样本量要求为200至500 [54］．在此分析中，使用IRTPRO应用了与丹麦研究相似的广义部分信用模型。除了测试特征曲线外，还评估了7个一维IRT模型的项目阈值、项目位置、项目识别和信息函数。通过检查项目特征曲线来评估项目响应阈值，其中每个响应类别曲线从最低(强烈不同意)到最高(强烈同意)的峰值应该对应于最低到最高的特征水平，以证明一个项目具有有序的响应阈值集。在项目辨别方面，项目特征曲线的曲线越陡或斜率越大，表明具有不同水平特征的人之间的辨别能力越强。项目歧视估计值越高，表明不同能力的人之间的歧视程度越高[55，56］．对于项目位置估计，较低的估计代表较容易的项目，因为这些项目预计会得到能力较低的人的认可，并且预计与CTT分析中的项目难度估计相似[54，57，58］．最后，对信息函数曲线的检查提供了一个项目可以精确测量潜在特征的信息。这种测量精度类似于CTT的可靠性[14］．它还有助于确定一个量表的项目是否衡量了潜在特质的全部范围。

结果

认知面试

共招募了12名参与者进行两轮认知访谈。在这12名参与者中，8名(67%)是女性，4名(33%)是男性，58%(7/12)的参与者年龄为65岁，17%(2/12)的参与者在家说英语以外的语言。该样本很好地代表了来自不同年龄组和文化背景的人。第一轮有7名参与者确定了这个词卫生技术服务用于量表7的4项(适合个人需求的数字服务)是令人困惑的。大多数与会者无法立即将该术语与数字系统联系起来。经过研究团队的讨论，该术语被改为电子健康系统．更改后的术语在第二轮测试中对5名参与者进行了测试，没有发现进一步的问题。参与者对其他项目的理解大致与项目意图相似。例如，关于使用的项目技术为了查找、理解、分享或组织健康信息，参与者可以轻松地将其链接到互联网、Dr谷歌或任何基于网络的东西上。在“I use measurements about my body…”，” participants thought about how they used results of blood test, body weight, or blood pressure, which was aligned with the item intent.

尽管参与者的背景不同，但在理解项目方面并没有发现重大差异，所有参与者都认为项目易于阅读。与会者的建议也导致了介绍页面的更改，以提供技术、卫生技术、电子卫生系统和卫生保健提供者或卫生专业人员的示例。问卷完成时间为3 ~ <7分钟。

心理测试

参与者的特征

共收集完成问卷530份。在统计分析部分描述的缺失值处理的基础上，删除了5个案例，导致心理测量分析的最终样本量为525。横断面调查的参与者年龄在18岁至94岁之间，61%(320/525)的参与者是女性。共有33.3%(175/525)受访者接受过大学教育，30.9%(162/535)受访者在家中使用英语以外的语言。在525名参与者中，300人(57.1%)报告患有某种形式的慢性疾病。在科技使用方面，在525名受访者中，151名(28.8%)没有电脑或笔记本电脑，131名(25%)没有使用电子邮件或短讯(表1)．

描述性统计

量表7的平均得分范围为2.43 (SD 0.57) (适合个人需求的数字服务)至2.95(标准偏差0.41)(了解健康概念和语言；表2)．个别项目的缺失值<5%，另一个表明项目通常很好理解。没有发现下限效应，而有8个项目发现上限效应(范围为16.2%-20.8%)。这些项目均与使用科技及对健康知识的了解有关，显示有相当比例的受访者对使用科技及对健康有良好的认识(多媒体附件2)．

在认知访谈和主要调查期间的观察没有发现任何问题，当人们回答基于纸张或网络格式的项目时。对主调查完成的530份问卷的批注进行检查发现，0.03%(15/530)的参与者在某些项目旁边打了问号，表示他们不理解这些项目，0.10%(55/530)的参与者回答不清楚。这些结果表明，学生对项目的理解基本正确，4点顺序量表可接受。

结论分析

我们为所有尺度找到了道具难度范围，反映了相关结构的难度等级范围。项目难度范围最小的量表为7 (适合个人需求的数字服务；范围45% - -60%)。第4量表的项目难度范围最大(感觉安全，一切尽在掌握)，比例由14%至52%不等。7级也是最多的困难量表，因为所有项目的难度级别至少为45%，而量表2 (了解健康概念和语言)是简单的4个项目<20%，最难的项目为37% (多媒体)．

的残馀协方差具有信息先验的1因子贝叶斯模型df= 60)购买力平价7个量表的值范围为0.19至0.24，所有目标负荷具有统计学意义，建立了量表同质性的证据。因子负荷均为>0.50，除量表6第3项(获得有效的数字服务)，加载量为0.45。除6项外，残差均<0.50，其中第3项估计最高，为0.80 (多媒体)．

随后的7因素模型拟合到数据集，测试了6个模型。所有模型都很好地拟合了数据。交叉负荷方差的先验模型设置为0.01，并逆wishartdf残差协方差为150被选为感兴趣的模型(购买力平价=。49，95% CI for the difference between observed and replicatedχ²−101.40 ~ 108.83，PPPP= .92)。所选模型没有发现统计学上显著的交叉负载，表明所有项目只在1个因素上加载(多媒体附件4)．所选7因素模型除4项外，所有因子负荷均为>0.50，其中量表2第26项(了解健康概念和语言)，最低负荷为0.36。此外，所有交叉负荷均小于- 0.20至+0.20;也就是说，它们可以被认为近似为零，可以忽略不计(表3)．

AVE的检验表明，4个量表的估计值符合第一Fornell-Larcker准则，而3个量表的估计值<0.50(量表2、4和6)。鉴于这些AVE的估计值是基于允许交叉负荷和残余协方差的7因素模型，也计算了1因素模型的AVE估计值，7个量表的AVE估计值为0.66、0.49、0.72、0.61、0.65、0.47和0.74。因此，量表2和量表6的AVE估计值仍然<0.50。该因素与其他因素的关联的第二个标准也不满足。在此标准的基础上，只有量表2对量表4、量表6、量表7有较好的辨别能力，而量表4对除量表6外的所有量表都有较好的辨别能力。因此，各量表之间可能没有足够的区分效度(表4)．

对于内部一致性，Cronbachα(范围0.74 -0.90)和综合量表可靠性(范围0.73-0.90)估计与预期非常相似。均在可接受范围内，而量表1、3、4、5和7的估计值为>0.80，表明内部一致性良好。对于重测，42名参与者完成了重测，ICC范围为0.72至0.95，表明重测可靠性良好(多媒体)．

用于测试管理格式、站点面积和运行状况设置的DIF的贝叶斯MIMIC模型实现了良好的模型拟合。选择DIF路径为0.01的模型作为感兴趣的7个量表的模型购买力平价范围从。19(比例6)到。35(比例7)，以及所有PPPPS无统计学意义。场地面积和健康环境对项目的影响无统计学意义。管理格式被发现对5个项目有统计上的直接影响，表明可能的DIF。然而，所有估计值都在−0.2至+0.2的可接受范围内，因此可以忽略不计(多媒体)．

对于组间差异，在场地面积和健康环境方面没有发现显著差异，但在管理格式方面发现了组间差异，在量表1 (利用技术处理健康信息)， 3 (积极参与数字服务的能力)， 5 (积极参与数字服务)及7 (适合个人需求的数字服务；表5)．采用非参数检验进行进一步分析，以探讨两组在年龄、教育程度和技术使用方面是否存在显著性差异，显著性水平设置为< 0.05。一个Mann-WhitneyU测试显示受访年龄有显著差异(中位数75;N =109)和论文格式(中位数51;n = 387;U= 7881.50;z=−10.00;P<.001)，受访的参与者比完成自我管理论文格式的参与者年龄大。独立卡方检验表明，教育和行政形式之间存在显著关联，χ²₁= 0.4 (n = 503),P<措施。在接受采访的受访者中，36.7%(40/109)没有完成中学学业，而只有13.2%(51/387)的受访者完成了纸张形式的学业。在访谈中也发现了设备数量的显著差异(中位数为2;N =111)和论文格式(中位数2;n = 390;U= 20328 .50;z= 6.86;P<.001)，使用自我管理的纸张格式的参与者比接受采访的参与者有更多的设备。

红外热成像分析

具有所有显著目标因子负荷的1因子贝叶斯模型的结果提供了单维性和局部独立性的证据。管理格式、站点区域和运行状况设置的DIF测试支持项目不变性。Cheng等人还建立并报告了亚组之间的测量不变性，包括年龄、性别、教育程度、家庭使用的语言以及信息和通信技术的使用[20.］．因此，CTT分析的结果证实了IRT分析的4个假设中的3个。对于单调性的最后假设，检验了测试特征曲线，确认了赞同一个项目的概率随着特征水平的增加而增加。

目视检查项目特征曲线显示，沿着最有可能的响应的潜在特征的连续统，响应类别的不同峰值，表明所有项目的有序阈值(多媒体附件6)．项目辨别参数表明，每个量表的项目对不同的能力水平有不同的敏感性。各项目特征曲线斜率均为陡坡，7量表第33项斜率最大(适合个人需求的数字服务)，项目辨别参数最高，为5.56。所有题项中辨别参数较低的是量表6的第3项(获得有效的数字服务；0.86)及第2量表第26项(了解健康概念和语言；0.88)。然而，两个项目的项目特征曲线仍然被认为是陡峭的。项目位置参数还表明，项目在每个量表中具有不同的难度级别，但在量表2和量表4中分布不均匀。第2表第15及21项(了解健康概念和语言)的项目定位参数非常相似，分别为−1.19和−1.18。量表四(感觉安全，一切尽在掌握)第10项和第22项的定位参数分别为−0.58和−0.54。结果与CTT分析的项目难度指数基本一致(多媒体)．此外，还对信息函数曲线进行了信度评估。除了量表4的第14项(感觉安全，一切尽在掌握)，在特质的各个层面上提供的信息都非常少(多媒体附件6)．

讨论

主要研究结果

本研究收集并检验了基于测试内容、反应过程和澳大利亚社区卫生环境中eHLQ的内部结构的效度证据。项目和格式易于阅读和使用，项目可以按预期理解。贝叶斯CFA和IRT分析证实了内部结构的稳健性。然而，基于7因素BSEM估计的判别效度还没有很好地建立，需要进一步的研究。

认知访谈成功识别了1个容易混淆的术语，对其进行了修改，并对问卷的介绍页进行了改进。结果结合访谈和调查中的观察，以及有限的缺失值，为支持eHLQ测试内容和响应过程的效度证据提供了丰富的信息。

横断面调查的最终样本量为525个，为CTT和IRT分析提供了足够的样本量。虽然样本中女性和受过大学教育的参与者比澳大利亚全国平均水平更多，但参与者的社会人口学特征仍然反映了一个普遍多样化的样本。然而，四分之一的样本不使用电子邮件或寻找基于网络的信息，这表明在调查中有有限使用技术或电子健康的人。这将确保eHLQ的有效性测试结果也适用于电子卫生素养可能较低的人群。此外，在基于纸张和访谈的管理格式中确定的4个量表的组间差异进一步表明，这两组在年龄、教育程度和技术使用方面存在显著差异。因此，将面试选项作为招聘策略纳入老年人或文化水平较低的人的目的得到了实现。相比之下，两种形式的测量不变性的证据证实，回答不受采访偏见或社会期望的影响。对该样本的单独分析发现，老年人在同样的4个量表上得分也较低。20.]，两种管理格式之间的组差异的发现并不令人惊讶。然而，未来的研究可能会考虑在随机提供访谈选项时，这种组间差异是否会继续存在。确定的群体差异还意味着应始终提供访谈选项，以便将老年人或文化水平较低的人包括在未来的电子卫生素养研究中，以确保他们不会在数字卫生时代落后。

使用CTT和IRT方法对内部结构进行了严格的评估，以确保对eHLQ数据的不同方面的有效性和可靠性进行了调查。对于CTT分析，采用了应用信息先验的贝叶斯方法。尽管这种现代方法在测试模型拟合时可能涉及更多步骤，但它允许模型参数近似为零的假设。与传统的结构方程建模方法不同，该方法可以更好地近似真实世界。因此，七个1因子模型被发现很好地拟合了数据，证实了量表的同质性，而因子负荷和剩余方差是可以接受的。内部一致性信度的估计对所有量表都很好，尽管量表2 (了解健康概念和语言)及第六等级(获得有效的数字服务)的指数较低，但仍在可接受范围内。所有量表的重测信度也都很好，这表明eHLQ产生了稳定和一致的结果。

IRT分析进一步支持了准确测量电子卫生素养的测试特征和项目。测试和项目特征曲线表明，电子健康素养较高的参与者更有可能认可同意和强烈同意的项目。信息函数曲线表明，各题项能够在不同层次上收集到可靠、准确的信息。估计进一步表明，这些项目在区分具有不同电子卫生素养水平的参与者方面通常具有较高的敏感性。道具的位置也支持了道具代表不同难度级别的事实。CTT分析的项目难度指数进一步验证了这一点，它显示了两种估计显示出非常相似的模式，进一步加强了项目通常代表潜在因素的难度级别范围的证据。MIMIC模型的使用还发现，管理格式、站点面积和健康设置的DIF没有或可以忽略不计，从而确认了跨格式和设置的项目的度量等价性。

尽管值得注意的是，澳大利亚的结果与Kayser等人报道的丹麦效度测试结果大致相似[10]，项目位置结果的比较结果则相反。这两个结果是矛盾的，在大多数量表中，澳大利亚主样本中最简单的项目是丹麦环境中最难的项目。例如，在尺度1中(利用技术处理健康信息)，第7项对澳大利亚样本来说是最简单的，但对丹麦数据集来说是最难的。由于丹麦的研究没有报告CTT项目难度估计，因此不能用于校准澳大利亚的结果。这可能是由于两国人民在使用和获取数字健康方面的不同做法，因为丹麦的网络健康系统定期用户比澳大利亚多得多。差异背后的真正原因很难推测，未来的调查(例如，使用认知访谈专门关注两个国家对不同困难项目的反应水平)可能会更清楚地揭示这种差异。

在1因素模型之后，随后的7因素模型使用交叉负荷和剩余协方差的信息先验，证明了因子结构的良好模型拟合，正如问卷开发者假设的那样。所有的目标载荷在可接受的因子载荷下都是显著的，对于所选择的感兴趣的模型也没有显著的交叉载荷。尽管所选择的感兴趣的模型具有不同于丹麦效度测试所选择的模型的信息先验，但澳大利亚的数据分析通常复制了丹麦的结果，加强了eHLQ内部结构的证据。

一个可能的弱点，在心理测量性质的eHLQ可能是其判别效度。AVE的估计值表明，除量表2 (了解健康概念和语言)及第四阶(感觉安全，一切尽在掌握)．虽然在丹麦效度检验中没有调查AVE估计值，但在丹麦效度检验中，量表1和量表5之间以及量表6和量表7之间的高因子间相关性也表明这些因素之间的区分可能不足，并且推测这些量表之间可能存在一些因果关系[10］．然而，测试开发人员认为，在开发过程中对患者和专业人员观点的内容分析证实，这些因素确实是不同的结构，并决定在最终模型中保留7个维度。在未来的有效性测试中，有必要进一步研究区分效度。

这项研究提供了强有力的有效性证据，从eHLQ中得出的推论在不同的澳大利亚社区卫生环境中使用。由于这项研究是在COVID-19大流行之前进行的，因此远程医疗的接受和使用有所增加[60]以及社交媒体上广泛传播的错误信息和虚假信息[1]， eHLQ将成为卫生保健提供者、研究人员、数字卫生开发人员和政策制定者更好地了解单个患者和不同人群的电子卫生素养需求的有用工具。所获得的见解将有助于制定、实施和评估适合用户需求的数字卫生干预措施，以促进健康和公平。

限制

有效性证据的一个可能的限制是，样本只涉及能说和理解英语的参与者。虽然eHLQ是首批同时用两种语言编写的问卷之一，以尽量减少文化参考，但这两种语言都来自西方文化，国家卫生保健系统普遍发达。心理测量特性在其他文化群体和国家的表现如何尚不清楚。未来对eHLQ的研究应包括跨文化背景下的效度测试，包括不同语境和使用。丹麦效度测试研究是在社区环境中进行的，涉及一般人群。然而，这项研究只包括参加社区卫生服务的人。未来在澳大利亚其他环境下的eHLQ测试可能会加强该工具对普通人群的有效性证据。

结论

本研究中提出的证据表明，eHLQ是一种具有强大心理测量特性的工具。有对测试内容的支持，并且项目被理解为预期的。尽管在区分效度方面存在潜在的弱点，但合理的建议是，这些项目可以在不同的澳大利亚卫生环境中为电子卫生素养的7个结构提供有效和可靠的评估。eHLQ已准备好用于确定电子卫生素养的优势和挑战，并协助制定数字卫生干预措施，以确保数字访问和技能有限的人不被落下。