估计皮肤癌风险:评估移动计算机自适应测试

介绍

在澳大利亚，皮肤癌约占所有新诊断癌症的80% [1］．皮肤癌有三种主要类型:(1)黑色素瘤(最危险的皮肤癌)，(2)基底细胞癌(BCC)，(3)鳞状细胞癌(SCC)。BCC和SCC通常被归为非黑色素瘤或角化细胞皮肤癌。澳大利亚是世界上皮肤癌发病率最高的国家之一，是加拿大、美国和英国的两到三倍[2]，皮肤黑色素瘤的年龄标准化发病率为65.3 × 10⁵和1878 × 10⁵角质细胞癌[1］．澳大利亚只有2300万人口，但每年有超过43.4万人接受一种或多种非黑素瘤皮肤癌的治疗[1］．

阳光中的紫外线辐射是引发皮肤癌的主要原因[2］．减少过度阳光照射的个人行为是预防皮肤癌的重要可调节因素。世界卫生组织建议适当使用防晒霜、待在阴凉处、穿防晒衣、放弃日光浴及避免使用日光浴床等[3.］．

模型数据拟合检测的要求

实际上，我们并不知道一个人患皮肤癌的真实风险。因此，假设一个人具有与皮肤癌潜在结构高度相关的特征属性，则可以通过问题(即问卷项目)来评估风险;例如，表型测量，如雀斑、头发颜色、眼睛颜色、晒伤倾向，或行为因素，如对美黑和使用日光浴床的态度。利用对这些项目的回答，应该可以创建一个单维(即可添加的)量表来衡量这些属性，并计算出总体皮肤癌风险评分。理想情况下，这样的分数应该是精确的，并具有小标准误差(SE)的特点。

统计效度是指每个人在问卷上的测量值(或分数)与这些人不可观察的真实状态之间的相关性[4］．这些不可观察的变量(如真实得分或与防晒和日晒有关的行为)被认为是潜在特征(即存在但不能直接观察到)。问题是，当真实分数未知时，如何在项目之间获得最佳相关性(或有效性)。拉什模型[5可以用来评估这些项目在多大程度上衡量了潜在的特质[6-8］．也就是说，可以通过Rasch分析来验证单维尺度:当数据符合Rasch模型时，可以添加所有项目。

使用Rasch模型构建和测试的问卷多年来在教育评估中已经很常见，但现在在健康评估中也越来越受到重视，包括衡量患者结果(生活质量、疼痛、抑郁)和其他不同的潜在特征，如对患者住院和护士欺凌的看法[9，10］．我们先前将Rasch模型应用于评估仪器的质量，以衡量对皮肤自检的态度[11］．Rasch分析允许研究人员通过评估项目的单维性，评估差异项目的功能来计算潜在特征的精确估计[12](例如，具有相同潜在特征的不同群体的人对某一项目作出某种反应的概率)，以及将静态问卷转移到计算机自适应测试(CAT)的可能性[13］．

多媒体图形表示提高患者健康素养

患者的健康素养越来越被认为是影响医患沟通和健康结果的关键因素[14]，作为癌症筛查行为的中介[15]，并作为健康知识普及和癌症筛查之间的途径[16］．与具有较高健康素养的成年人相比，具有低于基本或基本健康素养的成年人更不可能从书面来源(如报纸、杂志、书籍、小册子或互联网)获得有关健康问题的信息，而比具有较高健康素养的成年人更有可能从广播和电视获得大量关于健康问题的信息[17］．具有多媒体图形表示的移动CAT(例如，类似于广播和电视)可以提高人们对患皮肤癌风险的认识(例如，健康素养)，并促进患者与医生之间的沟通，从而改变行为。然而，到目前为止，还没有图形化的移动CAT应用程序可用。

研究的目的是

使用来自澳大利亚昆士兰的一项大型皮肤癌队列研究的数据[18]，我们进行了一项模拟研究，方法重点是将Rasch模型应用于现有的皮肤癌风险问卷。此外，我们试图比较纸张和铅笔问卷中常用的静态(非自适应)表示与计算机自适应测试(CAT)的测量精度。我们假设，与非自适应测试(NAT)相比，对于相似的项目数量或相似的SE更短的问卷，CAT会导致更高的精度(更低的SE)。

方法

数据源

使用来自QSkin太阳与健康研究基线问卷的去识别数据[18］．这是一项基于人群的队列研究，2011年从澳大利亚昆士兰州的人群中随机抽取了43,794名年龄在40-69岁之间的男性和女性(图1)．我们将数据随机划分为校准数据集(2 / 3,n=29,314)和验证数据集(1 / 3,n=14,480)。在校准数据集中，7213名参与者有皮肤癌史，22101名参与者没有皮肤癌史(图2)．

该研究已获得QIMR Berghofer医学研究所人类研究伦理委员会的批准(批准号P1309)。参与者通过填写同意书和调查问卷，并将其放入一个付费回复的信封中，加入了这项研究。参与者填写了两份同意书。第一份同意书包括使用调查中提供的信息，允许与癌症登记处、病理实验室和公立医院数据库进行数据链接。第二份同意书允许与澳大利亚医疗保险计划(澳大利亚的全民健康保险计划)进行数据关联，以确定参与者是否患有皮肤癌。

基线问卷由46个项目组成，所有QSkin参与者都回答了问题。所有项目均采用Rasch部分信用模型(PCM)进行检验[19) (图2)．为了获得最优拟合，Rasch模型需要一维测量，并以每个项目的Infit和Outfit均方误差为准则:小于1.5 [20.］．PCM允许项目具有可变数量的阈值和步骤困难，这与更常用的评分量表模型(RSM) [8，9，21]，要求所有项目使用相同的响应类别。

对于项目不变性，项目估计应该独立于完成问题的个体的子组，并且应该在种群中同样有效[22］．不显示不变性的项目通常被称为显示差异项目功能(DIF) [23，24或项目偏见。用于检测DIF的卡方检验是通过对每个特质组在该项目上的观察到的整体表现与其预期表现进行比较来计算的[25］．它的概率(例如，P<.05)报告当数据符合Rasch模型时观察卡方值的统计概率。我们使用WINSTEPS [26]以检测超出DIF阈值的项目。

此外，皮肤癌项目库中每个项目的类别结构应按照Linacre的指导方针显示单调增加的阈值[27]以提高结果措施的效用。

‎ 查看此图

确定皮肤癌风险的分界点

传统上，在临床实践中，研究人员使用c统计量，或受试者工作特征(ROC)曲线下面积来绘制不同阈值设置下的真阳性率(敏感性)与假阳性率(1 -特异性)[28］．在本研究中，我们绘制了包含ROC的两个样本正态分布图3当它们的均值和标准差已知时。

在图上可以显示切割点、ROC曲线下面积和显示切割点的图形竖条等许多信息。WINSTEPS软件[26]用于估计有和没有皮肤癌病史的病例的均值和标准差，以确定MS Excel中具有最大敏感性和特异性的皮肤癌风险分割点(图3)．以图形形式提供分界点使结果清晰易懂，便于读者或临床医生解释。

设计用于检测个人皮肤癌风险的移动计算机自适应测试

构建CAT题库(拟合Rasch模型的单维性、局部依赖性、单调性以及DIF对性别的缺失要求)，包括使用WINSTEPS校准得到的所有31个项目参数[26］．

为了启动CAT，从题库中随机选择一个初始项。利用这一初始项目，用预期后验(EAP)方法估算了一个临时的人的测量值[29]在迭代牛顿-拉弗森过程中[9，30.］．回答完每个问题后，重新计算EAP，直到终止CAT之前，由对数似然函数的最大值确定该人员的最终分数(图2)．下一个项目的选择基于剩余未回答项目中与临时人测量相互作用的最高Fisher信息(即项目方差)。

设置了两个终止规则。第一个是停止CAT所需的最小测量标准误差(SEM)为0.47。该扫描电镜是根据校准样品的内部一致性(Cronbach alpha=.78)设置的。SE_我根据成品项在CAT上的项目方差，为估计测度的人SE，其中SEM=SD ×√(1 -信度)，SE_我= 1 /√(Σ信息[我]),在那里我指某人回复的CAT成品[31]， SD为29314例推导样本的人标准差。第二个终止规则是，每个人必须根据对数据库的模拟研究回答至少10个项目，才能在期望的水平上获得最小的平均个人可靠性(例如，0.78)[32］．

计算机自适应测试与非自适应测试效率与精度的比较

使用推导队列生成的项目参数，模拟了符合正态分布(mean logit 0, SD logit 1)的1000个案例[33-35]使用三个Rasch模型(即二分法、5点RSM和PCM)，分别考虑三个固定项目场景(即10、20和30个项目;看到表1-3.)．

‎ 查看此图

‎ 查看此图

为了测试二分法和5分评分量表的Rasch模型，所有项目(或步骤)难度都是从PCM的校准结果转换而来的。每个项目的总难度被指定为二分比额表的各自门槛。相比之下，5点RSM的阶跃困难[21]范围从-2到2，与PCM相比，相应项目的整体难度增加了1.0的提前logit间隔。

我们通过改变提出的项目数量(10、20和30个项目)来计算CAT和NAT的相对效率和精度，并通过测试与独立回答所有可用的31个项目相比在精度和效率上的差异t测试计数不同数的比例小于5%如下公式[36,分别为:

t = |θ_猫- - - - - -θ_30.| /√²_猫+ SE²_30.）

此外，我们还比较了在所有不同条件下获得的平均个体SEs，以验证CAT和NAT的准确性。我们在MS Excel中运行了作者创建的Visual Basic for Applications模块来进行模拟研究(图2)和流动猫。

结果

确定分界点

计算了非皮肤癌(均值-0.79,SE 1.67)或患有皮肤癌(均值2.29,SE 2.21)参与者的皮肤癌风险均值和标准差，并用于确定最佳分界点为0.88 logit，敏感性为0.79，特异性为0.74。使用这个截止点，ROC曲线下的面积为0.88(见图3)．

计算机自适应测试与非自适应测试效率与精度的比较

使用模拟数据，我们发现使用更多的项目产生更高的Cronbach alpha得分(图4)．二分制量表Cronbach α和维数系数最低[37］．PCM量表的Cronbach alpha值最高。RSM量表的维数系数最高。

如图4， CAT获得了相对较小的SE对应于项目长度(即与NAT相比，较短的CATs导致较大的SE)。在等效精度下，CAT将二分模型、RSM模型和PCM模型的响应负担分别降低了48.20%、66.70%和66.20% (图5)．

‎ 查看此图

‎ 查看此图

评估皮肤癌风险的移动计算机自适应测试

我们开发了一个移动CAT调查程序(见二维码图2和多媒体附件1)，以实际演示新设计的pcm型CAT应用程序。CAT过程已逐项演示，并显示在顶部图6．Person是CAT模块估计的临时能力。底部的均方误差图6由公式1/√(Σinformation[i])生成，其中我指某人回应的CAT提交物品[31］．此外，顶部的残余图6为每个CAT步骤前后估计能力的最后5个变化差异的平均值。当剩余值小于0.05时，CAT停止。“corr”指的是CAT估计测量值与使用最后5个估计theta值的阶跃级数之间的相关系数。theta趋势越平坦意味着个体测量收敛到最终估计的概率越高。

‎ 查看此图

讨论

主要研究结果

我们使用了两种不同的方法来测量皮肤癌的风险:非适应性测试和计算机适应性测试。使用超过43000人的庞大队列数据，我们能够证明我们的量表能够准确地识别出患皮肤癌的最高风险人群。在我们的风险量表上，我们使用0.88 logits(越高越差)的截止值确定了非常高的判别准确性，为0.88(即ROC曲线下面积的比例)。使用CAT在高效率(回答的项目更少)下得到更小的SE，因此在不影响测试精度的情况下，分别为二分模型、RSM模型和PCM模型减少48.20%、66.70%和66.20%的响应负担。一个用于评估皮肤癌风险的移动在线CAT原型已经开发出来，可用于评估皮肤癌风险，并可大大减轻受访者负担。

与文献一致[8，9，30.，34，35]， CAT比NAT的效率在该皮肤癌风险量表中得到支持。我们确认pcm型CAT(即使用更简单的Rasch家族模型，与其他CAT不同)测量一个人的风险所需的项目明显少于NAT，但不会影响测量的精度。这种移动评估可用于快速评估一个人的皮肤癌风险，并在个人层面上教育他们对皮肤保护的必要性[38-40］．我们证实，有皮肤癌史的参与者比没有皮肤癌史的参与者有更高的反应平均分。

影响

患者的健康素养(例如，了解自己患皮肤癌的风险)越来越被认为是影响医患沟通和健康结果的关键因素[14］．缺乏基本或基本健康素养的成年人比具有较高健康素养的成年人更有可能从多媒体图形表示中获得有关健康问题的信息[17]，而不是传统的报纸、杂志、书籍、小册子或小册子．像我们开发的这样一个简单的CAT可以用来快速告知人们他们的皮肤癌风险，以及如何改善他们的防晒行为。

CAT模块是一个实用的工具，可以有效和准确地收集患者的反应。该工具提供诊断，可以帮助从业者评估反应是否扭曲或异常。例如，装备均方值为2.0或更大表明一个不寻常的反应。在回答不符合模型要求的情况下，它们可以被突出显示为涉嫌作弊、粗心回答、幸运猜测、创造性回答或随机回答[41];否则，可以采取后续行动[8，34，35如果结果显示癌症风险很高。例如，如果一个人的测量/风险是1.0 logit(即对数概率)，那么他们患皮肤癌的概率接近0.53(=exp(1-0.88)/(1+exp(1-0.88))。有兴趣的读者可以通过图中所示的二维码对移动CAT进行测试图2．

移动在线CAT可用于评估皮肤癌风险，并可能减少临床设置中的项目长度。CAT在未来可以通过扩大项目池来改进，允许在更多样化的样本中使用。必须注意的是(1)在创建题库之前，必须使用Rasch分析或其他项目响应理论模型预先校准问卷的项目总体(即平均)和步骤(阈值)难度，(2)每个问题的主题或响应类别所使用的图片应准备好，并配有可以与CAT动画模块中出现的项目同时显示的Web链接，(3)该模型适用于基于项目反应理论的多种模型。

优势与局限

在临床环境中有两种主要形式的标准化评估[42]:(1)传统的自我填写问卷，及(2)快速简写量表[43，44］．每一种都有其优点和缺点。传统的纸笔问卷有很大的受访者负担，通常是因为它们要求患者回答的问题不能提供关于其疾病风险的额外信息，以实现足够的精确测量[45］．CAT可以针对特定的人确定最优问题，因此根据所需的SE(或者说，人的可靠性标准)，更经济地以适当数量的项目结束。然而，在CAT提供优势的同时，也存在一些缺点，例如不可能在所有极端响应情况下估计能力，CAT算法需要严格的项目校准，项目库中的几个项目过度暴露，以及其他测试项目根本不使用[46］．

这项研究的优势包括其超过40,000名参与者的非常大的样本量，允许对问卷项目的性能进行详细分析，并能够进一步测试验证数据集中项目的性能。我们通过改变模型类型和项目长度来模拟数据，以执行CAT。(有兴趣的读者如欲观看视频演示或使用MS excel型模块，可与通讯作者联系)

与所有形式的基于web的技术一样，移动医疗(mHealth)和健康通信技术的进步正在迅速出现[47］．移动在线计算机辅助计算在许多健康评估领域的应用前景广阔，值得考虑，类似于其在教育和人员选拔测试中的突出作用。然而，在进一步的研究中，有几个问题应该更彻底地考虑。量表的Cronbach alpha(=。29,314例研究结果为78例)，敏感性为0.79，特异性为0.74略低。其次，CAT模块对于使用英语以外语言的人有潜在的限制，因为在现实世界中使用时可能需要修改接口。未来应该开发多语言界面。第三，CAT图形表示如图所示图6可能会让不熟悉CAT的人感到困惑和难以解释，可能需要改进才能成为CAT常规的标准部分。

结论

皮肤癌风险的pcm型CAT可以在不影响测量精度的情况下减轻受访者的负担，提高背书效率。CAT模块可用于移动电话和轻松在线评估患者的疾病风险。这是一种新颖而有前途的获取皮肤癌风险信息的方法，例如在医生咨询办公室外等待时。