评估参与基于web的健康风险评估并提供定制反馈的员工的最终用户满意度

简介

健康风险评估及反馈是促进工作地点健康的常用工具[1］．具有反馈的HRAs筛查慢性疾病的风险因素，并向受访者提供有关其健康风险、当前生活方式行为以及改善健康的机会的信息。有几项研究已经显示，在工作场所实施人力资源安排可能会产生令人鼓舞的结果:它们可能会降低员工的健康风险，并改善他们的生活方式[1］．这对雇主也有好处，因为生活方式健康的员工通常比生活方式不健康的员工少缺勤，工作效率也更高。2-4］．

如今，hra越来越多地作为基于web的应用程序提供。计算机技术和电子邮件的使用使我们有机会接触到大量的个人群体，并提供个性化的反馈。5］．继Kreuter等人[6]，我们将裁剪定义为“任何信息或改变策略的组合，旨在达到一个特定的人，基于这个人独有的特征，与利益的结果相关，并源自个人评估。”在工作场所，电子邮件可以发送给不同的员工群体。7］．电子邮件和网页提供了一种与员工联系的自然方式，因为这符合他们的日常工作。员工也可以在私下里，例如在家里或在适合自己的时间使用计算机程序。8］．

尽管基于网络的人力资源评估在工作场所提供定制反馈的潜力是显而易见的，但很少有评估会从最终用户的角度考虑满意度。迄今为止，考虑到这一点的研究要么集中在电子健康方法(如远程医疗)[9，10]除了人力资源评估之外，只将满意度作为一种有效性测量来研究，而不研究影响最终用户满意度的因素[11-13]，或评估非基于网络的健康促进项目[11，13，14］．然而，最终用户的满意度显示与遵守初级卫生保健医疗制度呈正相关[15]以及在参与本研究的HRA后开始健康行为改变[16］．对HRA更满意的受访者在参与后改变生活方式的可能性是其他人的近三倍[16］．但据我们所知，目前还没有研究对满意度及其影响因素进行全面研究。此外，还需要对工作场所健康促进计划进行更广泛的评估，因为这些服务的最有效策略尚未确定[17］．评估Wixom和Todd的概念框架中描述的因素[18可以深入了解基于网络的HRAs如何使用，并提供改进的机会。在自愿的基础上无报酬地在建议的环境中实施HRAs后，通过评估HRAs，可以评估与HRA的实际个人经验，并用于为设计过程提供信息。

目标

本研究的目的是评估最终用户对基于web的HRA的满意度，并使用混合(定量和定性)方法在工作场所设置中应用定制反馈。混合方法可以提供仅使用单一研究模式时可能错过的见解[19］．对HRA不同组成部分的满意度，以及影响这种满意度的决定因素进行了定量和定性评估。定性方法也用于确定改进的机会。

方法

设计与研究人群

这项研究于2007年9月至2008年12月进行。荷兰的七家公司邀请他们的员工参加一个基于网络的商业人力资源评估，并提供量身定制的反馈。HRA是公司健康管理战略的一部分。两家公司使用基于年龄的纳入标准来参与HRA(分别为35岁及以上和45岁及以上)。其他公司没有采用纳入标准，所有员工都被邀请参加。这些公司的人力资源部门通过电子邮件发送了参加HRA的邀请。员工被告知，参与是自愿和免费的，所有个人数据都将被保密，任何个人结果都不会与雇主或任何其他第三方共享。如果没有对邀请邮件做出回应，则会在最初的邀请发出两周后发送一次提醒。

参加HRA六周后，参与者通过电子邮件收到了电子评估问卷的邀请。这份电子评估问卷不是HRA的一部分，而是为了研究目的而发送的。

干预

HRA由四个部分组成:1)电子健康和生活方式评估问卷，2)生物特征评估，3)实验室评估，4)量身定制的反馈，包括通过门户网站交流的个人健康风险概况和生活方式行为建议。

健康和生活方式评估问卷涵盖了社会人口学变量、家庭和个人病史、健康投诉、心理功能和生活方式行为(体育活动、吸烟行为、饮酒、营养摄入和压力)。此外，参与者被要求对自己的生活方式进行1到10分的评估，并对自己的健康状况进行李克特5分制评估(非常好、很好、不太好、很差、很差)。有关健康及生活方式评估问卷的详情，请参阅Laan等人[20.］．

生物特征评估包括由认证的卫生专业人员测量的体重、身高、腰围和血压。此外，采集血液、尿液和粪便样本，用于实验室分析总胆固醇、低密度脂蛋白(LDL)胆固醇、高密度脂蛋白(HDL)胆固醇、甘油三酯、葡萄糖、肌酐和尿白蛋白-肌酐比率。为了收集和分析粪便样本并对结果提供反馈，HRA (NDDO预防和早期诊断研究所(NIPED))的开发人员根据荷兰法律获得了由荷兰卫生、福利和体育部提供的筛查结直肠癌的许可。

在完成所有HRA组成部分后，由计算机算法处理从生物特征评估和健康和生活方式问卷收集的信息，以计算量身定制的反馈。在完成问卷、生物特征评估以及实验室对血液、尿液和粪便的结果提供反馈后，这些反馈立即提供给用户。当定制的反馈可用时，用户会收到一封电子邮件。反馈被分为五个与健康相关的领域(行为、心理、身体、个人病史/熟悉的风险和工作相关)。对于这些领域，1)使用三色系统来解释健康风险(绿色:正常风险;橙色:风险中度升高;红色:风险严重升高)，2)解释了与风险升高相关的威胁(橙色和红色类别)以及采取预防措施的潜在收益。用指南针的比喻来概括总体健康风险，分为“偏离轨道(绿色)”、“轻微偏离轨道(浅橙色)”、“中度偏离轨道(深橙色)”和“严重偏离轨道(红色)”。在本文的其余部分中，我们将通过颜色来引用这些类别。所有风险计算均基于现行实践指南，包括欧洲和荷兰心血管风险管理指南[21，22］．反馈意见总结了与会者可以采取的全面行动建议。所有选项都表明，参与者可以向可信的外部机构寻求支持，以支持他们可能想要采取的行动。这些建议是基于他们表达的偏好(如指导与非指导干预，集体或自己的行动，以及外出或在家的行动)，并根据参与者改变生活方式的动机阶段进行区分(健康行为改变的跨理论模型[23])。在健康风险严重升高的情况下，反馈包括转诊给全科医生，以便在必要时进行进一步的医疗评估和治疗。对于所有参与者，应要求可与项目医生进行30分钟的健康咨询访问。系统提供的反馈示例示于多媒体附件1(见也图1)，而有关如何产生反馈的详细说明，请参阅多媒体附件2(见也图2)．

‎ 查看此图

‎ 查看此图

测量

在收到反馈的六周后，参与者收到了一份由两部分组成的电子评估问卷。第一部分评估对HRA的满意度，第二部分评估参与HRA后健康行为改变的启动情况。问卷是通过电子邮件调查程序发送的，一周后会有一次提醒。关于开始改变健康行为的研究结果已在其他地方发表[16］．

评价问卷中与人力资源评估满意度相关的部分是本研究的重点，共包括10个项目。受访者被要求评价(1)项目前关于HRA的信息和沟通，(2)注册程序，(3)电子健康和生活方式评估问卷，(4)生物特征评估访问的规划，(5)生物特征评估访问，(6)所提供反馈的可理解性，以及(7)与项目医生的可选健康咨询访问。这些项目是指HRA程序中的连续步骤，每一个步骤都必须在下一个步骤开始之前完成;没有重叠。对每个步骤的满意度采用5分制排序量表(优秀、非常好、良好、一般、差)进行衡量。此外，对HRA的总体满意度是通过两个问题来衡量的:(8)“你如何评估你在HRA中的总体参与度?”(以5分制来衡量:优秀、非常好、良好、一般、差)和(9)“你会向其他人推荐HRA吗?”(以5分制来衡量:肯定会，可能会，可能会，可能不会，绝对不会)。最后，还提供了一个供附加评论的自由文本字段。相应的说明如下:“有可能上述问题中有些内容没有包含，或者您无法按照您希望的方式表达这些内容。如果是这样，请在下面填写。”

数据分析

人力资源评估满意度的定量分析

数据分析中不包括问卷中的三个项目:项目前信息、注册程序和生物特征评估访问的规划。前两项在不同的公司之间有明显的不同，在自由文本领域没有对HRA的这些组成部分发表评论。生物特征评估访问的计划被排除在外，因为这一实际方面与HRA的基于网络的部分没有直接联系。

对所有数据进行描述性统计，以检查人群特征和对HRA的满意度。对于HRA不同组成部分的满意度和对HRA的总体满意度，由于排名量表的不平衡，将回答选项分为“积极判断”(优秀、很好、良好)和“消极判断”(一般、较差)。通过比较受访者和非受访者在人口统计学特征、教育水平、健康认知、自评生活方式、体重指数、体育活动、水果和蔬菜摄入量、吸烟行为、饮酒和总体健康风险方面的反应偏倚来检查评估问卷的反应偏倚。通过比较在自由文本领域发表评论的受访者和没有在人口统计学特征和满意度上发表评论的受访者，来检查对自由文本领域的响应偏倚。对于两种反应偏差分析，t连续结局采用卡方检验，二分类结局采用卡方检验，有序结局采用Mann-Whitney检验(两组)和Kruskal-Wallis检验(两组以上)。使用社会科学统计软件包(SPSS 18版)进行统计分析。

人力资源评估满意度的定性分析

为了分析文本注释，基于用户满意度和技术接受文献中的概念开发了一个代码本[18］．用户满意度和技术接受理论用于评估用户对信息系统的感知，以预测这些系统的实际使用情况。该理论使用基于特征的方法，以潜在终端用户对系统的态度作为关键构造。有不同的理论考虑不同的系统特征。因为我们的目标是在最广泛的意义上评估HRA，我们在我们的代码本中包括了Wixom和Todd, 2005年表1，第88页所描述的所有概念)[18］．在分析开始时，所有的领域和概念都直接从表中采用。在目前的研究中，这两种解释都被指定为HRA评估。中列出了域、概念和解释多媒体．

两名研究人员(SV和EL)根据三种不同的主题方案分别对这些评论进行了分类:1) HRA的组成部分(关于HRA的项目前信息和交流，注册程序，电子健康和生活方式评估问卷，生物特征评估访问的规划和访问本身，系统提供的反馈，与项目医生的咨询访问，或一般的HRA)， 2)来自代码本的领域和概念(见多媒体)，以及3)该评论是积极的、消极的还是中性的。考虑到评注有时涉及《人权法》的不同组成部分，必要时将它们分为较短的评注，分别针对《人权法》的每个组成部分。如果这些简短的注释涵盖了代码本中的不同概念，那么它们又会被分成更小的注释。如果在原始码本中，一个注释不属于某个领域的任何概念，我们就从另一个领域中寻找一个概念，并在域之间复制它。例如，虽然“控制感”最初只在“结果预期”领域中描述，但在我们的分析中，“信息质量”领域也需要这个概念，所以我们在这里添加了这个概念。如果没有找到合适的概念，就会添加一个新的概念。中还描述了在分析期间对代码本所做的更改多媒体．

在随后的四次会议中，我们通过比较和讨论，试图就分类达成共识。如果不能达成一致意见，就请第三位研究员(NP)来解决分歧。

决定因素分析

采用单因素logistic回归分析来评估受访者特征(性别、年龄、教育水平、健康感知、自评生活方式和总体健康风险)与对每个项目组成部分(健康和生活方式评估问卷、生物特征评估访视、反馈可理解性、以及与项目医生进行健康咨询访问)，以及对HRA的总体满意度和向他人推荐HRA的意愿。在分析之前，年龄分为“50岁以下”和“50岁及以上”。因为大多数受访者给自己的生活方式打了7分，所以这个变量被分为三类:1 - 6、7和8 - 10。基线数据还显示，健康观念的分布不平衡;只有少数受访者认为自己的健康状况“不好也不差”、“差”或“很差”。因此，健康感知被分为“很好”、“好”和“差”(包括“既不好也不好”、“差”和“很差”)。最后，将向他人推荐HRA意愿的反应量表分为“积极意愿”(肯定会、可能会)和“消极意愿”(可能、可能不会、肯定不会)。总体而言，进行了36个单变量logistic回归分析，其结果以优势比进行量化。

如果被调查者的特征被发现与对HRA(组成部分)的满意度判断显著相关，则随后搜索进入自由文本字段的评论以寻找解释。这是通过对比不同组受访者的评论来完成的，根据特征来定义。例如，通过对比50岁以下受访者和50岁及以上受访者的言论，来寻找与年龄有显著关联的解释。

结果

研究人群

共有6790名员工被邀请参加人力资源评估。其中2289人(33.7%)完成了HRA测量的所有部分，并收到了系统的反馈。2472人中有183人(7.4%)在参加HRA后中途退学。评价问卷的回复率为27.8%(637/2289)。表1显示了完成评估问卷的受访者的特征。

除年龄外，评估问卷的应答者和非应答者之间无显著差异。平均而言，接受评估问卷的受访者(平均±SD: 46.5±8.8岁)比未接受评估问卷的受访者(平均±SD: 45.5±8.5岁)大1岁(P=.01)(数据未显示)。除了年龄和体力活动，在自由文本领域发表评论的受访者与没有发表评论的受访者之间也没有显著差异(无论是消极的、积极的还是中性的评论)。在自由文本领域发表评论的受访者(平均±标准差:47.8±8.1岁)比没有发表评论的受访者(平均±标准差:45.9±9.0岁)大近两岁(P=.01)(数据未显示)。在自由文本领域发表评论的受访者体力活动较少(中位数[四分位间隔(IQI)]: 150(50-270)分钟/周)，而没有发表评论的受访者(中位数[IQI]: 170(60-300)分钟/周)(P<.01)(数据未显示)。

满意HRA

表2显示被调查者对评价问卷的满意度排名。其他分析显示，在自由文本领域发表了一项或多项评论的受访者总体上对HRA感到满意(189人中有134人，70.9%)，而没有发表评论的受访者(448人中有411人，91.7%)(P <.01)(数据未列示)。在健康和生活方式评估问卷、生物特征评估访问、反馈的可理解性以及向他人推荐HRA的意愿方面，也发现了类似的数据。然而，与未作评论的受访者(157,29.0%，130人)相比，有评论的受访者(69人中的40人，58.0%)对项目医生的健康咨询访问作出积极评价(P <. 01)。

最终用户关于HRA的备注

使用问卷末尾的自由文本字段对数据进行定性分析;在637名应答者中，有189名(29.7%)填报了该领域。112名受访者作了一次评论，45名受访者作了两次评论，20名受访者作了三次评论，12名受访者作了四次或以上评论。共有315人单独发言。在这315条评论中，33条(10%)是积极的，249条(78.3%)是消极的，33条(10%)是中立的。

评估阶段

70名受访者对评估阶段发表了80条评论。在这些评论中，3(4%)是积极的，71(88.8%)是消极的，6(8%)是中立的。

关于健康和生活方式评估问卷的大多数评论都是关于表达个人细节的机会有限。有受访者表示，他们无法输入所有他们认为相关的健康或生活方式信息(例如，现有的健康问题，如食物过敏和背痛)。还有人提到，调查问卷没有充分针对受访者的个人情况(例如，缺乏针对性别的问题)。这导致人们认为评估的个人健康风险状况不能充分代表受访者的实际健康状况。

我知道你希望问题的措辞尽可能清楚。在许多情况下，答案都过于简单化了。实际情况有时与可能的答案相差甚远，因此结果也给出了不同的(更消极的)图景。
[男性，52岁]

由于这种感觉上的限制，这些受访者表示，他们更喜欢在完成健康和生活方式评估问卷后与健康专业人员交谈，或者希望能够在访问期间提供额外的信息或提出问题，进行生物特征评估。但是，这次访问是由一个外部组织促成的，该组织对人权协会的了解有限。他们唯一的任务就是获取测量数据。这影响了受访者对生物特征评估的满意度。

我以为生物特征评估是很基本的。所有的程序都是以一种相当客观的方式和极快的速度进行的。感觉有点像生产线。
[女性，38岁]

为了改善系统，考虑到感知到的限制，受访者建议在问卷中添加一个文本字段，他们可以在其中输入额外的信息或提出问题。

个人风险概况和生活方式行为建议

68名受访者就个人风险状况和生活方式行为建议发表了83条评论。在这些评论中，1(1%)是积极的，75(90.4%)是消极的，7(8%)是中性的。

个人风险概况因所提供信息的格式而受到批评。有受访者认为风险状况不必要地令人担忧。

报告结果的呈现方式意味着我有好几个晚上都没睡好，尽管事后公司的医生和我的全科医生都说没有理由采取进一步措施。
[女性，40岁]

焦虑感和对系统提供的反馈缺乏信心往往导致被调查者自己的全科医生提出第二意见。

其他人则批评生活方式行为建议过于复杂，有时又过于琐碎(例如，受访者认为建议包括复杂的医学术语，或认为建议简单到告诉他们要多锻炼)。此外，有受访者希望在生活方式行为建议的执行方面得到更多指导。

我以为我会得到更多的帮助。但我得到的答案都是我已经知道的。比如，我想找人帮我减肥。上面只说我可以联系我的医生。
[男性，36岁]

最后，一些受访者认为，采取行动的建议很容易被忽视。

因为所有的交流都是在纸上，所以很容易忽略任何建议。
[男性，55岁]

HRA也受到批评，因为系统输入的信息和系统提供的反馈之间的关系并不总是清楚。

我希望看到输出和输入之间有更清晰的联系。例如，如果有人建议多吃乳制品，这是来自测试还是问卷?我认为让客户知道推荐的依据是很重要的。
[男性，40岁]

特别是当反馈包含意想不到的信息时，受访者希望重新审视他们在问卷上的答案，并有可能将这些答案与所提供的反馈联系起来——但HRA不支持这一点。反馈中的矛盾有时会导致恼火。

对我来说最突出的是，尽管我没有得到任何红色分数，但我严重偏离了轨道，被推荐给了预防顾问。这说不通。
[男性，47岁]

此外，一些受访者提到对所提供的反馈缺乏信心，因为这与他们的预期相反。

许多发表评论的受访者提到，个人风险概况没有提供阈值，特别是在生物识别措施方面。因此，其中一些受访者表示，他们不知道如何解释反馈。

当结果显示时，没有足够的参考材料提及……结果是4，但在哪个等级?什么是好的，什么是不好的，什么时候或者在什么程度上我应该关注?
[男性，42岁]

在实践中应用建议

28名受访者就实际应用建议提出39项意见。其中2(5%)为正面评价，34(87.2%)为负面评价，3(8%)为中性评价。

尽管每个受访者都可获得一次健康咨询访问，但仍有受访者批评HRA没有这种访问。这可能是由于沟通问题造成的。其他受访者表示，与医疗保健专业人员提供的反馈相比，网络反馈相当没有人情味。

受访者在收到反馈后对他们的经历进行了评论。大多数去看全科医生的受访者要么是因为提供的反馈包括转介给全科医生，要么是因为他们想要第二个意见，他们接受了另一次生物特征评估。他们报告的原因是全科医生认为反馈是不清楚的和不可用的，不同意用于风险分层的阈值，或者声称某些措施没有正确执行。

对HRA的总体满意度

84名受访者对HRA的整体满意度有104项评论。其中27项(26.0%)为正面，64项(61.5%)为负面，13项(12.5%)为中性。

在自由文本领域发表评论的受访者对HRA的有用性有不同的看法。有受访者认为HRA是肤浅的、商业化的、价值有限的，和/或没有长期发展轨迹就没有用处:

对我来说，这是我自己输入的自动的、淡化的版本。我报告说我有高血压，令人惊讶的是，这个项目证实了这一点。我说我有时一天不吃两份水果。很快，程序告诉我应该多吃水果。我表示我要多锻炼，但程序对此不感兴趣，因为我已经充分回答了关于锻炼的问题。
[男性，53岁]

此外，受访者表示更倾向于更个性化的方法。

在面对面的谈话中，你本可以提供更多的信息，澄清一些事情，也可以做一次更彻底的身体检查。
[女性，42岁]

对于少数受访者来说，参加HRA非常有用，因为它警告他们注意严重的健康问题，如高血压和癌症。他们接受了适当的医疗干预，并对自己的参与表示感谢，这一点可以从以下受访者中得到说明:

我的肠子里有一个息肉已经被摘除过两次了。根据专家的说法，其中一个肯定会变成恶性肿瘤。
[男性，46岁]

收到确认其健康状况良好的答复者也作出了积极评价，认为人力资源评估是其健康状况的一个良好参考点的答复者，以及认为一般预防是有用的答复者，如下文所示:

我认为检查一下体重、血液中胆固醇含量等是个好主意。每个人都应该。有时，疾病、异常会暴露出来(对我来说不是现在)，如果及时发现，就会有很大的不同。就我而言，这可以每年或每两年进行一次。
[女性，40岁]

一些受访者认为生物特征评估是HRA中最有用的部分。

影响HRA满意度的决定因素

表3显示了受访者特征与他们对HRA(组成部分)的满意度之间的关联。健康与生活方式评估问卷的判断在男女之间有显著性差异。女性不满意的可能性几乎是男性的两倍(OR=0.54，P= . 01)。定性分析表明，在自由文本领域，男性和女性的言论内容没有差异。

此外，在具有不同风险概况的组之间，在判断反馈的可理解性方面发现了显著差异。没有一个具有绿色整体风险概况的受访者对反馈的可理解性进行了负面评价。得到浅橙色的人(OR=1.93，P=.02)和深橙色(OR=1.87，P<.01)风险配置组比收到红色风险配置组更有可能判断反馈的可理解性为正面。此外，推荐HRA的意图因风险状况而异;那些获得绿色风险档案的人比那些获得红色风险档案的人更有可能向他人推荐HRA (OR=4.52，P= .02点)。

对具有不同风险概况的受访者所作评论的比较表明，具有红色风险概况的受访者在应用生活方式行为建议方面比具有其他风险概况的受访者感觉更困难，并报告了由于健康风险概况而导致的焦虑。例如，关于生活方式行为建议的适用性的评论或不同意全科医生提供的反馈是由红色风险配置的受访者做出的。对绿色风险概况的受访者没有对所提供的反馈进行评论。

总体而言，具有绿色风险概况的受访者与具有其他风险概况的受访者相比，做出了相对更积极的评价。此外，他们的评论是关于实际问题，如生物特征评估访问中提供的服务或使用的材料，以及评估问卷本身，而与HRA的网络部分无关。

讨论

主要发现

本研究评估了终端用户对基于web的HRA的满意度，并提供了定制的反馈。定量评价数据显示，大多数受访者对HRA总体及其组成部分感到满意。近四分之三(74%)的受访者表示，他们肯定会向他人推荐HRA或考虑这样做。总体而言，对HRA(组成部分)持消极态度的受访者在自由文本领域也提出了批评。

定性分析中对HRA的批评评论涉及对输入信息的感知控制、对生成反馈的信心以及在医疗保健系统中嵌入HRA。一些受访者要求对反馈的产生有更深入的了解。这项研究的其他结果表明，底层计算机系统的透明度对于所提供的反馈的信心非常重要。如果HRA提供的反馈不符合受访者的期望，他们希望系统能够根据他们输入的信息提供令人信服的论据。一些评论还表明，有受访者对卫生专业人员比对计算机系统更有信心。受访者经常提到，他们会去找全科医生寻求第二个意见，因为他们对医生提供的反馈没有信心。也有受访者要求有机会与卫生专业人员讨论反馈。

与其他研究的关系

在对工作场所健康促进干预措施的系统回顾中，Soler等人报告了HRAs的两个潜在不利影响[1］．首先，HRA提供的反馈可能会引起参与者的焦虑，其次，可能会出现假阳性结果(即，反馈错误地表明存在健康问题)。我们的研究报告了这两种不良反应。当健康计划显示出令人担忧的结果时，一些受访者变得焦虑起来。因此，他们中的大多数人表示，他们去看全科医生，寻求第二个意见。全科医生经常告诉这些受访者，没有什么可担心的。这些信号可能是假警报，也可能是GPs没有识别的正确警报。原则上，后者似乎更有可能，因为HRA给出的风险计算和反馈都遵循了流行的荷兰实践指南。所以很可能全科医生有时会违反他们自己的指导方针。我们认为这可以解释为全科医生对HRA的不熟悉，也可能是全科医生在反馈的决策规则方面缺乏透明度。 Another possible explanation is the fact that GPs in the Netherlands act as “gatekeepers” to the health care system and tend to act reluctantly.

虽然直接针对护理消费者或患者的信息系统的研究越来越多，但关于医疗专业人员使用信息系统的文献也越来越多。Kawamoto等人对医疗专业人员临床决策支持系统的系统回顾表明，如果向用户提供可操作的建议，而不仅仅是评估，则临床实践更有可能得到改善[24］．在我们的研究中评估的HRA确实提供了这些可操作的建议，这些建议得到了受访者的赞赏。然而，我们的研究结果也表明，建议应该适当地适应用户的需求、偏好和特征。Kawamoto等人还发现，如果系统给出的建议能够通过提供潜在的推理或研究证据来证明，那么决策支持系统的有效性可能会受益[24］．我们的研究结果支持，证明所提供的建议为系统的最终用户增加了价值，特别是增加了他们对建议的信心。

在一项关于自动化健康行为改变干预的研究中，Bickmore等人发现关系行为(即共情和社会对话)提高了对系统的喜爱和满意度，关系和继续使用系统的愿望[25］．在我们的研究中，有受访者表示他们更愿意与健康专业人士面对面讨论他们的反馈，这支持了Bickmore的发现，即在HRA界面中添加关系行为可能会增加HRA的感知价值。

在Wolff等人的定性研究中，他们发现初级保健中疾病预防咨询的各种机会和障碍[26］．他们的研究参与者要求最多的三个方面是定制信息、鼓励和跟踪。我们的研究结果与这些发现一致:在受访者中，有要求更多的定制信息，积极的反馈，在某些情况下，受访者认为在使用HRA后需要第二个意见或另一种形式的专业随访。

优势与局限

在我们的研究中，我们使用定量和定性方法评估了基于web的HRA的最终用户满意度。如引言中所述，使用混合方法可以提供额外的见解，如果只使用单一的研究方式，可能会错过这些见解[19］．在我们的案例中，虽然受访者对HRA总体满意，但定性数据主要包含批评性评论。定性数据显示了开发或实施基于web的HRA时需要考虑的重要方面。此外，通过对受访者最广泛意义上的评论进行分析，本研究对与HRA的网络部分相关的方面以及HRA的实施都有了深入的了解。

在对备注进行分类时，使用了框架的所有域和大部分概念。只添加了一个新概念，一些概念在多个领域中使用或根本不使用(参见多媒体)．由于不需要新的域，并且只对框架做了一些调整，我们认为所使用的框架适合于分析本研究的数据。

目前的研究确实有一些局限性。绝大多数参与者确实完成了HRA的所有内容;然而，2472名参与者中有183人(7.4%)在完成HRA之前退出，并且没有收到评估问卷。此外，评价问卷的回应率为28%，低于大部分满意度调查的平均回应率(60%至67%)[27，28］．然而，我们的回复与一般电子邮件健康调查的回复相当，后者约为34% [29］．此外，除年龄外，没有发现选择偏倚的迹象。

有两家公司采用了基于年龄的标准，因为他们认为HRAs对年龄较大的员工更有利。没有以年龄为标准的公司辩称，他们希望让所有员工，无论年龄大小，都有机会参与干预。这可能造成了选择偏差。然而，互补分析显示这种偏差很小。在本研究中纳入的所有公司(年龄，平均±标准差:46.5±8.8)和没有年龄标准的公司(年龄，平均±标准差:45.9±8.9)之间的年龄分布略有差异。在性别方面，637家企业中有386名(60.6%)，553家企业中有351名(63.5%)。此外，该分析表明，除了对项目医生的健康咨询访问的满意度(数据未显示)外，采用和不采用这一基于年龄的满意度标准的公司之间没有显著差异。

关于健康状况的自我报告数据应谨慎解释，因为这些数据可能受到社会因素的影响。此外，关于自由文本领域问题的措词可能影响了答复者所作评论的数量和主题。自由文本字段不是强制性字段，这可以解释为什么实际发表评论的受访者比例很低。一般来说，自由文本字段需要更多的时间和精力来填写，这也可以解释注释数量较少的原因。更重要的是，自由文本字段用于附加注释，这可能会导致这些注释的数量减少。将“其他”一词解释为“评价调查表中所提到的以外”也可能造成与评价调查表所载项目无关的评论。这可以解释在定量和定性数据中发现的结果之间的明显差异。尽管自由文本字段问题的措辞有局限性，但我们假设如果受访者有评论，他们无论如何都会写下来。随后，评价问卷采用非平衡顺序排序量表。采用不平衡量表对HRA计划的不同组成部分进行满意度排名。 Therefore we dichotomized the scale into positive (excellent, very good, good) and negative (average, poor) rankings. The item “Intention to recommend the HRA to others” was ranked on a balanced scale.

HRA的几个组成部分(项目前信息、注册程序和生物特征评估访问的计划)在分析之前被排除在外。因此，我们无法对上述HRA的组成部分以及这些组成部分对满意度排名的影响得出结论。此外，尽管我们认为我们使用的框架适合于我们的数据分类，但参与者的一些言论并不完全符合该框架。因此，扩展框架，例如，“创新扩散”理论的各个方面[30.可能会让我们的发现从另一个角度来看。

最后，定量分析表明，自由文本领域的批评意见是由对HRA不太满意的受访者提出的。这表明，满意度较低的人更倾向于发表评论，这就解释了负面评论占主导地位的原因。尽管如此，我们认为这些言论应该得到认真对待，它们可以支持我们改进未来的人力资源评估和增加对人力资源评估的利用。

研究意义

我们的研究表明，总体而言，最终用户对基于web的HRA的满意度很高，但对自由文本字段备注的定性分析表明，仍有机会提高满意度。我们从以前的一项研究中了解到，对HRA的满意度与参与后开始健康行为改变呈正相关[16］．这表明，通过基于我们的发现提高满意度，我们也扩展了HRAs的有效性。

从我们的研究结果来看，自信似乎是影响HRA满意度的一个关键因素。此外，全科医生对参与者报告的反馈的困惑或分歧表明，评估的HRA并没有最佳地嵌入医疗保健系统。因此，HRA应该与当前的卫生保健实践无缝地交织在一起。首先，这可能会增加卫生专业人员对HRA提供的反馈的熟悉程度，这可能会鼓励全科医生使用这种反馈。其次，当HRA由卫生专业人员(如全科医生)提供时，最终用户对HRA和所提供的反馈的信心可能会增加。通过全科医生提供HRA也可能增加初始参与率。Colkesen等人指出，最常被提及的不参加HRA的原因之一是人们已经在医生的监督下[31］．在这种情况下，医生可以解释为什么他们参加HRA仍然是相关的。

对于HRAs的开发者来说，这项研究提供了对HRAs的影响和潜在改进的洞察。所提供反馈的透明度是需要考虑的一个重要方面。此外，关于人力资源评估的目标和内容的信息应清晰准确，以防止最终用户产生不切实际的期望。例如，最终用户应该知道HRA的好处和局限性，但也需要了解一般筛查的优点和缺点。

未回答问题和未来研究

我们的研究评估了最终用户对基于web的HRA的满意度，并提供了量身定制的反馈，结果表明，健康风险较高的受访者对所提供反馈的可理解性不太满意。评论显示，这些受访者在应用生活方式建议方面存在困难，并且由于HRA的反馈而报告焦虑。由于这组受访者最需要改变生活方式行为和其他与健康相关的行动，因此需要进一步研究如何改善反馈，以及受访者的满意度排名与实际健康相关行为之间的关系。例如，受访者更挑剔可能是因为他们对自己健康的意识增强了。未来的研究还应关注HRA信心与满意度排名之间的关系。

此外，在使用HRA之前和期间，最终用户会对HRA的输出和有用性有各种各样的期望。这将影响他们使用系统的意愿和最终对系统的满意度。例如，不参与这项健康评估的另一个重要原因是，许多潜在使用者认为他们身体健康，因此不需要进行筛检[31］．为这一特定的用户群体提供精确的信息可能会提高参与度。此外，我们的研究表明，在使用过程中，参与者的期望与HRA的输出不匹配，这影响了他们的满意度。尽管这些关于HRA的结果和有用性的期望可能有所不同，但很可能区分具有类似期望的(潜在)用户集群。如果知道这些，就可以制定量身定制的HRA解决方案和有关HRA的信息，以提高参与和最终的满意度。

结论

总体而言，受访者对基于网络的人力资源评估以及量身定制的反馈感到满意。然而，关于健康风险升高的信息并不总是得到很好的接受。我们的研究表明，健康风险较高的受访者对HRA反馈的可理解性不太满意，并对反馈持怀疑态度。此外，受访者对《人力资源管理制度》缺乏信心，因为他们认为无法控制健康信息，因此认为《人力资源管理制度》没有正确反映他们的健康状况。因此，一些受访者表示，他们更愿意与卫生专业人员进行面对面的咨询。这表明需要采取反应更灵敏和更灵活的办法。

改进基于网络的人力资源评估的一个重要方面是提高为卫生专业人员和参与者生成所提供反馈的透明度。特别是，有必要在当前的卫生保健实践中更好地嵌入人力资源法。这可能会增加对HRA的使用和信心。