本研究的重点是评估基于网络的人力资源评估计划。HRAs收集与健康相关的数据，用于评估个人的健康状况和健康风险，通常是筛查慢性疾病的风险因素，并确定相关的健康行为[ 25］．它们可用于评估一个群体或人口的平均健康风险，或针对个人的健康风险提供有针对性的反馈，以帮助他们降低风险。在后一种情况下，主要目标是预防高发的慢性疾病，如冠心病、癌症和糖尿病。在工作场所使用的HRAs在预防慢性疾病方面显示出可喜的结果[ 25- 28］．如今，hra经常通过基于web的技术传播。基于网络的人力资源评估可惠及更多人，从而促进人力资源评估对公共卫生的影响[ 29］．

本研究评估的基于web的定制反馈的HRA包括四个组成部分，按以下顺序完成:(1)基于web的电子健康问卷，(2)生物特征评估，(3)实验室评估，以及(4)基于基于web环境提供的前三个组成部分结果的个性化定制反馈报告。健康问卷的目的是收集参与者的健康和生活方式的数据。它包括有关社会人口学变量、家庭和个人病史、健康投诉、心理功能、生活方式行为和感知健康的问题。收集的生物特征数据包括参与者的体重、身高、腰围和血压测量值。血液和尿液样本由经过认证的卫生专业人员在预定地点收集，并在实验室进行分析。对于最终用户和工业设计工程师来说，HRA的所有程序和组成部分都是完全相同的，除了收集参与者体重、身高、腰围和血压数据的方式不同。最终用户的生物特征数据由经过认证的卫生专业人员在预定地点收集，同时收集血液和尿液样本。工业设计工程师自己在家使用HRA提供的工具箱收集这些数据。

在参与者完整完成所有HRA组件后，计算机化决策支持系统(CDSS)自动生成定制的反馈报告。该报告描述了个人的整体健康风险(用指南针比喻和四色系统表示)，健康风险的结果分为五个类别(行为、心理、身体、个人病史/家庭风险和工作相关)，每个类别用颜色系统区分，解释了采取预防措施的风险和潜在好处，以及改善参与者健康的可行建议。当参与者的健康状况"严重偏离轨道"(红色)时，向保健专业人员提供了进一步的医疗评估和治疗。关于HRA的更广泛的描述，包括示例和截图，可以在其他地方找到[ 5］．

研究设计描述在 图1．在最终用户评估方面，2007年至2008年期间，作为企业健康管理战略的一部分，七家荷兰公司实施了HRA。雇主通过向员工发送邀请来发起HRA。两周后只发了一封提醒信。这些邀请包括对HRA的描述，并通知参与是自愿的，由雇主支付，所有个人数据将被保密，并且不会与雇主或任何其他方共享结果。随后，一项基于网络的调查被用于评估他们与HRA的经验。参与的员工被称为“最终用户”。

通过研究人员自己的网络招募了10名工业设计工程师，以获得焦点小组研究中推荐的6-10人的小组规模[ 30.］．所有受邀的工业设计工程师都获得了代尔夫特理工大学(DUT)工业设计工程学院的学士和硕士学位，或正在完成这样的硕士学位。工业设计工程学院的学士和硕士课程是与商界合作的设计和应用设计项目的各个方面的理论的混合物。2009年，为了评估目的，设计师们被邀请参加同一个HRA。邀请函包括对HRA的描述，研究的目标，并解释说他们首先希望作为最终用户参与HRA，然后在随后的焦点小组会议中共同评估HRA。它还解释了隐私方面的问题，而且参与是免费的。我们把工业设计工程师称为“设计师”。

在进行实际评估之前，所有调查参与者和焦点小组成员都作为最终用户参加了基于web的人力资源评估，并获得了定制的反馈。要完成HRA，只有一个使用场景是可能的。因此，两个评估组在完成HRA的时间上不太可能存在差异。在评估过程中，没有给出关于评估或关注项目的哪些方面的进一步指示，因为我们希望在最广泛的意义上评估HRA，并旨在了解两种评估技术自然会产生哪些问题。最终用户和设计师没有任何这类项目的经验，因为本研究中评估的HRA项目是荷兰第一个此类项目。

定性数据分析的目的是比较在最终用户调查和设计师焦点小组中解决的问题。为了获得足够的可靠性，我们的主要目标是将两个评估中的注释编码完全相同。为此，应用了迭代编码、分组和比较过程。

构建了一个代码本来分析最终用户和设计师所做的所有文本注释。此代码本基于Wixom和Todd文章的表1中描述的域和主题(第88页[ 3.])，它整合了用户满意度和技术接受理论的结构。这些理论的发展是为了理解和评估解释用户对信息系统的看法的因素，以评估这些系统的实际使用情况。我们决定使用所有的主题和域，而不是Wixom和Todd的框架[ 3.]，以从最广泛的意义上评价《人力资源条例》。该代码本用于分析终端用户和设计师的所有评论。最后的密码本可以在 多媒体附件1．

Vosbergen和Laan等人已经使用编码本对最终用户的评论进行了分类[ 5］．在本节中，我们只描述我们应用于与设计师的焦点小组会议记录定性分析的方法，因为最终用户和设计师组的评论都是用完全相同的方式分析的。在分析开始时，代码本包含Wixom和Todd表1中描述的所有域和主题[ 3.］．在分析过程中，对这些领域和主题的解释被指定给HRA。两名研究人员(SV和EL)根据以下主题方案独立地对备注进行分类:(1)HRA所涉及的组件，(2)来自码本的领域和主题，以及(3)备注是积极的、消极的、中性的还是推荐的。基于这些主题方案，在编码时将成绩单中的备注划分为单个备注。例如，如果设计师的评论是关于电子健康问卷和反馈报告的，则将其分为两个单独的评论。如果笔录的其余部分涵盖了码本中的另一个主题，则笔录中的备注将根据这些主题再次进行划分。

最终用户和设计师的意见在一个迭代的过程中被分类，在这个过程中，两位研究人员的独立编码与共识会议交替进行。这些会议的目的是解决分歧，以便最终用户和设计师的评论能够完全一致。在这些会议中，通过比较和讨论分配给每个文本摘录的个别代码来寻求共识，直到所有差异都得到解决，代码本的分类和解释完全相同。如果无法达成共识，则由第三位研究人员(NP代表终端用户，GM代表设计师)解决分歧。在码本解释或注释分类的每一次更改之后，都要检查所有先前分类的数据，以确保与上次会议中所作决定的一致性。没有与原始码本的任何领域不相关的注释。如果注释与原始码本中的某个主题不相关，则考虑来自其他领域的主题或将适当的新主题添加到码本中。在代码本中添加一个(新的)主题总是在协商一致的会议中达成一致。复制或添加的主题可以在 多媒体附件1．

不同的评论可能会也可能不会涉及同一个问题。为了确定要处理的一组独特问题，将语法不同但语义相似的注释(这意味着它们处理相同的问题)分组在一起。这是以自下而上的方式完成的。最初，所有注释都被视为单例组(即，包含单个注释)。随后，讨论同一问题的几组评论被合并在一起。这是递归地完成的，直到所有组都解决了不同的问题。例如，所有关于打印HRA反馈报告的评论(例如，“结果不能打印出来，这样您就可以在您选择的时间和地点阅读它们”，“不能打印出更健康的饮食建议，真遗憾……”)都被放在一组。按照不同的域或主题分类的注释永远不会合并到一个组中，除非在分组过程中发现编码不一致(见下文)。使用相同的域和主题分类的注释可以合并到一个组中，但前提是它们处理相同的问题。对最终用户的评论和设计人员的评论分别进行分组。

在分析之前，关于收集生物特征数据测量过程的注释被从数据集中省略，因为由于最终用户和设计人员之间的差异，它们无法进行比较。由一名研究人员(GM)对等价评论进行分组。由于假定按不同领域或主题分类的注释永远不会等价，因此首先在主题内寻找组合。作为对数据分类的可靠性检查，然后在领域内寻找组合，最后是跨领域(即在用户满意度和技术接受理论的主题内)。如果发现不一致，则在与三位研究人员(GM, EL, SV)的协商一致会议中解决差异。在这一过程完成后，2名研究人员(EL和SV)独立评估了结果组的评论，随后召开了共识会议以解决差异。对于最后的每一组，都选择了一个最能描述该组所解决问题的评论。这一代表性的评论是为了说明定性结果。最后，在最终用户调查和设计师焦点小组中发现的问题，以与前面描述的分组过程相同的方式，在等效性方面进行了定性比较。

图1描述参与者在整个研究过程中的流程，以及两组参与者提出的意见和问题的数量。最终用户对评估问卷的回应为27.8% (HRA参与者中有637/2289人);29.6%(189/637)的终端用户在自由文本字段中做了一个或多个备注。参与者以男性为主(386/637,60.6%)，平均年龄46.49岁(SD 8.76);36.1%的参与者年龄在50岁或以上。48.2%(307/637)受访者受教育程度较高，30.0%(191/637)受访者受教育程度中等，21.8%(139/637)受访者受教育程度较低。除了年龄之外，在自由文本领域发表评论的受访者与没有发表评论的受访者在社会人口学上没有显著差异。有评论的受访者(平均47.8岁，标准差8.1岁)比没有评论的受访者(平均45.9岁，标准差9.0岁)大近2岁。有关最终用户背景和对评估问卷的回答的更多信息可在Vosbergen和Laan等人[ 5］．

此外，总共有6/10的招募设计师参与了焦点小组。其中，5人在研究开始前的12个月内获得了硕士学位，另一人在获得硕士学位的最后阶段。1名设计师获得了战略产品设计学位(公司战略和开发完善产品开发组合的机会)，4名设计师获得了交互设计学位(人与产品交互的方式;设计符合用户需求和期望的产品)，一个是完成硕士课程集成产品设计(系统的产品设计方法;设计创新的产品和服务组合)。其中四名设计师在学习期间获得了产品设计、产品评估研究或公司销售和项目管理的经验。

6名设计师中有4名在1个月内完成了HRA的所有步骤。另外2例患者由于时间限制(n=1)和害怕采集血样的针头(n=1)，无法在焦点小组会议前完成HRA。然而，两位设计师都完成了HRA的所有步骤;但是，他们没有收到自己的风险概况和建议，而是收到了一份虚构的健康风险概况和虚构的健康建议，以便能够完成评估。设计师的焦点小组会议持续了大约3.5个小时。

在这项研究中，我们评估了焦点小组中设计师的专业评论的输出，与基于web的HRA的最终用户调查的输出进行了比较，并提供了定制的反馈。在他们的焦点小组中，设计师确定了最终用户在调查中提出的137个问题中的10个(7%)，并揭示了许多新问题。

据我们所知，之前的研究没有调查焦点小组中的设计师在参与相同的干预后是否会提出与最终用户调查相似的问题。尽管设计师作为最终用户完全参与HRA，但我们的结果显示出与可用性评估和文本评估领域的研究相似的趋势，这些领域的研究比较了专家与最终用户评估的输出以及应用的不同方法[ 8， 11， 13］．然而，我们研究评估中所涉及问题的7%的重叠，甚至低于这些研究中发现的10-50%的重叠[ 8， 11］．de Jong和Schellens在回顾文献评价方法时[ 8他的结论是，在专家评估中报告了许多新问题，而对于专家评估者来说，真正读者的反馈往往包含许多令人惊讶的见解。我们的研究结果与这一结论一致。

在本研究中，定性方法的使用提供了对最终用户和设计师的体验的洞察。通过使用广泛使用的用户满意度和技术接受度理论的结构来分析他们的评论，我们不仅能够发现设计师所解决的问题与最终用户调查中所表达的问题不同，而且还能够分析两组评论性质的差异，并准确地指出这些差异属于干预的哪些方面。对这些差异的分析表明，尽管在两个评价中都涉及了用户满意度和技术接受度领域的所有高级别领域，但在其中一个评价中只涉及了几个较低级别的主题。当两个评价中都涉及较低层次的主题时，相关评论的性质往往是不同的。

所处理问题的差异表明，最终用户调查不应取代焦点小组中的专业审查，尽管这两个小组都扮演了人力资源评估参与者的角色。一方面，在评估HRA时，最终用户调查可以深入了解改进的直接、实际机会、其感知的有用性，以及HRA是否满足或可以优化以满足他们的期望并加强其采用。这些发现与Lai [ 31和Lathan et al的变化[ 32］．Lai发现最终用户关注的是系统访问和导航，而我们不是。Lathan等人发现，终端用户对他们高效使用系统的能力很感兴趣[ 32］．研究结果的这些差异可能是由不同的研究重点所解释的(例如，系统可用性研究与系统接受和满意度研究)，并表明所选择的评估方法的种类极大地影响了评估产生的问题的种类。Smilowitz等人得出结论，在现实生活环境中，非专家评估可能会发现使用该程序时引入的不可预见的问题[ 33］．类似地，我们观察到各种影响最终用户对系统的感知的问题，而这些问题没有被设计人员讨论。例如，对系统的信心对于实施健康行为建议的决定是非常重要的，这一事实可以从最终用户的回答中推断出来，但设计师没有讨论。这个例子和类似的例子强调了在现实环境中与最终用户一起执行评估的价值，以解决不可预见的问题，而这些问题无法通过设计师焦点小组发现。

另一方面，设计师焦点小组深入了解了正确设计的各个方面，以及有关HRA的用户友好性、效率、所提供信息的显示和完整性的问题，以及可能影响其采用的组织因素。他们的讨论主要集中在HRA如何在各种各样的方面(即创意的产生)得到改进，例如(重新)设计的可能性，营销和成本降低，以及它的传播，而他们假设创新在一般情况下是有用的(即，这是一个很好的事业，它应该作为礼物呈现)。事实上，设计师强调HRA的效率与Lathan的研究结果形成对比，后者表明最终用户更感兴趣的是他们高效和有效地使用系统的能力[ 32］．我们的结果与Lai的结果相似，Lai报告说专家倾向于关注信息设计[ 31］．

总之，最终用户调查和设计师焦点小组之间的关键区别如下。最终用户报告的是问题的直接体验，而不是问题的原因。相反，焦点小组中的设计师讨论如何解决遇到的问题，并制定改进HRA设计的额外要求。这种差异可以从最终用户和设计师的评论的表述方式中得到说明。例如，最终用户将他们的评论表述为“我认为反馈是……我更喜欢……”，而设计师将与最终用户相同的问题表述为“反馈应该呈现以便……”

我们的研究意味着HRA评估只能通过最终用户调查进行，或者结合最终用户调查和设计师焦点小组进行，并且选择应取决于评估的重点。通过最终用户调查来评估人力资源评估的最显著的优点是其潜在的广泛范围、低成本、提供了快速确定最终用户观点的机会，并且可以定期用于长期比较。然而，它们的回复率往往很低，存在相关的偏见风险，并且不允许参与者详细说明所解决的问题。在评估中加入带有焦点小组的专业评论是一种选择，这取决于优化创新所需的信息和可用资源。这种方法易于管理，是获得参与者潜在态度和经验信息的一种相对快速和低成本的方法。然而，数据分析往往是耗时的，数据收集的质量在一定程度上取决于执行焦点小组的研究团队的技能。在HRA评估中结合最终用户调查和设计师焦点小组可能会增强其采用和设计，因为这两种评估在理论框架中产生了不同的重点，而理论框架在理解系统影响和实际使用行为方面已被证明是有用的[ 3.， 34］．这是否真的提高了采用率，必须在未来的研究中证明。

从最终用户和设计人员解决的问题中确定了改进HRA的各种要点。然而，从我们的研究中，我们无法确定设计师焦点小组中讨论的问题是否有效，也无法确定它们有多重要。为了探索这一点，可以将这些问题提交给最终用户，以评估这些问题是否实际影响HRA的效用和接受度。使用一种或两种评价方法的附加价值可以通过实施人力资源评估的改进建议和研究采用比率来探讨。研究某种形式的交叉施肥是否可能，或者设计师焦点小组的表现是否可以通过培训来提高，也可能是有用的。

比较的两种评价方法的条件各不相同。评估方法在评估组的组成、评估技术以及在评估中给予两组的说明方面有所不同。因此，我们无法评论两种评估结果差异的原因。此外，所应用的评价技术的不同方面可能提供不同的结果。然而，我们的目标是比较这两种方法在实践中常用的方法的产量，以便为实施后新的卫生技术创新的优化提供信息。我们的目标不是在传统的实验中进行比较，目的是通过方法控制这些类型的变化。

尽管焦点小组中的设计师是设计工程的不同领域的专家，但研究样本基本上是单一学科的。不同学科背景的小组可能会给出更全面的答案，并显示出不同的结果。然而，多学科小组的一个缺点是他们可能不会说同一种语言。然而，与更多多学科小组一起评估HRAs实施后的进一步研究可能是有价值的。

我们研究的另一个缺点是，与其他满意度调查相比，对自由文本领域的回应率较低[ 35， 36］．原因可能是填充自由文本字段需要额外的时间和精力。受访者已经填写了评价问卷的结构化部分，他们可能认为这已经涵盖了他们对人力资源评估的所有意见。此外，调查中的最终用户可以用两种不同的方式来解释开放文本字段前面的问题，即邀请他们对一般的HRA或对调查本身发表评论。然而，对最终用户评论的定性分析表明，大多数最终用户将该问题理解为邀请他们就一般的人力资源条例发表评论;只有2.9%的评论是关于调查本身的。然而，我们不能忽视的是，特定的终端用户组将自由文本字段留空。

最后，对设计师的评论进行分类是在所有最终用户的回答都已经分类之后进行的，而不是同时进行。然而，这应该不会影响对他们评论的解释，因为如果我们的分类或框架发生了变化，我们会在迭代过程中不断返回最终用户和设计师的数据。随后，由1名研究人员而不是2名研究人员将相同的问题分组在一起，系统地比较最终用户和设计师确定的问题，以限制工作量。然而，2名研究人员独立评估了这些最终问题，并在必要时进行了修改。这两位研究人员验证了最终用户调查和设计师焦点小组所揭示的问题的比较。

健康促进方案(包括电子健康应用程序)的大多数实施后评估都是与最终用户一起进行的。在这项研究中，基于web的HRA的工业设计师焦点小组的专业审查证明，与基于web的调查中最终用户提供的反馈相比，这种类型的评估主要产生了新的问题。最终用户调查深入了解了用户的期望和需求得到满足的程度，并提出了如何改进人力资源管理制度以促进其在实践中的采用。焦点小组中的设计师提出了更多建设性的批评，并为改进HRA设计及其营销提供了建议。他们不仅关注潜在的问题，还就(重新)设计、营销、成本和未来HRAs的机会提出了建议。我们建议最终用户调查不能取代焦点小组中的专业审查。相反，在评估HRAs和其他健康促进项目时，将这两种方法结合起来可能会更有利。