在ParaNASPP临床试验中[ 18]，挪威奥斯陆的护理人员接受了全面NIHSS作为干预措施的培训。参与者注册期为2019年6月3日至2021年7月1日。干预措施包括一个结构化的学习计划，一个NIHSS评分的移动应用程序，以及从护理人员到随叫随到的中风团队医生的数据传输。2018年10月，我们测试了干预措施的可行性，并在试验开始前确定了电子学习和模拟训练中所需的调整。为了验证培训模型，我们决定测试护理人员和中风医生之间的评分者协议，我们计划进行试点研究。由于COVID-19大流行，出现了数字培训的需求。出于实际原因，我们决定在数字模拟训练后测试评分者之间的协议。

验证研究于2020年12月在挪威奥斯陆进行。出于务实和组织方面的考虑，我们邀请了奥斯陆大学医院院前分部3个地理位置分散的救护站的所有(N=83)救护人员参加。在挪威，要成为一名救护人员，需要接受高中紧急医疗技术人员培训。急救医疗技术人员和护士可以通过额外的课程来完成辅助医疗培训，近年来，一种独特的辅助医疗学士学位已经发展成为一种高等教育。为了反映ParaNASPP临床试验研究环境的多样性[ 18，我们需要来自这一领域的参与者。为了简单起见，我们将这个小组称为护理人员。基于目前救护车服务的协议，我们期望护理人员没有或很少有NIHSS的正式能力或经验。为了进行比较，还邀请了反映奥斯陆大学医院神经内科中风科随叫随到团队变化的中风医生参与研究。

从参加者收集的资料包括他们各自的服务经验年数、教育程度，以及目前在NIHSS的国际认证情况[ 16］．获得所有参与者的书面同意。

所有注册的护理人员都完成了中风评估的结构化电子学习计划，然后在团队基于聊天的协作平台(4.7.15.0版本;微软)。数字模拟训练持续4小时。中风医生指导课程，目的是建立对神经学发现评估的理解，NIHSS的概念，以及移动iOS应用程序的实际使用(ParaNASPP应用程序; 多媒体附件2)．这是一款专门开发的应用程序，其中NIHSS的每个项目都以象形图显示，解释性文本以固定的顺序呈现，并自动计算总分。对ParaNASPP应用程序的单独验证研究已经发表[ 19］．NIHSS中的所有项目都进行了演示和模拟。实时流中的模拟案例是独特的，与即将到来的测试评分者之间协议的预定案例不同。参与者可以提出问题，他们可以从教练和中风医生那里得到即时反馈和指导。在数字模拟培训的直播之后，护理人员立即访问了用于研究的测试材料。

总共有20个独家视频(参见 多媒体)与可能急性中风的神经症状的角色扮演一起开发并用于测试评分者之间的一致性。为了实现神经学研究结果的可信表现，在所有视频中，中风医生扮演患者，辅助医务人员在ParaNASPP模型中接受培训[ 18)进行了NIHSS考试。视频的手稿是与没有参与这项研究的中风医生合作准备的。视频手稿代表了预定义的NIHSS分数，中位数(范围)为7(0-31)。这些视频旨在不同程度地包含NIHSS的不同项目;然而，在NIHSS中没有记录的神经学发现的情况也被表现出来，如头晕和听力障碍。该分布旨在反映中风患者的真实人数[ 20.]，结果与可比研究相似[ 11， 15］．这些视频的平均(SD)持续时间为2分58(23)秒。如果参与者同意，视频可以暂停和重放。当医护人员在应用程序中对最后一个NIHSS项目进行评分时，总分将被转移到数据库中，这最终确定了该视频的评分机会。

护理人员的NIHSS分数与每个视频的预定义分数进行了比较。由于这一潜在的预定义在临床实践中不可用，护理人员的评分也与中风医生评分相同视频的评分进行了比较。

所有护理人员的NIHSS分数都以数字形式输入到ParaNASPP应用程序中。NIHSS注册所花费的时间按开始时间(新注册)和结束时间(数据提交)记录，并直接传输到数据库。中风医生根据他们的日常实践在原始的NIHSS纸质表格上进行评分，独立于其他医生和护理人员。中风医生负责为每个视频记录他们自己的时间戳。每个视频花在NIHSS评分上的时间以整分钟为单位。

我们将连续数据表示为对称数据的平均值(SD)和倾斜数据和具有异常值的数据的中值(范围)。

NIHSS是一个连续的量表，Bland和Altman的[ 21采用方法比较的方法来评估评价者之间的一致性。一致限(LoA)是根据观察到的测量方法之间的差异估计的，代表了数据的实际变化[ 22］．然后将这些LoA与可接受的变异进行比较，在NIHSS上设置为3点，这是基于临床评估和可比研究中的相同先验阈值[ 14］．布兰德和阿尔特曼的[ 21在比较护理人员或中风医生之间的NIHSS评分和视频中预定义的评分时，采用了原始方法。在评估护理人员和中风医生之间的评分者之间的一致性时，应用了混合模型版本的方法比较[ 23]，根据24名护理人员和4名中风医生对相同20个视频的评估得出的数据中的内部相关结构进行了调整。

在临床实践中，治疗方案通常根据NIHSS评分的高低进行区分[ 24， 25]，因此，在二次分析中，探索了二分类NIHSS值的评级者之间的一致性。连续NIHSS评分分为低分组(0-5分)和高分组(≥6分)(中度和重度卒中)。科恩 κ用于计算二分类数据的一致性:首先是护理人员或中风医生与预定义评分之间的一致性，其次是护理人员和中风医生之间的一致性。请注意，目前没有版本的Cohen混合模型 κ存在，而传统的科恩 κ可能会低估科恩的不确定性 κ估计。

在文献中， κ以≤0.2为较差，0.21-0.40为较好，0.41-0.60为较好，0.61-0.80为较好，0.81-1.0为较好[ 26］．

使用Stata统计软件(16.1版;StataCorp) [ 27R统计软件(4.0.3版本;R统计计算基础)[ 28］．

奥斯陆大学医院当地数据保护办公室批准处理奥斯陆大学医院雇用的志愿者和自愿的辅助医务人员和中风医生的数据(第19/00667号批准)。没有机构审查委员会的批准，因为没有实际患者参与这项研究，挪威指南概述。

我们的研究结果表明，在ParaNASPP模型中NIHSS数字培训项目后，护理人员可以与中风医生达成非常好的协议。

从0到42分，护理人员的得分高于预先设定的分数和中风医生的得分。与预定义评分相比，护理人员在NIHSS评分0-5分范围内的LoA均在3分以内;然而，随着得分的提高(≥6分)，变异增加。NIHSS分数越高，神经功能缺陷越复杂[ 5]并且在其他情况下与更大的评分方差相关，在视频评分中4分的差异并不罕见[ 29］．尽管如此，我们已经预先定义了评分者之间可接受的3分的分数差异。这与一项研究中用于比较远程和床边血管神经科医师NIHSS评分的预定义限制相同[ 14］．

在这项研究中，参与者是一个异质组，但重要的是在与ParaNASPP临床试验中相似的组上测试训练模型[ 18］．然而，在我们的研究中发现，护理人员和中风医生的LoA评分的宽度为8.38，与经验丰富的神经科医生的LoA评分宽度为10.05相比要小[ 14］．我们已为可接受的按揭贷款制定了分级表，将我们的研究结果列为A级[ 30.］．基于此，我们在研究中接受了LoA，尽管没有达到预定的限制。

NIHSS量表范围从0到42分，得分越高表明中风越严重[ 5]和更复杂的评分，但量表上的一个数字，或应用时的一个类别，从来都不是决定性的治疗。然而，院前分诊的决定在某种程度上取决于这个评分。我们决定以6点为分界点，按照常用的分界点[ 24， 31， 32］．在临床情况下，可接受过度分诊，以确保确定符合急性治疗资格的病人[ 7］．因此，对护理人员NIHSS评分或类别的高估比低估的问题要小，在我们的研究中，低估也比以前看到的要低[ 6］．

当分为0-5类和≥6类时，护理人员的评分与预定义评分之间的一致性非常好。尽管Bland和Altman的[ 21]方法用于连续测量的方法比较已有十多年的历史，当调整重复测量和多个评分者时，科恩没有现成的泛化 κ的存在。然而，一个粗略的比较护理人员和中风医生之间的分类NIHSS评分的估计值，结合同一交叉表中的所有值对，给出了一个未经调整的Cohen κ这表明非常一致。当意见不一致时，倾向转向更高的NIHSS分数，代表护理人员的过度分诊问题较少。

评估每个病例的持续时间是指视频中模拟症状的评分，并不一定反映执行实际评估所花费的时间。中风医生根据他们的日常练习对视频进行评分，并提供关于病例持续时间的自我报告，而护理人员则提供了一个不熟悉的中风量表和一个自动记录病例持续时间的新评分工具。我们预计护理人员会根据新鲜度花更多的时间对视频进行评分，但护理人员和中风医生花费的时间并没有太大差异。这一发现可能表明我们对护理人员的培训模式产生了立竿见影的效果——这种效果可能会持续下去。 33］．然而，评分是基于神经症状的表现，这些症状是直接的，不受现实世界中出现的混杂因素的影响。在更复杂的临床情况下，护理人员花在病人评估上的时间可能会增加。

护理人员在急性中风评估方面的培训可以很容易地转换为数字格式，而不是现场培训[ 34］．数字解决方案已被建议作为模拟训练中面对面互动的替代方案[ 13]，而数字解决方案与积极学习成果之间的显著相关性已经确立[ 17， 35］．这方面的知识是重要的，当计划实施新的程序和工具的护理人员。然而，数字培训的监督部分很重要[ 36］．聊天功能使教师可用，并为参与者提供了一个很好的机会，尽管他们远程参与。

最近的出版物显示院前和院内NIHSS评分之间的合理一致，无论是修改版还是全尺寸版本[ 30.， 34］．重要的是，护理人员更喜欢以医院为基础的中风量表，以改善与中风医生的沟通[ 34］．中风分诊系统的发展没有集中在临床评估的标准化和护理人员与随叫随到的中风医生之间的沟通。护理人员与随叫随到的卒中小组医生之间的沟通质量直接影响院前现场时间，是预通知和分诊的关键组成部分[ 37］．通过培训护理人员引入一种通用的临床语言可能会促进这种交流[ 15， 37］．我们认为，扎实的培训计划是在急性中风护理中标准化临床评估的关键，可靠地使用NIHSS与护理人员的培训方式有关，而不是专业本身。一个兼容的卒中量表将改善院前到院内的沟通和预通知的质量，而且还具有改善分诊、优化院内接待和缩短治疗时间的潜力。ParaNASPP临床试验[ 18的目的是调查这一问题。

由于COVID-19大流行期间的组织问题，这项研究被推迟了，时间限制和大流行影响了我们与更大团队合作的可能性。

我们决定使用中风医生来扮演视频中的病人，以实现神经学发现的可信表现。我们意识到这也是一个局限性，因为在现实环境中神经学的发现可能受到合并症的影响，使患者的评估复杂化。因此，本研究中评分者之间达成一致的结果可能不能直接转移到临床环境。

本研究采用方便样本，未进行先验幂分析。因此，神经学家和视频或护理人员之间较少的评估可能会使Bland-Altman分析不足，随之而来的是LoA估计的不确定性增加。

只有NIHSS总分，而不是11个评分项目中每个项目的具体NIHSS评分，可用于医务人员的分析，因此，我们无法确定是否有特定项目影响了协议。

如果我们评估的是NIHSS分数的较低或较高范围，那么未能保持在预定义的LoA 3以内是完全不同的。在未来的研究中，研究LoA可接受性的变化和对量表进行二分的不同界限是否会改变评分者之间的协议将是很有趣的。

有5名护理人员报告他们拥有NIHSS的国际认证。NIHSS并不是护理人员的标准方案的一部分，具有课外知识的护理人员的比例相当高，这可能导致了选择偏差，因为已经对该主题感兴趣的护理人员更有可能对广告做出反应。

护理人员的得分高于预定义的得分和中风医生的得分，因此预定义的LoA没有达到。然而，LoA的宽度比有经验的神经学家所看到的要小。当NIHSS评分被一分为二时，护理人员与预定义评分和中风医生的评分都取得了非常好的一致。本研究证明了数字模拟训练中临床能力转移的可能性。它可以促进在不同的院前服务中进行更大规模的培训和实施，并提高未来培训的效果。