信息和通信技术越来越广泛地应用于医疗保健[ 1， 2];然而，大多数EPR系统都是有机增长的，而不是基于开发规范。大多数国家已经开始由多个小型供应商开发EPR系统，以满足GP客户的需求。随后，随着时间的推移，商业和监管压力降低了这一数字[ 3.];然而，即使在同一卫生系统内，临床医生使用的界面和功能也各不相同[ 4]，以及他们将电脑整合到咨询中的方式[ 5］．卫生系统正朝着引入新的企业级信息系统的方向发展，该系统通过跨卫生系统的数据共享，即所谓的系统互操作性，为提高效率和患者安全提供了机会[ 6］．这些新系统的实现提供了一个改进界面和功能的机会，或者，至少，有一个合理的理由采用现有系统的最佳设计特性。

近十年来，我们一直在开发一种基于视频的方法来衡量技术对临床咨询的影响。我们从单通道视频开始，但发现，如果不同时显示临床系统屏幕，并仔细询问临床医生互动背后的目标，就不可能解释视频[ 7］．试图测量相互作用的精确长度也是一项挑战。

我们认识到模拟视频(没有准确的时间戳)，并在咨询中使用秒表来计时，有很大的局限性。我们接下来的发展是录制3个频道的视频:(1)会诊的广角视图，(2)临床医生头部和上半身视图，(3)截屏。我们使用了专业的视频录制工具，因为我们需要一个准确的时间戳来同步视频。虽然我们产生了有用的输出，但费用和设置意味着这不是一种易于部署的技术[ 8］．

因此，我们着手制定一种记录方法，以便能够精确和客观地衡量协商活动。该系统必须满足以下目标:(1)可以在一个小时内在真正的诊室或诊所中轻松设置;(2)可靠，可由他人在一定范围内设置;(3)提供咨询期间各项活动的客观时间戳，以便同步和随后同时查看多项措施;(4)产生一个可以被计算机软件工程师用来开发更好的系统的输出。

我们最初审查了可以用于满足这些规范的现有应用程序，但没有发现任何应用程序。我们研究了广泛用于(1)定性研究，(2)音频或视频记录的转录和分析，(3)可用性测试，以及(4)演示或培训材料的屏幕放映。与我们的要求相比，他们的缺点表现在 表1．

定性研究中有一些已经建立的应用，如ATLAS。ti(阿特拉斯。ti Scientific Software Development GmbH，柏林，德国)和QSR NVIVO (QSR International Pty Ltd，墨尔本，澳大利亚)，可以对文本和多媒体数据进行详细的分析和编码。然而，它们并不是设计来合并我们所需要的对计算机使用的精确监视，或者产生可以导出到包中以开发UML图的输出。Transana(威斯康星教育研究中心，威斯康星大学麦迪逊分校，威斯康星州麦迪逊，美国)提供设施，通过合并转录来执行更高水平的分析;然而，它的主要分析方法(基于关键字、注释或其分组的使用)不适用于分类和测量医生-计算机交互，这些交互通常包括一系列小的持续时间或与患者交互的重叠。

广泛使用的可用性工具，如Morae (TechSmith Corporation, Okemos, MI, USA)，从多个方面记录计算机使用的观察数据。由于它们产生的结果是合并的，因此不能根据研究需要灵活地采用它们，而且对于为不同的相互作用组合获得单独的可量化度量也没有多大帮助。Camtasia (TechSmith公司，Okemos, MI, USA)， Adobe Captivate (Adobe系统公司，圣何塞，CA, USA)和BB Flash Back(蓝莓咨询有限公司，伯明翰，英国)是屏幕casting应用程序的例子。虽然提供了更多关于计算机使用的细节，但它们并没有以一种有意义的方式对交互进行优化分类。其产出的重点过于狭窄，无法确定计算机使用对整体咨询的影响。

在没有任何合适的现成应用程序的情况下，我们开始了自己的开发过程，以生产一组应用程序，使研究人员能够捕捉计算机中介咨询的复杂性。

基于我们的目标和对现有技术局限性的经验学习，我们为我们的开发计划制定了一个规范。我们认识到，我们的技术应该是可扩展的，可以结合当时我们无法定义的一些监测方法。当时，我们发现:(1)视频频道的数量不确定;(2)一份带有精确时间戳的咨询记录，可能使用了语音识别软件;(3)模式识别软件输出[ 9]及其他变化识别技术[ 10];(4)从我们无法预测的观察技术中聚合日志文件，作为我们规范的元素。

我们把这个工作计划转换成小的工作包，我们在很大程度上是在机会主义的基础上单独开发的，因为我们没有收到任何一致的资金。其中包括:

1.确定最佳的视频通道数和低成本的录制方式。这应该有时间戳，以允许与其他视频通道和数据收集方法同步。

2.为了找到一种可靠的方法来编码视频片段，这样我们就可以直接导航到咨询中的特定活动并测量它们的持续时间。

3.利用模式识别和凝视检测技术，自动捕捉肢体语言和眼神交流。

4.将所有这些元素聚合到一个可导航的分析输出中。

5.引入以一种易于被软件工程师用来改进系统的格式导出数据的能力。

我们尝试使用3、4和5个频道的视频，混合在一个屏幕上，以及一个4频道的版本，点击屏幕会将窗口放大到全屏( 图1)．从3通道阶段开始试验的额外通道是聚焦于患者上半身的摄像机和临床医生的面部视图。我们向经验丰富的教育家和习惯于评估视频咨询的学者展示了示例咨询，并进行了半结构化访谈，以征求他们的意见[ 11］．

我们还需要确定低成本的拍摄咨询的方法，最好是使用不显眼的工具，用数字时间信号录制声音和视频，以便实现精确的同步[ 12］．

图1

多通道视频输出，结合临床计算机系统屏幕记录和3个会诊视图

我们需要能够在咨询中编写交互代码，以便我们可以轻松地导航到特定的活动(例如，处方)，并确定其持续时间。我们选择了一款名为“ObsWin”(Antam Ltd, London, UK)的灵活软件来完成这项工作[ 13) ( 图2)．我们使用多名观察员对模拟血压管理随访咨询进行编码，对我们的手动编码方法进行了可靠性测试。我们使用类内相关系数作为信度指标[ 14］．随后，我们将处方活动的手动编码时间与视频的逐帧分析进行了比较，以进一步评估我们方法的可靠性。

在任何可能的情况下，我们开始将咨询中活动开始和结束的时间戳自动化。我们开发了一个用户动作记录(UAR)应用程序来测量键盘使用的精确时间戳(每个按键都被记录和时间戳)，以及所有鼠标点击和坐标。我们还制作了一个语音活动记录仪(VAR)，它可以检测语音的开始和结束并记录时间( 图3)．

图2

观测数据采集使用ObsWin，评级接口和输出汇总统计

图3

使用VAR创建带有时间戳的咨询记录

我们自动捕捉肢体语言来解释非语言互动，并自动捕捉凝视的方向来推断临床医生和患者之间的眼神交流。我们使用Algol进行了实验，这是一款实验性模式识别软件(PRS)，尚未作为商业产品发布(英国温彻斯特的主要公路服务公司)，探索了软件检测到的运动与手动检测到的活动之间的相关性[ 15) ( 图4)．我们探索了获得测量凝视方向的软件的可能性。

图4

使用PRS测量非语言互动，患者点头和医生使用键盘

我们需要从多个数据收集系统( 图5)整合到一个易于导航的应用程序中。它需要能够灵活地加载任意数量的输入文件，并产生可以在其他应用程序中随时使用的输出。未能成功识别适当的专有应用程序，导致内部开发日志文件聚合(LFA)应用程序[ 16］．

图5

由三种不同的咨询活动观察方法创建的有时间戳的日志文件。

我们希望产生一个软件工程师可以很容易理解的输出，这样我们的发现就可以在医疗保健社区之外发挥效用。我们指定聚合工具以XML(可扩展标记语言)格式导出合并的日志文件，以便其他应用程序可以方便地导入和解释它们。使用UML(一种在软件工程中广泛使用的标准建模和规范符号)创建的咨询任务过程模型被选为我们在咨询中表示临床系统特征的使用和影响的主要机制。

我们开发了我们的方法，在模拟临床环境中使用临床医生和演员患者之间的模拟会诊。我们最初通过标准咨询(例如，随访血压检查[ 14)，然后是更广泛的临床问题。

我们需要知道我们的技术是否适用于一个标准的咨询室，是否可以应对背景噪音、可变的照明(包括窗户位置)和房间大小。接下来，我们在全科医生手术场所使用演员患者测试了我们的技术。我们发现1个摄像头的录音是令人满意的;现代相机可以很好地应对光线的变化，两个人可以在不到20分钟的时间内设置好相机和安装其他数据捕获方法。我们发现，摄像头和其他数据捕捉工具可以捕捉一个多小时的数据，但谨慎的做法是在45分钟后的咨询间歇删除屏幕捕捉和视频数据。

接下来，我们制定了一份协议，其中包括我们的技术方法，获得患者的适当同意，并确保数据的安全。我们希望从4个最常用的GP EPR系统品牌中获得试验数据，以便进行比较。这4个品牌是:(1)EMIS LV，在研究期间，建立时间最长，使用最多的系统;(2) EMIS PCS，来自同一制造商的更现代的版本;(3) INPS Vision;(4) iSoft Synergy。EMIS LV很大程度上是字符用户界面(CHUI)驱动的，而其他3个是图形用户界面(GUI)。

在我们的试点分析中，我们只包括使用选择列表或其他常规编码工具进行的编码。我们没有包括可以促进更快速数据输入的数据输入表单或模板。我们拍摄的4名全科医生使用他们目前的计算机系统至少3年，至少在这段时间内没有定期查阅纸质记录。

我们计划比较临床会诊中进行临床编码、开药等常规任务所花费的时间。我们期望来自一个小试点的数据不具有正态分布。这个期望有两个原因:(1)我们的样本很小，(2)我们期望一个倾斜分布，因为有时这些任务需要很长时间，但它们总是花费最少的时间。我们使用盒须图来直观地比较频繁记录的动作。我们还使用非参数检验(Mann-Whitney U检验)来区分EMIS LV(当时最常用的GP EPR系统品牌)与其他系统。接下来，我们使用Krushkal-Wallis来探索平均排名在统计学上的显著差异。我们使用SPSS版本15进行这些分析。

我们通过国家卫生服务研究伦理委员会中央办公室(COREC)获得了现场咨询的试点记录的伦理批准。该协议包括对媒体的安全传输和存储作出适当规定，并限制访问。

我们采用了三个步骤来获得患者对录像的同意。首先，视频会议在参与实践中被标记为这样，以便预约参加这些会议的患者知道他们的咨询视频将被3台摄像机录制下来，作为研究项目的一部分。其次，他们在咨询开始时签署了同意书，并被告知，如果他们在咨询后不希望视频被使用，他们可以自由地说出来。最后，他们与临床医生在会诊后签署了同意书，表示他们仍然愿意将会诊数据用于研究。

结果首先报告了我们最终技术方法的总结，然后是我们初步研究的结果。技术过程的完整描述载于附录1。

我们发现4个视频频道是观察咨询的最佳方式。我们的3通道视频方法提供了咨询、临床医生上半身和屏幕捕捉的概述，克服了与单通道观察相关的大多数问题[ 17];然而，一项定性调查表明，拍摄患者头部和上半身的第四个通道对于捕捉患者的肢体语言至关重要[ 11(参见多媒体附录3)。2006年，我们发现我们可以在1100欧元左右采购3通道视频所需的硬件[ 18](或4个频道1500欧元)。

我们使用自己开发的UAR来捕捉鼠标和键的移动，使用VAR来标记语音的开始和结束。我们已经试用了UAR，以比较在2个不同的全科医生计算机系统上编写新问题代码和开出单一急性处方所需的时间[ 19］．

VAR的使用克服了语音开头和结尾手工编码的局限性。在使用VAR之前，我们发现训练人工评分者可以可靠地编码模拟咨询[ 14]，但当呈现真实咨询的各种混合时，一些活动的编码就不那么可靠了。VAR还使我们能够识别谁发起和终止沉默。我们观察到，临床医生有时会毫无目的地利用信息技术来制造沉默，以控制咨询。 20.］．

我们已经广泛测试了模式识别软件，看看我们是否可以自动捕捉肢体语言和动作，比如肯定的点头;然而，这项技术的局限性，以及我们处理它的能力，使我们无法将其与人工观测的输出联系起来。

LFA工具组合了任意数量的不同格式的时间戳日志文件。导入LFA的数据可以视为直方图或发生图( 图6)．该工具在分析方面的强大之处在于，点击代表特定变量的矩形，用户将直接到达多通道视频中的适当位置(参见多媒体附录4)。这使用户能够导航到他们想要研究的咨询中的任何位置，并同时查看与该时间点相关的所有日志文件。阅读器程序可以成功地解释ALFA工具的XML输出。

图6

聚合后ALFA工具的可分析输出

UML序列图展示了临床医生在会诊中使用EPR系统组件的情况。他们对比了计算机使用的变化，以及这可能与界面功能的关系。软件开发人员可以检查这些过程模型，以在咨询中评估设计特征的使用和性能。我们已经使用UML输出来对比呈现问题的定义，规定[ 21]、过往遭遇回顾、BP数据输入阶段( 图7） ［ 22］．我们可以识别出对咨询有影响的设计特征的例子有:(1)导航方法(图标、功能或方向键的使用)，(2)主界面的结构(单个、子窗口或制表符分隔的窗口)，(3)警报或提示的显示，(4)编码数据的搜索机制，(5)历史数据的检索，等等。LFA的输出自动创建UML序列图的框架。在10分钟的咨询中手动注释其余的序列大约需要一个小时。

图7

4种不同EPR系统的血压数据记录接口和观察到的相互作用序列图

在不同的咨询中，计算机的使用有相当大的差异。我们从4家诊所的22次咨询中收集了初步数据。每个计算机系统仅由1名GP使用。全科医生每次会诊通常编码1到3个项目，但在一次iSoft会诊中编码了12个项目，而使用EMIS LV的全科医生编码的项目似乎更多。在每次咨询中进行的编码摘要显示在 表2．在这次试验中看到的22名患者中，只有2名要求关闭摄像头。没有患者或临床医生撤回会诊后使用视频材料的同意。

我们观察到编码数据、开药和在计算机系统中重复开药所花费的时间存在差异，尽管我们只有足够的编码数据和急性(新)开药片段来进行任何统计比较。描述性研究结果显示在 表3，编码数据和重复处方数据用盒须图( 图8而且 图9)。使用EMIS LV (CHUI接口)的临床医生似乎要比使用其他系统的用户花费更长的时间来编码项目。他们的平均排名(Kruskal-Wallis检验)依次为:EMIS LV，最慢(中位数最高);iSoft Synergy的数据编码速度第二慢;最快的两个是INPS Vision和EMIS PCS，具有相似的中位数。中位数差异有统计学意义( P= .007)。非参数(Mann-Whitney U)检验表明，它们都比EMIS LV快;用于EMIS PCS和INPS P< .01和iSoft Synergy P< .05 ( 表3)．

EMIS LV的急性处方似乎更快;然而，尽管EMIS LV处方者始终处于处方时间的较快一端，但与盒须图中显示的其他系统存在重叠。毫不奇怪，中位数的差异与我们有急性处方数据的其他两个系统没有统计学上的显著差异( P= .71和 P= .64点)。

图8

比较不同品牌GP EPR系统编码时间的盒须图

图9

比较不同品牌GP EPR系统的处方时间的盒须图

与其他技术相比，ALFA工具箱可以更精确地观察临床咨询。目前的工具包允许多个视频通道，包括屏幕捕捉、咨询记录、计算机使用和演讲，可以精确地同步、计时和导航。有足够的范围可以根据需要添加其他输入。它的输出可以用来创建模型，软件工程师可以用来开发更好的EPR系统。

患者似乎可以接受多通道拍摄;然而，所涉及的4个实践是教学和培训实践，医学生和实习医生都会定期录制自己的视频。

我们的试验数据显示了该方法如何允许临床系统和用户之间的微小但具有统计学意义的差异被测量。虽然每个编码项目和处方在时间上的差异相对较短，但当临床医生一天的时间相乘时，更好的界面可能会节省大量时间。

BP记录的UML模型显示了先前的读数是如何对临床过程产生积极影响的，并为未来如何开发新的计算机接口提供了见解。这一原则可以继续用于其他常见临床信息的记录，例如，记录吸烟习惯或药物不良反应。

我们开发了这个工具，以满足我们评估技术对咨询的影响的愿望。它精确的时间戳可以用来比较临床计算机系统，或者对比纸质系统和计算机化所花费的时间。对计算机使用和临床-患者互动的比较分析可以确定共同的任务，并用于开发计算机中介咨询的理论模型。我们希望我们的UML序列图将使临床系统设计者能够评估现有的系统，并开发和评估新的特性。

ALFA工具包还可用于测量临床医生的表现或患者的反应。见过这种技术的同事建议，在模拟手术中接受评估的治疗医生可以获得多通道的表现视频，作为反思的工具;如果我们可以自动测量肢体语言，那么这可能会被用作沟通技能的形成性评估。

该团队创建的全套工具及其源代码在GNU通用公共许可证(GNU GPL)下免费提供。下载、设置、示例文件的说明，以及其他相关资源的链接，均可作为Web资源[ 23］．

我们开发的某些部分失败了。我们无法有效地使用动作识别软件的日志文件。到目前为止，我们还无法实现语音识别系统的文本记录;这些技术仍然需要培训，并且无法识别不同患者的声音。我们还没有合适的方法来测量凝视的方向;通常可用的工具包是侵入性的。

我们将这个开发作为一系列小规模的组件来运行，而不是作为一个全面的项目。

我们的试验数据只使用了每个系统一名临床医生。需要更多的数据来发现这些差异是临床相关的还是系统相关的。

我们不知道有任何类似的技术可以提供如此精确的观察(见多媒体附录2)。 表4比较了ALFA与流行的现有技术的特点。虽然人机交互(HCI)的研究是一门很发达的学科，但它关注的是一个或多个个体与一个或多个计算机系统之间的交互[ 24］．在人机交互中，用户与计算机的交互是首要的;相反，我们想开发一个工具包来捕捉咨询中复杂的社会互动，其中临床医生-患者活动是突出的。

软件工程中的评估方法结合了多种观察技术[ 25， 26］．这些可分析的产品通常是一个数据文件流，结合了感官通道中活动序列的视觉或音频表示[ 27］．但是，我们不知道有任何应用程序能够聚合、同步这样的日志文件范围，并在需要时将其导出到其他应用程序。一些键盘监听或间谍软件应用程序可以识别键盘活动的顺序。语音频谱分析仪应用程序也可以显示声级的可视化数据。与UAR和VAR应用程序不同，这些应用程序不能以可分析的格式对计算机使用或口头互动进行计时。

该方法从广泛的社会技术角度考察计算机对咨询的影响，正如Coiera所提倡的[ 28]，而不是从纯技术的角度。严格和广泛接受的医疗保健信息技术评估框架应能够识别问题、适当的评估工具和合理应用这些问题的方法[ 29］．它可能有助于填补医疗保健系统评估方法的一些空白。 30.］．

关于如何自动收集技术对咨询的影响的数据，还需要进行更多的研究。改进的语音识别技术将节省转录的时间。除了填补如何使用模式识别软件和视觉凝视估计软件捕捉肢体语言的空白之外，我们还需要考虑如何将日志嵌入到活跃的临床系统中，例如，与新软件发布相关的会诊长度的变化可以自动测量并进行潜在的调查。

我们还需要用更大的样本来探索EPR系统之间的真正差异以及临床医生的差异。记录几个临床医生使用1系统应该使我们能够做到这一点。

我们开始开发工具，提供咨询活动的客观时间戳，允许同时查看和详细分析互动。ALFA工具包允许聚合咨询的多个观察结果，同时导航并输出到其他应用程序。ALFA工具的输出应提供证据，在此基础上为协商制定改进的技术和模型。