尽管在个别学术机构中有丰富的医学教育内容，但由于缺乏标准化的内容共享机制，这些内容并不广泛可用，也不容易发现和检索。医学教育机构经常使用各种基于web的学习内容管理系统(lcms)来支持教学和学习过程。他们还使用一些可用的教育标准来描述LCMS中的教育内容。这可能会允许通过Web更好地管理内容，并增加其在不同的lcms和平台上的互操作性，但相反，这些学习材料通常仅限于单个机构。共享教育材料已经成为最近发展和实践的焦点。Web 2.0强调了共享的重要性，以及在健康教育领域的社会协作和参与、社交网络和群体智能，医生、医学生、从业人员和其他人可以从信息的开放获取和想法、问题和意见的共享中受益[ 1］．

尽管在教育内容开发和通过社交媒体(如YouTube)共享方面做出了大量努力和强调，但医学教育内容的无缝共享还没有突出的、清晰的、基于标准的解决方案，其中无缝意味着立即意识到任何新的教育内容，对所涉及的主题和技能的分类的准确性。以及为适应不同的教育背景(重新利用)而对内容进行的任何现有改编的可见性。例如，最近的研究检查了在预选的YouTube医学教育频道的YouTube健康视频标签中使用标准化医学同义词库(SNOMED CT)的情况，发现使用SNOMED CT术语表达的YouTube标签的平均百分比约为22% [ 2］．为了填补这一空白，教育者最佳实践网络(BPN)实施了电子学习中的标准和参考模型，以开发创新的解决方案，使专业的最先进的医学教育内容能够在整个欧洲机构中被发现、检索、共享和重复使用，目标是医学生、医生、教育工作者和卫生保健专业人员[ 3.］．为了实现这一目标，mEducator还必须详细阐述教学、技术、标准化、文化、社会和法律问题。

通过融合社交网络和语义Web概念，教育者解决了无缝共享教育内容的挑战。学习管理系统和开放教育存储库被统一起来，以便教育工作者和学习者可以组织、重新利用(定义为转换为另一种格式或教育环境中使用)、重新使用和共享医学教育资源。通过搭建不同的平台，实现医学教育资源的组织、再利用和共享。在此过程中，教育者本体扮演了关键角色，因为它被设计为为各种教育者实例提供具有定义良好的语义的元数据模式[ 1］．这些实例都使用相同的元数据模式，可以基于特定的底层技术进行分类:为多类型内容共享和重新利用而开发的两个解决方案框架。

一些研究尝试侧重于在不同学科中开发基于场景的评估模型，例如对学生解决问题能力的在线评估[ 30.]、教育评估[ 31]，面向服务的架构[ 32]，以及软件工程[ 33，等等。特别是在医学教育中，基于场景的评估正被广泛用于临床技能的评估[ 34]或用于训练[ 35]或甚至用于探索重新利用医疗案例的设计需求[ 36］．

在教育评估方面，马约特[ 31]试图评估一个基于场景的交互式评估系统的有效性，以解决传统评估方法的局限性，允许学生解决复杂的场景，提出问题，并通过交互式Web界面做出诊断。他的研究表明，基于场景的评估更强调学习者的问题解决能力、批判性思维和推理能力。在医学教育教育评估的背景下，Nestel等人收集了绩效数据[ 34]当三年级医学生通过承担明确任务的场景来评估他们在情境化(特定目标驱动)任务中的程序技能时。在后面的研究中[ 34]，结果发现，基于场景的评估被重视的机会，实践以患者为中心的护理，在一个模拟的环境中，集成了技术，沟通和其他专业技能。这些研究人员得出结论，基于场景的评估反映了以患者为中心的护理的现实问题[ 34］．在医学教育中基于场景的培训方面，[ 35他们发现基于场景的虚拟世界心肺复苏(CPR)团队培训是可行的，并在医学生的多人心肺复苏培训中显示出良好的效果。此外，基于场景的大声思考协议在症状解释、在线诊断和HCI领域的价值由[ 37在50岁以上成年人的工作中。

据我们所知，文献中没有关于基于场景的评估的研究，用于与最终用户、内容及其交互一起评估内容共享技术[ 38］．

评估方法的重点是定义在何种程度上覆盖了教育者目标用户的信息需求，以及从最终用户的角度来看，模式是否支持内容搜索、检索和共享。例如，构建“元数据准确性”是可操作的，以解决用户的概念，即元数据是否可理解，它们是否以及如何覆盖教育者目标组的信息需求，以及它们如何检索相关内容。因此，在本研究中，术语“准确性”是指其更广泛的意义，即对目标用户的需求的一般充分性，而不是在文献中经常使用的术语的更技术上的接受，以表明在任何数字集合中，元数据是否充满了关于它们所引用的数字对象的准确/精确信息。

本研究的研究目标是评估(1)由mEducator开发的元数据模式如何满足最终用户在医疗内容搜索过程中的信息需求，(2)由mEducator开发的元数据模式如何支持内容共享过程，(3)在mEducator3.0 MELINA+系统中实现的模式的整体可用性，以及(4)该特定mEducator系统的整体用户接受度。

评估主要在三个方面涉及医疗领域:(1)元数据模式的一些字段涉及医疗/健康领域，因此非常具体;(2)评估中使用的测试场景主要以涉及上述医疗领域相关元数据的医疗/健康案例为主;(3)整个评估上下文是医学，即参与者要么是医科学生(本科生或研究生)，要么是卫生专业人员。因此，在本研究中，(1)定义和使用特定于医疗领域的元数据，(2)构建和使用与医疗领域相关的场景，(3)所有参与者都来自医疗领域。

设计并使用了许多评估方法，包括用于可用性测试的基于场景的评估，以及来自在线问卷和现场记录的数据，以评估mediucator解决方案的不同实例。总的来说，在教育者中的评估工作涉及两个主要层次:(1)系统视角，即基于功能需求的技术评估，以及(2)使用视角，即基于场景的评估。两者都以服务质量和用户体验为重点。跨用户组的基于场景的评估是在特别强调用户测试阶段时决定的。为综合的基于场景的服务质量评估制定了一个框架( 图2)．对mediator系统的总体评估框架分为基于功能需求的技术评估和基于场景的评估，这是本研究的重点。

作为 图2显示，“基于场景的评价”是为个人“用户”和“机构”开发的，但也解决了技术问题，始终考虑到目标用户(“教师”、“学生”和“医生”)在mediacator系统中作为医学教育材料的“贡献者”或“消费者”的角色( 图2)．案例研究检查了个别机构的教学法和可采用性问题，以及LCMS集成和存储库特征的技术问题，见 图2，都超出了本文的讨论范围。值得注意的是，不同的评估级别使用了不同的数据来源和方法。例如，在整体研究的范围内，主要在项目的初始阶段实施了访谈、观察性案例研究、截图捕获和活动的自动跟踪，以告知和评估mediucator系统的第一个原型。

基于场景的评估允许检查元数据模式的关键领域，例如:(1)包含所有类型的医学学习资源的能力，(2)考虑内容重新利用的能力，以及(3)处理版权许可，特别是重新利用期间父资源的版权许可。

评价讲习班(在本文中称为案例研究)在不同的educoator合作伙伴的地点组织和运行。本文重点分析了四个这样的案例，通过这些案例应用了教育者评估框架。这些案例研究是在2011年8月31日至2012年4月7日期间进行的，重点关注一个教育者实例化MELINA+，该实例化为用户提供了探索大量教育对象、创建自己的教育对象(包括完整的元数据描述)以及与社区其他成员协作的选项。

更具体地说，MELINA+(代表医学教育链接竞技场)是一个医学教育资源CMS，基于开源内容管理系统Drupal 7。开发MELINA+是为了允许以不同的方式在语义Web上创建、上传、描述、共享和搜索资源。它使用Drupal SPARQL端点功能来利用SPARQL查询。可以在SPARQL注册中心中添加多个端点(内部和外部)并进行查询。它支持创建和描述学习资源、用户注册/认证、高级搜索功能、评论/评级/书签系统、博客和帖子。它的高级特性包括核心RDF支持、嵌入式SPARQL端点、DBpedia聚光灯注释、社交学习协作、学习资源的质量过程控制以及通过WEBID模块的单点登录。 图3显示了MELINA+的界面，具体为用户的“探索”、“创建”和“协作”选项。

评估会议以由主持人进行的教员系统演示开始。重要的是要澄清，基于场景的评价涉及指导参与者的促进者，特别是当后者不熟悉特定系统时，因此这是一种通常应用于结构化培训和评价会议的方法。在本文所述的四个案例研究中，有一名调解人和两名研究助理在场，指导参与者，并根据他们对目标用户面临困难或表示怀疑的地方的观察记录实地记录。研究助理被指示记录参与者明确提出的澄清要求，并记录用户在执行每个场景时似乎被困住或困惑的上下文。

在基于场景的评估中，参与者通常创建一个学习资源，例如概述医学论文的目标和结果的演示文稿，并辅以教育信息，如教育目标、目标受众和预期的学习结果。

参与者可以在mediaator中以不同的语言访问多种不同类型的学习内容，包括文本、多媒体幻灯片演示、图像、视频、交互式学习环境、wiki、草图图形注释、虚拟患者、网站、动画、音频文件、3D模型和电子书，所有这些都属于医疗领域。每个案例研究包括三个场景，如下所述。

总的来说，有126名受访者评估了mEducator3.0实例化MELINA+。这些受访者中大部分(77.8%)是本科生，其次是研究生8.7%，研究生6.3%，医学专业人员4%，教授3.2%。

两个主要工具被用作教育者评估框架的数据源:(1)“系统可用性量表(SUS)问卷”和(2)“元数据和搜索过程问卷”。第一个工具主要用于评估系统的绝对可用性。第二种工具主要用于记录(1)mediacator开发的元数据模式在多大程度上满足了最终用户在医疗内容搜索过程中的信息需求;(2)mediacator开发的元数据模式在多大程度上支持内容共享过程。这两份问卷都是以在线匿名调查的形式在线完成的。

此外，另一个数据来源是在MELINA+评估会议期间，引导者和研究助理的实地记录，其中记录了用户在执行场景时表达怀疑或面临困难的案例。这些实地说明主要用作三角测量目的的补充数据来源，也有助于根据用户的输入提出改进系统的建议。对前两个数据来源(两种工具)的分析包括(1)完成在线调查的定量结果，以及(2)这些调查中开放式问题的定性结果。

表1介绍了2011年8月31日至2012年4月7日期间在四个不同国家(即希腊、塞浦路斯、保加利亚和罗马尼亚)使用SUS工具进行的四个不同案例研究的评估结果。

图4显示了来自MELINA+评估的四个案例研究的SUS分数如何映射到SUS曲线上。 图4显示，随着时间的推移，在四个案例研究的SUS评分中，整体系统类别从D类逐渐变化为C类，从保加利亚的第一次MELINA+评估(D类)的56.6开始，到希腊的mEducator MELINA+第四次评估(C类)的64.7。

该问卷调查的结果为元数据准确性分析提供了有用的输入，以支持mEducator3.0解决方案。值得注意的是，受访者的专业水平各不相同，从本科生到医学专业人员和教授(见参与者部分)。然而，不同组的结果(例如，学生而不是教授或医疗专业人员)并没有实质性的差异，以证明每组用户的结果的呈现是合理的。因此，结果呈现给所有参与者 表2．

对于问卷调查的部分 元数据(3个问题)，数据分析显示，总体上超过一半的参与者同意或强烈同意元数据是可以理解的(17/ 126,61.1%)，元数据的数量是足够的(67/ 124,54%)。

关于第二类， 检索内容的有用性和相关性(7个问题)，超过一半的参与者同意或强烈同意他们搜索的结果是有用的(94/ 120,78.3%)，足够满足他们的信息需求(70/ 11,60.9%)，相关的(68/ 118,57.6%)，有趣的(69/ 11,60.5%)，并帮助他们修改搜索结果(86/ 125,68.8%)。值得注意的是，更大比例的参与者(近79.7%(98/123))会向他们的同事推荐该系统。

第三类是指 搜索的延迟和难度(四个问题)。大多数参与者同意或强烈同意搜索结果获得迅速(99/ 11,83.9%)，高级搜索表单易于理解(77/ 15,67%)，易于下载检索到的学习资源(72/ 123,58.5%)。最后，超过一半的参与者同意或强烈同意他们可以很容易地评估学习资源是否有效 开放使用(72/123, 58.5%)。必须指出的是，问题中明确地包含了系统的这一方面，因为考虑到两类mediucator解决方案的底层技术(mashup和语义搜索)的不同，mediucator需要一种能够记录各种实例化性能差异的工具。

参与者对少数问题的回答模棱两可，因此难以解释。调查结果的问题在于，在一些问题中(Q3, Q4, Q7, Q8, Q10, Q11, Q13)，通常三分之一的参与者是中立的，没有表达意见。例如，关于元数据是否过量(问题3)，超过三分之一的参与者(48/124,38.7%)是中立的，而五分之一的参与者(25/124,20.1%)同意这种说法。在这种情况下，参与者可能不确定“过量元数据”的概念是什么意思。

用户需要理解的一个重要问题是分配给资源的知识产权许可证。问题11(“难以理解资源的知识产权”)的调查结果虽然总体上是正面的，但也表明用户对知识产权一词存在混淆。对于这个问题，大多数参与者要么不同意(42/123,34.1%)，要么中立(51/123,41.5%)。中性反应可以有多种解释。他们可能意味着用户不确定他们的答案。如果从这个角度分析结果，那么这意味着知识产权元数据的表示需要改进。对于重用内容的知识产权模式的评估，可以从两个不同的角度进行分析。第一种情况指的是要重新利用的资源已经在系统中发布，第二种情况指的是要重新利用的资源是外部资源。根据第一种模式，mEducator模式成功地处理了要重新使用的资源的许可，因为系统中已经存在的每个资源都有一个许可。但是，对于第二种情况，外部资源的知识产权许可证目前是在educator平台上实现的，而不是在schema中实现的。 More specifically, there is no IPR-related field in the schema about the repurposed resource when this is an external one to the system. This latter situation is handled by the platform by requiring the user to tick a box, thus giving assurance that the user is authorized to make use of the learning resource. However, this information is not saved in the metadata.

下一节将提供更聚合的分析，它基于映射到书目元数据通用参考模型的问题组。

为便于解释，在线元数据准确性调查中的一部分问题被映射到IFLA框架中，即文献记录功能要求(FRBR)框架[ 41］．国际图联的组成部分是(1)查找，(2)识别，(3)选择和(4)获取。具体的可用性度量适用于这四个一般任务。精确性和有用性是查找信息任务的重要可用性度量。易于理解、信息充分性、错误率和信息准确性对于识别和选择信息都很重要。实物可访问性对于获取信息很重要。在本节中，将根据FRBR框架结构分析这部分问题的回答。

在调查的最后提出的两个开放式问题，主要是为了从用户那里得到关于mEducator概念的优势和劣势的全面评估，主要是关于它的整体可用性和价值。这两个开放式问题是(1)搜索和查找内容的系统的积极和消极方面是什么?，以及(2)你认为提供多语言内容的门户网站有什么优点和缺点?

作为第一步，我们分析了参与者对这两个问题的回答内容，以进行概念识别。第二步，将措辞不同的类似概念分组为更全面的概念，分为优势和劣势。每个回答都被测试了一遍又一遍地测试相关的概念。 表3显示这些发现的细节。

开放的回答提供了用户自发强调的对他们最有价值的方面的有趣概述。在优势中，有机会了解同一主题的多语言观点和活动，例如为研究和出版目的进行同行合作，被用户强调为重要。很少被提及的是发布自己的材料的机会，以及平台内容的特殊性。在已发现的缺点中，经常出现的主题是分布式搜索的缓慢、用户难以理解的技术术语以及翻译的需要。用户对改进mEducator系统的建议包括开发一个仅供学生访问的特殊版本的mEducator平台，保持界面尽可能简单(如谷歌)，防止不相关的数据，为语言提供更灵活的过滤器，并优先考虑搜索参数。

本研究描述了如何将基于场景的评估框架应用于一个用于搜索和共享医学教育内容的meducatorbpn实例(即，mEducator3.0, MELINA+)，并给出了系统中使用的元数据模式及其可用性和用户接受度的评估结果。本研究的主要发现是:(1)在医疗内容搜索和共享过程中，mEducator3.0目标群体的信息需求得到了令人满意的解决;(2)从最终用户的角度来看，元数据模式支持搜索、检索和共享内容;(3)基于126名参与者的SUS评分结果，mEducator3.0 MELINA+系统的整体可用性是可以接受的。此外，该研究还指出，在mediucator方法提供的内容共享和重新利用的各种可能性中，目标用户重视了解国际标准，能够在其他教育项目中使用基准资源，并且能够与同龄人的资源链接。根据以往的研究[ 22- 24]，本研究采用以用户为中心的研究方法。然而，本研究与以往研究不同的一个重要方面是，在mediator的情况下，元数据的完成不是由专业的索引器完成的[ 16]但主要委托给最终用户和内容提供商。这很有挑战性，因为很难对元数据字段的含义达成共识。这项研究的结果证实，元数据的含义对一些评估人员来说并不足够清楚。正如主持人和研究助理的现场笔记所报告的那样，一些元数据含义不明确的具体例子涉及到对技术术语的描述，例如“标识符”、“质量戳”、“URI”、“URL”、“ISSN”、“ISBN”、“平台用户”和“外部用户”等等。此外，有相当高比例的评估人员无法在多个记录中确定最相关的记录，这可能是系统的多语言参数造成的。最后，记录的另一个弱点是用户缺乏对知识产权问题的了解，而知识产权问题对于医学教育内容的重新利用非常重要。

在下一节中，将以建议和经验教训的形式，通过解决内容描述元数据、内容描述过程和重新使用的内容的知识产权等问题，得出对数据搜索、检索和共享过程评估的影响。

基于场景的评估为我们提供了与mediucator服务相关的用户体验的广泛和背景化的视图。医学教育资源的重新利用和再利用在当前经济中变得至关重要，因为许多这些资源的生产成本很高。定位合适的医疗或其他内容的系统需要改进，以允许这种情况发生，因此本文在这方面提出了建议。尽管在本研究中，(1)定义并使用了特定于医疗领域的元数据，(2)构建并使用了与医疗领域相关的场景，(3)所有参与者都与医疗领域相关，但这些建议不仅适用于旨在促进医疗内容共享的医学教育系统，也适用于搜索和共享内容的不同系统。

搜索、检索和共享医疗内容系统的设计者应该:

基于本研究的结果，我们可以就如何根据所提供的元数据改进医疗资源的搜索、检索、识别和收集提出一些建议。这些建议不仅与mEducator元数据相关，而且适用于处理医疗或其他类型元数据以检索教育资源的任何平台。第一个建议是包含“高级搜索”选项。这将有助于管理检索结果。第二个建议是允许对检索结果进行不同的排序，例如，基于资源类型或作者名称。预计这将有助于从可能数量巨大的检索结果/记录中识别相关资源。第三个建议是在结果下列出搜索词。例如，显示一条消息，如“您对此关键字的搜索导致了x个结果”。这种反馈将使用户对特定关键字或关键字组合检索结果的数量有一个大致的概念。最后，在检查之前评估资源与用户需求的相关性可以通过许多不同的方式加以改进。 One of these ways refers to the use of icons next to the list of results or also in the metadata page that could inform the users before they view the resource, that it is an “open resource” (ie, easily/freely accessible) or a resource that requires a login. Another way refers to the use of a “dashboard” in the results page, to display useful information, such as how many times the resource has been downloaded. Last, the interpretation of metadata can be improved by a thumbnail of the actual resource that should be made available while viewing the metadata.

关于知识产权许可，最明智的建议是投入一些精力，让用户了解通过创作共用许可可获得的选项，并简化获得许可的过程，例如通过实施循序渐进的过程来指导用户获得知识产权许可。

希望共享其内容的mediator用户必须指定其他用户有权如何使用该内容。一些建议来自评估以下努力:更好的解释知识产权缩写的含义和选项应该提供的,应提供一个自动化的机制来检查的有效性,防止用户提供任何知识产权资源的链接,只要提供的知识产权没有,和政策也应该定义如何处理来自外部存储库的内容的知识产权许可是未知的。

关于自2011-2012年以来该系统是如何被电子学习和医疗界所采用的，也就是本文所报告的评估发生的时候，需要注意的是，教育者项目的主要目标之一是建立标准。在这方面，该联盟的战略决定是与Medbiquitous联盟的活动联系起来并参与其中，Medbiquitous联盟是一个制定数字健康教育标准的组织。Medbiquitous的技术委员会和LOM工作组目前正在将医疗保健学习对象元数据(LOM)标准修订为2.0版本，在此过程中，已经将mediator模式的几个字段作为扩展纳入其中。最后，值得一提的是，一些合作伙伴组织正在常规使用mEducator3.0 MELINA+系统，但它也已在其他合作伙伴、卫生组织和it设施中安装和试用。例如，泌尿系统疾病研究所是使用mEducator Melina+系统的机构之一。

本研究存在一些局限性，特别是严格意义上的元数据的准确性。我们没有说明元数据是否实际描述了它所引用的教育资源。参与者可以自愿投入评估的有限时间，作为组织的不同研讨会、会议和评估活动的一部分，禁止使用受控的、实验性的可用性条件，只允许管理两个评估工具，并通过现场笔记记录用户的困难。这些评估工具中的第一个，SUS，虽然是通用的，但它是一个标准化的工具，用于评估mEducator3.0 MELINA+的绝对可用性，因此它可以与系统的其他实例相比较。第二种仪器是定制的，以满足研究的需要。此外，在评价会议期间所作的实地记录被用作三角测量目的的额外数据来源。

值得注意的是，在整个研究范围内已经实施了额外的评估方法，包括访谈、观察性案例研究、截图捕捉和在mediucator组织的不同评估活动中自动跟踪活动。然而，这些评价事件为告知初始设计和获取用户偏好和用户态度提供了空间。来自这些不同数据源的结果主要用于在项目初始阶段告知mediucator系统的第一个原型，在本研究中没有报道。然而，本研究报告的最终评估旨在实现更具体和重要的目标，如向医学界提出建议。

教育者解决方案(教育者2.0和教育者3.0)是一系列工具的一部分。这些工具旨在根据相同的元数据模式收集结构化数据。这些工具的功能允许用户最大限度地控制搜索过程，访问详细但可理解的结果，以便非常迅速地知道所检索的信息是否链接到可访问的内容，并且能够以有效的方式浏览信息，即使他们不完全确定他们在寻找什么。

在使用教育者服务时，用户的主要目标是以最有效的方式找到他们需要的资源。促进和指导查询公式是教育者工具的主要目标之一。需要注意的是，虽然大多数通用Web搜索引擎主要处理非结构化数据(以及少量结构化数据)，但educoator几乎只包含与educoator元数据模式兼容的数据，这极大地简化了查询表述中的指导过程。

不同的educator实例化提供了不同的搜索选项。mEducator2.0只搜索内容，而mEducator3.0系统还允许搜索成员，其中一些系统(例如MetaMorphosis+和MELINA+)允许搜索更详细的内容类型，如练习、模拟、演示或虚拟患者。它们甚至允许对结果的显示或排序进行一些控制。系统共享的一个重要选项是选择资源语言的选项。

本研究的目标是实现一个基于场景的meducatorbpn (mEducator3.0/MELINA+)实例的评估方法框架，以评估所使用的元数据模式以及系统的整体可用性和用户的接受度。该研究定义了在多大程度上覆盖了教育者目标用户的信息需求，并证明了在教育者3.0解决方案的MELINA+实例化中实现的元数据模式支持从最终用户的角度搜索、检索和共享内容。该研究从方法学的角度来看是原创的，因为它实现了基于场景的评估，用于评估内容共享技术，包括最终用户、内容和技术之间的交互。所获得的建议和经验教训(来自内容描述元数据、内容描述过程和重新使用的内容的知识产权)、整个框架和评估结果会影响研究人员、医疗专业人员或其他对在其他领域使用类似系统进行教育内容共享感兴趣的团体。