本文内容如下e-collection /主题问题:

数字健康评论(680) 新方法(630) 大数据(158) 电子健康的可视化(51)

发表在在第22卷第12期(2020年):12月

本文的预印本(早期版本)可在https://preprints.www.mybigtv.com/preprint/17892，首次出版．
人口健康和卫生服务研究中的可视化分析工具和技术:范围综述

人口健康和卫生服务研究中的可视化分析工具和技术:范围综述

人口健康和卫生服务研究中的可视化分析工具和技术:范围综述

本文作者:

贾瓦德·艾哈迈德·奇什蒂1 2 3 4 作者Orcid图片； Jean-Sebastien玛珊德5 作者Orcid图片； 卢克·特科特3、6 作者Orcid图片； Iwona Anna Bielska7、8 作者Orcid图片； 杰西卡Babineau9 作者Orcid图片； 莫妮卡Cepoiu-Martin10 作者Orcid图片； 迈克尔欧文11、12 作者Orcid图片； 萨拉万成14 13 14 作者Orcid图片； 莎莉Abudiab1 作者Orcid图片； Marko Bjelica1、4 作者Orcid图片； 萨马侯赛因15 作者Orcid图片； 穆罕默德伊姆兰16 作者Orcid图片； 塔拉Jeji2 作者Orcid图片； 苏珊Jaglal15 作者Orcid图片
文章 作者 引用的 Tweetations (10) 指标

    审查

    1康复科学研究所，医学院，多伦多大学，多伦多，安大略省，加拿大

    2高级分析，加拿大健康信息研究所，加拿大安大略省多伦多

    3.安大略神经创伤基金会，多伦多，安大略省，加拿大

    4多伦多康复研究所，大学保健网，安大略省多伦多

    5加拿大魁北克舍布鲁克大学

    6滑铁卢大学公共卫生与卫生系统学院，滑铁卢，安大略省，加拿大

    7加拿大安安州汉密尔顿市麦克马斯特大学卫生研究方法、证据和影响系

    8麦克马斯特大学卫生经济和政策分析中心，安大略省汉密尔顿

    9图书馆和信息服务，大学卫生网络，多伦多，安大略省，加拿大

    10健康数据智能实验室，卡尔加里大学卡明医学院，加拿大卡尔加里

    11英属哥伦比亚大学数学系，加拿大温哥华市

    12不列颠哥伦比亚省疾病控制中心，加拿大不列颠哥伦比亚省温哥华

    13多伦多大学职业科学与职业治疗系，加拿大安大略省多伦多

    14多伦多大学卫生政策、管理和评估研究所，安大略省多伦多

    15多伦多大学医学院物理治疗系，安大略省多伦多

    16巴基斯坦伊斯兰堡卫生服务学院流行病学和公共卫生系

    通讯作者:

    Jawad Ahmed Chishtie，理学硕士，医学博士

    康复科学研究所

    医学院

    多伦多大学

    大学大道500号851号

    多伦多，接通，M5G 1V7

    加拿大

    电话:1 416 946 7902

    电子邮件:jac161@gmail.com


    背景:视觉分析(VA)使用分析和视觉引擎，通过可视化、交互式技术促进对数据的理解。分析引擎包括自动化技术，而常见的视觉输出包括流图和时空热点。

    摘要目的:本综述旨在解决文献中的一个空白，具体目标是综合关于在人口健康和卫生服务研究(HSR)的相关卫生保健领域使用VA工具、技术和框架的文献。

    方法:该综述采用2018年PRISMA-ScR(系统评价首选报告项目和范围评价的元分析扩展)指南，重点关注2005年至2019年3月的同行评议期刊文章和完整的会议论文。每一步都有两名研究人员参与，另一名研究人员进行仲裁。一个综合的抽象平台从不同的文献主体中捕获数据，主要来自计算机和健康科学。

    结果:在筛选了11,310篇文章后，我们综合了55篇文章的结果，主要标题包括可视化和分析引擎、可视化表示特征、使用的工具及其功能、在医疗保健领域的应用、数据类型和来源、VA框架、用于VA应用的框架、可用性和创新以及协同设计举措。我们发现VA方法广泛应用于流行病学、监测和建模、卫生服务获取、使用和成本分析等领域。所有文章都包含一个独特的分析和可视化引擎，并提供了不同程度的细节。大多数工具都是原型，在发表时有5个正在使用。七篇文章介绍了方法框架。为了保持报告的一致性，我们提出了一份清单，并对VA在医疗保健中的应用进行了扩展定义，以帮助研究人员共享研究，以获得更大的可复制性。我们在Tableau仪表板中总结了结果。

    结论:随着大型医疗保健数据的可用性和生成的不断增加，VA是一种快速增长的用于复杂医疗保健数据的方法。VA的创新之处在于它能够处理多个不同的数据源，以展示用于探索性分析的趋势和模式，从而导致知识生成和决策支持。这是第一次综述，旨在弥补关于VA方法应用于人口健康和高铁领域的文献中的关键差距，这进一步表明了未来采用这些方法的可能途径。在COVID-19监测和应对举措之后，这项审查尤其重要，其中许多VA产品占据了中心舞台。

    国际注册报告标识符(IRRID):rr2 - 10.2196/14019

    中国医学杂志，2020;22(12):e17892

    doi: 10.2196/17892

    关键字

    视觉分析； 机器学习； 数据可视化； 数据挖掘； 人口健康； 卫生服务研究； 移动电话


    背景

    视觉分析(VA)是一个15年前在文献中正式引入的术语[1，2］．它描述了一种半自动化的电子数据处理方法，由能够通过接口与数据交互的用户指导[3.，4］．从本质上讲，VA将大量定量或定性信息转换为图形格式，可以根据操作员的需要进行修改[4，5］．产生的视图可以被不同背景的用户使用，以更好地理解数据，交流结果，并在广泛的学科范围内传播信息[6，7］．

    在过去十年中，VA的实施和使用在医疗保健系统的许多部门蓬勃发展[8］．人口健康研究包括研究与人口之间和人口之间的健康结果和决定因素有关的数据[9，10]，而卫生服务研究(HSR)则探讨卫生保健系统及其劳动力在可及性、质量、成本和患者结果方面的功能[11，12］．这两个领域都涉及对大数据的分析，包括通过临床数据库、管理数据集或电子健康记录收集的信息[13-15］．VA为临床医生、研究人员、决策者和消费者等健康数据用户提供了可视化探索和解释复杂数据集的机会，以指导决策制定和知识发现[3.，16］．

    基本原理

    尽管研究人员指出，缺乏关于VA在各个部门应用程度的文献[3.]，我们确定了4个最近的系统综述，涵盖了VA在医疗保健中的不同应用领域。Islam等人2018年的论文[17是关于数据挖掘在医疗保健领域应用的最全面的综述之一。然而，该综述仅限于医疗保健数据的挖掘方法，并没有主要涵盖VA。Chung等人最近发表的综述[8与退伍军人事务部在精神卫生保健系统和政策中的方法有关。被引用最多的系统综述之一是West等人[18]关于在电子病历中使用可视化技术以实现知识发现。虽然这些综述涵盖了医疗保健可视化和分析的广泛领域的一些方面，但没有一个关注人口健康和高铁领域。

    一个看似紧密的文献综合是Wu等人的综述[19医学信息学中的可视化和VA技术用于表征评估方法。然而，这篇论文和我们的综述之间有显著的区别。首先，他们的回顾[19]与卫生信息学这一主题领域有关，这一领域几乎完全与护理提供背景下的患者数据有关。该学科领域的经典定义是"信息技术在医疗保健服务中的应用" [20.］．第二，Wu等[19]涵盖了VA应用程序的评估方法，而不是VA应用程序本身。我们的范围审查集中在与VA在人口健康和高铁中的应用相关的方法，而不是评估方法。

    通过这篇综述，我们试图弥合在人口健康和高铁相关和重叠领域使用VA工具、技术和框架的文献中的关键差距。据我们所知，最近的系统文献综合没有集中在这些领域的医疗保健或覆盖VA工具和技术，我们在这一范围综述。

    为了回应这一更广泛的概念，本范围审查确定并综合了来自英语同行评议来源的结果，这些来源在人口健康和HSR中使用了VA方法和方法。这种文献的综合将有助于研究人员、从业者和决策支持分析人员(1)探索在人口健康和高铁等重要卫生保健领域使用创新VA方法的最近趋势，(2)学习方法框架，(3)采用这些技术以满足数据驱动的见解日益增长的需求。此外，本文还介绍了VA应用程序开发和应用的设置以及预期的目标受众。在参与式共同设计活动中使用VA技术的背景下，这些信息是重要的。

    目标

    本综述的目的是(1)确定VA方法在人口健康和HSR中的使用范围和性质;(2)从这两个卫生保健领域的同行评审文献中总结方法工具、技术和框架。


    方案和总体范围审查方法

    研究方案先前已发表，详细说明了研究策略和方法[21］．我们主要遵循Joanna Briggs Institute关于范围审查的指导方针[22]以及Arksey和O 'Malley为进行范围审查而制定的框架[23]，并根据Levac等人的建议进行改进[24]和彼得斯等人[25]用于概念化人口、概念和研究的背景，特别是考虑到基于方法的回顾的背景。

    我们进一步使用了Tricco等人工作中的系统评价和元分析范围评价扩展的首选报告项目(PRISMA-ScR)检查表[26]以实施不同的步骤，同时在审查期间为适应提供里程碑和指导方针。检查表显示在多媒体附件1．我们按照期刊的指导方针来准备手稿。系统范围综述的主要方法步骤包括确定研究问题;确定相关研究;标题、摘要、全文筛选;数据抽象;以及结果的整理、总结和报告。

    合格标准

    纳入和排除标准在文本框1而且2,分别。在筛选阶段纳入的论文需要有VA中心部分，重点是人口健康或HSR。在临床环境下进行的或专注于单一疾病、没有人口或卫生服务组成部分的研究未纳入本次综述。本节稍后将详细介绍所有概念的操作定义。

    文章选择的收录标准。

    入选标准

    • 同行评审或会议论文
    • 2005年1月1日至2019年3月31日
    • 人口健康或卫生服务研究(HSR)相关
    • 具有人口水平或HSR指标的文章:发病率、流行率、时间和空间上的事件、时空、获取、利用、疾病或状况分布以及健康的社会或多种决定因素
    • 带有分析引擎和可视化引擎的文章
    • 带有探索性数据分析技术的文章
    • 电子病历和电子健康档案的条款
    • 带有指示板的文章，使用显式分析引擎提供数据
    • 带有自动分析、数据挖掘技术、交互工具和迭代分析的文章
    文本框1。文章选择的收录标准。
    文章的排除标准。

    排除标准

    • 非英语的文章
    • 社论、项目、评论、书籍章节、短论文或报告
    • 医学影像文章
    • 在临床环境中进行的研究，没有人口水平或卫生服务研究组成部分
    • 来自单一医院或单位的针对个人情况的物品，如重症监护、手术、麻醉，不包含人口水平或卫生服务研究(HSR)部分
    • 关于没有人口水平或高铁组件的设备或传感器数据的文章
    • 缺乏分析方法或分析引擎的研究
    • 制图或地理信息系统(GIS)方法
    文本框2。文章的排除标准。

    人口健康和高铁的主要目标之一是更好地了解疾病分布和公平护理的障碍。我们纳入了这些组成部分和人口健康的相关指标，如发病率、患病率和随时间和空间变化的事件，以指导我们描述专注于临床或个人疾病或病例的研究。例如，如果糖尿病仪表盘显示了在医院环境中对个人的临床护理，如血糖或糖化血红蛋白水平，则将其排除在外。然而，如果糖尿病仪表盘显示人口在医院集水区的糖化血红蛋白水平中，它被包括在内，因为它具有人群水平的组成部分。没有分析引擎的研究被排除在外。最后，非英文的文章和非同行评审的工作，如社论、项目、短篇论文、会议摘要和报告，被排除在外。

    在筛选过程中，资格标准被修改了两次。后来，总共有4项被添加到排除标准中:在临床环境中进行的无人群水平成分的研究，关于设备或传感器数据的文章，与制图方法相关的文章，与地理信息系统(GIS)技术相关的文章。然而，具有GIS组件涵盖时空数据(有时被称为geo-VA)的VA文章也包括在综述中。图1显示用于选择文章的简化决策树。

    ‎
    图1。决策树评估文章的资格。
    查看此图

    范围审查时间表

    我们能够将VA一词的首次正式使用追溯到托马斯和库克在2005年的开创性工作[2，3.］．由于该术语是在国防领域使用的，我们预计在采用该方法和在保健领域使用该术语方面会有一段滞后时间。基于这些原因，我们的多学科团队决定纳入2005年1月1日至2019年3月31日的文章。

    信息来源

    完整的电子查册策略载于多媒体附件2．它是由研究团队通过迭代过程开发的，其中包括一个信息专家(JB)。在MEDLINE中进行了初步搜索，随后回顾了前100篇文章摘要，以改进搜索策略。然后，由第二位信息专家使用电子搜索策略(PRESS)指南对搜索策略进行同行评审。2019年4月，使用关键字和特定学科词汇(例如，医学主题标题[MeSH]， Emtree;表1)．我们在已发布的协议中详细介绍了搜索策略、使用的关键字以及概念的操作化[21］．

    表1。数据库和搜索结果。
    数据库 平台 搜索结果(n=14,099)， n
    MEDLINE OvidSP 4633
    EMBASE OvidSP 1880
    网络科学核心集合 科学网 5396
    核心期刊 工程村 1267
    IEEE Xplore IEEE 151
    收集 工程村 772

    使用评审管理软件Covidence对搜索结果进行管理，包括导入参考文献、筛选引用和冲突解决[27］．重复项分3个阶段去除。首先，在EndNote (Clarivate Analytic)中检查引文的重复，然后用Covidence (Veritas Health Innovation)系统评审软件进行重复识别。最后，在全文审查时手动删除重复项。

    为了补充数据库搜索，我们使用谷歌和谷歌Scholar搜索引擎进行了互联网搜索，并手动搜索了10种被认为与研究问题相关的期刊。这些都是应用临床信息学，医疗保健程序中的视觉分析，IEEE生物医学信息技术汇刊，医学互联网研究杂志，医学系统杂志，美国医学信息协会杂志，卫生事务，生物医学信息学杂志，医疗保健信息学研究,《公共科学图书馆•综合》．我们进一步回顾了医疗保健中的视觉分析会议记录，该会议与美国医疗信息协会和IEEE VIS会议合作，每隔一年举行一次。此外，我们还回顾了在文章筛选过程中确定的另外13篇系统性和叙述性主题相关评论的参考文献[7，16-19，28-35］．

    证据来源的选择

    证据来源的选择过程分为两个阶段。首先，为了增强团队中评审人员之间的一致性，我们开会讨论了纳入和排除标准。我们随机选择了50篇文章，每个审稿人筛选标题和摘要。在这个初始的试点评估之后，我们讨论了过程、标准、冲突、歧义和遇到的困难。这一试验阶段导致了对纳入和排除标准的轻微调整。这种迭代的方法，与证据来源的选择说明图2．在第二阶段，需要2名审稿人进行标题和摘要的筛选，以及全文的筛选。在这两种情况下，冲突都由另一个审稿人解决了。

    ‎
    图2。试点评估和修订证据来源选择标准。
    查看此图

    数据图表

    数据图表表单是专门为这次回顾而开发的，并在随机选择的3篇文章中进行了试点，以细化抽象类别。每篇文章被分配给2名独立的研究人员。第三位研究人员在需要时对抽象进行仲裁、更正和验证。对于特定的抽象字段，我们遵循中详细的定义操作概念和定义部分。

    数据项和结果综合

    数据抽象基于5个主要类别:(1)研究特征(如国家、问题、环境、目标受众);(2)框架、工具和使用的技术(如工具名称、遵循的框架);(3)分析和可视化方法和使用的引擎(例如，分析引擎，数据类型，使用的数据);(4)卫生保健领域和采取的措施类型(如人口健康、卫生服务);(5)研究工具的创新、影响、可用性，以及是否与目标受众共同设计。根据概念操作化和文章抽象过程中开发的主要模式，将结果编译成这些主要类别下的表。

    操作概念和定义

    我们最初的文献检索发现，人口健康、高铁和VA这三个主要概念的定义不同，术语使用不一致。为了将这些术语转化为可操作的定义，我们采取了三管齐下的策略，研究了影响深远的文献、最近的系统综述和MEDLINE的主题树。虽然搜索词及其来源在研究方案中有详细说明[21]，我们详细介绍了下面的操作化概念。

    人口健康与高铁

    定义为"预防疾病的科学和艺术" [36]，人口健康是公共卫生这一更大概念的一部分。虽然专家们试图发展一种与公共和人口健康有关的共同语言[37]，人口健康作为MeSH术语最近才于2018年加入MEDLINE [38］．金和斯托达特[9，10]将人口健康定义为“一组个人的健康结果，包括这种结果在该组内的分布”，其中包括“健康结果、健康决定因素的模式以及将这两者联系起来的政策和干预措施”。我们发现金丁和斯托达特对人口健康的扩展定义[9，10适合我们的审查包括这一地区的广大性质。为了调整搜索词，我们研究了由英国国家健康与护理卓越研究所创建的国家公共卫生语言[39]，详细的数据库树，以及5篇最近的综述[40-44］．

    加拿大卫生研究院将HSR定义为“以提高卫生专业人员和卫生保健系统的效率和有效性为目标的研究”[11］．人口健康和高铁是相互交织的概念，研究和实践领域相互重叠，首先是通过人口视角研究问题，其次是通过卫生系统和服务视角。的人口健康方针将两者结合起来应用于卫生部门改革，使研究人员能够制定组织和提供卫生保健的建议[41，45］．

    以最近4篇评论为指引[45-48]以及国家医学图书馆开发的高铁过滤器[49]，我们将这一概念转化为搜索策略。特别是高铁，我们在综述中纳入了关于获得、利用和卫生服务成本的研究。

    VA:分析与交互视觉引擎

    托马斯和库克的开创性工作[2他将VA定义为“通过交互式视觉界面促进分析推理的科学”。后来，Keim等人[3.)将这一概念扩展为“具有交互式可视化的自动化分析技术，可以在非常庞大和复杂的数据集的基础上进行有效的理解、推理和决策。”虽然这些定义提供了VA广阔领域的高级概念化，但我们需要一个简化的、更全面的概念性定义，以帮助将VA方法和应用于医疗保健。因此，我们选择使用Ola和Sedig对VA在医疗保健中的应用的扩展定义[50]，包括分析和交互式可视化引擎。通常，分析引擎涉及数据存储、转换和分析，而可视化引擎提供数据操作和显示的功能[50］．

    分析引擎可以采用先进的统计和机器学习(ML)技术来实现各种功能。例如，使用ML算法的提取、转换和加载引擎可以将可视化引擎用于生成可视化的数据库组合在一起[50］．为了审查及其对人口健康和高铁的关注，我们避免使用人工智能一词。

    ML是人工智能方法的一个子集，包括将模型与数据拟合，以及通过使用数据训练模型来学习[51］．我们将重点放在诸如聚类、分类和用于展示分析引擎的主要技术的算法等任务上。

    由于计算能力所提供的可视界面的操作，交互性是VA应用程序的最新特征之一[50］．我们借鉴了Ola和Sedig的作品[50]和派克等人[52定义交互性根据分析界面上的一个或多个可用指标向用户反映数据可视化表示中的变化的能力。派克等人[52将交互元素分为两种主要类型:低水平旨在改变视觉表征来研究模式、关系等更高的水平这提供了一种理解交互本身对知识发现的意图。为了选择适当的文献作为范围审查的一部分，我们将重点放在较低层次的交互上，其中包括通过在可视化界面上提供菜单、下拉菜单和其他选项来过滤、确定范围、发现异常、聚类等任务。

    此外，为了操作与VA相关的搜索词，我们研究了4篇最近的综述[7，17-19]，此外还有9篇开创性论文[6，16，53-59］．

    分析类型和能力，设置和目标受众

    为了操作应用程序在用例中针对的分析类型，我们采用了Islam等人的工作[17关于医疗保健中的数据挖掘技术。分析被定义为“通过分析、解释和交流数据来发现知识”[17］．

    与分析能力相关，应用程序主要被分为描述性、预测性或说明性分析，用于对复杂数据集或这些数据集的组合进行可视化探索。描述性分析被定义为“在数据集中探索和发现信息”，预测分析被定义为“基于历史数据预测即将发生的事件”，而说明性分析被定义为“利用场景来提供决策支持”[17］．尽管对复杂数据集的可视化探索可以被视为描述性分析能力的扩展，但我们将其作为一个单独的类别。

    我们从所收录文章的不同部分收集信息，根据作者提到的方法、工具或其用户的潜在应用，获得研究环境和受众。

    工具、应用程序和框架

    工具被定义为用于开发应用程序以解决特定问题的软件，而应用程序是一个或多个软件程序，使用用于数据分析和可视化的代码或前端编程。

    框架在研究中形成基础，骨干，或蓝图知识是建立在这个基础上的[60］．因此，我们选择研究形成应用基础的框架，以更好地定位VA文献，并帮助定义方法的镜头、视角和概念背景。我们将框架定义为镜头或调查视角的延伸，其结构允许方法的一致性、适应性、报告、理解和可复制性。鉴于我们的审查是基于方法的，我们没有区分理论框架或概念框架[60］．

    用例和数据源

    用例定义为将该方法应用于与人口健康或HSR相关的实际数据集、源或模拟数据。我们研究了用例是包含单个数据源还是多个数据源。应用程序的目标是通过研究该应用程序、工具或方法是用于决策支持、知识发现或两者兼而有之来确定的。

    卫生保健领域

    最后，我们调整了伊斯兰教等人的医疗保健领域[17来代表人口健康、高铁或两者兼而有之。我们进一步将人口健康相关的文章分为临床、人口学、流行病学、时空或这些类别的组合。临床类别将包括一种疾病，人口类别将包括任何与人口相关的特征，如年龄，流行病学类别将包括疾病分布和动态，时空类别将包括随时间和空间发生的事件。预计条款内的类别之间会有重叠。

    协同设计和知识转换

    知识翻译是一个广泛应用于不同语境的术语，侧重于将研究证据转化为政策和实践[61］．尽管我们最初对审查的概念与用于决策的知识共同创造有关，但我们意识到，为了审查的目的，更好的方法是考虑合作设计方法，特别是在应用程序的开发阶段。我们使用了Ward等人在医疗保健中共同设计的定义[62它包括渴望改变的卫生工作者、患者和设计师之间的伙伴关系，依靠共享的知识来实现更好的结果或效率的提高．

    共同设计的应用程序将在知识转移和决策支持方面具有更好的可行性和吸收率。我们研究了在应用程序开发过程中，作者是否涉及涉众或目标受众。我们没有研究协同设计方法和途径，因为这不是审查的目标。


    文章选择

    我们通过联合数据库搜索确定了14099篇文章。使用EndNote，在2个不同版本(X7和X9)上运行的6次迭代中以电子方式删除了2078个重复项。在向Covidence输入12021张唱片时，又删除了711张重复的唱片。我们筛选了11,310篇文献的标题和摘要，其中10,819篇(95.65%)被排除在外。我们从筛选过程中确定的4篇系统综述中又确定了57篇参考文献[8，17-19和手工搜索。结果汇总在Tableau仪表板中[63］．

    在纳入全文评估的491篇文献中，436篇(88.8%)被排除。排除的原因是缺乏可视化组件(n=103)，缺乏分析引擎(n=57)，会议摘要和社论(n=53)，非人口健康或高铁路(n=44)，临床医学相关(n=35)，短论文(n=31)，副本(n=22)，制图和GIS方法(n=16)，无用例(n=13)，非卫生部门(n=13)，书籍章节(n=11)，评论(n=6)，传感器或设备(n=3)，感官或计算机视觉或人机交互(n=3)，VA方法的发展(n=3)、医学影像学(n=2)、基因组学(n=1)、非英语语言(n=1)以及其他原因(n=18)。总的来说，有55篇文章被纳入抽象化。PRISMA-ScR流程图如图所示图3．

    ‎
    图3。用于文章选择的PRISMA(系统评价和元分析首选报告项目)图表。VA:视觉分析。
    查看此图

    研究特点、环境和目标受众

    研究的国家是从VA应用程序的实际用例中确定的。纳入分析的55项研究来自19个国家，包括美国(24/ 55,44%)、加拿大(5/ 55,9%)和德国(3/ 55,5%)。详情载于多媒体［64-118］．

    就研究进行的环境而言，研究最常作为政府单位(包括部委或卫生部门)的一部分或参与进行(38/ 55,69%)，其次是学术环境(35/ 55,64%)，政府和学术混合环境(18/ 55,33%)和行业(3/ 55,5%)。预期目标受众是人口健康和高铁社区(53/ 55,96%)、学术研究人员和数据科学家(47/ 55,85%)、临床医生(21/ 55,38%)、临床医生和人口健康和高铁从业者(21/ 55,38%)、政策和决策者(7/ 55,13%)、消费者和公众(5/ 55,9%)以及行业(3/ 55,5%)。表2详细介绍了研究环境，而表3所收录论文的目标读者细节。

    表2。用例的设置。
    设置 值，n (%) 研究(引用)
    学术 38 (69) Abusharekh等人，2015 [67];Afzal等人，2011 [85];阿里等，2016 [68];阿隆索等人，2012 [92];Antoniou等人，2010 [93];Benis等，2017 [89];Bryan等人，2015年[64];伯德等人，2016 [94];Chorianopoulos等人，2016 [96];加西亚-马蒂等人，2017 [97];Gotz等人，2014 [76];郭等，2007 [69];Hardisty等人，2010 [One hundred.];洪德等人，2016 [90];Ji等，2012 [102];Ji等，2013 [81];蒋等，2016 [103];Kaieski等人，2016 [104];Katsis等人，2017 [105];Kostkova等人，2014 [75];Lavrac等，2007 [70];卢等，2017 [71];Luo等，2016 [78];Maciejewski等人，2010 [107];Maciejewski等人，2011 [79];Marek等人，2015 [108];Ozkaynak等人，2015 [111];Park等，2018 [112];Perer等人，2015 [113];Proulx等人，2006 [114];Shaban-Nejad等，2017 [84];Tate等人，2014 [87];Widanagamaachchi等人，2017 [72];邢等，2010 [91];徐等，2013 [73];严等，2013 [118];于等，2017 [82];于等，2018 [74］
    政府、部委或卫生部门 35 (64) Abusharekh等人，2015 [67];Afzal等人，2011 [85];阿隆索等人，2012 [92];Antunes de Mendonca等，2015 [86];Baytas等人，2016 [80];Benis等，2017 [89];Bryan等人，2015年[64];Castronovo等人，2009 [77];陈等，2016 [95];Dagliati等人，2018 [66];Deodhar等人，2015 [65];Gligorijevi等人，2017 [98];Haque等人，2014 [99];Hardisty等人，2010 [One hundred.];黄等，2015 [101];蒋等，2016 [103];金朋等，2017 [83];Kaieski等人，2016 [104];Kruzikas等人，2014 [106];Lavrac等，2007 [70];卢等，2017 [71];Maciejewski等人，2011 [79];Mitrpanont等人，2017 [109];Mittelstadt等人，2014 [110];Ozkaynak等人，2015 [111];Proulx等人，2006 [114];Shaban-Nejad等，2017 [84];Soulakis等人，2015 [115];Tilahun等，2014 [88];Toddenroth等人，2014 [116];托雷斯等人，2012 [117];徐等，2013 [73];严等，2013 [118];于等，2017 [82];于等，2018 [74］
    学术和政府或部委或卫生部门 18 (33) Abusharekh等人，2015 [67];Afzal等人，2011 [85];阿隆索等人，2012 [92];Benis等，2017 [89];Bryan等人，2015年[64];Hardisty等人，2010 [One hundred.];蒋等，2016 [103];Kaieski等人，2016 [104];Lavrac等，2007 [70];卢等，2017 [71];Maciejewski等人，2011 [79];Ozkaynak等人，2015 [111];Proulx等人，2006 [114];Shaban-Nejad等，2017 [84];徐等，2013 [73];严等，2013 [118];于等，2017 [82];于等，2018 [74］
    行业 3 (5) Gotz等人，2014 [76];Perer等人，2015 [113];于等，2018 [74］
    表3。用例的目标受众。
    目标受众 值，n (%) 研究(引用)
    人口或公共卫生和卫生服务研究从业人员 53 (96) Abusharekh等人，2015 [67];Afzal等人，2011 [85];阿里等，2016 [68];阿隆索等人，2012 [92];Antoniou等人，2010 [93];Baytas等人，2016 [80];Benis等，2017 [89];Bryan等人，2015年[64];伯德等人，2016 [94];Castronovo等人，2009 [77];陈等，2016 [95];Chorianopoulos等人，2016 [96];Dagliati等人，2018 [66];Deodhar等人，2015 [65];加西亚-马蒂等人，2017 [97];Gligorijevi等人，2017 [98];Gotz等人，2014 [76];郭等，2007 [69];Haque等人，2014 [99];Hardisty等人，2010 [One hundred.];黄等，2015 [101];洪德等人，2016 [90];Ji等，2012 [102];Ji等，2013 [81];蒋等，2016 [103];金朋等，2017 [83];Kaieski等人，2016 [104];Katsis等人，2017 [105];Kostkova等人，2014 [75];Kruzikas等人，2014 [106];Lavrac等，2007 [70];卢等，2017 [71];Luo等，2016 [78];Maciejewski等人，2011 [79];Marek等人，2015 [108];Mitrpanont等人，2017 [109];Mittelstadt等人，2014 [110];Ozkaynak等人，2015 [111];Park等，2018 [112];Perer等人，2015 [113];Proulx等人，2006 [114];Shaban-Nejad等，2017 [84];Soulakis等人，2015 [115];Tate等人，2014 [87];Tilahun等，2014 [88];Toddenroth等人，2014 [116];托雷斯等人，2012 [117];Widanagamaachchi等人，2017 [72];邢等，2010 [91];徐等，2013 [73];严等，2013 [118];于等，2017 [82];于等，2018 [74］
    学者和数据科学家 47 (85) Abusharekh等人，2015 [67];Afzal等人，2011 [85];Antoniou等人，2010 [93];Baytas等人，2016 [80];Bryan等人，2015年[64];伯德等人，2016 [94];Chorianopoulos等人，2016 [96];Dagliati等人，2018 [66];Deodhar等人，2015 [65];加西亚-马蒂等人，2017 [97];Gligorijevi等人，2017 [98];Gotz等人，2014 [76];郭等，2007 [69];Haque等人，2014 [99];Hardisty等人，2010 [One hundred.];黄等，2015 [101];洪德等人，2016 [90];Ji等，2012 [102];Ji等，2013 [81];蒋等，2016 [103];金朋等，2017 [83];Kaieski等人，2016 [104];Katsis等人，2017 [105];Kostkova等人，2014 [75];Kruzikas等人，2014 [106];Lavrac等，2007 [70];卢等，2017 [71];Luo等，2016 [78];Maciejewski等人，2010 [107];Maciejewski等人，2011 [79];Marek等人，2015 [108];Mitrpanont等人，2017 [109];Mittelstadt等人，2014 [110];Ozkaynak等人，2015 [111];Park等，2018 [112];Perer等人，2015 [113];Proulx等人，2006 [114];Tate等人，2014 [87];Tilahun等，2014 [88];Toddenroth等人，2014 [116];托雷斯等人，2012 [117];Widanagamaachchi等人，2017 [72];邢等，2010 [91];徐等，2013 [73];严等，2013 [118];于等，2017 [82];于等，2018 [74］
    临床医生 21 (38) Abusharekh等人，2015 [67];阿隆索等人，2012 [92];Antoniou等人，2010 [93];Baytas等人，2016 [80];Benis等，2017 [89];Bryan等人，2015年[64];Chorianopoulos等人，2016 [96];Dagliati等人，2018 [66];Gotz等人，2014 [76];Haque等人，2014 [99];黄等，2015 [101];洪德等人，2016 [90];卢等，2017 [71];Mitrpanont等人，2017 [109];Mittelstadt等人，2014 [110];Ozkaynak等人，2015 [111];Perer等人，2015 [113];Soulakis等人，2015 [115];Toddenroth等人，2014 [116];Widanagamaachchi等人，2017 [72];徐等，2013 [73］
    政策制定者和决策者 7 (13) Ji等，2013 [81];Kruzikas等人，2014 [106];Maciejewski等人，2011 [79];Mitrpanont等人，2017 [109];Tilahun等，2014 [88];托雷斯等人，2012 [117];于等，2017 [82］
    消费者和公众 5 (9) Antunes de Mendonca等，2015 [86];Ji等，2013 [81];Kaieski等人，2016 [104];Maciejewski等人，2011 [79];于等，2017 [82］
    工业(软件、制药和保险) 3 (5) Gotz等人，2014 [76];Perer等人，2015 [113];于等，2018 [74］

    与可视化和分析相关的术语

    我们在文章中搜索了VA的使用及其变体。表示使用VA的术语包括“可视化”(52/ 55,95%)、“视觉分析”(29/ 55,53%)、“分析”(16/ 55,29%)和“视觉分析方法”(8/ 55,15%)。“视觉分析”一词最常用的年份是2009年和2017年。由于在绝大多数文章中都提到了可视化，用于分析引擎的替代术语包括数据挖掘和ML技术。图4按年显示术语的使用情况。

    ‎
    图4。2005年1月1日至2019年3月30日使用的术语。
    查看此图

    工具名称、分析能力和目标

    与特定工具的使用相关，提到工具或基础应用程序名称的文章(34/ 55,68%)被列在文本框3．

    在分析能力方面，这些工具主要用于描述性分析(52/ 55,95%)，复杂数据集的探索性分析(23/ 55,42%)和预测分析(13/ 55,24%)。没有关于规定性分析的文章。在工具分析能力的重叠中，有3项研究(5%)提到了描述性和预测性分析能力以及对复杂数据集的可视化探索[64-66］．有11个应用程序同时具有描述和预测分析功能[64-74］．

    我们进一步将应用程序、工具或方法是否以人口健康和高铁决策支持、知识发现为目标，或两者兼而有之作为其目标。应用目标有重叠:决策支持(44/ 55,80%)，知识发现(35/ 55,64%)，或者两个目标都有(29/ 55,53%)。

    工具和基础应用程序的名称(如果提供)。

    Abusharekh等人，2015 [67］

    • H-Drive;基于R的信息分析

    阿里等，2016 [68］

    • ID-Viewer

    阿隆索等人，2012 [92］

    • 基于Matlab的EPIPOI

    Antoniou等人，2010 [93］

    • dAUTObase

    Antunes de Mendonca等，2015 [86］

    • 基于Triplify, SQL, PHP和SPARQL EndPoint

    Baytas等人，2016 [80］

    • PhenoTree

    Benis等，2017 [89］

    • DisEpi, R-based

    Bryan等人，2015年[64］

    • EpiSimS

    陈等，2016 [95］

    • SaTScan软件

    Chorianopoulos等人，2016 [96］

    • Flutrack.org

    Dagliati等人，2018 [66］

    • 马赛克仪表板;R和Matlab数据挖掘;JavaScript;HTML;谷歌图形用户界面图表

    Deodhar等人，2015 [65］

    • EpiCaster

    Haque等人，2014 [99］

    • Microsoft SQL Server的BI工具栈和ASP。网

    Hardisty等人，2010 [One hundred.］

    • LISTA-Viz

    洪德等人，2016 [90］

    • Sub-VIS;基于D3。JS2

    Ji等，2012 [102］

    • ESMOS(疫情情绪监测系统)

    Ji等，2013 [81］

    • ESMOS(疫情情绪监测系统)

    蒋等，2016 [103］

    • Health-Terrain

    金朋等，2017 [83］

    • 社区福利评估系统(CWBAS)

    Kaieski等人，2016 [104］

    • Vis-Health

    Kostkova等人，2014 [75］

    • 读出+板

    Lavrac等，2007 [70］

    • MediMap

    卢等，2017 [71］

    • 南安普顿乳腺癌数据系统(SBCDS)

    Luo等，2016 [78］

    • GS-EpiViz

    Maciejewski等人，2011 [79］

    • PanViz

    Marek等人，2015 [108］

    • R与时空，gstat和plotKML;还有地球

    Mitrpanont等人，2017 [109］

    • SAGE2

    Ozkaynak等人，2015 [111］

    • 事件流和离散时间马尔可夫链

    Perer等人，2015 [113］

    • 护理路径探索者

    Proulx等人，2006 [114］

    • nSpace和GeoTime

    Shaban-Nejad等，2017 [84］

    • 人口健康记录

    Tate等人，2014 [87］

    • TrialViz

    严等，2013 [118］

    • 综合征监测系统

    于等，2017 [82］

    • 患者-提供者地理地图

    于等，2018 [74］

    • 沃森分析

    Afzal等人，2011 [85];伯德等人，2016 [94];Castronovo等人，2009 [77];加西亚-马蒂等人，2017 [97];Gligorijevi等人，2017 [98];Gotz等人，2014 [76];郭等，2007 [69];黄等，2015 [101];Katsis等人，2017 [105];Kruzikas等人，2014 [106];Maciejewski等人，2010 [107];Mittelstadt等人，2014 [110];Park等，2018 [112];Soulakis等人，2015 [115];Tilahun等，2014 [88];Toddenroth等人，2014 [116];托雷斯等人，2012 [117];Widanagamaachchi等人，2017 [72];邢等，2010 [91];徐等，2013 [73］

    • 没有提到过
    文本框3。工具和基础应用程序的名称(如果提供)。

    多媒体附件4［64-118]详细描述了应用程序的分析能力和目标，表明分析是为知识发现还是决策支持而进行的，文章是否作为VA的框架呈现，以及方法本身是否遵循一个或多个框架。

    提出或遵循的框架

    总共有24%(13/55)的文章介绍了VA方法的框架，我们根据研究作者声称在他们的方法中使用的主要理论、应用和功能将其分为7类:

    1. 数据集成、监控和管理[67，68，71，75］．
    2. 结合电子病历的查询、挖掘和可视化[76］．
    3. 疾病图谱、假设生成、临床决策和知识发现[66，77，78］．
    4. 模拟及建模，包括统计分析[64，79］．
    5. VA工具的表型[80］．
    6. 社交媒体VA [81］．
    7. 研究获得医疗服务的地域差异[82］．

    总共有29%(16/55)的文章在他们的方法中使用了一个框架，我们根据它们在用例中的应用大致分为6种类型:

    1. 研究获得护理的机会[83，84］．
    2. 分析(78］．
    3. 应用程序发展[65，67，85，86］．
    4. 数据质量、链接和流[72，87，88］．
    5. 知识发现[89］．
    6. 可视化(64，66，71，77，90］．

    表4列出这两种框架和相关引用。上述类别是基于VA应用的目标，正如作者在他们的研究中提到的那样。

    表4。文章提出了一个框架，并使用框架进行可视化分析工作，并引用了参考文献(如果提供的话)。
    研究(引用) 提出一个框架 为VA使用一个或多个框架一个工作
    Abusharekh等人，2015 [67］ 健康数据分析框架，包括数据管理、分析和可视化 门户使用Liferay和Vaadin框架开发
    Afzal等人，2011 [85］ N/Ab 根据Jankun-Kelly和Ma的建议。［119］
    阿里等，2016 [68］ 数据集成和分析框架，包含与数据采集、清理、解析和分析相关的各种模块 N/A
    Antunes de Mendonca等，2015 [86］ N/A 用于查询的资源开发框架，使用SQL和其他语言
    Baytas等人，2016 [80］ 用于VA工具的表型框架 N/A
    Benis等，2017 [89］ N/A 数据库框架中的知识发现[120］
    Bryan等人，2015年[64］ 提出了一个模拟和分析数据的框架。可视化引擎也有一个内置的基于其他统计框架 基于这三个框架[36-138］
    Castronovo等人，2009 [77］ 动态映射的概念框架;疾病季节性假说的产生 根据Harrower原则[139］
    Dagliati等人，2018 [66］ 提出了一个框架作为慢性疾病临床决策支持和知识发现的一般模型 时间抽象[140］
    Deodhar等人，2015 [65］ N/A 基于模型-视图-控制器框架的中间件
    Gotz等人，2014 [76］ 在单个框架中组合3个组件，例如可视化查询、模式挖掘和交互式vis组件，支持临时事件序列分析 N/A
    洪德等人，2016 [90］ N/A 使用OpenSubspace框架的检测子空间和可视化遵循Shneiderman [141，142］
    Ji等，2013 [81］ 框架考虑到几种疾病;结合线索搜索和ML方法的两步情感分类，首先过滤非个人情感;识别所有个人推文;然后将个人推文分为负面和非负面情绪推文 N/A
    金朋等，2017 [83］ N/A 社区福利架构[143］
    Kostkova等人，2014 [75］ 框架描述了跨多个实时数据通道自动化数据监控所需的过程和组件[P Kostkova。综合数字公共卫生监测路线图:愿景和挑战。第22届国际万维网会议论文集(WWW \'13)。687 - 694。, 2013) N/A
    卢等，2017 [71］ 过程驱动的框架，包括数据层、功能层和用户层 生命线框架位于南安普顿大学医院临床数据环境中，作为数据探索性分析的模型
    Luo等，2016 [78］ 从确定地理-社会相互作用模式开始，提出了有效疾病控制战略的新框架。框架进一步用于构造具有3个组件的VA工具的设计:用于地理-社会混合模式的可重排序矩阵，基于代理的流行病模型和组合可视化方法 易感-暴露-感染-去除agent模型
    Maciejewski等人，2011 [79］ PanViz可视化框架使用数学流行病模型来计算人口动态和感染率数据 N/A
    Shaban-Nejad等，2017 [84］ N/A 该工具引入了语义人口健康框架，使用第一类证据或因果知识，按照健康决定因素框架安排健康指标[144］
    Tate等人，2014 [87］ N/A 数据质量框架[145］
    Tilahun等，2014 [88］ N/A 丝路发现框架[146］
    Widanagamaachchi等人，2017 [72］ N/A 设计数据流的ViSUS框架[147］
    于等，2017 [82］ 介绍可视化框架，以帮助卫生保健政策制定者和医院管理人员可视化、识别和优化获得护理的地理差异 N/A

    一个VA:视觉分析。

    bN/A:不适用。

    数据特征:源、用例、结构和类型

    VA引擎在应用程序上有所不同，因为它们能够处理来自多个数据集或各种来源的数据，如社交媒体文本数据、管理数据、全局存储库和其他互联网来源。在纳入的研究中，分析引擎处理的数据源各不相同，涉及单个数据源(32/ 55,58%)，多个数据源(22/ 55,40%)，或两者兼有(6/ 55,11%)。

    在涉及多个数据源的用例中，数据源类别内存在重叠:行政或全国调查数据(17/ 55,31%)、EMR或EHR数据(17/ 55,31%)、时空数据(16/ 55,29%)、网络或社交媒体数据(8/ 55,15%)和模拟数据(6/ 55,11%)。

    文章主要关注结构化数据(40/ 55,73%)、非结构化数据(13/ 55,24%)和半结构化数据(5/ 55,9%)。数据来源为行政数据，包括登记和全国调查数据(19/ 55,35%)、EMR或EHR数据(17/ 55,31%)、时空数据(16/ 55,29%)、模拟数据(6/ 55,11%)以及网络或社交媒体数据(8/ 55,15%)。多媒体［64-118详细描述了用例的来源、类型和应用程序。

    分析和可视化引擎

    从这些文章中，我们收集了有关分析引擎、工具和所使用的具体方法的信息，例如分析方法的算法。该工具的分析引擎、数据处理、分析和随后的数据可视化变化很大。此外，关于分析和可视化引擎的细节还没有得到一致的报道。

    我们根据应用程序通过用于总结结果的主要分析技术解决的问题类型对数据进行了分类。主要有7类:传染病建模和监测(21/ 55,38%);病案模式识别(20/ 55,36%);人口健康监测(9/ 55,16%);卫生系统资源规划(2/ 55,4%);以及数据操作、疾病图谱和情感分析(1/ 55,2%)。

    采用的分析方法包括数据查询(11/ 55,20%);统计建模(11/55,20%);聚类(9/ 55,16%);自然语言处理(NLP)、模式挖掘、分类、数据挖掘、降维、预测建模和其他ML方法(4/ 55,7%);以及图划分、神经网络、基于模拟的预测和其他统计分析(1/ 55,2%)。

    所解决的问题和所使用的分析技术总结在表5．多媒体提供有关数据类型、分析和可视化引擎以及相关技术的深入信息。用于开发应用程序的主要工具包括基于r的工具(7/ 55,13%);D3.js (4/ 55,7%);SQL (4/ 55,7%);基于java的工具(3/ 55,5%);基于python的工具，HTML 5或谷歌地图应用程序编程接口(API;2/55, 4%);未报告(15/ 55,27 %)。其余16篇文章提到了以下其中之一的使用:Open Layers 3、OwlAPI、SaTScan、SQL和谷歌Maps API、IBM Watson Analytics、GeoViz Toolkit、Flutrack API、Weka、GeoTime、ESRI ArcMap、Excel2RDF和Sgvigler、c#、JFreeChart、MS silverlight的Pivot Viewer、Weka和Tableau以及Matlab。

    表5所示。问题类别和主要分析方法。
    分析方法 对问题的类别与数量的文章中提到的具体分析方法的使用

    		数据操作 疾病的映射 卫生系统资源规划 传染病建模和监测 病案模式识别 人口健康监测 情绪分析 总计
    数据查询 1 1 - - - - - -一个 3. 5 1 - - - - - - 11
    统计建模 - - - - - - - - - - - - 1 8 2 - - - - - - - - - - - - 11
    聚类 - - - - - - - - - - - - - - - - - - - - - - - - 7 1 1 9
    自然语言处理 - - - - - - - - - - - - - - - - - - 3. 1 - - - - - - - - - - - - 4
    其他机器学习 - - - - - - - - - - - - - - - - - - 1 - - - - - - 3. - - - - - - 4
    模式挖掘 - - - - - - - - - - - - - - - - - - 1 3. - - - - - - - - - - - - 4
    分类 - - - - - - - - - - - - 1 - - - - - - - - - - - - 1 - - - - - - 2
    数据挖掘 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 2 - - - - - - 2
    降维 - - - - - - - - - - - - - - - - - - 1 1 - - - - - - - - - - - - 2
    预测建模 - - - - - - - - - - - - - - - - - - 1 1 - - - - - - - - - - - - 2
    图分区 - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - 1
    神经网络 - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - 1
    基于仿真的预测 - - - - - - - - - - - - - - - - - - 1 - - - - - - - - - - - - - - - - - - 1
    统计分析 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 - - - - - - 1
    总计 1 1 2 21 20. 9 1 55

    一个Null值。

    根据分析方法所使用的工具的分布说明在图5．其中最常用的工具是基于r的工具和包、D3.JS和谷歌Maps API。几乎所有的文章都提到了他们用于VA应用程序的不同的工具组合。

    ‎
    图5。所采用的分析方法和工具的比例分布。API:应用程序编程接口;女士:微软;SQL:结构化查询语言。
    查看此图

    类似地，使用各种可视化来表示分析引擎处理的数据的分析。可视化大多是交互式的，有一个仪表板显示有关特定人群或感兴趣的变量的统计数据或详细信息。主要可视化类型如下:地图(17/ 55,31%)、时间线(8/ 55,15%)、热图(6/ 55,11%)、脉络图(6/ 55,11%)、气泡图(3/ 55,5%)、流图(2/ 55,4%)和散点图(2/ 55,4%)。其余12个应用程序展示了以下视觉效果之一:空间图、历史树视图、堆栈和卡片、直线、条形图、因果图、卡片、堆叠条形图、人口金字塔、圆形树、排名树、桑基图和关系图。

    卫生保健领域、问题类别和相关分析方法

    在这些文章中，98%(54/55)关注人口健康，而33%(18/55)关注高铁。有相当多的重叠，因为17篇高铁文章都是针对人口的。在人口健康的文章中，44%(24/55)是针对一种或一组疾病的临床人群，31%(17/55)提供了人口统计数据。33%(18/55)的研究重点是对某些条件的流行病监测和建模，而49%(27/55)的研究重点是时空卫生保健文章。

    在高铁的文章中，27%(15/55)是关于卫生服务的利用，18%(10/55)侧重于获得保健，4%(2/55)与卫生保健费用有关。详细信息见多媒体附件6［64-118］．

    我们进一步对应用程序处理的问题类型进行了分类。4个主要问题类别是传染病建模和监测(21/ 55,38%)、病历模式识别(19/ 55,35%)、人口健康监测(9/ 55,16%)和卫生系统资源规划(2/ 55,4%)。其中一个用例是数据操作、疾病映射、健康记录模式识别和情感分析。

    图6详细说明用于问题类别的分析方法的相对分布。彩色编码树图显示，聚类和统计建模是医疗记录模式识别和传染病建模和监测的主要选择，这两种方法占所有用例的13%(7/55)。第二常见的方法包括自然语言处理、数据库创建查询、模式挖掘和数据查询，每种方法占所有方法的5%(3/55)。图中显示了其他不同的方法，以揭示根据应用程序所解决的问题在使用方法中发现的总体趋势。

    ‎
    图6。问题的类别和比例分布所采用的分析方法。
    查看此图

    工具的可用性、吸收和协同设计

    在最初的文章发表时，共有21个VA工具正在使用中，而其他的工具要么不可用，要么是原型。此外，有7个仪表板或工具可供公众使用，而13个工具要么是使用免费的开源工具(如R或Weka)开发的，要么是提供了它们的源代码。此外，38%(21/55)的文章没有提到用于开发应用程序或基础应用程序的工具。

    与工具的协同设计或评估相关，有10篇文章涉及领域专家、多学科团队，或用于VA应用程序开发和改进的用户评估，而其他文章没有提到这方面。相关细节已在多媒体［64-118］．

    VA应用的创新与局限

    所有应用程序在发布时都比其他应用程序具有创新优势。这些主要与分析引擎和技术有关，如更好的工作流、自动化、框架开发以及ML等先进技术的使用。同样，应用程序的局限性也有不同的细节，29%(16/55)的文章没有提到任何限制，如所示多媒体．


    检讨的意义

    本综述的目的是回顾VA方法的文献，特别是其在人口健康和高铁领域的应用。鉴于公共卫生数据数据源的多样性、异质性和速度，属于大数据的范畴[50]，这些信息正越来越多地从行政、电子病历和电子病历来源生成和提供。大型人群级数据库的例子包括英国的临床实践研究数据链数据库，这是最大的匿名初级保健患者记录集合[87];加拿大行政卫生数据集[121];以及自20世纪70年代以来收集的美国国家健康和营养调查[91］．

    我们的范围综述总结了应用于人口健康和高铁用例的VA方法。作为一个多学科团队，我们从多个角度展示了结果，包括数据科学家、人口健康和高铁从业者以及政策和决策者的观点。这在COVID-19大流行之后非常重要，出现了多种用于大流行监测的VA产品，以指导大流行应对[122，123］．

    我们讨论了这篇综述对公共和人口健康以及高铁相关卫生保健领域的研究人员和从业者的影响和贡献，并在具体进口方面进行了扩展。我们进一步为定义、报告和利用VA方法和应用的潜力提供了有针对性的建议。

    VA申请报告清单

    可视化和分析的领域非常广泛，在不同的医疗保健和其他部门有各种应用。我们必须主要依靠迭代筛选来过滤掉与研究目标不相关的文章，例如，没有用例的文章，包括可用性研究、评估、人机交互和GIS研究。

    为了可再现性和透明度，需要更好地报告应用程序的细节。这具体涉及到工具的能力、用例之外的应用、目标受众、研究目标和研究设置。在许多文章中，我们发现统计和分析方法缺乏细节，特别是用于分析的工具，测试和应用的算法，以及选择一种特定分析而不是另一种分析的原因。

    类似地，一些来自专有工具或原型工具的文章没有提供分析引擎的任何细节，而只讨论了应用程序的功能方面。许多文章都没有详细说明可视化演示文稿应该如何解释。大多数文章都没有提供选择可视化的原因和过程，它相对于其他可视化的优势，以及交互功能如何提供更多的见解。

    这些细节将有助于定位文献，从而有助于更好地再现性、开发和原型和已建立的方法对不同场景的适应性。

    为此，我们制定了一份标准的报告清单(多媒体附件8)用于报告VA方法，特别是可视化和分析引擎，以及报告统计技术等研究方法的实践[124]，以及定性和定量研究[125，126］．如前所述，最近的4项系统综述涵盖了VA在健康中的应用领域[8，17-19］．尽管这些综述提供了来自医疗保健和信息学不同领域的优秀摘要，但我们发现没有遵循报告标准，这表明需要这样一个清单。我们进一步查找了与covid -19相关的VA产品的近期文献。最著名的与covid -19相关的产品之一是约翰·霍普金斯大学基于网络的国家级数据仪表板[123］．虽然相关专家尚未发表详细介绍其开发方法的论文，但一篇高水平的通信文章已在该著名期刊上发表《柳叶刀》［123］．在本文中，作者引用了为仪表板开发数据流的问题和过程。相比之下，另一种VA产品的作者绘制了美国县与covid -19相关的流动模式变化，详细介绍了基于web的平台的方法、功能、数据源、系统设计以及来自其出版物结果的见解[122］．

    基于这些论文的发现和范围审查中包括的发现，我们提出了一个报告VA应用的清单(多媒体附件8)，以满足标准报告的需要，以优化研究工作的生产力[3.］．

    医疗保健中VA的建议定义

    我们遵循Ola和Sediq关于VA在医疗保健中的应用的定义[50]为此必须包括分析引擎和可视化引擎。然而，我们发现尽管报告了分析技术，包括分析引擎，许多文章并没有这样描述。尽管“可视化”作为一个术语在所有的文章中都被提及，但分析技术并没有被主要归类为分析引擎。这可能是由于在数据科学实践社区中使用不同的语言和理解。因此，VA作为一个具有技术定义的术语似乎并不牢固，至少在医疗保健文献中是这样。这也可以在各种作者的作品中看到，他们借鉴了Thomas和Cook对VA的原始定义[2存在"通过交互式视觉界面促进分析推理的科学。”

    托马斯和库克[2)将VA定义为“由交互式视觉界面促进的分析推理科学”，而Keim等人[3.)将这一概念扩展为“具有交互式可视化的自动化分析技术，可以在非常庞大和复杂的数据集的基础上进行有效的理解、推理和决策。”借鉴奥拉和塞迪格的开创性著作[50]，凯姆等[3.]，以及托马斯和库克[2]，我们建议使用以下VA的改编定义，特别是在与公共和人口健康相关的领域:“通过使用一个或多个交互式可视化界面，使用分析和可视化引擎，用于分析推理、探索、知识发现和复杂数据意义的方法、方法或应用。”在我们的定义中，我们将VA技术的目标放在为方法提供上下文的前面，同时将VA的有限概念扩展到计算工具［3.，50］．我们强调分析和可视化引擎，以帮助描述来自其他领域的方法，如可视化。我们还强调它，因为它有助于更好地定义和报告方法，为此我们包含了用于报告的检查表(多媒体附件8)．

    VA方法、框架和工具

    我们遵循框架的广泛定义来总结开发应用程序中的VA方法。虽然介绍这些框架的详细发现超出了本文的范围，但我们大致对其类型进行了分类，因为从这种创新方法的概念和理论基础中学习是很有价值的。研究这两种类型的框架有助于研究人员和从业者确定适应方法。在各种VA框架中，大多数与疾病测绘和知识发现和假设生成有关[66，77，78］．这与我们总结的工具的目标和分析能力的发现是一致的。虽然有将ML方法应用于EMR数据集的趋势，但我们发现了一个用于从这些数据集中挖掘和可视化趋势和模式的框架[76］．

    大多数应用程序都是原型，在发布时只有5个在使用。在某种程度上，这可能是由于较新的VA技术的发表偏倚。使用以其可视化引擎而闻名的专有工具的研究，如Tableau [148]， Qlik [149]， Power BI [150]，在被审查的文章中异常罕见。因此，未来的研究可能会试图调查人口健康和高铁从业者，以了解VA工具，这是他们日常决策过程的一部分，以及不发表他们的发现和经验的原因。

    设置、目标受众和协同设计举措

    由于我们将搜索范围限制在英语文章，所包含的研究中的用例大多来自美国，来自欧洲或其他国家的研究较少。大多数作者和用例都来自同一个国家，除了一个例外，一个来自加拿大的作者在处理一个来自美国的用例[91］．

    正如预期的那样，人口健康和高铁从业者是最常见的预期目标受众，其次是学术研究人员和临床医生。政策和决策者以及一般公众并不是主要的目标受众。尽管虚拟现实与数据可视化相关，并且越来越多地用于从数据中传达见解，但我们认为虚拟现实的使用仍处于发展阶段。这与我们发现的大多数应用程序都是原型相对应。

    有5项研究是针对消费者的，而7项研究是针对政策和决策者的。然而，随着参与性方法被强调以更好地采用和发展创造性解决办法[127]，与共同设计应用程序有关的一个问题是缺乏涉众的参与，如决策者和患者群体。必须指出的是，在开发应用程序方面缺乏参与性的共同设计方法，这可能是在人口健康和高铁方面总体发现这些方法采用缓慢的原因之一。

    VA应用的趋势和潜力

    结果表明，VA的使用差异很大。此外，由于纳入的论文中对环境和目标受众的报道不一致，我们对这些技术的使用趋势进行了计算判断。由于大多数研究是在学术界进行的，我们推断这些方法在人口健康和高铁实践领域仍处于发展阶段。因此，在这些相互关联的保健领域采用这些方法的速度很慢。这并不意外，因为这一领域一直被称为新生领域，而新技术在公共卫生领域的应用却相当拖延[50］．

    由于大多数工具都专注于描述性分析，其中大约一半的工具旨在对复杂数据集进行可视化探索，因此这些方法在知识发现和决策支持方面的使用趋势是显著的。这可能是由于EMR系统的数据集不断增加和扩展。对于ML，聚类、分类和NLP是结构化和基于文本的数据集的选择方法。许多人口健康应用与疾病和疾病控制的测绘、时空分布和建模有关。在高铁方面，很少有文章涉及服务的接入、利用和成本问题。

    所涉及的大多数问题都与传染病流行病学有关，其中最常用的分析方法是聚类和统计建模。这些文章提到了一种独特的工具、工具的组合，或者没有提到工具或基本应用程序，这使得很难总结所使用的工具的类型。然而，如图所示图5基于r的工具，谷歌Maps API和D3.JS，以及各种其他工具被用于VA应用程序。

    此外，使用VA获取和组合多个数据源，对查询问题构建更全面的图景具有附加价值。正如我们的结果所示，在大多数用例中，分析引擎将多个数据源(如emr)结合到社交媒体源。正如Keim等人[3.]指出，虚拟现实可以帮助解决工程、财务分析、环境和气候变化以及社会经济条件等领域的各种复杂问题。健康方面的社会经济因素，即健康的社会决定因素，正越来越多地在可获得性、健康和人口总体生活质量的范围内进行研究[128］．此外，虚拟现实有可能在抽象层面上解决卫生和相关部门的各种共享应用程序问题[3.］．

    学习卫生系统和与covid -19相关的VA产品

    学习型卫生系统面向持续的循证质量改进[129］．在构建这样的系统时，要对建议的改进产生知识和见解，这面临多重挑战[130］．在更广泛的背景下，本综述允许同行研究人员、从业者和决策者欣赏VA技术在应对操作和构建自动化数据驱动学习卫生系统方面的挑战方面所呈现的潜力[131］．VA技术有能力进行推理，并利用来自多个来源的大数据来运行这种学习卫生系统[33，132］．

    正如COVID-19危机过去几个月的情况一样，针对临床从业者、人口健康和卫生服务研究人员、政策制定者和普通公众，出现了过多的VA产品[122，123，133］．除了向公众通报大流行的严重程度外，此类退伍军人事务部产品正越来越多地用于流行病学监测、监测和卫生服务规划。充分详细地描述此类产品的开发和特性对于研究的可复制性和透明度尤其有用，为此我们提出了一份报告清单(多媒体附件8)，用于我们发现在应用程序的报告方法和功能方面很重要的方面。我们有信心，这将为新手和专家研究人员一样，作为一个提醒，以展示他们在开发一个独特的应用程序的努力的深度和广度。

    限制

    我们对VA方法的调查基于同行评议的期刊文章和完整的会议论文。我们没有包括书籍章节、论文、短论文、社论、非同行评审报告、会议摘要和使用VA技术的现场网站。我们的回顾仅限于2005年以后，我们没有探索数学、地理和计算机科学的特定学科数据库。我们试图将我们的发现限制在已发表或已提出并应用于实际用例的方法中。我们在综述中收录了完整的会议论文，但许多会议不发表会议记录，如年度Tableau会议和健康分析峰会。这些会议上讨论的用例主要涉及前端专有工具。因此，使用这些工具的完整范围无法在此审查中涵盖。然而，我们遵循最高的方法标准进行系统的审查。这包括建立一个由卫生研究人员和数据科学家组成的多学科团队，遵循既定的审查框架，每一步至少有两名独立审查人员，并由一名专门的信息专家指导。我们的搜索策略经过多次迭代开发，并使用PRESS指南进行同行评审[134]由独立的第三方信息专家进行审查，而我们已提前公布了审查方案[21］．

    结论

    VA作为一个创新领域，在从大医疗数据中获得见解方面具有巨大潜力，特别是在人口健康和高铁相关领域。这在COVID-19大流行的背景下尤其重要，多种VA产品已成为焦点。

    这一范围审查提供了对目前VA方法在人口健康和高铁领域应用情况的基本了解。我们介绍了自2005年以来在同行评审论文中发表的主要VA工具、技术和框架。退伍军人服务是一个创新的、快速扩张的领域，植根于许多学科，它正被用于建立学习型卫生系统，以改善患者护理、增加服务的可及性、控制成本和适当分配资源[33］．预计下一代电子病历系统将利用先进的分析技术，以满足不同用户的需求[135］．这样的系统旨在协调病人的记录;在初级、二级和三级建立获得护理的无缝图景;以及在人口层面管理疾病爆发。我们还提出了VA在医疗保健中的应用的扩展定义，并提供了一个报告清单，以帮助研究人员提供更大的可复制性的解决方案。

    致谢

    该综述是JC加拿大卫生研究院(CIHR)资助的2018-19年和2019-20年卫生系统影响奖学金下博士工作的一部分。JC、IB、MM、MI、AK、JM和LT是由加拿大卫生研究所及其主办组织共同资助的卫生系统影响研究员。文中提到了作者所在的组织的隶属关系。SJ是多伦多大学多伦多康复研究所的主席。作者希望感谢JC的论文委员会成员，Cathy Craven教授，Sara Guilcher教授和Christopher Collins教授对手稿的审查和批判性反馈。Aldo Barrera, MSc对Tableau仪表板做出了重大贡献，以交互式可视化格式呈现结果。

    作者的贡献

    所有作者都对审查的概念化和报告作出了重大贡献。JC, IB, JM, MI, MM, SM, SJ，和TJ对综述进行概念化，筛选文章，贡献抽象，并审查手稿。JB构建、翻译和执行搜索策略。前4位作者JC、JM、IB和LT主要是在与他人协商的情况下完成和修改手稿。SA、MB、SH和MI对数据的提取和验证以及稿件的准备都有贡献。所有作者都严格审查并修改了手稿的最终版本。

    利益冲突

    没有宣布。

    ‎
    多媒体附件1

    PRISMA-ScR(系统评价和元分析的首选报告项目，范围评价扩展)用于报告范围评价的检查表。

    PDF档案(adobepdf档案)，605kb
    ‎
    多媒体附件2

    MEDLINE搜索策略。

    DOCX文件，47 KB
    ‎
    多媒体

    研究特点，问题分析，设置和目标受众。

    PDF档案(adobepdf档案)，148 KB
    ‎
    多媒体附件4

    分析能力和目标。

    PDF档案(adobepdf档案)，131kb
    ‎
    多媒体

    数据类型、分析和可视化引擎。

    PDF档案(adobepdf档案)，238 KB
    ‎
    多媒体附件6

    卫生保健领域。

    PDF档案(adobepdf档案)，87 KB
    ‎
    多媒体

    主要发现、影响、创新、可用性和局限性。

    PDF档案(adobepdf档案)，145kb
    ‎
    多媒体附件8

    报告可视化分析在人口健康和卫生服务研究中的应用的检查表。

    DOCX文件，26 KB
    1. Thomas J.视觉分析。纳入:IEEE计算机图形学与应用。奥地利维也纳:IEEE;2004.
    2. Thomas K, Cook K.照亮道路:可视化分析的研发议程。华盛顿州里奇兰:美国国土安全部;2011.
    3. Keim D, Andrienko G, Fekete J, Carsten G, Melan G, Keim D.视觉分析:定义，过程和挑战。InfoVis 2008:154 - 175。［CrossRef］
    4. 张磊。用可视化分析解决问题。见:第十一届知识管理与知识技术国际会议论文集。2011年发表于:KMKT'11;2011;奥地利格拉茨https://www.sciencedirect.com/science/article/pii/S1877050911007009
    5. 李志强，李志强，李志强，等。空间，时间和视觉分析。地球科学进展2010年10月11日;24(10):1577-1600。［CrossRef］
    6. Caban JJ, Gotz D.医疗保健中的视觉分析——机遇和研究挑战。美国医学信息杂志2015年3月22日(2):260-262。［CrossRef] [Medline］
    7. Simpao AF, Ahumada LM, Gálvez JA, Rehman MA。卫生保健中的分析学和临床信息学综述。中华医学杂志2014 04;38(4):45。［CrossRef] [Medline］
    8. 郑勇，巴盖里，李志强，李志强，等。视觉分析在支持精神卫生保健系统研究和政策中的作用:系统范围审查。Int J Inf Manag 2020 Feb;50:17-27 [免费全文] [CrossRef］
    9. 金·D，斯托达特·g，什么是人口健康?中华卫生杂志2003年3月;93(3):380-383。［CrossRef] [Medline］
    10. D.了解人口健康术语。米尔班克Q 2007;85(1):139-161 [免费全文] [CrossRef] [Medline］
    11. 卫生服务研究。加拿大卫生研究所，2019年。URL:http://www.cihr-irsc.gc.ca/e/48809.html[2019-03-13]访问
    12. Lohr KN, Steinwachs DM.卫生服务研究:领域定义的演进。卫生服务决议2002年2月;37(1):15-17。［CrossRef］
    13. Martin-Sanchez F, Verspoor K.医学大数据正在推动巨大变化。2018年3月5日;23(01):14-20 [免费全文] [CrossRef］
    14. Raghupathi W, Raghupathi V.医疗保健中的大数据分析:前景和潜力。健康科学与科学系统2014;2:3 [免费全文] [CrossRef] [Medline］
    15. 白色的SE。卫生保健大数据综述:挑战与机遇。OAB 2014 10月31日;6:13-18。［CrossRef］
    16. Simpao AF, Ahumada LM, Rehman MA。麻醉和医疗保健领域的大数据和可视化分析。中国麻醉杂志2015 9月;115(3):350-356 [免费全文] [CrossRef] [Medline］
    17. Islam MS, Hasan MM, Wang X, Germack HD, Noor-E-Alam M.医疗保健分析系统综述:数据挖掘的应用和理论视角。医疗保健(巴塞尔)2018年5月23日;6(2):- [免费全文] [CrossRef] [Medline］
    18. West VL, Borland D, Hammond WE。电子健康档案数据的创新信息可视化:系统综述。美国医学信息学会2015年3月22日(2):330-339 [免费全文] [CrossRef] [Medline］
    19. 吴东，陈a，曼宁J，列维-菲克斯G, Backonja U, Borland D，等。评估健康信息应用的视觉分析:来自美国医疗信息协会视觉分析工作组评估工作组的系统回顾。美国医学信息学会2019年4月1日;26(4):314-323。［CrossRef] [Medline］
    20. 健康信息学从业者指南。瑞士:施普林格，Cham;2015.
    21. 张志强，张志强，张志强，等。人口健康和卫生服务研究中的可视化分析工具和技术:范围审查方案。JMIR Res Protoc 2019 10月28日;8(10):e14019 [免费全文] [CrossRef] [Medline］
    22. Peters MD, Godfrey CM, McInerney P, Soares CB, Khalil H, Parker D. Joanna Briggs研究所评论家手册:2015年版。澳大利亚:乔安娜布里格斯研究所;2015.
    23. Arksey H, O'Malley L.范围研究:朝向方法论框架。国际社会科学进展2005年2月;8(1):19-32。［CrossRef］
    24. 列瓦克D，科尔克霍恩H，奥布莱恩KK。范围研究:推进方法论。科学通报，2010年9月20日;5:35 [免费全文] [CrossRef] [Medline］
    25. Peters MD, Godfrey CM, Khalil H, McInerney P, Parker D, Soares CB。指导进行系统范围审查。国际临床医学杂志2015年9月13日(3):141-146。［CrossRef] [Medline］
    26. 崔科，李丽丽，李丽娟，李丽娟，等。用于范围审查的PRISMA扩展(PRISMA- scr):检查表和解释。安实习生医学2018年10月2日;169(7):467-473。［CrossRef] [Medline］
    27. Cleo G, Scott AM, Islam F, Julien B, Beller E.四个系统评审自动化软件包的可用性和可接受性:混合方法设计。Syst Rev 2019 6月20日;8(1):145 [免费全文] [CrossRef] [Medline］
    28. Shneiderman B, Plaisant C, Hesse BW。通过交互式可视化改善医疗保健。计算机2013年5月;46(5):58-66 [免费全文] [CrossRef］
    29. Viju Raghupathi WR。健康分析概述。J Health Med information 2013年10月7日;4(3):2 [免费全文] [CrossRef］
    30. 林荣，叶铮，王宏，吴波。慢性病与健康监测大数据调查。IEEE生物医学学报2018;11:275-288。［CrossRef］
    31. 廖华，唐明，罗磊，李超，Chiclana F，曾霞。医学大数据研究的文献计量学分析与可视化。可持续发展2018年1月11日;10(2):166。［CrossRef］
    32. 健康分析类型、功能和水平:文献综述。种马健康技术通报2018;251:137-140。［Medline］
    33. Fihn SD, Francis J, Clancy C, Nielson C, Nelson K, Rumsfeld J，等。退伍军人健康管理局高级分析的见解。卫生Aff (Millwood) 2014年7月;33(7):1203-1211。［CrossRef] [Medline］
    34. 杜晓玲，陈晓明，陈晓明。护理科学中多维数据的可视化研究。West J Nurs Res 2017 Jan;39(1):112-126 [免费全文] [CrossRef] [Medline］
    35. 吴桂霞，崔勇，李志强，李志强，等。支持健康老龄化的可视化方法:系统综述。J Innov Health Inform 2016 10月10日;23(3):860 [免费全文] [CrossRef] [Medline］
    36. 什么是公共卫生?疾控中心基金会，2020年。URL:https://www.cdcfoundation.org/what-public-health[2020-11-14]访问
    37. 涅德茨卡B，恰巴诺夫斯卡K， Śmietana R.公共卫生受控词汇。迄今为止取得的成就概述。公共卫生2008 6月25日;17(1):55-59。［CrossRef］
    38. 人口的健康。国家生物技术信息中心。URL:https://www.ncbi.nlm.nih.gov/mesh/2023448
    39. 英国:卫生机构，卫生发展清单。《国家公共卫生语言》，2007年。URL:https://en.wikipedia.org/wiki/Health_care_in_the_United_Kingdom[2020-11-20]访问
    40. Etches V, Frank J, di Ruggiero E, Manuel D.衡量人口健康:指标回顾。公共卫生2006;27:29-55。［CrossRef] [Medline］
    41. Cohen D, Huynh T, Sebold A, Harvey J, Neudorf C, Brown A.人口健康方法:加拿大医疗保健领导者概念和操作定义的定性研究。SAGE Open Med 2014;2:2050312114522618 [免费全文] [CrossRef] [Medline］
    42. Fone D, Hollinghurst S, Temple M, Round A, Lester N, Weightman A，等。系统回顾计算机模拟建模在人口健康和卫生保健服务中的使用和价值。中华公共卫生杂志2003十二月;25(4):325-335。［CrossRef] [Medline］
    43. 公共卫生支出和人口健康:系统审查。2014年11月;47(5):634-640。［CrossRef] [Medline］
    44. Casey JA, Schwartz BS, Stewart WF, Adler NE。在人口健康研究中使用电子健康记录:方法和应用综述。年度报告公共卫生2016;37:61-81 [免费全文] [CrossRef] [Medline］
    45. Harris JK, Beatty KE, Barbero C, Howard AF, Cheskin RA, Shapiro RM，等。公共卫生服务和系统研究中的方法:系统综述。Am J Prev Med 2012 5月;42(5增刊1):S42-S57。［CrossRef] [Medline］
    46. Thompson DS, Fazio X, Kustra E, Patrick L, Stanley D.复杂性理论在卫生服务研究中的范围综述。BMC Health Serv Res 2016 3月12日;16:87 [免费全文] [CrossRef] [Medline］
    47. Gulley SP, Rasch EK, Bethell CD, Carle AC, Druss BG, Houtrow AJ，等。在慢性疾病，残疾和卫生服务研究的交叉:范围文献综述。残疾健康杂志2018年4月;11(2):192-203 [免费全文] [CrossRef] [Medline］
    48. Rowland M, Peterson-Besse J, Dobbertin K, Walsh ES, Horner-Johnson W，残疾与健康差距专家小组。残疾人亚群体之间的健康结果差异:范围审查。残疾卫生杂志2014年4月7日(2):136-150。［CrossRef] [Medline］
    49. 查找和检索高铁:工具和数据库。美国国家医学图书馆，2018。URL:https://wayback.archive-it.org/org-350/20180515152423/https://www.nlm.nih.gov/nichsr/db.html[2019-03-13]访问
    50. Ola O, Sedig K.公共卫生大数据的挑战:可视化分析的机会。《公共卫生信息通报》2014;5(3):223 [免费全文] [CrossRef] [Medline］
    51. 达文波特，卡拉科塔，R.人工智能在医疗保健中的潜力。未来健康杂志2019 Jun;6(2):94-98 [免费全文] [CrossRef] [Medline］
    52. 韦佩克，史达科，张荣，欧康奈尔TA。相互作用的科学Inf Vis 2009 1月24日;8(4):263-274。［CrossRef］
    53. 巴索勒R, Braunstein M, Kumar V, Park H, kang M, Chau DH，等。使用视觉分析了解急诊儿科哮喘护理过程的变化。美国医学信息杂志2015年3月22日(2):318-323。［CrossRef] [Medline］
    54. Basole R, Park H, Gupta M, Braunstein M, Chau D, Thompson M.理解护理过程变化和一致性的可视化分析方法。参加:Proc 2015视觉分析医疗保健研讨会2015年VAHC'15;2015年10月3日至6日;伊利诺伊州芝加哥市网址:http://europepmc.org/abstract/MED/29177250［CrossRef］
    55. Falster MO, Jorm LR, Leyland AH。可视化相关健康数据，以探索澳大利亚新南威尔士州可预防住院周围的健康事件。英国医学杂志公开赛2016年9月7日;6(9):e012031 [免费全文] [CrossRef] [Medline］
    56. Hosseinpoor AR, Schlotheuber A, Nambiar D, Ross Z.卫生公平评估工具包(HEAT plus):使用上传的数据集探索和比较卫生不平等的软件。全球卫生行动2018;11(sup1):1440783 [免费全文] [CrossRef] [Medline］
    57. 黄超，谢世德，陈建伟，李平，等。可视化慢性肾脏疾病相关多发病的新工具:台湾一项13年队列研究。美国医学信息杂志2015年3月22日(2):290-298。［CrossRef] [Medline］
    58. 马丁内斯R, Ordunez P, Soliz PN, Ballesteros MF。损伤预防和控制监测中的数据可视化:概念基础和案例研究。Inj Prev 2016 Apr;22(增刊1):i27-i33 [免费全文] [CrossRef] [Medline］
    59. Ratwani RM, Fong A。“连接点”:利用可视化分析来理解患者安全事件报告。美国医学信息杂志2015年3月22日(2):312-317。［CrossRef] [Medline］
    60. Grant C, Osanloo a .理解，选择和整合论文研究中的理论框架:为您的“房子”创建蓝图。中国科学(d辑)，2014;［CrossRef］
    61. 格拉斯哥RE，埃蒙斯KM。我们如何才能增加研究成果转化为实践?所需证据的类型。公共卫生2007;28:413-433。［CrossRef] [Medline］
    62. Ward ME, de Brún A, Beirne D, Conway C, Cunningham U, English A，等。利用协同设计为医疗保健团队制定集体领导干预措施，以改善安全文化。国际环境与公共卫生杂志2018年6月5日;15(6):- [免费全文] [CrossRef] [Medline］
    63. Jawad Chishtie。Tableau Public:免费数据可视化软件，2019。URL:https://public.tableau.com/profile/jawad.chishtie !/[2020-11-24]访问
    64. 吴旭，马凯。基于预测分析的传染病时空模拟研究。在:IEEE视觉分析科学与技术会议。2015年发表于:VAST'15;2015年10月25-30日;芝加哥，伊利诺伊州，美国。［CrossRef］
    65. 陈杰，陈杰，陈建军，陈建军，陈建军，陈建军。全球疫情态势评估与预测的综合网络应用。ACM BCB 2015年9月;2015:156-165 [免费全文] [CrossRef] [Medline］
    66. 达格利亚提A，萨基L，提博洛V，科尼G，特利提M，马丁内斯-米拉娜A，等。支持糖尿病护理的基于仪表板的系统。美国医学杂志2018年5月1日;25(5):538-547。［CrossRef] [Medline］
    67. Abusharekh A, Stewart S, Hashemian N, Abidi S. H-DRIVE:用于循证决策的大型健康数据分析平台。发表于:IEEE国际大数据大会2015年CBD'15;2015年6月27日至7月2日;美国纽约。［CrossRef］
    68. Ali M, Ahsan Z, Amin M, Latif S, Ayyaz A, Ayyaz M. ID-Viewer:巴基斯坦传染病监测和应对管理的可视化分析架构。公共卫生2016年5月;134:72-85。［CrossRef] [Medline］
    69. 郭东。面向大流行决策支持的空间交互模式可视化分析。科学通报2007年9月21日(8):859-877。［CrossRef］
    70. Lavrac N, Bohanec M, Pur A, Cestnik B, Debeljak M, Kobler A.公共卫生资源决策支持的数据挖掘和可视化。J Biomed Inform 2007 Aug;40(4):438-447 [免费全文] [CrossRef] [Medline］
    71. 卢j, Hales A, Rew D.癌症患者记录建模:数据挖掘和可视化分析的结构化方法。法国里昂:施普林格;2017.
    72. Widanagamaachchi W, Livnat Y, Bremer P, Duvall S, Pascucci V.医院环境中患者进展的交互式可视化和探索。2017:1773-1782 [免费全文] [Medline］
    73. 徐山，朱伟，李志强，李志强。一种新的健康指标可视化协作工具。见:应用人类因素与人体工程学国际会议论文集2。2013年出席:AHFE'13;2012年1月2-5日;美国旧金山，页91-100。［CrossRef］
    74. 于宁，郑敏，Andrade X, Patane R.空气污染、环境因子与呼吸系统疾病关系的可视化分析。在:第11届EAI移动多媒体通信国际会议。2018年发表于:EAI'18;2018年7月7日至9日;中国青岛。［CrossRef］
    75. Kostkova P, Garbin S, Moser J, Pan W.集成和可视化公共卫生仪表盘:medii +板试点项目。在:国际万维网会议。2014年发表于:WWW'14;2014年4月12日至14日;韩国首尔，日本。［CrossRef］
    76. 王峰，王志强，王志强。一种利用电子病历数据进行临床事件模式交互挖掘和可视化分析的方法。J Biomed Inform 2014 Apr; 48:48 -159 [免费全文] [CrossRef] [Medline］
    77. 达东浩，崔桂奎，王文文。动态地图:探索时空疾病模式的可视化分析方法。环境卫生2009年12月30日;8:61 [免费全文] [CrossRef] [Medline］
    78. 罗伟。面向疫情防控的地理社会互动模式可视化分析。国际卫生地理杂志2016 Aug 10;15(1):28 [免费全文] [CrossRef] [Medline］
    79. Maciejewski R, Livengood P, Rudolph S, Collins TF, Ebert DS, Brigantic RT，等。大流行流感建模和可视化工具。J Vis Lang Comput 2011 Aug;22(4):268-278 [J]免费全文] [CrossRef] [Medline］
    80. 林凯，王芳，周娟，周杰。表型树的交互式可视化分析。IEEE跨多媒体2016年11月18日(11):2257-2270。［CrossRef］
    81. 吉X，春SA，盖勒J.使用推特情绪分类监测公共卫生问题。在:IEEE医疗保健信息学国际会议。2013年发表于:CHI'13;2013年9月9日至11日;费城，美国宾夕法尼亚州。［CrossRef］
    82. 俞铮，Pepe K, Rust G, Ramirez-Marquez J, Zhang S, Bonnet B.患者-提供者地理地图:患者选择医疗保健提供者的交互式可视化工具。在:IEEE医疗保健可视化分析研讨会。2017年发表于:VAHC'17;2017年10月1日至11日;凤凰城，亚利桑那州，美国。［CrossRef］
    83. Jinpon P, Jaroensutasinee M, Jaroensutasinee K.集成信息可视化支持决策以加强社区:设计和可用性评估。告知健康社会护理2017年12月;42(4):335-348。［CrossRef] [Medline］
    84. Shaban-Nejad A, Lavigne M, Okhmatovskaia A, Buckeridge DL。PopHR:一个基于知识的平台，支持人口健康数据的集成、分析和可视化。科学通报2017年1月;1387(1):44-53。［CrossRef] [Medline］
    85. Afzal S, Maciejewski R, Ebert D.流行病建模和响应评估的可视化分析决策支持环境。在:2011年IEEE视觉分析科学与技术会议。2011年发表于:VAST'11;2011年10月23-28日;普罗维登斯，RI，美国网址:https://ieeexplore.ieee.org/document/6102457［CrossRef］
    86. de Mendonça PG, Maciel C, Viterbo J.城市地区埃及伊蚊感染可视化:开放政府数据混搭的案例研究。国际刑警2015年8月31日;20(2,3):119-134。［CrossRef］
    87. 陈志伟，张志伟，张志伟，等。利用快速搜索算法和直观的查询界面，利用大型电子健康记录数据库的潜力进行研究。中国医学信息杂志2014;21(2):292-298 [免费全文] [CrossRef] [Medline］
    88. Tilahun B, Kauppinen T, Keßler C, Fritz F.基于开放式数据的健康信息表示和可视化系统的设计和开发:潜力和初步评估。JMIR Med Inform 2014 10月25日;2(2):e31 [免费全文] [CrossRef] [Medline］
    89. Benis A, Hoshen M. DisEpi:紧凑可视化作为应用流行病学研究的工具。种马健康技术通报2017;244:38-42。［Medline］
    90. 洪德M, Böhm D, Sturm W, sedlair M, Schreck T, Ullrich T，等。用于患者群体子空间概念探索的视觉分析:利用医生在循环中理解复杂数据集。Brain Inform 2016 12月;3(4):233-247 [免费全文] [CrossRef] [Medline］
    91. 邢智，裴杰。从NHANES数据中探索疾病关联:数据挖掘、模式总结和可视化分析。数据仓库学报，2010;6(3):11-27。［CrossRef］
    92. 阿隆索WJ，麦考密克BJ。EPIPOI:一个用户友好的分析工具，用于从流行病学时间序列中提取和可视化时间参数。BMC Public Health 2012 11月15日;12:982 [免费全文] [CrossRef] [Medline］
    93. Antoniou D, Georgitsi M, Gkantouna V, Patrinos G, Poulas K, Tsakalidis A，等。Dautobase:利用Web可视化技术挖掘自身免疫性疾病的宝石。第10届IEEE生物医学信息技术与应用国际会议论文集，2010，发表于:ITAB'10;2011年1月17日;希腊科孚岛网址:https://ieeexplore.ieee.org/document/5687692/authors#authors［CrossRef］
    94. 伯德K，曼苏洛夫A，贝萨尔O，编辑。挖掘推特数据用于流感检测和监测。在:医疗保健系统软件工程国际研讨会论文集。2016年发表于:SEHS'16;2016年5月2日至8日;德州奥斯汀网址:https://dl.acm.org/doi/abs/10.1145/2897683.2897693［CrossRef］
    95. 陈超，滕勇，林斌，范毅，陈涛。应用时空扫描统计数据前瞻性检测登革热新发热点的在线平台。国际卫生地理杂志2016年11月25日;15(1):43 [免费全文] [CrossRef] [Medline］
    96. Chorianopoulos K, Talvis K. Flutrack.org:流行病学的开源和链接数据。卫生信息学杂志2016年12月;22(4):962-974 [免费全文] [CrossRef] [Medline］
    97. Garcia-Martí I, Zurita-Milla R, Swart A, van den Wijngaard KC, van Vliet AJ, Bennema S，等。通过自愿报告和频繁的模式挖掘，确定与蜱虫叮咬相关的环境和人为因素。地理信息学报2016年5月13日;21(2):277-299。［CrossRef］
    98. Frtuni GM, Puflovi D, Stevanoska E, Jevtovi ST, Velinov G, Stoimenov L.基于集成半结构化和结构化医疗数据的交互式地图可视化系统。在:生命科学中的数据集成。瑞士湛:施普林格国际出版公司;2017年10月27日:94-108。
    99. Haque W, Urquhart B, Berg E, Dhanoa R.使用商业智能分析和共享农村卫生机构的卫生系统基础设施数据。JMIR Med Inform 2014年8月6日;2(2):e16 [免费全文] [CrossRef] [Medline］
    100. 李永强，李永强。基于gis的时空自相关分析。地理科学学报2010 10月11日;24(10):1515-1526。［CrossRef］
    101. 黄超，卢瑞，伊克巴尔，林松，阮帕，杨华，等。一个使用电子病历的交互式探索性数据分析和可视化工具。BMC Med Inform Decis Mak 2015年11月12日;15:92 [免费全文] [CrossRef] [Medline］
    102. 季旭，春S, Geller J.基于Twitter数据的疫情爆发与传播检测系统。在:健康信息科学。德国海德堡:Springer-Verlag Berlin;2012:152 - 163。
    103. 沈辉，陈晓芬，陈晓芬，陈晓芬。医疗保健数据可视化:地理空间与时间集成。第11届计算机视觉、成像和计算机图形学理论与应用联合会议-卷2:IVAPP。2016年出席:CCV'16;2016年2月27-29日;罗马，意大利，212-219页https://www.scitepress.org/Link.aspx?doi=10.5220/0005714002120219［CrossRef］
    104. Kaieski N, Oliveira L, Villamil M. Vis-Health:巴西登革热病例的探索性分析和可视化。: IEEE。2016年发表于:2016第49届夏威夷系统科学国际会议(HICSS);2016年1月5日至8日;Koloa, HI，美国p. 3063-3072网址:https://ieeexplore.ieee.org/document/7427568［CrossRef］
    105. Katsis Y, Balac N, Chapman D, Kapoor M, Block J, Griswold W.公共卫生大数据技术:一个案例研究。在:互联医疗国际会议:应用、系统和工程技术(CHASE)。2017年出席:CHASE'17;2017年7月17日至19日;费城，宾夕法尼亚州，美国网址:https://ieeexplore.ieee.org/document/8010636［CrossRef］
    106. Kruzikas D, Higashi M, Edgar M, Macal C, Graziano D, North M.使用基于代理的建模为区域卫生保健系统投资和规划提供信息。参加:2014年计算科学与计算智能国际会议，2014年发表于:CSCI’14;2014年3月10-13日;美国内华达州拉斯维加斯网址:https://ieeexplore.ieee.org/document/6822331［CrossRef］
    107. Maciejewski R, Drake T, Rudolph S, Malik A, Ebert D，编辑。癌症统计数据聚合和分析-一种可视化分析方法。在:第43届夏威夷国际系统科学会议。2010年发表于:CSS'10;2010年1月5日至8日;檀香山，HI，美国网址:https://ieeexplore.ieee.org/document/5428311［CrossRef］
    108. Marek L, tueek P, Pászto V.在谷歌Earth上使用地理视觉分析来了解疾病分布:捷克共和国弯曲杆菌病的案例研究(2008-2012年)。国际卫生地理杂志2015年1月28日;14:7 [免费全文] [CrossRef] [Medline］
    109. Mitrpanont J, Roungsuriyaviboon J, Sathapornwatanakul T, Sawangphol W, Kobayashi D, Haga J，编辑。将medthaivis -泰国医学研究可视化扩展到SAGE2展示墙。在:第22届国际信息技术会议。2017年发表于:INCIT'17;2017年11月2-3日;泰国Nakhonpathom网址:https://ieeexplore.ieee.org/abstract/document/8257872［CrossRef］
    110. 张晓明，刘志强，刘志强，刘志强。基于视觉分析的药物不良事件检测方法研究。2014年高级视觉界面国际工作会议论文集，2014年，ACI'14;2014年5月11-13日;意大利科莫网址:https://dl.acm.org/doi/proceedings/10.1145/2598153［CrossRef］
    111. Ozkaynak M, Dziadkowiec O, Mistry R, Callahan T, He Z, Deakyne S，等。利用电子健康档案建立急诊儿科哮喘患者工作流程。J Biomed Inform 2015 10月;57:86 -398 [免费全文] [CrossRef] [Medline］
    112. Park A, Conway M, Chen AT。研究来自reddit的三个在线心理健康社区的主题相似性、差异和成员:文本挖掘和可视化方法。Comput Human behaviour 2018 Jan;78:98-112 [免费全文] [CrossRef] [Medline］
    113. 王芳，胡娟。基于可视化分析的电子病历护理路径挖掘与探索。J Biomed Inform 2015 Aug;56:369-378 [免费全文] [CrossRef] [Medline］
    114. Proulx P, Tandon S, Bodnar A, Schroh D, Harper R, Wright W.禽流感案例研究与nSpace和GeoTime。在:IEEE视觉分析科学与技术研讨会。2006年:IEEE'06;2006年10月31日至11月2日;巴尔的摩，马里兰州，美国https://ieeexplore.ieee.org/document/4035744［CrossRef］
    115. Soulakis ND, Carson MB, Lee YJ, Schneider DH, Skeehan CT, Scholtens DM.心力衰竭住院患者协作电子病历使用的可视化。美国医学信息学会2015年3月22日(2):299-311 [免费全文] [CrossRef] [Medline］
    116. Toddenroth D, Ganslandt T, Castellanos I, Prokosch H, Bürkle T.使用热图挖掘结构化常规护理数据中的关联。Artif Intell Med 2014 Feb;60(2):79-88。［CrossRef] [Medline］
    117. Torres S, echer - miller H, Boushey C, Ebert D, Maciejewski R.应用可视化分析探索国家健康和营养检查调查。在:第45届夏威夷国际系统科学会议。2012年发表于:CSS'12;2012年1月4日至7日;毛伊岛，HI，美国网址:https://ieeexplore.ieee.org/document/6149111［CrossRef］
    118. 闫伟，棕榈林，吕旭，聂松，徐波，赵强，等。ISS——中国农村传染病电子综合征监测系统。PLoS One 2013;8(4):e62749 [免费全文] [CrossRef] [Medline］
    119. 杨坤，马建林，郭志明。可视化探索的一个模型和框架。IEEE可视化计算图2007;13(2):357-369。［CrossRef] [Medline］
    120. 范亚德，皮亚茨基-夏皮罗G, Smyth P.从大量数据中提取有用知识的KDD过程。通讯ACM 1996 11月;39(11):27-34。［CrossRef］
    121. 涂凯，米提库，艾佛斯·奈米，郭华，吕华，贾克基马宁，等。电子病历管理数据关联数据库(EMRALD)的评价。中国护理杂志2014;20(1):e15-e21。［Medline］
    122. 高晟，饶杰，康勇，梁勇，Kruse J.美国新冠肺炎疫情下的县域流动格局变化。SIGSPATIAL特刊2020年6月3日;12(1):16-26。［CrossRef］
    123. Dong E, Du H, Gardner L.实时跟踪COVID-19的交互式web仪表板。《柳叶刀》传染病2020年5月;20(5):533-534 [免费全文] [CrossRef] [Medline］
    124. Lang TA, Altman DG生物医学期刊上发表文章的基本统计报告:“已发表文献中的统计分析和方法”或SAMPL指南。中华儿科杂志2015年1月;52(1):5-9。［CrossRef] [Medline］
    125. Tong A, Sainsbury P, Craig J.报告定性研究的综合标准(COREQ): 32项访谈和焦点小组检查表。国际卫生保健杂志2007年12月;19(6):349-357。［CrossRef] [Medline］
    126. 穆拉，马恩兹，图法纳鲁，阿罗塔里斯，西尔斯，斯菲特库，等。分析性横断面研究核对表。乔安娜布里格斯研究所，2017年。URL:https://joannabriggs.org/sites/default/files/2019-05/JBI_Critical_Appraisal-Checklist_for_Analytical_Cross_Sectional_Studies2017_0.pdf[2020-11-14]访问
    127. 霍华德Z，萨默维尔MM。两种设计方法的比较研究:对共同设计和参与性行动研究的影响。CoDesign 2014 3月6日;10(1):46-62。［CrossRef］
    128. 健康的社会决定因素。世界卫生组织2020年。URL:https://www.who.int/health-topics/social-determinants-of-health#tab=tab_1[2020-11-14]访问
    129. McGinnis JM, Stuckhardt L, Saunders R, Smith M.低成本的最佳护理:美国持续学习医疗保健的路径。华盛顿特区，美国:国家科学院出版社;2013.
    130. Etheredge LM。快速学习卫生系统。卫生Aff (Millwood) 2007;26(2):w107-w118。［CrossRef] [Medline］
    131. 葛林，李志刚。实施学习型卫生系统:从概念到行动。安实习医学2012年8月7日;157(3):207-210。［CrossRef] [Medline］
    132. Basole RC, Braunstein ML, Sun J.学习医疗保健系统的数据和分析挑战。J Data Inform Qual 2015 7月21日;6(2-3):1-4。［CrossRef］
    133. Berry I, Soucy JR, Tuite A, Fisman D, COVID-19加拿大开放数据工作组。开放获取流行病学数据和交互式仪表板，以监测加拿大的COVID-19疫情。Can Med association J 2020 Apr 14;192(15):E420 [免费全文] [CrossRef] [Medline］
    134. McGowan J, Sampson M, Salzwedel D, Cogo E, Foerster V, Lefebvre C.电子搜索策略的同行评审:2015指南声明。中国临床流行病学杂志2016 7月;75:40-46 [免费全文] [CrossRef] [Medline］
    135. Keshavjee K, Mirza K, Martin K.下一代EMR。种马健康技术通报2015;208:210-214。［Medline］
    136. Mühlbacher T，皮林格H.一个基于分区的框架，用于建立和验证回归模型。IEEE传输可视化计算图2013年12月19日(12):1962-1971。［CrossRef] [Medline］
    137. 波特K，威尔逊A.集成可视化:集成数据统计可视化的框架。在:IEEE国际数据挖掘研讨会。2009年发表于:ICDMW'09;2009年12月6日;迈阿密，佛罗里达州，美国。［CrossRef］
    138. 谢德迈尔M, Heinzl C, Bruckner S, Piringer H, Möller T.视觉参数空间分析:一个概念框架。IEEE传输可视化计算图2014年12月;20(12):2161-2170。［CrossRef] [Medline］
    139. Harrower M.设计有效动画地图的技巧。CP 2003 3月1日(44):63-65。［CrossRef］
    140. 夏哈尔，马穆森。临床领域中基于知识的时间抽象。《医学杂志》1996 7月;8(3):267-298。［CrossRef] [Medline］
    141. Müller E, Günnemann S, Assent I, Seidl T.评价高维数据子空间投影的聚类。Proc VLDB endowment 2009年8月;2(1):1270-1281。［CrossRef］
    142. 眼睛拥有它:信息可视化的数据类型分类任务。在:IEEE视觉语言研讨会1996年发表于:VL'96;1996年9月3日至6日;博尔德，科罗拉多州，美国。［CrossRef］
    143. 瓦西三角移山与泰国卫生系统改革运动。美国纽约:卫生系统研究所;2000.
    144. 健康的社会决定因素:加拿大的事实。美国纽约:Routedge;2010.
    145. 为临床研究开发电子健康记录质量评分:一项使用全科研究数据库的研究。见:第一届卫生系统互操作性和复杂性管理国际研讨会论文集，2011年发表于:WMI'11;2011年4月7日至9日;美国纽约。
    146. Volz J. silk -一个数据网络的链接发现框架。Ldow 2009; 53:38 [免费全文］
    147. 高性能可视化。美国纽约:查普曼和霍尔;2012.
    148. 画面。URL:https://www.tableau.com/[2020-11-24]访问
    149. Qlik。URL:https://www.qlik.com/us/[2020-11-24]访问
    150. BI。微软。URL:https://powerbi.microsoft.com/en-us/[2020-11-24]访问

    ‎
    API:应用程序编程接口
    电子健康档案:电子健康记录
    EMR:电子病历
    地理信息系统:地理信息系统
    高铁:卫生服务研究
    网:医学学科标题
    ML:机器学习
    NLP:自然语言处理
    新闻:电子检索策略的同行评审
    PRISMA-ScR:系统评价和元分析的首选报告项目范围评价的扩展
    弗吉尼亚州:视觉分析

    G·艾森巴赫(G Eysenbach)编辑;提交20.01.20;R Dias, L Sheets, R De Croon同行评审;对作者21.03.20的评论;修订版本收到01.07.20;接受24.09.20;发表03.12.20

    版权

    ©Jawad Ahmed Chishtie, Jean-Sebastien Marchand, Luke A Turcotte, Iwona Anna Bielska, Jessica Babineau, Monica Cepoiu-Martin, Michael Irvine, Sarah Munce, Sally Abudiab, Marko Bjelica, Saima Hossain, Muhammad Imran, Tara Jeji, Susan Jaglal。最初发表于《医疗互联网研究杂志》(//www.mybigtv.com)， 2020年12月3日。

    这是一篇开放获取的文章，根据创作共用署名许可(https://creativecommons.org/licenses/by/4.0/)的条款发布，允许在任何媒介上无限制地使用、分发和复制，前提是正确引用最初发表在《医学互联网研究杂志》上的原创作品。必须包括完整的书目信息，//www.mybigtv.com/上的原始出版物的链接，以及此版权和许可信息。
    Baidu
    map