使用亚马逊网络服务云为癌症研究小组开发可重复的微生物组数据分析管道:概念验证研究

介绍

大数据和数据驱动分析已成为精准健康的主要驱动力[1，2]。人类微生物群及其基因组统称为人类微生物组，是大数据的一种形式[3.]。人体内有数万亿的微生物，包括细菌、病毒、真菌和古细菌[4，5]，在不同的宿主和同一宿主体内不同的身体部位[6，7]。人体微生物组在人类健康和疾病中起着至关重要的作用[8，9]。随着下一代测序技术的进步以及霰弹枪宏基因组学和代谢组学技术的兴起，微生物组数据集迅速扩大，特别是在人类微生物组计划的倡议之后[10]和美国肠道计划[11]。通过传统的计算方法(例如使用个人计算机和本地计算集群)在本地基础设施中计算和分析大数据集通常需要较长的运行时间，从而延迟了需要执行的进一步分析工作，并推迟了研究成果转化为临床实践的时间[12]。经典数据分析方法的另一个缺点是难以在研究合作者之间共享数据和发现。云计算的进步提供了技术能力，有助于解决标准计算方法带来的困难[12，13]。

除了数据存储之外，评估人类微生物组数据集还需要生物信息学工具，这些工具可以进行更深入的挖掘，破译微生物之间的机制联系，以及这些群落的潜在功能。为了研究元数据(例如人口统计和临床变量)与DNA测序数据之间的重要联系，需要专门的生物信息学和统计学工具来进行微生物组分析[14]。直到最近，研究人员才开发出微生物组数据分析软件(例如，Quantitative Insights Into Microbial Ecology [QIIME]和motherur) [15]。一种流行的生物信息学工具QIIME 2可以通过docker或云平台在conda环境中本地安装。Amazon Web Services (AWS)云为运行生物信息学工具(如QIIME 2)提供了宝贵的计算环境，而无需实施和支持大规模计算基础设施的开销[12]。基于云的计算管道已被开发用于各种数据分析，包括CloudNeo [16]和RNA-Seq分析管道[17]，用于下一代测序数据，聚类规则间隔短回文重复序列云(CRISPRcloud)用于汇总筛选数据的反褶积[18]。开发全面的微生物组数据分析管道，包括数据存储、计算和分析，以及使用实际研究中的微生物组数据集进行测试，将有助于研究人员进一步研究微生物组对人类健康和疾病(例如癌症、代谢综合征和神经退行性疾病)的影响[8，19-21]。通过AWS云运行的可靠且经过验证的微生物组数据分析管道可用于为研究合作者提供一致的通信平台，以共享数据处理，数据分析和研究成果的信息。因此，AWS管道可以提高微生物组研究的可重复性和研究团队的熟练程度[22]。

对于临床科学家来说，在开展微生物组项目之前需要克服几个挑战:(1)需要为大型微生物组数据集创建集体存储空间，以便在研究团队内部轻松共享数据和结果;(2)需要建立集中的数据计算能力，以促进所有当前和未来项目结果的可复制性;(3)需要确定云计算服务的成本，以便团队能够经济有效地研究人类微生物组。AWS云已经成为大数据存储、高性能计算和分析的流行平台[16-18，23]。因此，本研究的目的是利用AWS云服务(MAP-AWS)开发微生物组数据分析管道，并利用新开发的MAP-AWS进行微生物组数据计算和分析的概念验证测试。

方法

概述

开发和测试MAP-AWS的过程由四个阶段组成，如图1。我们首先收集了有关微生物组数据分析和MAP-AWS使用的资源，建立了一个多学科的研究团队，并从我们的机构和AWS支持中心排队可用的支持系统。其次，在埃默里大学(Atlanta, Georgia, USA) Winship癌症研究所研究信息学团队的支持下，我们启动了微生物组分析管道的开发，包括一个教程。

第三，我们开始了试点测试:我们运行了一个小型阴道微生物组数据集(n=19)，完善了管道和教程，并使用来自肠道微生物组的更大数据集(n=50)重新测试了管道。最后，我们通过演讲和研讨会在我们的机构研究小组中传播了MAP-AWS，并获得了关于这一新开发的MAP-AWS的反馈。

‎ 查看此图

准备

通过我们之前分析微生物组数据集的工作[22，24]，我们发现组建一个具备必要技能的团队、确保财务可行性和建立系统资源是开发大数据分析系统的重要组成部分。建立一支具有特定专业知识的多学科团队是成功部署用于微生物组数据处理、计算和分析的AWS云的关键。MAP-AWS团队是由来自埃默里大学护理、公共卫生和医学学院以及Winship癌症研究所的护士、医生、生物统计学家、流行病学家和微生物学家组成的多学科小组组成的。一位主要接受过人类微生物组和癌症科学培训的护士研究员领导了这个团队，并与其他几位团队成员建立了广泛的合作关系:一位来自Winship癌症研究所的研究信息学分析师，一位来自公共卫生学院的生物统计学家，以及一位来自护理学院的博士生。所有团队成员都具有丰富的微生物组数据分析经验[24，25]，包括以前的QIIME 2培训，积极参加与微生物组有关的内部和外部讲习班，以及关于人类微生物组及其对人类健康影响的出版物[24，25]。

在准备阶段早期招募信息技术(IT)资源对于确保在需要的时候协调所有IT资源以及及时提供故障排除活动的支持服务至关重要。IT人员可以帮助协调和组织将要使用的各种数据集，包括DNA测序数据、元数据、项目相关信息和研究协议。为访问所有AWS资源分配策略和权限是研究信息学IT组的关键角色。IT支持小组还提供了AWS命令行界面(CLI)方面的帮助。在我们的IT支持小组和在线AWS支持中心的支持下，我们为参与开发MAP-AWS的每个团队成员建立了AWS账户。

利用Amazon Web Services开发微生物组数据分析管道

AWS云为微生物组数据存储、计算和分析提供了各种选项。数据存储使用Amazon Simple storage Service (S3)桶。对于微生物组数据计算，主要使用Amazon Elastic Compute Cloud (EC2)实例(即AWS云中的虚拟服务器)，对于微生物组数据分析和特定生物信息学，使用包括QIIME 2 [22]和RStudio (RStudio, Boston, Massachusetts)安装在EC2实例中。对于我们创建的大多数EC2实例，我们选择使用Linux操作系统，它具有优化的中央处理单元(CPU)、内存和存储配置[26]。在这个特定的开发阶段，我们制作了一个关于如何在AWS中对微生物组数据集运行流程的分步教程。本教程包括以下主题:登录AWS、数据导入和存储、使用QIIME 2进行数据分析以及导出分析结果。新开发的MAP-AWS提供了在AWS中运行微生物组数据分析的完整工作流程。

使用QIIME 2进行微生物组数据分析，我们小组已经在各种计算机系统中进行了测试，例如Linux操作系统、Mac操作系统(OS)和AWS云[24]。QIIME 2管道生成每个样品的细菌群落信息[22]，这个过程包括两个阶段，分别称为上游和下游阶段(图2)。上游阶段包括导入16S rRNA序列，确保序列质量控制，构建特征表，生成系统发育树，以说明样品中存在的细菌分类群的生态相似性[24]。特征表描述了存在的特征以及与样本集中每个特征相关联的样本数量。下游阶段包括分类、多样性和丰度分析[14，22]。在此阶段，统计数据和数据的交互式可视化以图表和表格的形式显示调查结果[27]。

‎ 查看此图

使用Amazon Web Services测试微生物组数据分析管道

为了测试MAP-AWS的可行性，我们使用基于案例的形成方法进行了三轮测试，以完善微生物组分析管道。在第一轮中，我们训练了两名新手使用MAP-AWS来确定哪些地方需要进行重大更改，以提高教程和管道的内容和表示格式的可用性。然后，我们向一组癌症科学家演示了MAP-AWS，以获得关于教程内容和表示的反馈。在第二轮中，我们使用一个小型训练数据集(来自妇科癌症女性的19个未确定的阴道微生物组样本)在AWS云中对工作流程进行了试点测试，我们为培训研究科学家进行微生物组数据分析而准备了这些数据集[24]。这一步使我们能够在运行更大的微生物组数据集之前识别和排除问题。在第三轮中，两名团队成员(JB和IJ)使用相同的Greengenes分类器使用MAP-AWS独立分析了相同的阴道微生物组数据集(即16S rRNA V3-V4基因序列及其相应的元数据)，以确定管道的可重复性。最后的研究结果在两位团队成员之间进行了比较。最后，我们运行了一个更大的样本(50个未确定的肠道微生物组样本)，由埃默里整合基因组学核心测序。对于每个项目，我们使用内置的QIIME 2来源特性定期跟踪成本和处理时间，该特性捕获系统环境变量，包括处理时间和系统版本(例如，Linux和QIIME)。

使用Amazon Web Services的微生物组数据分析管道的传播

在测试和完善MAP-AWS流程和教程后，我们将该管道扩展到团队内的其他微生物组项目，包括肠道微生物组和结直肠癌发生研究，该研究涉及序列和元数据导入，数据质量控制，结果分析和模型构建。我们通过演讲和研讨会传播我们的管道。

道德的考虑

我们在本研究中使用的所有微生物组数据都已被鉴定，无需机构审查委员会(IRB)批准。

结果

使用Amazon Web Services开发的微生物组数据分析管道的描述

MAP-AWS的主要组成部分包括一个多学科研究团队、细菌序列和相应的元数据、用于微生物组数据存储的Amazon S3桶、用于运行微生物组数据分析的Linux EC2实例(安装了QIIME 2和RStudio)，以及用于创建和管理加密使用的安全密钥(图3)。通过我们的平台，可以在Linux操作系统或Mac OS系统中使用AWS的CLI执行微生物组数据分析。

‎ 查看此图

我们主要使用S3桶进行存储，使用EC2实例进行分析。对于MAP-AWS，我们使用了两种特定类型的存储。第一个是Amazon Elastic Block Store (EBS)，它与我们的EC2实例紧密集成。EBS用于存储EC2实例的硬盘内容，以及这些实例的快照[28]。使用的另一个存储类是Amazon S3桶，它只是云对象存储。我们仔细规划了存储、加密和EC2实例访问的权限。AWS EC2提供了针对运行cpu密集型基于云的应用程序进行优化的虚拟机[28]。根据分析和虚拟服务器的用途，我们的EC2实例被配置为通用用途，或者专门针对内存、计算能力或存储进行了优化。对于每个EC2实例，我们能够指定随机访问内存(RAM)、虚拟cpu、存储和网络性能。

一个Secure Shell (SSH)客户端(Mac OS终端或Windows的MobaXterm)被用来安全地连接到我们的EC2实例，从而可以远程访问一个终端，通过这个终端可以输入Linux命令来处理数据。安装并广泛使用AWS CLI与我们的AWS资源和基础设施进行交互。

接下来，我们设置加密，以确保S3存储桶免受未经授权的访问。我们在存储桶级别分配加密，这样所有移动到存储桶中的对象都会自动加密。

使用Amazon Web Services的微生物组数据分析管道测试

可行性

两名本科护理学生接受了使用我们开发的MAP-AWS教程的培训，并在他们完成对训练微生物组数据集(阴道微生物组样本)的分析后接受了采访。在导师和我们的组员IJ的指导下，他们都成功地完成了训练数据集的分析。两名本科生都对地图- aws和教程的使用持积极态度，支持地图- aws的可行性。

再现性

在本研究中使用MAP-AWS执行的所有步骤都在QIIME 2开发团队和AWS支持中心的支持下进行了测试。在MAP-AWS开发过程中，共有三个涉及S3桶和EC2实例的事件需要解决，并由AWS支持中心解决。两位经过训练的微生物组团队成员(JB和IJ)使用MAP-AWS独立分析了相同的阴道微生物组数据集(即16S rRNA V3-V4基因序列及其相应的元数据，n=19)。上游及下游的分析结果相同(图2) [24]，支持MAP-AWS用于微生物组数据分析的可重复性。

成本与效率

使用MAP-AWS在4小时内成功处理了50个肠道微生物组样本，随后使用QIIME 2(版本2018.4)进行了微生物组多样性、分类和丰度分析(表1)。使用典型的客户机-服务器架构对相同的数据集执行微生物组数据分析需要6个小时。这些运行时间是从QIIME 2来源中检索的。我们在最近的QIIME 2(版本2019.4)上重复了我们的工作，完成的运行时间与之前的结果一致。与微生物组数据分析的标准方法相比，MAP-AWS处理这些样品效率高，成本低。我们使用了一个c4.4 × large EC2实例，每小时花费0.80美元。这个定价水平类似于2017年发布的Nephele管道，当时一个c3.4 × large EC2实例的成本为每小时0.84美元[23]。

讨论

重要发现

本文利用AWS云开发了微生物组数据分析管道，并进行了微生物组数据存储、处理和分析的概念验证测试。这个管道是高度可靠的，计算能力强，成本效益高。该研究为构建和测试用于微生物组数据分析的新开发管道(MAP-AWS)提供了概念证明。这条管道效率高，成本效益高。它将为合作者之间共享分析工具和结果提供一个方便的环境。为了准确评估和利用这些数据，我们依靠开发工具、管道和标准操作程序，通过AWS云有效、高效地处理大数据。使用按需EC2实例的微生物组管道显示出低成本的微生物组数据分析能力。这条管道提高了与不同机构的临床科学家之间的高效和深刻的合作，帮助多学科研究团队继续协作使用AWS。

随着人们对评估人类微生物组并破译其与健康和疾病的关系的兴趣日益浓厚，需要更有效和更具成本效益的工具来进行微生物组大数据分析。本研究的目的是开发和评估MAP-AWS平台供临床科学家使用。我们描述了研究人员如何使用AWS构建自己的微生物组数据分析管道。AWS云可以显著加快微生物组分析过程，并为研究合作者之间共享数据和结果提供协作平台。MAP-AWS工具成功地完成了所有微生物组处理和分析步骤，既高效又可重复。MAP-AWS不仅保持了处理步骤和分析的基本再现性，而且与基本的、常用的微生物组数据分析方法相比，还提高了微生物组数据分析的效率和成本效益[12]。

与大数据分析的标准处理相比，AWS云为当前的微生物组数据分析带来了广泛的优势，包括优化的计算能力、灵活的EC2实例配置以及针对所有资源的强大安全性和策略。虽然普通服务器和桌面环境可以提供微生物组处理功能，但AWS为存储、计算和分析功能提供了支持性系统环境。例如，微生物组平台中的许多方法受益于计算优化处理，因为它们的重点是服务于针对计算密集型应用程序的高性能计算。MAP-AWS包括一个集成的工具，其中包含使用AWS工具(如S3桶检索和EC2实例的使用)和执行原始数据处理、高级QIIME 2和RStudio分析以及研究人员之间的数据共享和管理的组合教程。这个MAP-AWS平台为跨机构的项目经理和研究人员之间共享分析工具和结果建立了一个公共环境。在适当的许可下，大学内部的研究人员和外部合作者可以可靠地重新运行分析并共享发现。只需点击几下鼠标，就可以轻松地在全球多个地区部署微生物组数据平台。

AWS云已被广泛用于全基因组测序(WGS)分析任务。对于大规模的WGS分析，AWS被证明是一种高效且经济实惠的WGS分析工具[29]。具体而言，Wang及其同事使用全基因组复杂特征分析(GCTA) 2017竞赛提供的55×WGS数据集(400gb fastq序列)评估了GT-WGS的性能，发现他们的系统只需18.4分钟即可完成分析，整个过程的成本仅为16.50美元[29]。同样，我们最初的微生物组试点研究使用MAP-AWS快速完成(在4小时内)，而使用本地计算机则需要2-3天。因此，实施MAP-AWS可以显著提高计算效率，加快研究成果向临床实践的转化。

存在几种EC2定价模型，包括按需、保留和现货实例。用户可以根据应用程序的实时需求(使用按需实例)增加或减少计算能力，并按指定的小时费率付费。我们使用按需实例测试了我们的微生物组管道，显示出以低成本进行微生物组数据分析的巨大能力。

研究人员面临的最大挑战之一是整合和关联这些协议产生的大量数据的能力，并确定可用于制定可测试假设的生物学相关信息。作为在微生物组数据分析中使用AWS的概念验证测试，我们的研究结果支持其价值和可负担性。我们的MAP-AWS高效地集成和关联了大量存储在云环境中的组学数据，并为研究人员之间的交流提供了一个简化的平台。微生物组研究正处于产生大量数据集的边缘。为了准确评估和利用这些数据，调查人员必须依靠工具、管道和标准操作程序的开发，通过AWS云有效、高效地处理大数据。在AWS云计算服务的帮助下，研究人员、临床医生和计算机科学家将共同为微生物组研究及其在人类健康中的应用带来革命性的变化。

我们的微生物组数据分析管道是在癌症护理研究小组中进行的，并使用小样本量的数据集进行测试。该技术管道也应适用于其他微生物组数据集，如口腔或皮肤微生物组数据。人体微生物群失调与多种人类疾病易感性有关[21，30.]，包括与内分泌有关的疾病(如糖尿病)[31]及炎症性肠病[32])和神经发育障碍(如自闭症谱系障碍)[33]及阿尔茨海默病[34])。因此，MAP-AWS可以扩展到分析各种慢性疾病和病症的微生物组数据。我们的目标是使用大型数据集进一步测试MAP-AWS。此外，目前的管道主要嵌入了QIIME 2和RStudio，这限制了其他微生物组分析软件包的使用，如motherur [35]。随着QIIME 2作为一种生物信息学工具受到越来越多的关注，MAP-AWS是利用AWS云进行微生物组数据分析的理想示例。由于越来越多的人可以获得未鉴定的微生物组数据集，例如人类微生物组计划[10]，美国Gut [11]，以及齐塔平台[36， MAP-AWS将为我们的临床科学家和临床医生提供一种新的基于云的工具，以了解微生物组在护理质量和患者结果中的作用。

结论

该研究为构建和测试用于微生物组数据分析的新开发管道(MAP-AWS)提供了概念证明。这条管道效率高，成本效益高。它将为合作者之间共享分析工具和结果提供一个方便的环境。该平台的长期目标是继续在不同机构的临床科学家之间协作使用AWS，使我们的多学科研究团队更加高效和富有洞察力。MAP-AWS在不同临床条件下的大规模测试将加强多学科研究人员之间的沟通，并证实我们提出的在基于云的环境中运行微生物组管道的效率。