我们开发了与苹果和谷歌的应用商店搜索算法相匹配的搜索词，然后，使用用于搜索这两个商店的软件，我们基于这种搜索策略创建了一个应用程序数据库。随后，2名审稿人将纳入和排除标准应用于数据库，并根据9项标准对应用进行筛选。使用这些应用列表，我们建立了应用信息的证据表，应用审查员使用经过验证的健康应用评估框架，即移动应用评级量表(MARS)来评估每个应用。 32， 33］．评级之间的差异是通过应用评审员之间的讨论解决的。然后，研究人员分析了青少年srh相关应用程序的趋势，并确定了应用程序质量上的差距，这些差距可以用于改进未来的应用程序。

由于我们对北美青少年的SRH应用很感兴趣，我们将搜索范围限制在谷歌Play和苹果应用商店的美国和加拿大版本。研究人员几乎没有关于这些商店搜索工作的具体细节的正式知识。 34]，我们的结果将在我们缺乏关于这些算法如何工作的特异性的背景下呈现。基于谷歌和苹果的推广，以及应用程序开发者可用的文档，谷歌应用程序商店的结果来自应用程序标题、出版商和应用程序描述，而苹果应用程序商店的结果基于应用程序标题、关键字和主要类别(例如，教育或生活方式)。

在使用移动设备搜索Apple和谷歌的应用程序商店时，我们发现在加拿大或美国无法使用的应用程序以及与特定设备不兼容的应用程序不包括在搜索结果中。此外，结果是个性化的，这可能会根据研究人员的搜索资料对应用程序产生偏见。我们通过使用定制软件来搜索谷歌Play和苹果应用商店来解决这个问题，这些软件之前已经经过测试，以确保个性化的结果和设备兼容性不会影响搜索结果。 35］．

我们使用4个电子数据库(Ovid MEDLINE、PubMed、Cochrane Library和CINAHL)对ASRH进行了简短的文献扫描，确定了与ASRH相关的15个关键术语:性、性行为、性健康、性教育、性健康教育、生殖、生殖健康、避孕、避孕、怀孕、安全性行为、性与关系、性传播疾病(STD)、性传播感染(STI)和HIV。

我们于2020年12月19日使用上述15个关键词搜索了加拿大和美国的苹果和谷歌应用商店。每个国家、每个商店的每个搜索词最多可返回50个结果，每个应用商店最多可返回1500个结果(加拿大和美国商店各有750个应用)。我们使用了自定义Python软件(Python software Foundation)，它不受搜索个性化和设备限制结果变化的影响，这一点在不同计算机上的测试证实了。结果被自动组织在CSV数据库中，该数据库被导出到Excel电子表格(微软公司)，并与MARS的Excel就绪版本配对，使其能够轻松集成到我们的证据表中。

总共有6项纳入标准和3项排除标准用于筛选应用程序( 文本框1)．

两名应用评论者(SLP和SK)独立评估了应用标题和元数据(如描述和付费/免费状态)。评审员讨论了那些在收录方面存在分歧的应用，并使用了额外的信息(如谷歌或苹果商店的应用照片)来达成共识。此外，两名应用程序评审员记录了任何应用程序不可用、不可用或无法使用MARS进行评估的原因。

我们使用了MARS，一个用于评估健康应用程序的有效工具。MARS被选为其高内部一致性和内部可靠性。MARS包含与应用特征(如评级和距离上次更新的时间)和应用质量评估相关的项目。这一评估分为5个子量表:用户粘性(游戏邦注:例如，应用使用起来有多有趣);功能(例如，应用程序的易用性);美学(例如，应用程序的视觉吸引力);信息质量(例如，信息质量和相关性);主观质量(游戏邦注:如用户使用应用的频率)。子量表进一步分为项目(定向问题)。所有MARS项目都采用李克特式5分制进行评分，得分高表示该项目的好感度。

2名评论者(SLP和SK)通过审查之前评级的应用程序来训练MARS，与所有作者一起练习对5个健康应用程序进行评级，然后在对所有纳入的应用程序进行MARS评估之前讨论评级差异。对项目得分的差异进行比较和讨论，最终项目得分由两位审稿人达成一致。所有项目得分的差异在讨论后得到解决。

为了评估每个应用程序，审查人员将应用程序安装在安卓或苹果设备上。如果一个应用程序在两台设备上都可用，那么苹果版本就会被评估。安装完成后，评测人员启动每个应用程序并与之互动10分钟。审查人员为应用程序创建了一个登录或帐户，需要这个过程来访问应用程序内容。在与应用程序互动后，评论者用MARS量表评估它，并临时重新访问应用程序的部分内容，以确定项目得分。为了确定一个应用程序是否在科学文献中有证据基础，评论者使用应用程序的名称搜索谷歌Scholar和PubMed，并检查前50个结果的相关性。如果找到了匹配的论文，评审员就会检查该研究的性质，以确定如何给MARS项目打分。

一旦我们为所有包含的应用构建了一个证据表，我们通过平均每个子量表中的项目来计算每个应用的子量表得分，然后通过平均该应用的MARS项目来计算MARS得分。我们将子量表和MARS得分转换为5分，以匹配MARS项目得分范围。每个项目的平均分也被计算出来，以创建一个项目的平均分。我们根据MARS分数对应用程序进行排序，以便比较应用程序质量。

然后，我们通过比较每个应用的MARS评分、子量表评分和项目评分来分析应用。排名前4的应用程序的子量表和项目得分(包括任意选择的应用程序数量)与应用程序的平均得分进行了比较。应用程序还根据自上次更新以来的持续时间进行了比较(将应用程序分为自上次更新以来少于或超过6个月的应用程序)。为了确定应用质量的差距，我们比较了平均项目得分。我们还通过比较每个应用的项目得分与应用项目平均得分，确定了排名前4的应用的质量改进领域。

搜索策略(总结在 图1) [ 37通过4次搜索共识别出2761个移动应用程序。在从结果中删除1515个重复应用后，总共有1246个来自Apple应用商店(n=751)和谷歌Play商店(n=495)的移动应用根据纳入和排除标准进行筛选。根据最终的纳入标准，我们的环境扫描中包含了15个移动应用程序。在这15款手机应用中，有5款只能在苹果平台上使用(安全套信用卡;有经验的青少年;Tia:女性健康顾问;格鲁吉亚电影剧情;和听诊器下)，3个只能从谷歌平台获得(青少年健康问题;12班生物笔记;和性健康生殖健康顾问)，7个从苹果和谷歌平台(bMOREsafe; It Matters; My Sex Doctor Lite; NeedTayKnow; Shnet; SAUTIplus; and The Sex Talk). Of the 15 mobile apps included, 4 were updated within the last 6 months at the time of analysis (bMOREsafe; NeedTayKnow; Shnet; and Tia: Female Health Advisor), whereas 8 were last updated more than 6 months ago (Adolescent Health Issues; Class 12 Bio Notes; Condom Credit Card; It Matters; My Sex Doctor Lite; SAUTIplus; Sexual Reproductive Health Counsellor; and TMI Georgia). The remaining 3 mobile apps did not provide information on the date of the last update (Teenagers with Experience; The Sex Talk; and Under the Stethoscope). Additionally, 4 mobile apps were targeted specifically for adolescents (Adolescent Health Issues; Class 12 Bio Notes; Teenagers with Experience; and Under the Stethoscope), 8 were targeted for adolescents and young adults (Condom Credit Card; It Matters; NeedTayKnow; SAUTIplus; Sexual Reproductive Health Counsellor; Shnet; The Sex Talk; and TMI Georgia), and 3 were targeted for adolescents, young adults, and adults (bMOREsafe; My Sex Doctor Lite; and Tia: Female Health Advisor). This information is summarized in 表1．

其中包含的移动应用程序在MARS上的平均得分为3.4/5。包含的移动应用程序在功能子域上得分最高，平均得分为4.1/5，而参与子域的平均得分最低，为2.9/5。主观质量子域的整体移动应用平均分为2.5/5，美学子域为3.3/5，信息子域为3.3/5。分数总结在 表2．

在MARS工具上，单个移动应用程序MARS评分在2.3/5和4.7/5之间变化( 图2)．“Tia: Female Health Advisor”是得分最高的移动应用，其次是“听诊器下”、“安全套信用卡”和“Shnet”。

在参与子域中，Tia:女性健康顾问的平均得分最高，为5/5，而在听诊器下的平均得分为4.2/5。Shnet和安全套信用卡的平均得分较低，分别为3.2/5和3/5。在功能性子领域，Tia:女性健康顾问和安全套信用卡的平均得分最高，均为4.5/5。听诊器的平均分为4.3/5，而Shnet的功能性平均分为4/5。在美学子领域，Tia: Female Health Advisor再次获得最高的平均分5/5。“听诊器”、“安全套信用卡”和“Shnet”在美学领域的平均得分分别为4.3/5。信息子域的平均分为安全套信用卡4.6/5，女性健康顾问Tia 4.4/5，听诊器下4.2/5，最后是Shnet 3.6/5。在主观质量平均分方面，Tia: Female Health Advisor得分最高，平均分为4.5/5。听诊器和Shnet的主观质量平均分均为3.8/5，而安全套信用卡的主观质量平均分最低，为3.5/5。

将排名前4的手机应用程序与所有手机应用程序的平均分进行比较( 图3)，我们的研究在MARS项目上发现了共同的强项。总的来说，我们研究中包含的移动应用程序在MARS项目上得分很高 手势设计， 性能， 易用性, 导航（ 图3)．虽然 视觉信息评分很高(4.5/5)，15个应用中只有8个(53%)包含它，因此，这个选项不被认为是优势。这些结果表明，未来SRH领域的移动应用程序在开发和传播移动应用程序时应继续考虑手势设计、性能、易用性和导航。然而，我们的研究发现，目前在SRH领域提供的移动应用程序的MARS项目存在重要差距。

这一环境扫描旨在提供一个全面的概述，为推广ASRH知识和成果而开发的移动应用程序。针对ASRH的智能手机应用的研究很少。尽管市场上有太多的移动应用程序，但我们的文献搜索发现只有15个应用程序与这个主题相关。据我们所知，我们的研究是首批对在COVID-19大流行期间为ASRH开发的移动应用程序进行全面评估的研究之一。智能手机应用程序在改善年轻人的健康知识、行为和结果方面具有巨大潜力。我们在MARS中确定了15款手机应用。这些应用程序在用户粘性、功能、外观、信息质量和总体目的方面都有所不同。大多数应用程序在功能性方面得分最高(平均分4.1)。这一发现表明，大多数应用程序优先考虑的是功能(包括应用程序性能、应用程序的易学性和屏幕之间的易于导航等概念)而不是其他功能。

环境扫描中包含的大多数移动应用程序都缺乏MARS项目 目标而且 证据基础．这一发现并不令人惊讶，因为移动健康领域一直被批评为提供了关于证据基础信息的功效和有效性的有限证据[ 38- 40］．在之前的研究中，研究人员调查了青少年对在性健康教育中使用数字技术的看法，报告称，青少年更喜欢可访问的(即，移动应用程序是首选资源，因为他们的问题可以立即得到答案)、值得信赖的(即资源必须是可信的并有证据基础)以及保密和私密的(即:资源应以不会造成尴尬的非威胁性方式提供信息)[ 41， 42］．信息的可信度、质量和准确性是鼓励年轻人使用数字平台获取性健康和健康信息的重要因素，如果青少年不相信数字信息的可信度，他们就不会对数字信息采取行动[ 9， 43］．数字技术或社交媒体平台具有改进的资源，可提供关于性健康和生殖健康及其权利的循证信息，有助于获取可靠和保密的信息[ 44]，但在某些领域(例如，与艾滋病毒相关的应用程序)，这些信息的可用性受到了批评[ 45］．

另一个弱点是缺乏应用定制，无法全面满足所有潜在终端用户的需求。在开发针对年轻人的移动应用程序时，与用户进行磋商至关重要，因为这一群体特别容易受到应用程序外观和感觉的影响。之前的研究表明，倾听并满足年轻人在移动应用程序和内容方面的需求是吸引他们的关键。 46- 48］．

MARS工具的心理测量特性已被证明是可靠和有效的[ 32]，这一工具的使用为我们的研究结论增添了力量。此外，我们的研究还对北美所有用于青少年性生殖健康的移动应用程序进行了全面评估。但是，英语以外语言的应用程序无法进行评估，这限制了我们的结果的泛化性，也限制了我们可以搜索应用程序的商店。同样，付费应用程序也不包括在搜索中。此外，我们检查的应用程序的功能可能与应用程序的更新版本不同，这些功能可能已经在这次审查后开发的应用程序中得到解决。考虑到应用程序开发和改造的速度，这种可能性是不可避免的。尽管该量表的评分者间信度很高[ 32]，审稿人的主观性可能会影响评分，在解释本研究中描述的结果时必须谨慎。最后，只有2名审稿人对每个应用进行了MARS评估，这限制了我们分析中的信息质量。

数字卫生工具，如基于智能手机的应用程序，在保持青少年性健康和生殖健康服务的连续性方面发挥着重要作用。有许多移动应用程序可以提供有关ASRH的信息。然而，很少有移动应用程序提供全面、可靠和基于证据的SRH信息来促进ASRH。本文概述了北美与ASRH相关的移动应用程序，通过定性评估总结了它们的优势和局限性，并描述了未来应用程序所需的关键功能和特性。这些信息可用于开展未来的研究，以评估移动应用程序对健康知识和行为的使用和功效，并促进ASRH。