基于图像的自动营养应用程序中的人为因素:使用goFOOD life应用程序的常见错误分析

介绍

背景

大约12%的移动健康(mHealth)应用程序有健康注意营养和饮食。这些应用程序通常可以让用户记录他们的食物摄入量，并收到健康饮食的建议[1]。Sharp等[2回顾了关于记录饮食方法的比较研究;他们发现，大多数参与者更喜欢包括基于手机的饮食评估方法在内的程序，而不是传统的参考方法。2]。

与传统方法相比，这些新技术有几个优点。首先，他们不依赖于受访者的记忆，但他们可以为用户提供自动处理的数据和实时建议[3.]。其次，他们使用便携式设备，比传统的饮食评估方法有更好的社会接受度[4]。研究人员还受益于基于智能手机应用程序的方法，因为应用程序可以减少工作量，减少印刷和邮资成本，降低转录错误的风险[5]，并优化纸张文件存储所需的空间和安全方面[6]。由于其可行性和成本效益，基于移动电话的创新工具在大规模设置中可能优于传统工具[7]。

基于图像的应用程序可以分为两大类。第一种包括大多数现有的应用程序，它们要么是(1)手动的，其中没有集成人工智能(AI)组件，用户手动插入食物或饮料的类型和份量;要么是(2)半自动的，其中集成了某些类型的AI功能，例如自动食物识别，但份量估计由用户手动提供[8]。第二类包括基于人工智能方法的全自动系统[8]。第一类系统通常需要用户手动输入食品，而他们通常使用条形码扫描仪来识别包装食品标签[9或从图像中自动识别食物的算法。一旦识别出食物，通常会要求用户手动输入份量或体积，这样系统就可以将输入的信息转换为营养信息。然而，这一类的工具通常没有经过验证或认证，它们支持的食物类别数量有限，而且并不总是清楚哪个营养数据库用于营养信息[10]。这类食物的另一个缺点是个人可能不准确地估计份量[11]。这是一个严重的问题，在饮食评估应用程序的食物记录中，有近50%的错误是由它造成的[12]。第二类系统(完全基于人工智能)使用食物图像或视频输入[13-17]自动实时地(1)识别和分割不同的食品，(2)识别每种食品，以及(3)创建所有单个食品的3D模型。食物成分数据库(例如美国农业部营养成分数据库和瑞士食物成分数据库)支持将食物图像或视频转换为卡路里或大量营养素含量。[8]。这一分类的主要限制是某些食物类型，如混合食物(如千层面)或饮料，很难分析[13]，因为它们通常含有无法清楚识别的成分或放置在容器中，这使得难以评估体积。

由于移动医疗和人工智能技术的使用和不断改进，它们很可能会完全取代纸和铅笔的方法。目前，营养科学家通过app研究膳食评估主要集中在比较创新和传统的膳食评估方法上，而计算机科学家主要集中在优化算法上。然而，为了获得高质量的数据，营养学和计算机科学家还需要关注数据获取的行为方面。在对六大洲的卫生保健专业人员(n=1001)进行的一项国际调查中，他们提到要推荐a营养与饮食，他们更喜欢易于使用(87.1%)、经过验证(68.1%)、支持自动食物记录(56.5%)、自动输出营养估算(52.4%)的应用[18]。然而，食品质量评估的准确数据只能基于正确捕获的膳食图像，如果智能手机要用作食品记录的可靠来源，这一点至关重要。因此，捕获数据的质量会严重影响评估的质量，并且指出，如果要正确使用应用程序并提供最准确的结果，正确的数据捕获是关键因素。而不是从研究中删除错误的数据，深入的分析应该有助于探索常见的错误，从而进一步改进评估营养摄入量的自动化应用程序。

目标

沿着这些思路，本研究的目的是探索和评估在使用goFOOD Lite应用程序收集膳食摄入数据时常见的用户错误，考虑到收集的数据用于自动食物识别和营养估计(goFOOD)。因此，错误可能潜在地影响流程的自动化。结果将有助于改进给出的说明，根据用户需求调整应用程序，并增强应用程序的整体自动功能。

方法

招聘及筛选程序

样本纳入和排除标准

符合条件的志愿者包括一般人群中的成年人(18岁及以上)，他们自我报告有足够的信息通信技术素养，也就是说，他们知道如何使用智能手机，他们也在研究开始前提供书面知情同意书。排除营养学家、营养学家和营养学领域的学生，以避免与职业相关的偏见。不需要事先熟悉该应用程序就可以参加。参与者没有进行任何营养估算;因此，他们不需要在这方面有经验。

参与者

按照滚雪球法招募方便样本，即从伯尔尼应用科学大学和生物医学工程人工器官(ARTORG)研究中心(伯尔尼大学)团队成员的熟人开始。此外，通过我们在诊所、伯尔尼应用科学大学校园和社交媒体上的宣传传单，了解我们研究的学生也被招募进来。

goFOOD系统

goFOOD是一款安卓系统，支持图像和视频作为输入，通过人工智能和基于计算机视觉的分析用户智能手机获取的图像，自动确定一顿饭的类型、体积、卡路里和常量营养素含量(碳水化合物、脂肪和蛋白质)[19]。

本研究中感兴趣的版本是使用两张膳食图像作为输入，从不同的视角拍摄，并且在图像拍摄期间必须将参考卡放在膳食旁边。系统的图像处理模块包括以下3个主要阶段:(1)食物分割，(2)食物项目识别，(3)体积估计。利用深度神经网络对捕获的食物图像进行处理，进行食物分割和识别[20.，21]，而基于3D重建的算法估计食物体积[17]。然后根据每一种食物的种类、体积和食物成分数据库计算出一餐的卡路里和常量营养素含量[22，23]。goFOOD支持319个细粒度食品类别，并已经过技术验证。

goFOOD生活和参与者的行动或演练过程

为了本研究的目的，开发了一个简化版的goFOOD，称为goFOOD life。使用goFOOD Lite，用户可以记录他们的膳食(食物或饮料)，但与原始的goFOOD应用程序不同，Lite版本不会向用户提供任何估计结果(例如，营养含量和份量大小)，而这将是在人口水平上收集饮食摄入量的情况。有了这个应用程序，参与者可以通过在吃饭前后的特定角度拍摄两张照片来记录他们的食物摄入量。这个版本的应用程序会通知用户手机的正确位置(角度)，以便拍照和输入。与其他应用程序一样，goFOOD Lite使用特殊设计的参考卡作为基准标记，必须放置在记录项目旁边，以确保3D体积估算的准确性。此外，要使图像有效，必须满足以下条件:

1. 记录的食物最好放在一个椭圆形的盘子里，要么是中性的(白色)，要么是与背景颜色对比强烈的。虽然这不是一个绝对的要求，但敦促参与者遵守，因为这有利于后续处理，即营养估计。
2. 所记录的项目必须在图像中完全可见。如果这是一餐盘，那么整个盘子必须在图像中。如果这是一份非盘子餐，那么整个项目必须在图像内。如果是饮料，那么装饮料的整个玻璃杯或瓶子必须在图像内。
3. 一张特殊的参考卡(信用卡大小)作为基准标记提供给参与者。这张卡必须用于所有食品或饮料的记录，因为它对食品体积的估计和随后的营养分析至关重要。卡片必须与被记录的项目放在同一桌子或表面上，并且必须在其顶部的所有图像中完全可见，具有最多的颜色和纹理。大型连锁超市的忠诚卡也可以代替指定的参考卡。
4. 记录的项目和卡片的相对位置不能在两个不同的横向图像之间改变。
5. 食品和饮料必须分开记录。

每一种消费的食品(电镀的、非电镀的或包装的)和饮料都需要记录。更具体地说，参与者被要求记录他们在食用之前和之后的食物和饮料。一个记录包含对应的一个或多个项目，即食品或饮料的2个图像。这两幅图像是从不同的视角拍摄的，根据应用程序的指示和引导(0°和15°到表面或桌子)。记录还包含创建时间和日期。两个正确录音的例子见图1。

每次录音的具体程序如下:

1. 用户可以指示录制的是食物还是饮料。
2. 用户可以指定录制是在消费之前还是之后。
3. 用户在特定角度捕捉两张图像。该应用程序有一个功能，引导用户走向正确的角度，如果不符合这个角度，那么就不可能捕捉到图像。
4. 应用程序试图将录音传输到服务器。
   1. 如果没有可用的互联网连接，那么用户就会收到一条信息提示，敦促他们确保手机有互联网连接，并再次尝试录音。录音未完成，也未传输或存储。
   2. 如果网络连接正常，录音将被传输并存储在服务器上。录音完成。

如果过程没有达到步骤4b，则认为它没有完成，也不会被存储。

‎ 查看此图

研究过程

研究参与者被要求使用goFOOD life应用程序记录24小时内消耗的所有食物和饮料。

参与者参加了3个不同教学日中的1天，以了解研究的目的、goFOOD life应用程序的工作原理，并签署同意书。上一节所述的程序及准则(goFOOD生活和参与者的行动或演练过程)清楚地向参与者解释，以及参考卡的正确一面;这是记录程序的一部分，但尚未具体提及。

参与者通过观看几个演示，亲自尝试应用程序并提出问题来指导应用程序的功能。那些不能在指定的介绍日到场的人收到了一位负责数据收集的科学家的个人指示。在每个指导日结束时，所有参与者都被要求签署一份同意书。没有向参与者提供任何补偿。每位参加者都获得以下资料:

• 一部安卓智能手机，预装了goFOOD Lite应用程序，并能正常连接4G网络
• 指定的参考卡
• 24小时测试期结束后归还手机的说明
• 书面说明和演示视频，以确保正确使用应用程序

参与者必须在教学日提供基本的个人数据(地址、电子邮件和电话号码)，因为这是发送智能手机、发送登录数据和教学视频所必需的。

作为摘要，向与会者提供的指示清单如下:

1. 记录你在24小时内所吃的每一种食物或饮料。
2. 在食用食物或饮料之前和之后制作录音。
3. 在尝试录音之前，请确保手机有网络连接。
4. 遵循在指导日向您展示的4个程序步骤，并给您提供书面说明。
5. 试着遵循标准1(见goFOOD生活和参与者的行动或演练过程部分)。
6. 确保满足标准2-5;否则，该记录将无效。

此外，我们的团队还向每位参与者发送了包含参与者登录数据的电子邮件。此外，没有进一步的沟通，除非参与者遇到技术困难，在这种情况下，他们被指示与小组联系以获得支持。

统计分析

对存储在服务器上的所有图像进行评估，并将其归类为以下错误类别之一:(1)漏录，即仅在消费前或消费后进行记录;(2)包装食品错误;(3)板材错误;(4)基准标记错误;(5)组合;等等......采用卡方独立性检验检验犯错误的参与者的性别、年龄、自指导日起的天数以及参与者是否从事技术职业之间的关系。使用RStudio (version 1.0.153, 2009-2017 RStudio, Inc)进行数据处理。统计学显著性设为P= .04点。描述性分析，定义为均数(SD)。

结果

自我报告的基本特征

这项研究开始时有50名参与者，但有2名参与者因技术困难而退出。该研究包括48名参与者(27名男性和21名女性)，平均年龄为34.2岁(SD 11.7)。所有参与者都是居住在瑞士的说德语的欧洲白人。平均BMI (kg/m²)为22.7 (SD 2.9)， 76%(38/50)的研究对象处于正常范围(BMI 18.5-24.9)， 16%(8/50)的研究对象超重(BMI 25.0-29.9)， 2%(1/50)的研究对象肥胖(BMI≥30)，6%(3/50)的研究对象体重不足(BMI<18.5)。研究参与者自我报告的特征见表1。

食物的照片

该应用共捕获了529个食物记录，其中9.6%(51/529)是单次记录，即只包含餐前或餐后的图像。然而，这51个记录并没有从自动分析中被丢弃。剩下的478段录音分别是餐前和餐后的239组。此外，在最初的529份记录中，有61份包含包装食品，由于研究进行时该系统尚不支持条形码扫描仪，因此被排除在自动分析之外。

在468份非包装食品记录中，60份(12.8%)包含错误，需要进一步分类。有关这些错误的子类别的详细资料，请参阅下一节(误差的特征）.在图2，提供了正确和可用的照片示例。具体显示了4个记录，其中2个来自餐前(左图)，2个来自餐后(右图)。每个记录由捕获的2个(不同角度)图像中的1个表示。所有四张图片都显示在图2有第二张图片，从不同的角度拍摄，但由于第二个角度在食物和盘子方面是相同的，我们只提供其中一个。

图3描述数据过滤的过程，以排除由于错误或开发阶段而无法处理的照片。正如在方法部分，我们的团队成员没有计划与参与者进行频繁的沟通，除非他们遇到技术上的困难。

‎ 查看此图

‎ 查看此图

误差的特征

本节描述遇到的错误的特征和分类。

基准标记误差(n=19)

为了正确处理照片，应用程序需要一个基准标记，在我们的例子中，是一个信用卡大小的物体。在我们的研究中，参与者必须使用我们实验室制作的专用卡或商业超市会员卡。给出的说明表明，卡片必须(1)放置在盘子或食物或饮料旁边，(2)放置在与盘子或食物或饮料相同的桌子或表面上，(3)完全可见，(4)不能在1个记录的2个角度照片(0°和15°)之间移动，(5)放置特定的一面朝上(正确的一面被清楚地指示)。一些图片包括不完全可见或没有卡片(n=9)。其他问题包括使用正确的卡片，但在错误的一边(n=2);将卡片放在盘子顶部的图片(n=2);6张图片包含上述类别之外的错误，例如不正确的卡片或卡片在1个记录的2个角度照片之间移动(n=6)。例子见图4。

‎ 查看此图

板不完全可见(n=8)

尽管参与者被告知需要捕捉整个盘子才能使应用程序发挥作用，但仍然存在盘子在图片中不完全可见的情况(n=8)。中提供了一些示例图5。

‎ 查看此图

误差组合(n=17)

本节提供了前面两种错误类别以及其他问题的组合，其中的示例见图6。以下是错误组合的列表:

• 板加障碍物的问题(n=2)
• 盘子和卡片都不完全可见的问题(n=6)
• 卡不完全可见和重复输入相同的图像(n=2)
• 一张卡片在第一张和第二张图片之间移动并且不完全可见的图片(n=1)
• 食物在同一记录的两个角度图片之间变化的图片，卡片放在盘子上(n=1)
• 使用不正确的牌型组合和不完全可见的牌(n=4)。

‎ 查看此图

照片中的其他错误(n=16)

一些图像包含了一个障碍物，阻碍了记录的食物的可见性，比如一个人的手(n=3)。在一个例子中，1次记录所需的2张不同角度的图片包含不同的项目(0°的图像是食物，15°的图像是饮料;n = 1)。其他包含文件(n=2)或训练测试图像(n=7)错误的错误也被排除。例子见图7。

‎ 查看此图

其他问题:非错误

在本节中，我们希望提出某些不能被视为用户错误的问题，因为它们从未被严格指示，但可能影响应用程序的流畅功能。具体问题与软件或硬件的限制有关。参与者被告知，理想的场景包括椭圆形的白色盘子，但他们并没有被严格要求使用具有这些特征的盘子。因此，从算法的角度来看，带来挑战的问题包括使用非椭圆形状的板，例如矩形、高度图案化的板、透明板或产生反射的板。高度图案化的盘子使系统更难检测和识别食物。同样，一个非椭圆形的板可能会损害整体精度，因为在这种情况下，系统需要估计一个相应的椭圆板。上述问题的例子见图8。

某些其他问题与研究组织者和最终用户对指导需求的可能差异有关。在研究时，应用程序中没有集成条码扫描器，因此在这方面没有给出具体的说明。然而，如果是日常饮食的一部分，用户被要求记录所有消耗的食物。通过检查包装食品的记录，我们发现了一个常见的图像问题。在许多情况下，之前和/或之后的记录包含的照片只显示了食品的包装，而不是其内容，这是真正的食品。这样一个例子在图9。这是一个很大的问题，因为该系统目前只能识别食物，无法识别品牌和/或读取条形码。然而，即使系统能够从条形码中识别出食物的类型，这些记录仍然是有问题的，因为不可能估计出数量。在这种情况下，用餐前后的记录将是无用的。

在某些饮料录音中也遇到了同样的问题。其中许多都包含不透明瓶的记录，其中的内容，即实际的饮料，以及数量是不可见的。

‎ 查看此图

‎ 查看此图

参与者犯错的人口学特征

我们对错误的分析显示，52%(25/48)的参与者至少犯了一个错误，而4个参与者犯了4个错误，1个参与者犯了6个错误。在犯错的参与者中，有13名女性和12名男性。从年龄上看，18-29岁犯错误的人占72%(13/18)，30-39岁犯错误的人占42%(10/24)，50岁以上犯错误的人占33%(2/6)。然而，当我们检查犯错误的人与性别(P=.65)， age (P=.38)，技术知识(P=.22)，或从指令日(P=.65)，差异无统计学意义。

讨论

主要研究结果

本研究使用基于人工智能的系统goFOOD分析了在评估食物摄入量时人为错误和人为因素造成的其他挑战。对用户错误的分析应该为改进应用程序以及基于应用程序的饮食记录的质量和可靠性提供有用的材料。大多数现有的研究只关注创新方法和传统方法的有效性或比较性能，例如，应用程序与手动食物日志来跟踪食物摄入和饮食评估。在这些研究中，参与者通常只被问及他们对这些应用的用户体验和/或用户友好性的看法;然而，基于图像的应用程序在记录食物摄入量时出现错误的原因通常不会被调查。在我们的研究中，12.8%(60/468)的非包装食品图像必须被丢弃。此外，52%(25/48)的参与者在使用应用程序拍摄食物时至少犯了一个错误，这强调了需要改进自动收集饮食摄入数据的方法，以及向用户提供的说明和重点。

主要误差主要与不正确或不恰当地使用基准标记有关;所用印版有问题(如印版不兼容或仅部分可见);而缺失录音，即消费前后的录音对不一致。其他问题与测试录音、用手遮挡摄像机以及各种错误有关。卡方检验的结果表明，使用该应用程序所犯的错误与年龄、技术知识、性别和指导后的时间无关。虽然我们的样本量很小，但我们可以表明，先进的技术素养并没有在充分理解如何满足应用程序运行所需的图像标准方面发挥作用。虽然，根据卡方检验，我们发现老年人犯的错误更少，但事实上，我们不能得出与年龄有关的强有力的结论，因为我们的老年参与者样本非常小。一些假设包括，年龄较大的参与者在收到使用应用程序的说明后可能会更加谨慎，因为他们告诉我们，他们希望对这项研究做出认真的贡献。虽然年轻人普遍更熟悉智能手机，但这种矛盾的结果可能是由于高估了他们自己的技术素养，或者在关注指导方针方面存在困难。此外，我们的研究结果表明，在指导日之后立即开始食品和饮料消费记录并不影响错误的数量或正确的使用。 As a consequence, further studies can consider the use of an image-based log app any time after the instruction days.

与前期工作比较

其他研究也提到了营养应用程序的用户方面，但没有充分分析或提供使用这些观察结果的目标。一项针对青少年(n=18)的研究测试了他们在父母投入有限的自由生活条件下的适应能力。他们被要求使用FRapp记录他们的饮食摄入量。这款应用程序使用图像、文本、语音、条形码等输入，并选择最近消费的食物套装。在标明食用的食物种类后，用户必须注明食用的食物种类和数量。作者认为，只有少数参与者遵循所有指示[24]。在另一项研究中，参与者使用mpFR应用程序获取用餐和饮料前后的图像。该应用程序使用半自动食物识别，自动体积估计和半自动营养估计[25]。使用mpFR进行了另一项应用程序研究。这包括青少年和他们的父母，参与者被要求拍摄他们的食物和饮料的前后图像。26]。以下各段将讨论这些研究的若干发现。

前后对比图

在我们的研究中，9.6%(51/529)的应用程序获得的图像只有一次饭前或饭后的记录。我们的结果与其他研究一致，在这些研究中，参与者被要求拍摄两顿单独的饭菜(每次进食前后)，然后输入饮食评估应用程序。参与者在80%的第一顿饭和84%的第二顿饭的条目中都包含了进食前后的照片[25]。在一项针对成年人和青少年的研究中发现，成年人比青少年更有可能在餐前和餐后捕捉图像，并包括所消耗的所有食物和饮料。26]。此外，Casperson等人的研究[24]，参与者很难记住捕捉餐后图像，这意味着这个要求是有问题的。为了帮助提醒人们拍摄餐后照片，个性化的提醒可能是有益的，比如伴随着声音、振动或弹出信息的定时功能，因为这可能会减少遗漏消费后图像。

基准标记

尽管在我们的研究设计中考虑了早期用户的反馈，但与基准标记相关的总共19个错误仍然发生。在我们的研究中，不包括整个基准标记的记录数量很少(1.7%)。然而，其他研究人员报告说，由于参与者对卡片的大小有困难，基准标记出现了错误。Daugherty等[26]要求成人(n=57)和青少年(n=78)在不受控制的条件下记录1或2顿饭，他们注意到所需的基准标记(棋盘正方形)太大，因此有时被盘子或器具部分覆盖(98/156)。至于首选的基准标记类型，大多数成年人(91%)和青少年(67%)提到信用卡大小的物体更容易使用和携带。usb大小的基准标记的百分比分别为成人的42%(30/78)和青少年的67%(38/57)。

来自同一项研究的另一项分析显示，同一青少年样本(n=70)中，只有23%至29%的参与者在其前后图像中没有包括整个基准标记[25]。根据研究人员的说法，这些错误的出现是因为一些参与者太矮了，无法正确地捕捉到整个用餐过程。此外，他们指出，即使反复使用该应用程序，也没有注意到包含整个基准标记的参与者数量发生显著变化。此错误可透过在使用基准标记时增加屏幕通知提醒来避免或减轻[22，26]。另一种可能的解决方案是自动探测器，它将实时验证标记是否在相机框架内，从而通知用户。然而，新一代智能手机配备了2个或更多的后置摄像头，可以消除基准标记，因为可以同时捕获2张图像[19，27]。

其他问题

关于只包含部分盘子的图片，以及提到的包装食品和饮料的问题，我们的理论是用户误解了体积估计是如何工作的，或者完全没有意识到它的发生。最可能的情况是，他们没有批判性地评估捕获整个内容的重要性，而只是包装，甚至是其中的一部分。

对于部分捕获的盘子，我们假设在我们的研究中，用户误解了系统处理图像的方式，即需要实际估计的食物或饮料是可见的，以便可以估计其体积。同样的问题也经常出现在饮料的录音中，其中有几个录音只是显示一个不透明的瓶子，其内容未知。我们还认为，对基准标记的要求以及整个车牌应该在照片中可能对一些用户构成了挑战。

在未来的研究中，需要包括整个板块应明确强调。此外，向参与者展示一个更详细的系统结构，解释体积估计的步骤，这样图片必须包含用户即将消费或已经消费的所有内容，这将是明智的。此外，如果应用程序询问用户是否给出了答案，如果是，允许用户修改答案，这可能会有所帮助。

的优势

我们研究设计的主要优势之一是能够在现实生活中测试应用程序。此外，这是为数不多的分析用户错误的研究之一，而不是关注与饮食或营养计算准确性有关的方面。此外，我们的参与者来自不同的教育背景(学生，工人等)，代表了广泛的年龄范围，对技术的熟悉程度不同。另一个好处是，参与者没有被要求改变他们的饮食习惯。例如，我们并没有建议他们从他们的饮食中排除任何包装食品，尽管我们的系统在现场工作完成时还没有准备好处理这些数据(工作正在进行中)。我们的目标是尽可能保持手术的无创性并捕获一个正常的进食当天，我们选择不向参与者发送任何个性化的文本推送信息，以帮助他们完成图像输入过程。事实上，在参与者向我们的计算机科学家团队报告使用该应用程序的困难和合规问题后，我们只在研究进行到一半的时候发送了一封电子邮件。我们研究的另一个优势是低辍学率(4%)，这可能是由于我们的团队对报告的任何技术问题的持续支持。

此外，可以认为使用客观数据来捕获输入错误是一种优势，因为所有包含错误的数据都是由训练有素的专家排除的，而不仅仅是参与者的主观意见。与另一项研究相反[21，我们不鼓励参与者不受任何限制地行动，例如，我们没有让他们想拍多少就拍多少，因为我们认为这是一种主观意见。未来的研究需要结合客观和主观两个方面，以达到一个完整的结果。在下一阶段，这些研究可以在接受率、难度和偏好方面进行比较。

限制

我们研究设计的一个关键限制是参与者只记录了一个24小时的摄入量。因此，不可能评估输入错误的进展——它们是随着时间的推移和应用程序的使用增加而增加还是减少。如果在参与者对输入错误的担忧进行了中间电子邮件沟通后，看到错误是否减少了，那将是一件特别有趣的事情。长期观察用户有助于了解用户对应用的接受程度、使用模式以及使用错误率的变化。我们研究的另一个限制是要求使用单独的手机，而不是参与者自己的手机来拍照。由于用户界面不同且可能不熟悉，使用额外的电话可能会导致更多的输入错误。携带另一部手机也可能会引起不适。我们也不能忽略一些食物和饮料没有被捕获的可能性，最有可能是那些在两餐之间消耗的食物和饮料(例如，水果等即食零食或水等饮料)。然而，尚不清楚是参与者不吃饭，还是他们选择不记录零食，或者只是忘记了。如前所述，该应用程序尚未准备好分析包装食品和饮料，因为该功能目前正在开发中。 However, a barcode scanner could easily be integrated into the app with the assistance of an appropriate web or mobile stored database. Manual selection of the consumed beverage and the respective portion size from a list of beverages could also be easily integrated into goFOOD in a further stage of the app’s development. Furthermore, technology savviness may have been an obstacle for older participants, and thus, their participation in our study was limited. As mentioned earlier, unfortunately, we did not have a representative sample of older participants, and thus, we cannot draw strong conclusions regarding age. Finally, another limitation of this study is that the sample consisted only of Caucasian, German-speaking people living in Switzerland, and thus, the results cannot be generalized to a wider population.

对今后工作的建议

我们最先进的研究是新颖的，因为没有其他研究关注使用自动应用程序进行营养评估所产生的数据错误。这项研究表明，学习如何正确使用基于图像的应用程序可能需要足够的指导，而对于这些类型的应用程序，一般的技术素养可能还不够。该应用的未来改进可能会集中在提高对不同类型盘子上食物的识别，即不同颜色和形状的盘子，以及探索使用基准标记的替代方案。此外，提高对用户培训需求的理解，增强app的用户友好性，开发基于参与者反馈的自动图像检查功能，对未来的研究至关重要。此外，未来有必要对老年参与者进行研究，以获得具体结果，了解年龄如何影响使用基于图像的饮食评估应用程序所犯错误的数量或严重程度。

本节概述了应用程序可能的改进，以减少用户错误。通过应用程序改进导航，包括一些培训材料，可以帮助用户在实际试用之前训练和测试自己，从而消除基本错误。例如，一位参与者提到:“也许我拍了太多次不同的照片，或者我没有拍正确的照片，因为应用程序卡住了。”在这种情况下，检查并通知用户是否正确捕获了图片的系统将会很有帮助。该应用程序的另一个有用功能可能是删除条目的可能性，特别是在应用程序提示用户再试一次的情况下，因为“照片没有被保存，因为照片拍摄不正确”。验证良好照明条件的短信将改善图像捕获过程和应用程序的可用性。可变速度的视频教程可以帮助那些不太擅长或不太自信使用这类应用程序的人。此外，常见问题部分可以帮助用户自行排除故障。同样，在数据输入过程的不同阶段集成文本消息可以帮助用户并减少错误。这里提供的建议可以翻译成不同的语言，以确保使用不同语言的用户可以完全理解应用程序的提示。此外，这款应用目前在使用安卓操作系统的智能手机上运行。 The app could also be developed for the iOS system, and with this, the vast majority of smartphone users would be covered.

最后，通过分析用户错误，我们了解到在goFOOD应用程序的设计和开发过程中整合用户的重要性。这是有道理的，因为受益于此类应用程序的最终用户和医疗保健专业人员应该在整个开发过程中考虑他们的需求，并使用工具和技术，例如广泛的调查和定期的试用测试来促进这一过程。因此，研究是必要的，以概述这些应用程序如何以及何时可以最有效地满足这些需求。18]。

结论

据我们所知，这是第一个客观分析现实生活中食品和营养识别应用程序自动化中的用户错误的研究。因此，错误分析产生了新颖的结果，在将膳食信息输入应用程序的不同步骤中识别出多种形式的人为错误。从本研究中对错误和遗漏的分析是至关重要的，因为所获得的知识可用于优化应用程序的不同方面，加快输入膳食的过程，并阐明应用程序和用户体验需要改进的领域。goFOOD被设计成一个功能性应用程序，可以通过协助医疗保健专业人员的日常实践来帮助营养评估过程。更具体地说，我们希望像goFOOD这样的营养应用程序既可以作为食物日志(goFOOD life)，也可以作为饮食评估应用程序，从而减少传统方法评估营养所需的时间和精力。此外，用户和营养师之间的数据交换将促进他们在跟踪食物摄入量方面的协调。最后但并非最不重要的是，在获取营养数据领域工作或规划流行病学和临床研究的研究人员将从我们的分析中受益，因为他们可以了解哪些具有特定特征(人为错误)的数据应该被忽略，并提高他们对缓解控制措施的理解，他们可以将这些控制措施整合起来，以改进研究计划和数据质量。