针对阿尔茨海默病和相关痴呆护理人员的个性化语音饮食助手:系统开发和验证

介绍

问题

阿尔茨海默病(AD)的进行性脑部疾病导致脑细胞退化并缓慢死亡;降低记忆和思维能力;并最终摧毁了他们完成日常生活中最简单任务的能力。1]。阿尔茨海默病是世界上最常见的痴呆症，也是美国第六大死因[2]。大多数阿尔茨海默病患者在60多岁时首次出现症状[3.]。因为老年人的数量和比例正在急剧增加[4据估计，超过550万美国人可能患有阿尔茨海默病，其中大多数人年龄在65岁或以上。2]。目前65岁及以上人口的增长是美国历史上最重要的人口趋势之一[2，这是由于婴儿潮一代的老龄化，到2030年，他们的年龄将达到66-84岁，人口将达到6100万[5]。

患有AD和相关痴呆(ADRD)的人通常由家人或朋友照顾，最常见的是在他们自己的家中。根据美国疾病控制与预防中心的数据，2019年，超过1600万美国人为患有ADRD的家人和朋友提供了约185亿小时的无偿护理。6]。大约三分之一的痴呆症护理人员年龄在65岁或以上，大约四分之一的痴呆症护理人员是“三明治一代”护理人员，他们不仅要照顾年迈的父母，还要照顾18岁以下的孩子。6]。ADRD护理人员提供护理的时间比其他类型疾病患者的护理时间更长[7]。照顾患有ADRD的家庭成员是压倒性的，帮助照顾者不仅照顾病人，而且照顾自己是很重要的。

健康饮食的现有数字工具

到目前为止，还没有治愈多动症的方法。针对ADRD症状的药物治疗有限，但家庭护理人员的良好护理可以最大程度地提高患者的生活质量[8]。适当的食物和营养是预防ADRD和减缓其发展的最简单、最有效和可能最愉快的方法之一[9]。营养不良会增加行为症状并导致体重减轻，关于ADRD饮食有很多建议和指南[10-13]。然而，考虑到大量可用的信息，忙碌的护理人员很难确切地决定什么对病人最好。此外，护理人员不容易记住所有的指导方针和约束。提供营养指导和膳食计划的网站和流动应用程序[14，15]，但由于以下几个原因，它们并未被ADRD护理人员很好地接受:这些工具并非专门针对ADRD患者;他们的建议往往是通用的，没有考虑患者的具体偏好、合并症、文化或传统;这些工具没有考虑到看护者准备饭菜的时间限制或他们负担食品的经济能力;这些数字工具的复杂性让ADRD护理人员感到害怕，尤其是那些由于缺乏技术经验而难以使用电脑或智能手机的老年人。

支持语音的技术

正在全球流行的语音技术提供了一个潜在的解决方案。在美国，使用亚马逊Alexa或苹果Siri等语音助手的人数正在迅速增加;2019年，美国有超过1.11亿人每月至少使用一次语音助手，相当于39%的互联网用户和34%的美国总人口[16]。亚马逊的Alexa是最受欢迎的语音技术，占有75%的市场份额。17]。这个语音接口能够执行各种任务和控制各种系统。目前，与Alexa的互动和交流可使用英语，德语，法语，意大利语，西班牙语和日语[18]。

Alexa的功能可以通过第三方供应商开发的“语音技能”应用程序进行扩展。截至2020年3月23日，共有7万多种技能可供选择。这些“技能”使用户能够使用自然语言以各种方式与支持alexa的设备进行交互，包括游戏;购物;收集有关新闻、天气、旅游、健康和健身的信息。

随着声控技术越来越受欢迎，研究人员和工程师们已经开始开发它在医疗保健领域的应用，从健康新闻简报、营养指南、健身追踪器到冥想和瑜伽项目。例如，梅奥诊所已经推出了一种“急救”Alexa语音技能，可以回答有关如何治疗割伤和烧伤等常见事故的问题。19]。它提供了急救的自我护理指导，以及何时应该寻求紧急帮助的指导。

目标

在本文中，我们介绍了一种人工智能语音助手的设计、实现和初步测试，该助手可以为患有ADRD的亲人提供个性化的食物、营养和烹饪教育和指导。这个语音助手可以让ADRD护理人员不断获得有关食物、营养和饮食行为的有用提示。它还推荐食物和膳食。这些提示和建议是个性化的，针对患有ADRD的患者的病情，包括患者的ADRD阶段、偏好和医疗条件。此外，助手的建议是针对照顾者的，基于照顾者的时间限制，经济能力和教育水平。因为语音是我们最常见的交流方式，语音助手提供了一种自然的方式来参与技术，只需要最少的培训。这对老年人护理人员尤其有价值，老年人占护理人员的三分之一以上，他们可能难以使用需要精细运动技能、手眼协调或良好视力的其他形式的技术。

方法

系统概述

我们项目的目标是设计一个语音智能助手，以支持ADRD护理人员有效的饮食管理。这款语音助手建立在全面的个性化ADRD饮食护理知识库、基于语义的知识图推理引擎和亚马逊基于云的语音服务Alexa之上。

图1说明了系统架构，使护理人员能够通过Alexa访问。该体系结构有三个主要组成部分:(1)会话管理，管理与用户的会话;(2)知识库，为系统提供知识;(3) ADRD饮食管理，为用户提供详细的个性化饮食教育、推荐和规划服务。我们已经设计并实现了这三个组件，如下面的三个框所示图1．同时，我们使用Alexa现有的服务来识别用户的语音，将用户的语音转换为文本，并将系统的响应转换为语音并响应用户。对话管理组件包括UID (user intent detection)、DM (dialogue management)和RG (response generation)三个主要模块。知识库组件包括内部和外部知识。内部知识由本体和本体语言定义的规则组成。外部知识包括可以在系统中重用的相关现有知识。ADRD饮食管理包括一个语义推理引擎，以支持定制的问题回答、教育、建议和食品和营养规划服务。

‎ 查看此图

如图1，当系统接收到用户的请求时，该请求被发送到会话管理组件，在该组件中，该请求经过会话管理的三个主要模块来生成响应。首先，UID模块分析用户的请求或命令文本，并将文本与预定义的意图和对话状态进行匹配。其次，DM模块检查输入，执行对话策略，并更新对话状态。根据用户的意图，Amazon Web Services (AWS)的Lambda服务将调用与意图相对应的后端ADRD饮食管理信息。该服务主要由基于语义的推理器提供支持，该推理器处理知识库中定义的用户输入、事实和规则。语义推理将对话与用户(即护理人员和患者)的个人资料、上下文和ADRD医疗指南联系起来[10-12，20.-23]，启用个性化服务。第三，RG模块使用DM模块选择的语音行为和内容来构建响应。响应语言是根据用户的背景(如教育)选择的。

对话管理

该组件允许用户与语音助手进行交互。它从亚马逊Alexa接收用户的语音输入。Alexa使用自动语音识别和自然语言理解将用户的语音转换为文本。UID模块将用户的声音(转换为文本)与预定义的意图相匹配。意图对应于满足用户口头请求的系统操作。为了有效地识别用户的意图，我们从知识库中使用同义词和本体概念(即类和实例)扩展用户的话语。由于该系统侧重于饮食管理，因此我们选择了与食品、营养和饮食相关的顶级类，以及通过本体的两个主要关系连接到所选顶级类的类或实例:层次专门化/泛化(或是一个)的关系和类型的关系。这使得DM模块能够更好地识别与ADRD食品管理相关的实体。

图2DM模块的信息流程如图所示。解释后的用户意图是模块的输入。意图对应于满足用户口头请求的操作。根据我们的需求分析，在我们的原型系统中，我们预定义了五类意图，例如提供适当饮食的提示和健康膳食的建议。当用户与语音助手通话(提出问题、请求服务或回答问题)时，语音助手会提示用户需要的信息或澄清不清楚的信息。为了确定虚拟助手应该问什么问题，以什么顺序，什么时候问，我们使用有限状态方法来模拟对话结构。为每种类型的服务请求设计了状态转换图。这个图可以对上下文、不同的对话状态以及相应的转换进行建模和跟踪，以维护对话流。它包括一个初始状态S0，表示会话的开始，以及一组可能由输入消息产生的任何特定状态的后继状态(例如，S4和S5是S3的后继状态)。来自用户的传入消息将会话设置为新的状态和相应的响应。 The next state can be calculated based on the dialogue history, the input from the user, and the conversation’s context. Dialogue history is recorded as the path of states from the initial state to the current state. The graph helps the system produce coherent responses within an ongoing conversation. It also guides the conversation’s direction toward a predefined schema instead of letting the conversation’s topic drift randomly or letting the conversation be controlled by the user.

‎ 查看此图

在对话会话中，上下文信息与对话状态集成以确定下一个潜在状态。短期上下文将为一些对话状态保留，但长期上下文可能永久保留。例如，患有ADRD的患者的年龄，ADRD阶段，食物偏好和过敏构成了长期背景信息;看护者选择的午餐可以是短期的上下文信息。不同的上下文信息可能具有不同的过期时间。最后一次对话的主题和对话状态图中的最后一次对话状态也存储在会话上下文中。

在根据对话状态图确定动作之后，将其返回给RG模块。在用户与语音助手的每一轮对话中，DM模块执行一系列步骤，从用户那里收集所有需要的数据(槽位)。然后，它尝试找到既满足用户请求又满足会话主题和上下文约束的响应。响应需要来自后端AD饮食管理组件的知识支持。该组件在高级应用程序逻辑和低级对话规范之间架起了桥梁。它允许根据当前的高级上下文动态地调整对话。

知识库

语音助手的“大脑”是一个综合知识库，它存储了语音助手提供的答案、建议和提示的知识。为了建立这个知识库，我们广泛查阅了有关ADRD家庭护理的科学文献，以及有关ADRD护理的食物和营养提示[10-12，20.-23]。我们使用基于本体的信息模型在构建知识库时融合异构相关的信息和知识，从而通过添加新的定制知识来扩展Alexa的知识库。该本体侧重于ADRD患者一般护理的概念、关系、约束和规则、ADRD饮食指南、每个患者的简介和每个护理人员的简介。因此，我们可以用现有的(半)结构化知识来丰富和扩展我们的知识，例如，通过添加与疾病相关的知识(统一医学语言系统[24]、SNOMED临床术语[25]，《国际疾病和有关健康问题统计分类》第十次修订版[26])，药物(药物银行[27])，以及食品和营养(美国农业部[USDA]食品数据中心[28])。目前，我们只在系统中集成了美国农业部的食品数据中心，以获取详细的食品和营养知识。这些食物和营养信息，以及我们收集的ADRD饮食指南[10-13，20.-23]，应该能够解决语音助手所要求的大部分拟议服务。这是一个正在进行的项目;我们正在努力丰富语音助手的功能，以支持ADRD护理的其他方面，这可能会从其他知识来源中受益。

本体明确地表示了一个话语领域。它定义了用于描述和表示领域的概念和关系[29]。它以允许全面的、可移植的机器理解的标准方式在语义上定义领域知识。该知识库主要使用三种本体:(1)用户配置文件，该用户配置文件捕获患者和护理者的社会、经济、文化和物理属性，并为个性化提供证据;(2) ADRD饮食支持和教育，以用户友好的语言获取健康饮食的基本知识;(3)从其他来源提取的食物和营养知识[30.]，但根据我们的应用程序的目的进行了重组。图3显示系统高级本体的一部分。

‎ 查看此图

除了本体中定义的概念(类)和关系(属性)外，知识库还包括基于与AD饮食相关的专业医疗指南的规则。我们收集了AD的一般护理指南和食物和营养指南，例如来自国家老龄研究所[23]、阿兹海默症协会[22，梅奥诊所[31]， alzheimer .net，澳大利亚国家心脏基金会[20.]，美国农业部[32]。我们的研究团队中有两位经验丰富的临床医生专门从事包括ADRD在内的认知障碍的诊断和管理，他们进一步验证了收集到的规则，然后将这些规则转换为计算机可以“理解”的规则。我们使用语义网页规则语言(SWRL) [33]，一种基于万维网联盟标准Web本体语言(OWL)的富有表现力的规则语言，用于表示生成的规则。

AD饮食管理

后端ADRD饮食管理组件接收用户的请求作为输入，并调用相应的后端服务来生成响应，该响应被发送回会话管理组件中的RG模块。构建后端服务是为了支持上下文感知的个性化推荐、教育和问题回答。此组件的基础是描述逻辑(DL) [34]基于OWL本体及其扩展知识图的问答和推理引擎。特别是，我们使用深度学习来检查整个知识库的可满足性，并回答知识库上的复杂查询(例如，连接查询的联合)。我们将本体分为TBox(类和属性)和ABox(实例)[35]。因此，推理可以在两个不同的层面上进行，即TBox层面和ABox层面。这避免了对大量ABox实例的复杂操作，从而提高了推理性能。相反，大多数查询可以使用结构化查询语言引擎在ABox三重存储上执行。

自动推理采用后向链算法。倒链[36是一个目标驱动的推理过程。为了证明一个目标，需要递归地证明它的所有子目标。推理引擎使用知识库中的数据，通过匹配真结果的规则，然后假设真前提，来匹配初始目标。作为例子，方程1和2给出了两个类的包含规则。

假设有一个D类和a类的存在，下面在方程3中的反向链式应用说明了如何证明一个B类的存在。

推理引擎采用SWRL格式的AD饮食管理规则[33]，食物和营养本体中的事实，以及知识库中概要本体中的ADRD患者和护理人员的概要信息。当用户的查询或请求从DM模块传递到后端时，上下文信息和意图、情感等辅助信息与规则和事实一起被输入查询和推理引擎，以控制响应的生成。目标(和子目标)总是与隐含结果的确认版本相匹配，然后它们的前件被视为新目标，最终必须与已知事实相匹配(例如，在前面提到的例子中，D类和a类存在)。基于反向链的推理器将用户和语音助手之间的对话与特定护理人员和患者的个人资料、其他上下文和ADRD饮食医疗指南联系起来。通过这种方式，系统可以提供上下文感知的个性化推荐。

结果

原型实现

我们已经实现了语音助手的原型，作为亚马逊技能“adrd - dieetassistant”。我们已经进行了一系列初步评估测试，以评估语音助手的技术可行性和有效性。

• 前端实现:
  • Alexa技能工具包(ASK):
    • 对话设计，意图定义，激活意图的话语，插槽定制
  • Amazon Lambda服务:
    • 运行时:Node.js 12.14.1
    • 与Alexa通信的软件开发工具包(SDK): ASK-SDK
    • 日志服务:Amazon CloudWatch日志
• 后端饮食管理服务器配置如下:
  • 处理器:Intel酷睿i-7-4770 CPU @ 3.40 GHz(8个CPU)， ~ 3.4 GHz
  • 内存:32gb
  • 操作系统:Windows 10 Home 64位(10.0,Build 17763)
  • 编程语言:Java 8, Java Development Kit 1.8
  • 语义服务:OWL应用程序编程接口和SparkJava
  • 数据库:MySQL:后端AD Diet Management

评价结果

用例

语音助手可以支持各种食物和营养建议、教育和规划服务，包括适当饮食的提示、处理饮食中的挑战、食物和营养解释、膳食建议，以及回忆每天和每周的饮食历史。在对话中，可以集成不同的服务类别来满足用户的请求。

图4演示对话的一个例子。用户为女性护工;她要照顾65岁的父亲，他患有早期ADRD和2型糖尿病。在这个对话中，用户向语音助手询问食物的适宜性，并得到正确的食物推荐。

‎ 查看此图

话语1是激活饮食助手语音技能的调用。一旦该技能被激活，语音助手就会向用户打招呼(话语2)，然后根据用户的要求进行对话。语音助手触发一个特定的意图来处理用户的特定请求。在语音3中，用户询问语音助手某种食物是否对患者有益。这将触发后端服务来检查食品(在本例中是奶酪)是否适合作为零食。从这个话语中收集的变量是“cheese”和“snack”，它们被传递到系统的后端。系统的后端有一个意图处理程序，然后使用存储在本体论知识库中的事实和规则来检查“奶酪”是否适合作为阿尔茨海默氏症和糖尿病患者的“零食”。然后，它准备一段话作为回应发送给用户，如Utterance 4所示。在话语5中，用户询问了一个好的零食建议。然后，后端使用意图链来寻找健康的“零食”。 The response is shown in Utterance 6.

另一个示例对话显示在图5．在这段对话中，语音助手会根据护理人员的要求、对话的背景、患者的个人资料和健康饮食指南，向她推荐一份健康食谱。话语2-7显示了语音助手如何获取信息以做出适当的推荐，以便它可以准备所有插槽来调用后端意图。话语7表明用户可以提供比语音助手要求的更多的信息。语音助手会在语音8中给出推荐。用户拒绝了话语9中的建议。话语10表明语音助手承认拒绝并提供替代建议。在第12段，语音助手提出建议。

‎ 查看此图

为了对用户的请求提供满意的响应，后端饮食管理服务器将考虑影响患者饮食决策的多个因素，如ADRD营养要求、食物可用性、烹饪时间、份量、偏好、医疗限制以及文化和宗教限制。系统从用户的个人资料、上下文和健康指南中提取所有这些约束。

推荐的食谱图5，该系统遵循知识库中的多项指导方针，包括:

• 地中海饮食方法对神经退行性延迟(MIND)饮食停止高血压干预[j]10]鼓励食用各种蔬菜、浆果、坚果、橄榄油、全谷物、鱼、豆类、家禽和适量的葡萄酒。
• MIND饮食法还鼓励限制人们对黄油、人造黄油、奶酪、红肉、油炸食品、糕点和糖果的摄入。
• 美国卫生及公众服务部膳食指南[32研究表明，如果一个人每天吃三顿饭，那么一顿饭应该含有800-850卡路里。
• 美国糖尿病协会糖尿病指南[37]指出，一个人的晚餐总热量应占该人估计能量需求的25%，蛋白质摄入量应占膳食能量的20%-30%，糖应低于膳食能量的10%。

语音助手还检查影响用户饮食决策的其他因素，例如用户(患者或护理人员)的偏好、过敏、宗教限制等等。

定性评价

我们已经执行了一组定性评估来测试系统的性能。测试人员包括我们研究团队中的一名教员和四名研究生，他们在我们的研究实验室中与语音助手进行了180次对话。这些对话是由测试人员的请求调用的。每个请求都属于以下服务类别之一:食品和营养解释，膳食和食谱建议，以及适当饮食的提示。否则，测试人员在与语音助手交谈时拥有最大的自由和灵活性。

在我们的测试中，我们定义了一个阈值，即用户和语音助手之间对话的最大回合数，以限制对话的长度。如果对话超过了这个限制，并且用户没有收到满意的响应，那么对话将被标记为失败。在我们的评估中，我们将最大对话回合的阈值设置为20。给定这个阈值，对话成功率由公式4定义:

语音助手所提供信息的正确性定义如式5所示。通过根据医疗指南手动检查推荐内容是否正确，并与人为为测试生成的用户配置文件一致，从而确定正确性，即根据知识库中的约束和指南，检查推荐内容是否满足用户的要求，是否与患者和护理人员的配置文件一致:

表1显示测试结果。对话成功率从80%到100%不等。当语音助手无法将用户的意图与后端服务相匹配时，即无法将用户的话语与预定义的意图(函数)和调用意图所需的槽(参数)联系起来时，就会发生对话失败。对于食谱推荐，大多数失败的对话发生在语音助手一开始不能提供令人满意的食谱时。当在知识库中没有找到匹配的知识时，也会发生失败。尽管Alexa可以有效地将用户所说的内容与所有可能的已定义话语和插槽样本组合相匹配，但它在将未定义话语与插槽相匹配方面的能力有限。

讨论

主要结果

健康的饮食可以帮助减缓甚至防止ADRD的发展，从而改善老年人的健康状况和生活质量[21]。为了帮助健康饮食，我们设计、开发并评估了一款个性化的、可操作的、引人入胜的语音助手，以帮助ADRD护理人员管理患者的饮食。语音助手建立在一个基于本体的知识库基础上，扩展了外部知识图和推理与问答引擎，可以回答用户的问题，并提供个性化和细化的食品和营养建议。它遵循循证临床指南，并考虑到护理人员和患者的健康限制和个人偏好。通过各种案例对语音助手进行了评估。初步的测试结果证明了对话成功率和推荐的正确性。本研究初步证明了基于语音的虚拟助手为ADRD护理人员提供饮食相关服务是可行和有效的。

局限性和未来工作

本研究有局限性。定性评价是在实验室环境中进行的。在自然环境中，实际护理人员是否会以类似于实验室研究人员的方式使用助手，还有待进一步研究。我们计划将语音助手部署在自然环境中，以ADRD护理人员和早期ADRD患者为用户。更全面的用户研究将使我们能够评估语音助手的可用性、用户满意度以及改善健康和生活质量的结果。我们还将开展焦点小组，收集用户对知识需求的反馈，以完善我们的知识库。

为了提高对话的成功率，我们提出了几种方法来提高匹配的灵活性和准确性:

• 语音助手可以在对话过程中提供更多的口头指导，让用户更好地了解语音助手的期望。
• 开发人员应该为每个意图及其插槽定义更多的话语和同义词组合，以提高匹配率。
• 虽然亚马逊使用机器学习来匹配用户的意图与定义的意图，但这种学习是有限的，匹配性能在很大程度上取决于设计阶段提供的关键词和句子。我们将基于领域知识和用户反馈设计我们的机器学习算法，以提高理解的准确性。
• 我们将用更多相关的知识来扩展我们的知识库。

此外，我们计划捕捉对话并将其用于机器学习，以提高对话的准确性。如果我们能够在用户同意的情况下解决潜在的隐私和安全问题，在未来，我们将收集和使用大量的对话信息，以提高准确性。

结论

声音是人类最自然、最有力的交流方式。我们的语音助手为用户提供了一个自然的、交互式的界面，它不需要技术背景，而这可能是老年护理人员在日常护理任务中使用新技术的障碍。这可能会增强护理人员对ADRD饮食护理的参与，减轻护理人员的负担，改善对患者的护理以及护理人员自身的健康和福祉。