我们研究使用的材料包括从梅奥诊所的患者教育数据库中检索的糖尿病患者教育材料语料库和从糖尿病论坛中检索的问题语料库。在梅奥诊所的批准患者教育材料数据库中，有超过7400份高质量的、专家评审的、基于结果的患者教育材料，这些材料使用疾病概念进行了索引。我们检索了所有与糖尿病相关的教育材料，共计144个文档，以PDF格式，并使用Apache Tika，一个内容分析工具包[ 19]，将PDF格式转换为纯文本格式，形成患者教育资料语料库。我们选择了一个很受欢迎的糖尿病在线论坛——途糖尿病论坛[ 20.]，检索糖尿病患者提出的问题。有超过43000名论坛用户发布问题，提供答案或评论，参与讨论，分享经验。论坛上的问题被分为12类。我们从网站上收集了7510个糖尿病问题;对于每个问题，提取相应的标题、内容和类别，形成糖尿病患者的问题语料库。

我们使用来自美国国家医学图书馆(NLM)的统一医学语言系统(UMLS)和相关的概念映射工具MetaMap，从语料库中表示和提取临床概念。UMLS是一个临床概念的综合资源，它集成了来自60多个生物医学词汇族的约90万个概念的200多万个名称，以及这些概念之间的1200万个关系[ 21］．每个临床概念都有一个唯一的概念标识符。UMLS将临床概念分为134种语义类型。这些语义类型进一步分为15个语义组。MetaMap工具是由NLM开发的可配置应用程序，用于将生物医学文本映射到UMLS metatthesaurus。

我们使用LDA主题模型和JGibbLDA软件[ 22]对病人教育资料进行分类。LDA主题建模是一种常见的方法，它基于三层层次贝叶斯模型，生成具有无限混合的高潜在主题概率集[ 23］．统计分析采用R [ 24］．属性比例数据采用卡方检验进行分析。我们还使用Cytoscape软件版本3.4来可视化在不同模型中生成的网络[ 25］．

我们比较了为匹配问题推荐患者教育材料的三种算法:(1)使用scikit-learn 0.18.0包的VSM模型作为基线模型[ 26]， (2) Kandula等人提出的基于主题建模的匹配模型[ 18(3)基于语义组的匹配模型，该模型将患者教材语料库中的每个语义组视为一个主题，对患者教材语料库中的细节进行处理 图2．看到 多媒体附件1用于基于主题建模和基于语义组模型的权重计算。

为了比较性能，我们随机选择了50个问题，并在两位专家的同意下，基于人工审查组装了一个黄金标准数据集。具体来说，对于结对问题 问和教育材料文件 d，我们在0到2的范围内手动分配了一个分数来表示d是否与q相关，其中0表示不相关，1表示部分相关，2表示最相关。两位医学专家执行了这项任务。加权科恩kappa值被计算来确定注释者之间的一致性。在两位专家的共识基础上，金本位制应运而生。顶部的精度 k检索到的文档用于评估模型的性能，定义如下:

其中部分相关性文档被计算为0.5。

如 表1，患者教育资料和糖尿病患者提问的平均文献长度(字数)分别为968 (SD 115)和110 (SD 36)。患者教育材料的UMLS映射率(可以映射到UMLS概念的单词的比率)明显高于糖尿病患者的问题( P<.001)，在糖尿病患者的问题中比在患者教育材料中有更多独特的概念。糖尿病患者提问的字数为41820个，其中患者教育资料为8952个。患者教育资料中的大部分词语出现在糖尿病患者的问题中，有25.06%(2244/8952)的词语没有出现在糖尿病患者的问题中( 图3)．

表2显示每个语料库的前20个单词。糖尿病技术、社区、1型和成年期潜伏自身免疫性糖尿病(LADA)是糖尿病患者用户提问中最常见的主题，在患者教材文档中通过主题建模，主题5、主题3和主题8是主要主题，如图所示 表3． 表4展示了一些使用主题建模获得的主题示例，该模型列出了前20个单词及其每个主题的相应权重。主题词汇相似度分析的结果是计算两个语料库中每两个主题之间的余弦相似度，并通过热图图形( 图4)．糖尿病患者分类问题与患者教材主题之间不存在词汇相似性，但糖尿病患者语料库内部问题之间存在较高的语言相似性。两种语料库的语义群分布有显著差异( 图5程序、现象、物体、生物、疾病和解剖学在患者教育材料中更为普遍，而生理学、基因和分子序列、装置、化学物质和药物在患者教育材料中更为普遍。

图6显示主题/语义组频率大于1的主题或语义组的问题网络(即，问题5220匹配到主题8，主题频率为2.22，问题4124匹配到生理语义组，语义组频率为4.02)。在基于主题建模的网络模型( 图6)，所有患者教育材料主题都被呈现，与主题4、主题8和主题9匹配的问题更多，而一些主题(如主题1、主题2、主题3或主题10)与少量问题相关。有些问题与非常具体的话题有关。例如，问题6722来自糖尿病患者题库中的糖尿病并发症和其他病症主题，问题的内容是:“Do you have neuropathy?”在这里介绍你自己!脚痛，麻木，神经痛，还有人知道我在经历什么吗?是的，我们有!”它与PEM13主题(即复杂脚主题)有唯一的匹配。在基于语义组的网络模型中( 图6)，物体、生理和生物组有更多的问题。同样，有些问题与非常特定的语义组相关。例如，来自糖尿病患者题库中的糖尿病技术主题的问题7113，问题的内容是:“你是Accu-Chek用户吗?”对于ACCU-CHEK血糖仪的用户，请跳进来。”它被映射到设备语义组。两个网络的结合( 图6)表明，对于某些问题，基于主题建模和基于语义组的两种模型是互补的。例如，2760题属于糖尿病患者题库中的糖尿病并发症和其他病症题目，题目的内容是:“平衡神经病变我没有刺痛、麻木、疼痛的神经病变，但我脚上的感觉不知为什么没有传递到我的平衡中心。”我要做神经传导测试还有肌电图。任何建议吗?”它与并发症-脚主题(即PEM13)相关，也与障碍语义组相关。

两专家在相关性判断上具有较高的一致性(κ=0.90)。文中给出了三种模型的性能 图7而且 表5．基于主题建模的模型在每个等级上都优于其他两个模型，基于语义组的模型优于基线VSM模型。例如，对于顶部检索的文档，基于主题建模、基于语义组和VSM模型的精度分别为0.670(67.0%)、0.628(62.8%)和0.543(54.3%)。