Share on LinkedIn (opens new window) Share on WhatsApp (opens new window) 编者按：每年的9月21日是“世界阿尔茨海默病日”，阿尔茨海默病作为最常见的认知障碍，一直以来都备受关注。研究证明，科学的认知训练可以起到对该疾病的预防和延缓。为此，微软亚洲研究院与上海市精神卫生中心携手展开联合研究，基于微软 Azure OpenAI 服务中的多模态大模型，开发了利用多种模态数据（如语音、文字、图片、音乐等信息）的个性化认知训练框架，为认知障碍患者的认知训练带来了新的可能。 随着全球人口老龄化的加剧，以阿尔茨海默病为代表的认知症被认为是二十一世纪最大的健康危机之一。近期，微软亚洲研究院与上海市精神卫生中心展开联合研究，借助微软 Azure OpenAI 服务中的多模态大模型以及智能代理（AI agent）技术，开发了 个性化认知训练框架“忆我”（ReMe） ，扩展了自动化认知训练的训练范围，为数字化认知训练提供了新方法，有望帮助延缓认知下降。这项创新工具将助力推进认知训练研究，为各类认知障碍，包括轻度认知障碍的早期预防和非药物干预提供新的方法。 多模态大模型带来更全面的认知训练方法 认知症，也称认知障碍，是一类影响思维、记忆、注意力、理解、判断力和语言等认知功能的疾病，包括阿尔茨海默病、帕金森病、路易体痴呆、脑血管性认知障碍等。认知症的发展是一个渐进且不可逆的过程，虽然目前临床上还没有完全能够治愈该疾病的药物，但及早诊断和提前干预有助于延缓认知功能的衰退，而 认知训练已被证实是缓解病程进展的有效手段 。 伴随多模态大模型的不断发展，其新能力也在不断涌现，如提供即时的多模态分析、实现基于世界知识的开放式问答、提供充满情感的语音交互、整合处理多种感知数据等。微软亚洲研究院的研究员们由此提出了一个设想：多模态大模型或许能在认知训练方面发挥重要作用。 带着这一想法和诸多疑问，微软亚洲研究院与上海市精神卫生中心展开了深入探讨与合作。上海市精神卫生中心（俗称“600号”）系上海交通大学医学院附属医院，有着雄厚的技术实力和丰富的临床经验。开发个性化认知训练框架“忆我”主要与老年精神科团队合作，该科室作为上海交通大学阿尔茨海默病诊治中心，是全国最早从事阿尔茨海默研究的科室，2022年被评为国家核心高级认知障碍诊疗中心（全国唯一获批精神专科医院），并获得“全国优秀记忆门诊”、“记忆门诊培训基地”称号。围绕阿尔茨海默病发病机制这一课题，该科室展开了卓有成效的工作，形成了一定的研究特色。团队对于认知障碍的诊治，倡导“从不太早，永不言迟”，并创新地提出“老年认知障碍防治上海防治模式”，希望为健康老龄提供切实有用的帮助。 通过与中心专家的交流，研究员们了解到，当前临床上的认知训练主要依靠照护者或治疗师自行开展，或使用软件驱动的数字疗法开展。前者依赖大量人力，成本高昂，给照护者带来了沉重的负担；后者则往往类似于标准化考试，缺乏灵活性，患者仅能解答预设的谜题，与提高认知所需的记忆训练相去甚远。此外，现有的数字疗法在软件应用的便捷性、互动性和直观性方面也存在一定不足，影响了患者的依从性（病人按照医生规定进行治疗的行为）。就认知障碍患者而言，持之以恒的训练对于缓解症状至关重要。 上海市精神卫生中心老年科副主任医师岳玲指出：“认知障碍影响的记忆类型多样，包括工作记忆、情景记忆和语义记忆等，但现有训练任务的设计较为单一，限制了训练内容的广度，很多老人也曾反映游戏内容‘枯燥’、‘没意思’。在多模态大模型出现之前，软件驱动的认知训练主要集中于工作记忆训练，而对于与患者日常生活密切相关的情景记忆和语义记忆训练则鲜有涉及。特别是对于阿尔茨海默病患者，最早受损的往往是与自我相关的记忆。多模态大模型的智能化和个性化特点，为认知训练提供了新的可能性，使其更贴近日常生活。” 工作记忆：指进行临时信息处理的能力，如心算或复述新闻内容。当这部分记忆受损时，患者可能在对话中忘记早先提及的信息。 情景记忆：涉及自我的记忆，例如记得早餐吃了什么，到过某地或与某人的对话内容等。

语义记忆：也称为知识记忆，涵盖广泛的事实性知识，例如知道法国的首都是巴黎。 基于微软Azure OpenAI服务，让认知训练既通用又个性化 综合上海市精神卫生中心专家的建议与患者的需求，微软亚洲研究院的研究员们从易用性、界面友好性、功能专业性和入门难易度等多个维度出发，开发了个性化认知训练框架“忆我”（ReMe）。 该工具以微软 Azure OpenAI 服务为基础模型，具备即时交互响应功能，支持文字、图像、语音等多种模态的输入输出，以对话机器人的形式为用户提供全新的认知训练体验 。 “忆我”应用界面 “将多模态大模型的通用能力与专业知识相结合，应用到认知训练领域，打造一个专业的领域智能体，是我们面临的一个挑战。”微软亚洲研究院高级研究员王子龙表示，“此前，我们已经开展了一系列研究，探索如何通过思维链（Chain of Thoughts）、检索增强生成（Retrieval Augmented Generation, RAG）等技术，使多模态大模型能够更好地整合专有领域知识，从而优化智能代理的行为逻辑和性能。这些研究确保了智能代理能够使用更新和更全面的领域知识，保持其在特定领域中发挥最前沿的能力，更好地进行交互和训练任务。” 从使用流程和功能来看，个性化认知训练框架“忆我”首先通过手机或可穿戴设备上传个人记忆内容，随后采用更贴近生活的方式，进行个体化的情景记忆或世界知识的开放性记忆训练。研究员们还提供了一个训练框架，让该领域的医生等研究者可以利用内置的认知游戏模板快速创建个性化的训练游戏。除此之外，该工具还包括交互式的评估，以便追踪患者的认知水平，并根据需要调整训练任务。 不仅如此，微软亚洲研究院与上海市精神卫生中心还在不断向该训练框架扩展更多训练功能和任务，除了开放性的和个体化的训练任务外，通过语音对话的自然交互体验，也兼容并实现已被验证有效的成熟认知训练任务。例如锻炼思维灵活性的颜色识别、锻炼工作记忆的数学运算等。同时，微软亚洲研究院也在尝试基于传感器技术，通过可穿戴设备以机会感知（opportunistic sensing）的方式记录日常生活中的重要节点和事件，促进更便捷的个性化个人记忆训练。 推进临床证据获得，释放人工智能在医疗领域的更大价值 “在此次合作中，微软亚洲研究院所展现出的开放合作精神、专业技术实力和快速创新能力，给我们留下了深刻的印象。这些特质对于推动技术在医疗健康领域的应用至关重要。接下来，上海市精神卫生中心计划以此框架为基础，设计认知训练的新方法，开展一系列严谨的临床实验，验证这种个性化认知训练框架的有效性，以获得更多的临床证据。”岳玲医生表示。 随着证据的逐步积累，微软亚洲研究院将持续对个性化认知训练框架“忆我”进行改进和迭代，期望该工具能够逐渐扩展应用范围，最终能够在社区和家庭环境中帮助提升认知障碍患者的健康水平，减轻看护人员和家属的负担。 除了认知训练，基于多模态大模型的代理干预技术未来有望应用于更广泛的领域，例如情绪调节、习惯改善以及孤独症等辅助干预。微软亚洲研究院副院长邱锂力博士表示，微软亚洲研究院将继续通过研究与创新，推动人工智能技术在临床决策、疾病预测、药物发现等医疗健康领域的应用，进而帮助医疗机构提高医疗服务的质量和效率，为患者带来更精准、更个性化的治疗方案。 注：本文所述的微软亚洲研究院在医疗健康领域的研究均为科研探索性质，且均在专业医疗和医学研究机构的合作指导下进行，旨在推动科学进步并为人类未来的医疗健康应用提供理论和技术支持。所有研究均严格遵守微软负责任的 AI 流程的指导，并遵循公平、包容、可靠性与安全性、透明、隐私与保障、负责的原则。文中所提及的技术和方法目前均处于研究和开发阶段，尚未形成商业产品或服务，也不构成任何医疗建议或治疗方案。我们鼓励读者在面对健康问题时咨询合格的医疗专业人士。 Check us out on RSS