基于英伟达的生成对抗网络(GAN)研究,Maxine平台使得视频会议感觉更像面对面的交谈。 例如,面部对齐功能可以自动调整人脸,这样通话时人们看起来是面对面的,而凝视校正则可以模拟眼神交流,即使摄像头与用户的屏幕没有对齐。自今年年初以来,视频会议的数量增长了10倍,这些功能有助于帮人们在交谈中保持专注。 开发人员还可以添加一些功能,让参与者选择自己的动画角色,这些动画由他们的声音和情绪实时自动驱动。即便用户远离屏幕,自动帧选项使得视频反馈依然能跟随说话者。 通过使用NVIDIA Jarvis SDK支持的AI对话特性,开发者还可以集成虚拟助手,通过语音识别、语言理解和语音生成技术,实现做笔记、设置动作项目、用类似人类的声音回答问题等功能。翻译、封闭式字幕和转录等其他AI会话服务,有助于确保参与者能够理解电话中讨论的内容。 此外,云本地架构有助于节省成本并提供多整合AI功能。视频会议需求很难预测,因为在任意时间,都可能会有数百甚至数千名用户试图加入同一个电话。 NVIDIA Maxine平台利用在NVIDIA GPU上运行在Kubernetes容器集群中的AI微服务,帮助开发者根据实时需求扩展他们的服务。用户可以同时运行多个AI特性,并满足应用程序延迟要求。 Maxine平台集成了几项NVIDIA AI SDK和API的技术。除了NVIDIA Jarvis外, Maxine平台还借助NVIDIA DeepStream高通量音频和视频流SDK和NVIDIA TensorRT SDK,用于高性能深度学习推理。这些NVIDIA SDK所提供的AI音频、视频和自然语言能力,都是在NVIDIA DGX系统上进行数十万小时的训练而开发出来的。 七、打造英国最强AI超算Cambridge-1,AI算力达400 petaflops在医疗健康领域,英伟达宣布正打造英国最强大的AI超级计算机Cambridge-1,帮助英国医疗健康研究人员用AI来解决紧迫的医学挑战。 该超算预计在年底前上线,这也是英伟达设计和制造的第一台用于外部研究访问的超级计算机,英伟达将为该超算投资约4000万英镑。 ![]()
▲Cambridge-1 AI 超级计算机 Cambridge-1超算将是一个NVIDIA DGX SuperPOD系统,它包含80个英伟达DGX A100系统,采用英伟达Mellanox InfiniBand技术,AI性能超过400 petaflops,Linpack性能超过8 petaflops,将在最新全球TOP500超算排行榜中跻身第29名,在当前Green500强排行榜中将跻身全球最节能超算的前三甲。 英伟达还宣布与全球医疗健康公司GSK及其AI实验室建立合作关系,构建AI药物研发实验室(AI drug discovery lab),以推进药物和疫苗研发。 GSK和AstraZeneca均在首批用Cambridge-1超算进行研究的医疗健康公司之列,此外来自Guy’s and St Thomas’ NHS Foundation Trust、伦敦国王学院、Oxford Nanopore公司的研究人员也计划利用该系统。 Cambridge-1超算聚焦的四个关键领域为: (1)联合行业研究:解决大规模医疗保健和数据科学问题,从而改善患者的治疗结果; (2)授予大学的计算时间:NVIDIA GPU时间的访问将作为一种资源捐赠给特定研究,以帮助寻找治疗方法。 (3)支持AI初创企业:英伟达将提供学习机会,并与初创企业合作,培育下一代并提供早期使用AI工具的机会。 (4)培养未来的AI从业者:该系统将成为世界级研究人员的目的地,并为下一代提供实践经验。 八、加速计算药研,推出NVIDIA Clara Discovery工具NVIDIA将帮助研究人员利用为NVIDIA DGX优化的先进工具NVIDIA Clara Discovery,它集合了成像、放射学和基因组学的力量,为医疗领域最大的计算任务开发AI应用程序。 ![]()
▲NVIDIA Clara Discovery 其特点是预先训练的AI模型和应用程序特定框架,以帮助研究人员定义下一代药物发现过程,从寻找目标、构建化合物到开发反应。 利用最近在自然语言处理方面的一项突破,研究人员现在可以利用特定于生物医学的语言模型来组织、理解和激活大型数据集、研究文献和整理现有治疗和其他重要现实数据的论文或专利。 九、筛查新冠肺炎患者:20天内在20家医疗构建预测氧气需求的AI模型在保护数据隐私安全、不共享数据的前提下, NVIDIA Clara联邦学习技术能实现预测患者氧气需求,并构建一个无需考虑地理位置、患者人数或数据大小,更易于推广的AI模型。 该联邦学习模型将在未来几周作为NVIDIA Clara的一部分在NGC上发布。 英伟达和Massachusetts General Brigham医院的研究人员开发了一种AI模型,可以确定因COVID-19症状出现在急诊室的患者在初次检查几小时甚至几天后是否需要补充氧气。 ![]()
▲氧气预测AI工作流 最初模型被命名为CORISK,由该医院的科学家Quanzheng Li博士开发。在许多国家可能开始出现第二波COVID-19患者之际,该方案将医学成像和健康记录结合起来,用来帮助临床医生更有效地管理住院治疗。 为了将其推广到尽可能多的医院,英伟达和该医院启动了一项名为EXAM (EMR CXR AI模型)的计划,与来自世界各地的20家医院合作。据介绍,这是一项规模最大、最多样化的联邦学习计划。 在短短两周内,全球合作完成了一个曲线下面积为0.94 (AUC目标为1.0)的模型,从而对住院病人所需的氧气水平做出了出色的预测。 ![]()
▲联邦学习示意图 通过使用NVIDIA Clara联邦学习框架,各个医院的研究人员能够使用胸片、病人的生命值和实验室值来训练一个局部模型,并通过一种称为联邦学习的隐私保护技术,将模型权重的子集与全局模型共享。 该模型的最终目标是预测出现在急救室的患者需要补充氧气的可能性,帮助医生决定对患者的适当护理水平,包括ICU的设置。 除了这一项目外,其他大规模联邦学习也正在进行中。例如Owkin正与英伟达、伦敦国王学院以及在MELLODDY制药集团的十多个其他组织,基于全球最大的AI协作药物化合物数据集,使用联邦学习技术在不牺牲数据隐私的前提下实现性能突破。 伦敦国王学院希望,联邦学习技术能帮助在中风和神经损伤分类、确定癌症的根本原因以及为患者推荐最佳治疗方法等方面取得突破。 结语:英伟达持续发力数据中心继今年5月GTC技术大会甩出一系列基于安培GPU架构的硬核AI新品后,今天英伟达释放的新讯进一步聚焦在强化数据中心等四个关键领域的实力。 显然英伟达并不餍足于其在云端AI加速和图形处理领域的领先地位,而是针对客户及开发者痛点持续补足缺口。 尤其是英伟达今日展示的BlueField系列DPU处理器,是其整合Mellanox技术面向数据中心的又一次发力。如今英伟达400亿美元收购Arm的交易案正在推进中,可以看到,如果这一交易得以完成,不仅将为英伟达进军基于Arm架构的超算和服务器领域带来便利,也将有助于其DPU处理器的发展。 除此之外,作为算力需求最大的产业之一,医疗诊断和新药研发显然也被英伟达视作拓展疆域的重点,无论是持续完善的NVIDIA Clara平台,还是英伟达打造的AI超算,都在为AI落地医疗场景提供更大的动能。
|