马修军谈视觉语言通用模型与具身智能

马修军作主旨演讲。　范宇斌　摄

　　中新网上海7月8日电(记者 范宇斌)2023世界人工智能大会“科技与人文——共筑无障碍智能社会”论坛8日在上海世博中心召开。

　　北京大学智能学院、跨媒体通用人工智能全国重点实验室研究员，超级自动化联合实验室主任马修军博士在论坛上作题为《跨越AIGC大模型的鸿沟：视觉语言大模型推动泛在的具身智能》的主旨演讲，从多模态通用模型角度，洞观AIGC(生成式人工智能)的下一热点——具身智能的发展以及大模型创新链与产业链深度融合。

　　人工智能已经迈入AIGC时代，全球产业界都在竞争具有泛化能力的语言大模型，大模型产业链与生态链日益完善，国际巨头不断推高大语音模型能力，国内百度、华为，腾讯、阿里等也在加速布局语言大模型。

　　马修军介绍道，当前，基于语言大模型的工具链和生态不断涌现，大模型应用重点转向行动导向，调用和操作外部系统和工具，即大模型从知识、推理转向行动驱动。“但语言大模型的普及仍存在三大鸿沟：一是幻觉问题，二是记忆和个性化问题，三是多模态与物理世界交互问题。”他认为，AIGC大模型下一个热点是多模态和具身智能。

　　所谓“具身智能”，是指能够理解、推理并与物理世界交互的通用智能体，具有多模态感知认知能力和自主多任务机制。视觉语言大模型是多模态通用模型的核心。

　　视觉也是一种语言，语言的载体是文字。“中国象形文字天然具有多模态表征和明文通信的编码能力，看一个字就知道什么意思。借助象形文字的编码思想，我们可以为人工智能表征世界设计一种多模态特征编码，进而发展多模态通用语言大模型。”马修军说。

　　据介绍，视觉语言大模型基于对现实世界表征预测的类象形文字的特征编码，使得人工智能拥有了自己的文字，可以理解像素、听懂语音序列并感知世界，真正拥有具身智能的核心能力，并且这种多模态文字编码可用于具身智能之间的通讯交互，构建一个泛在的机器智能社会。

　　马修军认为，多模态通用模型与具身智能是未来产业发展的基石，需要贯通学研产用全链条，推动大模型创新链与产业链深度融合。通信运营商算网融合，需要为多模态具身智能的通信重塑再造一种新型基础设施，包括面向机器通信的编码、消息格式及网元算力等。例如，面向机器的视觉编码VCM与5G消息以及大模型的融合创新。

　　“在AIGC时代，全球产业界都在竞争通用人工智能的基础模型，这是人工智能产业的皇冠，是未来智能社会的底座，并且它的演进速度非常快。”马修军表示，以大模型为基座的人工智能通用能力不会昙花一现，多模态通用模型与具身智能将重塑未来社会的产业链和产业生态，产生像互联网一样的影响力。

　　据悉，本次论坛由世界人工智能大会组委会办公室指导，中国新闻社上海分社、上海市杨浦区人民政府联合主办，上海中新传媒文化咨询有限公司、上海市杨浦区科委承办，上海市现代服务业联合会、上海市海外经济技术促进会、上海市长宁区北新泾街道办事处、上海新之海数据信息有限公司协办，中新社国际传播集团上海分公司、上海市人工智能行业协会支持。(完)