多模态人工智能正大步走向场景应用新阶段

信息来源:科技日报更新时间:2022-10-10

    近日,以“共创产业智能新高度”为主题的多模态人工智能产业联合体第二次会议在武汉召开,会上发布了由中国科学院自动化研究所、武汉人工智能研究院、华为技术有限公司牵头的《多模态基础大模型技术白皮书》。

  “当前,人工智能正从单模态、有监督学习,迈向多模态、自监督学习的时代。”中国科学院自动化研究所研究员、武汉人工智能研究院院长王金桥表示,“多模态人工智能的未来必将风光无限。”

  对数据标注的依赖性降低了一个数量级以上

  要了解多模态人工智能,首先需要明白何为模态,“一般来说,每一种信息的来源或者形式,都可以称为一种模态。”王金桥说。

  人类在信息获取、环境感知、知识学习与表达等方面都是采用多模态的输入、输出方式。比如,如果一个人要在一片草坪上找到一朵盛开的花朵,既可以通过视觉这一模态来寻找,也就是直接用眼睛看;也可以通过嗅觉这一模态来搜索,也就是用鼻子闻;还可以通过触觉这一模态来探寻,也就是用手触摸。面对寻找花朵这个问题,一般来说,人们会采取视觉、嗅觉等多模态的方式来进行。“某种程度上说,多模态的输入、输出方式正是人类智慧的重要体现之一。”王金桥表示。

  目前的网络数据包括图像、视频、文字、音频等不同模态。对于人工智能来说,要想更好地掌握、分析、利用网络上的数据,就需要能够对这些多模态的数据进行系统的统筹和分析。

  王金桥表示:“技术创新是推动多模态人工智能产业发展的重要动力之一。自20世纪70年代多模态学习起步以来,伴随着近年来生成式预训练、基于Transformer的双向编码器表达等大规模预训练模型的快速涌现,人工智能研究领域正在经历一场有监督学习向无监督学习条件下‘大数据+大模型’的大规模预训练范式转变,多模态人工智能发展迎来了新的巅峰。”

  近年来,多模态人工智能在场景泛化性、对数据的依赖性等方面都取得了巨大的技术突破。

  “多模态人工智能通过自监督的学习方式对海量无标注数据进行学习,同时面向特定任务场景进行小数据的标注学习和微调。相对于单模态人工智能,其对数据标注的依赖性降低了一个数量级以上。”王金桥说。

  “多模态大模型+小模型”模式或成主流

  2017年,国务院制发《新一代人工智能发展规划》,由人工智能技术引发的产业变革正在加速演进。目前,各行各业利用人工智能技术打造的产业新应用、新业态、新模式不断涌现,我国的人工智能产业化势头迅猛,多模态人工智能产业也取得了许多突破。

  如今,多模态人工智能产业正大步走向场景化、实用化。“目前,模型参数与数据规模不再是各研发机构的比拼重点,多模态人工智能产业正在走向场景应用的新阶段。”王金桥表示。

  “例如,‘全媒体多模态大模型’就是基于中国科学院自动化研究所‘闻海’多模态媒体大数据和‘紫东太初’三模态大模型的技术积累,结合新华社全媒体的海量数据积累和媒体融合业务场景而建立的。‘全媒体多模态大模型’将加速推动人工智能在视频配音、语音播报、标题摘要、海报创作等多元媒体业务场景的应用。”王金桥说。

  此外,在智慧城市、金融科技、民生服务等许多领域,多模态人工智能也有着广阔的应用场景。

  王金桥表示,未来“多模态大模型+小模型”的模式或将成为多模态人工智能的主流,该模式可以有效解决需求碎片化、多样化等问题。

  王金桥表示,我国应该打造工业化范式的多模态大模型生态,持续完善国产基础软硬件支撑体系,加大人工智能与医学、材料、气候等科学研究领域的结合力度,健全人工智能产业应用政策标准,大力培养人工智能复合型人才。


相关新闻
更多