近日，以“共創(chuàng)產(chǎn)業(yè)智能新高度”為主題的多模態(tài)人工智能產(chǎn)業(yè)聯(lián)合體第二次會(huì)議在武漢召開(kāi)，會(huì)上發(fā)布了由中國(guó)科學(xué)院自動(dòng)化研究所、武漢人工智能研究院、華為技術(shù)有限公司牽頭的《多模態(tài)基礎(chǔ)大模型技術(shù)白皮書(shū)》。

“當(dāng)前，人工智能正從單模態(tài)、有監(jiān)督學(xué)習(xí)，邁向多模態(tài)、自監(jiān)督學(xué)習(xí)的時(shí)代。”中國(guó)科學(xué)院自動(dòng)化研究所研究員、武漢人工智能研究院院長(zhǎng)王金橋表示，“多模態(tài)人工智能的未來(lái)必將風(fēng)光無(wú)限。”

對(duì)數(shù)據(jù)標(biāo)注的依賴(lài)性降低了一個(gè)數(shù)量級(jí)以上

要了解多模態(tài)人工智能，首先需要明白何為模態(tài)，“一般來(lái)說(shuō)，每一種信息的來(lái)源或者形式，都可以稱(chēng)為一種模態(tài)。”王金橋說(shuō)。

人類(lèi)在信息獲取、環(huán)境感知、知識(shí)學(xué)習(xí)與表達(dá)等方面都是采用多模態(tài)的輸入、輸出方式。比如，如果一個(gè)人要在一片草坪上找到一朵盛開(kāi)的花朵，既可以通過(guò)視覺(jué)這一模態(tài)來(lái)尋找，也就是直接用眼睛看;也可以通過(guò)嗅覺(jué)這一模態(tài)來(lái)搜索，也就是用鼻子聞;還可以通過(guò)觸覺(jué)這一模態(tài)來(lái)探尋，也就是用手觸摸。面對(duì)尋找花朵這個(gè)問(wèn)題，一般來(lái)說(shuō)，人們會(huì)采取視覺(jué)、嗅覺(jué)等多模態(tài)的方式來(lái)進(jìn)行。“某種程度上說(shuō)，多模態(tài)的輸入、輸出方式正是人類(lèi)智慧的重要體現(xiàn)之一。”王金橋表示。

目前的網(wǎng)絡(luò)數(shù)據(jù)包括圖像、視頻、文字、音頻等不同模態(tài)。對(duì)于人工智能來(lái)說(shuō)，要想更好地掌握、分析、利用網(wǎng)絡(luò)上的數(shù)據(jù)，就需要能夠?qū)@些多模態(tài)的數(shù)據(jù)進(jìn)行系統(tǒng)的統(tǒng)籌和分析。

王金橋表示：“技術(shù)創(chuàng)新是推動(dòng)多模態(tài)人工智能產(chǎn)業(yè)發(fā)展的重要?jiǎng)恿χ?。?0世紀(jì)70年代多模態(tài)學(xué)習(xí)起步以來(lái)，伴隨著近年來(lái)生成式預(yù)訓(xùn)練、基于Transformer的雙向編碼器表達(dá)等大規(guī)模預(yù)訓(xùn)練模型的快速涌現(xiàn)，人工智能研究領(lǐng)域正在經(jīng)歷一場(chǎng)有監(jiān)督學(xué)習(xí)向無(wú)監(jiān)督學(xué)習(xí)條件下‘大數(shù)據(jù)+大模型’的大規(guī)模預(yù)訓(xùn)練范式轉(zhuǎn)變，多模態(tài)人工智能發(fā)展迎來(lái)了新的巔峰。”

近年來(lái)，多模態(tài)人工智能在場(chǎng)景泛化性、對(duì)數(shù)據(jù)的依賴(lài)性等方面都取得了巨大的技術(shù)突破。

“多模態(tài)人工智能通過(guò)自監(jiān)督的學(xué)習(xí)方式對(duì)海量無(wú)標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)，同時(shí)面向特定任務(wù)場(chǎng)景進(jìn)行小數(shù)據(jù)的標(biāo)注學(xué)習(xí)和微調(diào)。相對(duì)于單模態(tài)人工智能，其對(duì)數(shù)據(jù)標(biāo)注的依賴(lài)性降低了一個(gè)數(shù)量級(jí)以上。”王金橋說(shuō)。

“多模態(tài)大模型+小模型”模式或成主流

2017年，國(guó)務(wù)院制發(fā)《新一代人工智能發(fā)展規(guī)劃》，由人工智能技術(shù)引發(fā)的產(chǎn)業(yè)變革正在加速演進(jìn)。目前，各行各業(yè)利用人工智能技術(shù)打造的產(chǎn)業(yè)新應(yīng)用、新業(yè)態(tài)、新模式不斷涌現(xiàn)，我國(guó)的人工智能產(chǎn)業(yè)化勢(shì)頭迅猛，多模態(tài)人工智能產(chǎn)業(yè)也取得了許多突破。

如今，多模態(tài)人工智能產(chǎn)業(yè)正大步走向場(chǎng)景化、實(shí)用化。“目前，模型參數(shù)與數(shù)據(jù)規(guī)模不再是各研發(fā)機(jī)構(gòu)的比拼重點(diǎn)，多模態(tài)人工智能產(chǎn)業(yè)正在走向場(chǎng)景應(yīng)用的新階段。”王金橋表示。

“例如，‘全媒體多模態(tài)大模型’就是基于中國(guó)科學(xué)院自動(dòng)化研究所‘聞海’多模態(tài)媒體大數(shù)據(jù)和‘紫東太初’三模態(tài)大模型的技術(shù)積累，結(jié)合新華社全媒體的海量數(shù)據(jù)積累和媒體融合業(yè)務(wù)場(chǎng)景而建立的。‘全媒體多模態(tài)大模型’將加速推動(dòng)人工智能在視頻配音、語(yǔ)音播報(bào)、標(biāo)題摘要、海報(bào)創(chuàng)作等多元媒體業(yè)務(wù)場(chǎng)景的應(yīng)用。”王金橋說(shuō)。

此外，在智慧城市、金融科技、民生服務(wù)等許多領(lǐng)域，多模態(tài)人工智能也有著廣闊的應(yīng)用場(chǎng)景。

王金橋表示，未來(lái)“多模態(tài)大模型+小模型”的模式或?qū)⒊蔀槎嗄B(tài)人工智能的主流，該模式可以有效解決需求碎片化、多樣化等問(wèn)題。

王金橋表示，我國(guó)應(yīng)該打造工業(yè)化范式的多模態(tài)大模型生態(tài)，持續(xù)完善國(guó)產(chǎn)基礎(chǔ)軟硬件支撐體系，加大人工智能與醫(yī)學(xué)、材料、氣候等科學(xué)研究領(lǐng)域的結(jié)合力度，健全人工智能產(chǎn)業(yè)應(yīng)用政策標(biāo)準(zhǔn)，大力培養(yǎng)人工智能復(fù)合型人才。(記者 李詔宇)

關(guān)鍵詞： 多模態(tài)人工智能 場(chǎng)景應(yīng)用 場(chǎng)景化實(shí)用化 信息獲取