螞蟻集團(tuán)百靈大模型最新進(jìn)展：已具備原生多模態(tài)能力

    本報(bào)訊 （記者李冰）7月5日，在2024世界人工智能大會(huì)“可信大模型助力產(chǎn)業(yè)創(chuàng)新發(fā)展”論壇上，螞蟻集團(tuán)公布了其自研的百靈大模型最新研發(fā)進(jìn)展：百靈大模型已具備能“看”會(huì)“聽(tīng)”、能“說(shuō)”會(huì)“畫”的原生多模態(tài)能力，可以直接理解并訓(xùn)練音頻、視頻、圖、文等多模態(tài)數(shù)據(jù)。原生多模態(tài)被認(rèn)為是通往AGI的必經(jīng)之路，在國(guó)內(nèi)，目前只有為數(shù)不多的大模型廠商實(shí)現(xiàn)了這一能力。

    記者從大會(huì)現(xiàn)場(chǎng)的演示看到，多模態(tài)技術(shù)可以讓大模型更像人一樣感知和互動(dòng)。據(jù)悉，目前百靈的多模態(tài)能力已應(yīng)用于“支付寶智能助理”上，未來(lái)還將支持支付寶上更多智能體升級(jí)。

    發(fā)布現(xiàn)場(chǎng)，螞蟻集團(tuán)副總裁徐鵬展示了新升級(jí)的多模態(tài)技術(shù)可實(shí)現(xiàn)的更多應(yīng)用場(chǎng)景：通過(guò)視頻對(duì)話的自然形式，AI助理能為用戶識(shí)別穿著打扮，給出約會(huì)的搭配建議；根據(jù)用戶不同的意圖，從一堆食材中搭配出不同的菜譜組合；根據(jù)用戶描述的身體癥狀，從一批藥物中，挑選出可能合適的藥，并讀出服用指導(dǎo)，供用戶參考等。

    同時(shí)，基于百靈大模型多模態(tài)能力，由螞蟻集團(tuán)與武漢大學(xué)聯(lián)合研發(fā)的遙感模型SkySense，也在論壇上公布了開(kāi)源計(jì)劃。SkySense是目前參數(shù)規(guī)模最大、覆蓋任務(wù)最全、識(shí)別精度最高的多模態(tài)遙感基礎(chǔ)模型。

    “從單一的文本語(yǔ)義理解，到多模態(tài)能力，是人工智能技術(shù)的關(guān)鍵迭代，而多模態(tài)技術(shù)催生的‘看聽(tīng)說(shuō)寫畫’的應(yīng)用場(chǎng)景，將讓AI的表現(xiàn)更真實(shí)，更接近人類，從而也能更好地服務(wù)人類。螞蟻會(huì)持續(xù)投入原生多模態(tài)技術(shù)的研發(fā)。”徐鵬說(shuō)。

（編輯 張偉）