(資料圖)
科技日?qǐng)?bào)記者 吳長(zhǎng)鋒
6月3日,以“AI大模型時(shí)代的長(zhǎng)三角數(shù)字化之路”為主題的長(zhǎng)三角企業(yè)家聯(lián)盟產(chǎn)業(yè)數(shù)字化峰會(huì)在安徽合肥舉行。記者從會(huì)上了解到,由認(rèn)知智能全國(guó)重點(diǎn)實(shí)驗(yàn)室、中科院人工智能產(chǎn)學(xué)研創(chuàng)新聯(lián)盟和長(zhǎng)三角人工智能產(chǎn)業(yè)鏈聯(lián)盟三方共同發(fā)布了《通用認(rèn)知智能大模型評(píng)測(cè)體系》,旨在形成一套覆蓋多任務(wù)的大模型能力客觀評(píng)測(cè)體系,引導(dǎo)認(rèn)知大模型技術(shù)和產(chǎn)業(yè)健康發(fā)展。
當(dāng)前,伴隨著認(rèn)知大模型帶來(lái)的技術(shù)階段躍升和快速進(jìn)化,通用認(rèn)知大模型領(lǐng)域逐步“百花齊放”,效果度量和評(píng)價(jià)成為重要關(guān)注點(diǎn),而覆蓋多維度多任務(wù)的客觀評(píng)測(cè),成為驗(yàn)證通用大模型能力的有效方法。
據(jù)了解,由認(rèn)知智能全國(guó)重點(diǎn)實(shí)驗(yàn)室牽頭設(shè)計(jì),并與中國(guó)科學(xué)院人工智能產(chǎn)學(xué)研創(chuàng)新聯(lián)盟和長(zhǎng)三角人工智能產(chǎn)業(yè)鏈聯(lián)盟一起協(xié)調(diào),從產(chǎn)學(xué)研源頭技術(shù)創(chuàng)新和產(chǎn)業(yè)鏈應(yīng)用落地兩方面出發(fā),組織多輪測(cè)評(píng)標(biāo)準(zhǔn)研討,共同探討形成了《通用認(rèn)知智能大模型評(píng)測(cè)體系》。評(píng)測(cè)體系根據(jù)底層認(rèn)知智能能力的智能涌現(xiàn)對(duì)通用認(rèn)知智能大模型的能力進(jìn)行分析,從而制定生成類通用認(rèn)知智能大模型的評(píng)測(cè)標(biāo)準(zhǔn)與評(píng)測(cè)方法,實(shí)現(xiàn)更科學(xué)地衡量通用認(rèn)知智能大模型各個(gè)方面的能力和水平。
據(jù)介紹,本次發(fā)布的評(píng)測(cè)體系覆蓋內(nèi)容生成、語(yǔ)言理解、知識(shí)問(wèn)答、邏輯推理、數(shù)學(xué)能力、編程能力、多模態(tài)7大能力維度,共計(jì)481個(gè)細(xì)分任務(wù)類型,力求為大模型的研究、行業(yè)標(biāo)準(zhǔn)的制定提供參考和借鑒。未來(lái),該評(píng)測(cè)體系將致力于讓認(rèn)知大模型技術(shù)真正解決社會(huì)剛需,助力通用人工智能產(chǎn)業(yè)聚集。
(認(rèn)知智能全國(guó)重點(diǎn)實(shí)驗(yàn)室供圖)
關(guān)鍵詞: