??記者 查睿

??近日，2025金融大模型評(píng)測(cè)體系在上海發(fā)布，這是去年全國(guó)首個(gè)金融大模型評(píng)測(cè)體系發(fā)布以來(lái)第一次全面升級(jí)至2.0版，主要聚焦標(biāo)準(zhǔn)引領(lǐng)、數(shù)據(jù)驅(qū)動(dòng)、安全可信與生態(tài)共建四方面。

??大模型評(píng)測(cè)體系通常是評(píng)估大模型的性能、安全性、可靠性等方面的指標(biāo)、方法、基準(zhǔn)和流程的集合。近年來(lái)，國(guó)內(nèi)涌現(xiàn)出多個(gè)金融大模型，但行業(yè)內(nèi)還缺少較為權(quán)威和被認(rèn)可的評(píng)測(cè)體系。而2025金融大模型評(píng)測(cè)體系，相當(dāng)于為行業(yè)提供了科學(xué)選型和與能力對(duì)標(biāo)的重要“標(biāo)尺”。

??據(jù)介紹，該評(píng)測(cè)體系匯聚了4個(gè)公開(kāi)數(shù)據(jù)集與22個(gè)自建數(shù)據(jù)集，約3.6萬(wàn)條評(píng)測(cè)數(shù)據(jù)，采用循環(huán)選項(xiàng)打亂機(jī)制和多樣化提示詞，并研發(fā)金融裁判大模型，實(shí)現(xiàn)評(píng)測(cè)全流程自動(dòng)化、標(biāo)準(zhǔn)化，為上海金融領(lǐng)域銀行、券商、基金、投資等企業(yè)或者機(jī)構(gòu)人員提供權(quán)威、精準(zhǔn)的大模型能力評(píng)估，助力機(jī)構(gòu)選型、優(yōu)化及風(fēng)險(xiǎn)把控。

??在最新的評(píng)測(cè)體系下，今年的金融大模型測(cè)試結(jié)果全面超越去年，行業(yè)平均71.9分提升到87.37分。同時(shí)，測(cè)試結(jié)果還發(fā)現(xiàn)，海內(nèi)外大模型整體能力相差不大，但在中文領(lǐng)域，國(guó)內(nèi)大模型處于領(lǐng)先水平。另外，國(guó)內(nèi)金融大模型在語(yǔ)言理解、術(shù)語(yǔ)消歧、法規(guī)政策更新和合規(guī)對(duì)齊等領(lǐng)域領(lǐng)先，國(guó)外金融大模型則在數(shù)學(xué)計(jì)算、跨步推理、跨語(yǔ)言推理和超長(zhǎng)文本處理上領(lǐng)先。