中文通用大模型基準(zhǔn)正式發(fā)布 訊飛星火認(rèn)知大模型國(guó)內(nèi)第一

昨天（5月9日），中文通用大模型基準(zhǔn)（SuperCLUE）正式發(fā)布，該基準(zhǔn)測(cè)試主要是評(píng)測(cè)在當(dāng)前通用大模型大力發(fā)展的情況下，中文大模型的效果情況。包括但不限于：這些模型哪些相對(duì)效果情況、相較于國(guó)際上的代表性模型做到了什么程度、 這些模型與人類的效果對(duì)比如何？

該模型可通過(guò)多個(gè)層面，考驗(yàn)市面上主流的中文GPT大模型的能力：

基礎(chǔ)能力：包括了常見(jiàn)的有代表性的模型能力，如語(yǔ)義理解、對(duì)話、邏輯推理、角色模擬、代碼、生成與創(chuàng)作等10項(xiàng)能力。

專業(yè)能力：包括了中學(xué)、大學(xué)與專業(yè)考試，涵蓋了從數(shù)學(xué)、物理、地理到社會(huì)科學(xué)等50多項(xiàng)能力。

中文特性能力：針對(duì)有中文特點(diǎn)的任務(wù)，包括了中文成語(yǔ)、詩(shī)歌、文學(xué)、字形等10多項(xiàng)能力。

該機(jī)構(gòu)利用SuperCLUE測(cè)試基準(zhǔn)，對(duì)市面上主流的支持中文的通用大模型進(jìn)行了評(píng)測(cè)與排名。從排名中我們可以看出，GPT-4一騎絕塵，已經(jīng)非常接近人類的能力。國(guó)產(chǎn)大模型中科大訊飛研發(fā)的星火認(rèn)知大模型總排名第三，國(guó)內(nèi)排名第一。

以下為該機(jī)構(gòu)公布的各個(gè)子項(xiàng)目的具體得分。排行榜會(huì)定期更新，并于以下網(wǎng)站進(jìn)行公示。

www.CLUEbenchmarks.com/superclue.html