近日，科技界迎來(lái)了一項(xiàng)重要進(jìn)展，谷歌公司推出了名為L(zhǎng)Meval的開(kāi)源框架，旨在為大語(yǔ)言模型及多模態(tài)模型提供一個(gè)統(tǒng)一、標(biāo)準(zhǔn)化的評(píng)測(cè)體系。這一消息由知名科技媒體The Decoder在5月26日的報(bào)道中首次披露。

長(zhǎng)久以來(lái)，新型AI模型的評(píng)測(cè)工作一直面臨著諸多挑戰(zhàn)。由于不同供應(yīng)商在API設(shè)計(jì)、數(shù)據(jù)格式以及基準(zhǔn)設(shè)置上的差異性，跨模型比較不僅耗時(shí)費(fèi)力，還極為復(fù)雜。而LMeval框架的推出，無(wú)疑為解決這一問(wèn)題提供了全新的思路。

LMeval框架通過(guò)一次性的基準(zhǔn)設(shè)置，即可實(shí)現(xiàn)評(píng)測(cè)流程的標(biāo)準(zhǔn)化，極大地簡(jiǎn)化了評(píng)測(cè)工作的復(fù)雜度，為研究人員和開(kāi)發(fā)者節(jié)省了大量時(shí)間和資源。這一創(chuàng)新性的設(shè)計(jì)，無(wú)疑為AI模型的評(píng)測(cè)工作帶來(lái)了革命性的變化。

不僅如此，LMeval還通過(guò)LiteLLM框架實(shí)現(xiàn)了對(duì)Google、OpenAI、Anthropic、Ollama和Hugging Face等平臺(tái)之間接口差異的兼容，確保了跨平臺(tái)測(cè)試的無(wú)縫運(yùn)行。這一功能不僅提升了測(cè)試的便捷性，還進(jìn)一步推動(dòng)了AI模型評(píng)測(cè)的標(biāo)準(zhǔn)化進(jìn)程。

LMeval框架的評(píng)測(cè)范圍廣泛，不僅支持文本評(píng)測(cè)，還涵蓋了圖像和代碼等領(lǐng)域的基準(zhǔn)測(cè)試。其靈活的輸入格式使得新測(cè)試項(xiàng)的擴(kuò)展變得輕而易舉，同時(shí)支持是非題、多選題和自由文本生成等多種評(píng)估類(lèi)型。LMeval還能有效識(shí)別模型采用的“規(guī)避策略”，即故意給出模糊回答以避免生成有害內(nèi)容的行為。

為了更全面地評(píng)估模型的安全性，谷歌還引入了Giskard安全評(píng)分，通過(guò)百分比的形式直觀展示模型在規(guī)避有害內(nèi)容方面的表現(xiàn)。同時(shí)，測(cè)試結(jié)果被存儲(chǔ)在自加密的SQLite數(shù)據(jù)庫(kù)中，既保證了數(shù)據(jù)的本地化存儲(chǔ)，又避免了被搜索引擎索引的風(fēng)險(xiǎn)，從而實(shí)現(xiàn)了隱私與便捷的兼顧。

LMeval框架還具備增量評(píng)估功能，這意味著在新增模型或測(cè)試項(xiàng)時(shí)，無(wú)需重新運(yùn)行整個(gè)測(cè)試流程，僅需執(zhí)行新增部分即可。其多線程引擎能夠并行處理多項(xiàng)計(jì)算任務(wù)，有效降低了計(jì)算成本和時(shí)間消耗。

為了更直觀地展示模型在不同類(lèi)別中的表現(xiàn)，谷歌還開(kāi)發(fā)了LMevalboard可視化工具。該工具通過(guò)雷達(dá)圖的形式，清晰地展示了模型在各項(xiàng)任務(wù)中的得分情況。用戶(hù)可以通過(guò)該工具深入查看具體任務(wù)，精準(zhǔn)定位模型錯(cuò)誤，并直接比較多個(gè)模型在特定問(wèn)題上的差異。