近日,科技圈內(nèi)掀起了一場(chǎng)關(guān)于大型語(yǔ)言模型相似性的熱議風(fēng)波。事件的起因是,一項(xiàng)在GitHub和arXiv平臺(tái)上發(fā)布的研究報(bào)告指出,華為推出的盤(pán)古大模型(Pangu Pro MoE)與阿里巴巴達(dá)摩院發(fā)布的通義千問(wèn)Qwen-2.5 14B模型在參數(shù)結(jié)構(gòu)上存在顯著的相似之處,這一發(fā)現(xiàn)迅速引發(fā)了業(yè)界的廣泛關(guān)注。
據(jù)詳細(xì)爆料,某研究團(tuán)隊(duì)在名為HonestAGI/LLM-Fingerprint的GitHub項(xiàng)目中,對(duì)多個(gè)主流的大型語(yǔ)言模型進(jìn)行了深入比對(duì)。他們驚人地發(fā)現(xiàn),盤(pán)古Pangu Pro MoE與Qwen-2.5 14B模型在注意力模塊上的相似性極高,這一特征在其他模型的對(duì)比中并未出現(xiàn)。這一結(jié)果引發(fā)了業(yè)界對(duì)于盤(pán)古模型是否基于Qwen模型進(jìn)行訓(xùn)練或修改的質(zhì)疑。
面對(duì)這一風(fēng)波,華為盤(pán)古Pro MoE技術(shù)開(kāi)發(fā)團(tuán)隊(duì)迅速做出了回應(yīng)。他們發(fā)表聲明稱,盤(pán)古Pro MoE開(kāi)源模型的部分基礎(chǔ)組件代碼實(shí)現(xiàn)確實(shí)參考了業(yè)界的開(kāi)源實(shí)踐,并涉及了其他開(kāi)源大模型的部分代碼。但華為方面強(qiáng)調(diào),他們嚴(yán)格遵循了開(kāi)源許可證的要求,并在開(kāi)源代碼文件中清晰標(biāo)注了開(kāi)源代碼的版權(quán)聲明。這一做法不僅符合開(kāi)源社區(qū)的通行規(guī)則,也彰顯了業(yè)界倡導(dǎo)的開(kāi)源協(xié)作精神。
華為團(tuán)隊(duì)進(jìn)一步表示,他們始終堅(jiān)持開(kāi)放創(chuàng)新的理念,尊重第三方的知識(shí)產(chǎn)權(quán),并積極提倡包容、公平、開(kāi)放、團(tuán)結(jié)和可持續(xù)的開(kāi)源理念。他們感謝全球開(kāi)發(fā)者與合作伙伴對(duì)盤(pán)古大模型的關(guān)注和支持,并高度重視開(kāi)源社區(qū)的建設(shè)性意見(jiàn)。華為希望通過(guò)盤(pán)古大模型的開(kāi)源,與志同道合的伙伴一起探索并不斷優(yōu)化模型能力,共同推動(dòng)技術(shù)的突破與產(chǎn)業(yè)的落地。