騰訊科技（深圳）有限公司在人工智能領(lǐng)域的又一重大突破于近日揭曉，其申請的“大語言模型訓練新法及配套設(shè)施”專利于2月7日正式對外公布。此專利通過引入一種創(chuàng)新的對比學習機制，在大語言模型訓練中巧妙利用多重摘要文本，實現(xiàn)了模型泛化能力與生成準確性的顯著提升，為AI語言處理技術(shù)開啟了新的探索路徑。

具體而言，騰訊的新專利創(chuàng)造性地設(shè)計了“第一摘要文本”與“第二摘要文本”的概念，兩者在信息量和內(nèi)容構(gòu)成上均有所不同，其中第一摘要文本還特別包含了正確與錯誤語句的混合。模型在學習過程中，通過對這兩種摘要的對比分析，能夠更有效地識別并區(qū)分正確與錯誤的表達方式，同時顯著降低了因單一數(shù)據(jù)源而引發(fā)的過擬合風險。這一設(shè)計不僅極大地豐富了模型的學習維度，還通過動態(tài)調(diào)整策略，進一步優(yōu)化了生成結(jié)果的準確性和可靠性。

騰訊的這一創(chuàng)新之舉與近年來對比學習在文本摘要領(lǐng)域的廣泛應用趨勢不謀而合。先前的研究已經(jīng)表明，通過構(gòu)造正負樣本并調(diào)整模型表示空間，對比學習在提升摘要質(zhì)量、緩解暴露偏差等方面取得了顯著成效。騰訊此次將對比學習框架成功融入大語言模型的訓練中，無疑是對該技術(shù)應用邊界的又一次重要拓展。

有業(yè)內(nèi)人士分析指出，騰訊的這項專利通過構(gòu)建多樣化的摘要文本及高效的對比學習機制，為模型提供了一個更加貼近實際應用場景的學習環(huán)境。這對于智能客服、內(nèi)容生成等需要高精度輸出的領(lǐng)域來說，具有極其重要的實踐意義。該技術(shù)還有望加速大模型在實際應用中的落地進程。例如，在短文本對話場景中，騰訊此前已推出的基于混合注意力機制的對話模型專利，若能與這一新的訓練方法相結(jié)合，無疑將進一步提升回復的相關(guān)性和豐富性，為用戶帶來更加自然流暢的交互體驗。

回顧騰訊近年來在大語言模型領(lǐng)域的布局，從2023年的微調(diào)方法專利到此次訓練框架的創(chuàng)新，每一步都彰顯了其在人工智能全鏈條技術(shù)領(lǐng)域的深厚積累和前瞻視野。騰訊正以其不懈的努力和持續(xù)的創(chuàng)新，推動AI語言處理技術(shù)不斷向前發(fā)展。