兆芯公司近期宣布了一項(xiàng)重大技術(shù)突破,其處理器平臺(tái)現(xiàn)已全面支持DeepSeek-R1 Distill模型的本地部署,覆蓋了從1.5B到671B等多種參數(shù)規(guī)模,這一進(jìn)展適用于PC筆記本、臺(tái)式機(jī)、工作站以及服務(wù)器等多種終端設(shè)備。
在操作系統(tǒng)兼容性方面,兆芯展現(xiàn)了極高的靈活性,原生支持Linux、Windows以及多種國產(chǎn)操作系統(tǒng),并且與國產(chǎn)GPU AI加速卡實(shí)現(xiàn)了無縫對接,進(jìn)一步拓寬了應(yīng)用生態(tài)。
以開先KX-7000桌面處理器為基礎(chǔ)的臺(tái)式機(jī),通過配備國內(nèi)顯卡和加速卡,成功運(yùn)行了DeepSeek-R1-7B模型,這一組合充分展現(xiàn)了DeepSeek在語義理解和推理方面的強(qiáng)大能力。通過與WPS Office套件(包括Word、Excel)以及VSCode等常用軟件的集成,用戶現(xiàn)在能夠享受到智能文檔處理、數(shù)據(jù)處理以及智能編程等便捷功能。
智能文檔處理界面示例
智能數(shù)據(jù)處理應(yīng)用場景
基于KH-40000/16服務(wù)器處理器的工作站“聯(lián)和東海XRS302”,也成功部署了DeepSeek-R1的7B、14B和32B模型。該工作站配備了四塊高性能國產(chǎn)GPU推理加速卡,不僅提供了高性價(jià)比和穩(wěn)定的推理能力,還通過優(yōu)化的CPU與多GPU互連架構(gòu),顯著提升了數(shù)據(jù)傳輸帶寬并降低了延遲。其低功耗和靜音設(shè)計(jì),使其非常適合智能辦公等桌面本地化AI推理場景。
聯(lián)和東海XRS302 AI工作站外觀
在服務(wù)器端,開勝KH-40000/32處理器憑借其雙路64核心的高性能計(jì)算能力、對2TB海量內(nèi)存的支持以及強(qiáng)大的擴(kuò)展能力,成功適配并部署了DeepSeek-R1-70B版本。這一配置特別適用于數(shù)學(xué)、編程、推理等多個(gè)應(yīng)用領(lǐng)域。針對DeepSeek-R1-671B這一更大規(guī)模的模型,開勝KH-40000/32處理器在不依賴任何外部加速卡的情況下,也完成了本地部署,這充分驗(yàn)證了兆芯服務(wù)器CPU架構(gòu)在承載千億參數(shù)模型方面的硬件實(shí)力。
兆芯服務(wù)器上DeepSeek-R1-70B版本的部署實(shí)例