午夜日韩久久影院,亚洲欧美在线观看首页,国产情侣真实露脸在线最新,一级毛片在线观看免费

資訊在沃

聯想AI服務器新突破:本地部署DeepSeek大模型,性能滿載支持百并發

   發布時間:2025-03-03 12:31 作者:陸辰風

聯想集團近日宣布了一項重大技術突破,成功在聯想問天WA7780 G3服務器上單機部署了DeepSeek-R1/V3 671B大模型。這一成就不僅刷新了企業級大模型部署的基準,還以遠低于行業公認的1TGB顯存要求(實際僅使用768GB),實現了流暢支持100并發用戶的能力,充分滿足千人以上規模企業的使用需求。

在DeepSeek大模型本地化部署逐漸成為企業關注焦點的背景下,聯想的這次技術革新為企業提供了寶貴的選型參考。面對行業普遍存在的關鍵問題,如單機能否部署完整版的DeepSeek R1、最低配置需求、高并發與吞吐量下的用戶體驗保障以及如何避免采購陷阱,聯想給出了明確的答案。

聯想的研發團隊通過一系列創新技術,包括專家并行優化、智能訪存架構升級以及PCIe 5.0全互聯架構的應用,顯著提升了顯存利用率,從而實現了性能的大幅提升。在512 token標準測試環境下,系統能夠支持100個并發用戶以每秒10 token的速度穩定輸出,首token響應時間更是被壓縮至30秒以內。即使在面對4K長序列的復雜場景時,系統也能保持25個并發用戶的同等性能。

聯想問天WA7780 G3服務器僅配置了8張96GB顯存的GPU卡,而DeepSeek-R1大模型的模型參數就占據了約700GB顯存,剩余顯存空間有限。如果不進行專門優化,系統僅能支持2至3個用戶接入。然而,在聯想萬全異構智算平臺的加持下,通過精心優化,聯想成功實現了用戶體驗的三項關鍵指標:首token延遲小于30秒、單token延遲小于100毫秒、支持2K以上長序列問題處理。同時,這一方案還實現了20%以上的成本節約,充分展示了聯想在服務器技術領域的深厚積累和創新實力。

聯想的這一創新成果不僅為企業提供了設備選型的新思路,還提醒企業在評估測試數據時,應審慎看待總吞吐量和總并發數等指標,而應更加關注用戶體驗和數據精度等隱藏信息。例如,將數據精度從FP8轉為int8或int4(即量化)雖然可以顯著提升性能表現,但會犧牲結果的準確性,這顯然不是用戶所期望的。高吞吐量和高并發量也并不等同于用戶體驗好。如果服務器GPU卡配置不高,局部通信瓶頸可能會引發響應延遲,導致用戶體驗降級。

聯想的這一技術突破將有效破除大模型在企業落地過程中的瓶頸,加速大模型在企業的應用進程。未來,聯想基礎設施業務群與聯想研究院先進計算實驗室將繼續深化合作,依托聯想萬全異構智算平臺對DeepSeek平臺從AI預訓練、后訓練到推理的全流程進行持續優化,為客戶提供性能更佳、性價比更高的產品和解決方案,推動DeepSeek大模型的廣泛落地,引領新一輪的生產力革命。

 
 
更多>同類內容
全站最新
熱門內容
本欄最新