近期，美團技術團隊傳來新進展，他們成功對DeepSeek R1模型實施了INT8精度量化處理，此舉意味著該模型將不再受限于特定型號的GPU，能夠在更多設備上實現高效部署。
自DeepSeek R1發布以來，眾多企業和個人用戶紛紛嘗試部署其滿血版本。然而，該模型原生版本的權重格式為FP8，這一格式對GPU芯片類型有著嚴格要求，僅支持英偉達的新型GPU，如Ada和Hopper架構芯片，而像A100這樣的老型號GPU則無法直接部署。
面對這一挑戰，用戶曾嘗試將FP8權重反量化為BF16權重，以便在A100等GPU上進行推理。然而，這種方法不僅將顯存需求提升了一倍，還導致了推理吞吐量的下降。這顯然不是最優解。
為了打破這一僵局，美團搜索和推薦平臺部技術團隊決定對DeepSeek R1模型進行INT8精度量化嘗試。經過努力，他們驚喜地發現，量化后的模型在精度上幾乎沒有損失。這一發現為DeepSeek R1的廣泛應用打開了新的大門。
通過INT8量化，DeepSeek R1模型成功解鎖了芯片限制，現在可以在A100等其他型號的GPU上部署。與BF16格式相比，INT8量化后的模型在推理吞吐量上實現了50%的提升，進一步降低了推理成本。這對于那些希望在不同硬件環境中部署DeepSeek R1的用戶來說，無疑是一個重大利好。
美團技術團隊已經將量化代碼開源到了LLM推理框架SGLang上，供行業內外人士參考和使用。同時，量化后的DeepSeek R1模型也已經在Hugging Face社區發布，用戶可以直接下載和使用。這一舉措無疑將促進DeepSeek R1模型的廣泛應用和進一步發展。
對于對DeepSeek R1模型量化過程感興趣的用戶，可以查閱美團官方發布的技術報告，以獲取更詳細的信息和了解背后的技術原理。
