微軟投資的硅谷新興企業d-Matrix近日正式宣布，其精心研發的人工智能芯片Corsair已投入市場流通。
據d-Matrix介紹，Corsair在單服務器環境下，為Llama3 8B模型提供了驚人的處理能力，每秒可處理高達60000個tokens，且每個tokens的延遲僅為1毫秒。這一數據彰顯了Corsair在高效處理大規模數據方面的卓越性能。
Corsair不僅性能出眾，還在能源效率和成本節約方面展現出顯著優勢。d-Matrix聲稱，與GPU及其他替代方案相比，Corsair能夠在提供同等性能的同時，顯著降低能耗和成本。
在AI推理運算領域，數據傳輸一直是制約性能提升的關鍵瓶頸。由于AI推理需要處理大量且快速的內存數據，傳統解決方案往往難以兼顧這兩方面的需求。d-Matrix針對這一挑戰，提出了創新的解決方案。
目前，業界主要有三種解決數據傳輸瓶頸的方法。第一種是通過采樣和流水線技術減少處理的數據量，雖然能加速深度學習，但犧牲了準確性和精確性。第二種是在傳統處理器附近設置專用AI引擎，如蘋果、英偉達、Intel和AMD所采用的方式，但這種方法需要集成SRAM和外部DRAM，能耗高且效率較低。
d-Matrix采用的是第三種方法，即將計算移動到內存附近。這種被稱為數字存算一體（DIMC）的技術架構，通過降低延遲和減少消耗，顯著提升了AI推理運算的性能。DIMC技術特別適合處理AI推理中的靜態但大型權重數據集，這些數據集在推理過程中會被反復訪問，DIMC技術消除了大部分能量轉移費用和數據移動的延遲。
得益于DIMC技術的優勢，Corsair提供了150TB/s的超高內存帶寬，交互速度提高了10倍，能效提高了3倍。這一突破性的性能表現，使得Corsair在AI推理運算領域具有廣泛的應用前景。
Corsair芯片還采用了行業標準的PCIe Gen5全高全長卡外形，并通過DMX Bridge卡連接成對的卡，以滿足高性能計算的需求。每張Corsair卡都由多個DIMC計算核心驅動，具備2400 TFLOP的8位峰值計算能力，同時配備了2GB的集成性能內存和高達256GB的片外容量內存，確保了強大的計算能力和數據存儲能力。
