蘋果機器學習團隊近日在GitHub平臺上震撼發布并開源了一款名為FastVLM的視覺語言模型，這款模型是蘋果自研技術的又一力作。FastVLM提供了三種不同規模的版本，分別是0.5B、1.5B和7B，全部基于蘋果特有的MLX框架構建，并通過LLaVA代碼庫進行了深度訓練。尤為FastVLM針對Apple Silicon設備進行了優化，旨在提升端側AI運算的效率。
FastVLM的核心組件是一個創新的混合視覺編碼器，名為FastViTHD。這款編碼器專為處理高分辨率圖像而設計，旨在實現高效的VLM性能。據官方數據顯示，FastViTHD的處理速度相較于同類模型提升了3.2倍，而其體積僅為前者的3.6分之一。這一顯著的性能提升得益于其減少的令牌輸出量和大幅縮短的編碼時間。
技術文檔揭示，FastVLM不僅保持了高精度，還實現了高分辨率圖像處理的近實時響應，同時所需的計算量遠低于同類模型。特別是最小版本FastVLM-0.5B，其首詞元響應速度比LLaVA-OneVision-0.5B模型快了85倍，而視覺編碼器的體積更是縮小了3.4倍。當與Qwen2-7B大語言模型搭配使用時，FastVLM使用單一的圖像編碼器即可超越Cambrian-1-8B等近期的研究成果，首詞元響應速度提升了7.9倍。
蘋果技術團隊表示，FastVLM的開發是基于對圖像分辨率、視覺延遲、詞元數量以及LLM大小的全面效率分析。該模型在延遲、模型大小和準確性之間找到了最佳的平衡點。這一技術的潛在應用場景指向了蘋果正在積極研發的智能眼鏡類穿戴設備。據多方消息透露，蘋果計劃在2027年推出與meta Ray-Bans相媲美的AI眼鏡，并可能同期發布配備攝像頭的設備。
FastVLM的本地化處理能力為這類設備提供了有力的支持，使它們能夠在脫離云端的情況下實現實時視覺交互。MLX框架的引入，使得開發者能夠在Apple設備上本地訓練和運行模型，同時兼容主流的AI開發語言。FastVLM的推出，無疑證實了蘋果正在構建一個完整的端側AI技術生態系統。
