英偉達近期震撼發(fā)布了Describe Anything 3B（簡稱DAM-3B）這一前沿AI模型，專為解決圖像與視頻中特定區(qū)域的精細描述問題而生。該模型在靜態(tài)圖像及動態(tài)視頻的局部描述領(lǐng)域取得了突破性進展，為相關(guān)領(lǐng)域開辟了新的道路。

盡管傳統(tǒng)的視覺-語言模型（VLMs）在生成整體圖像描述方面已相當(dāng)成熟，但在處理圖像或視頻中特定區(qū)域的詳細描述時卻存在明顯短板。特別是在動態(tài)視頻中，時間動態(tài)變化、遮擋現(xiàn)象以及區(qū)域化描述的需求，使得這一任務(wù)變得尤為復(fù)雜。DAM-3B的推出正是為了攻克這些難題，它允許用戶通過點選、邊界框、涂鴉或掩碼等方式指定目標(biāo)區(qū)域，進而生成精確且貼合上下文的描述性文本。

DAM-3B的核心創(chuàng)新在于其“焦點提示”技術(shù)。該技術(shù)巧妙地將全圖信息與目標(biāo)區(qū)域的高分辨率裁剪圖相結(jié)合，既保留了整體背景，又確保了細節(jié)信息的真實呈現(xiàn)。這種獨特的融合策略，使得生成的描述更加精確且上下文連貫。

DAM-3B還引入了局部視覺骨干網(wǎng)絡(luò)。該網(wǎng)絡(luò)通過嵌入圖像和掩碼輸入，運用先進的門控交叉注意力機制，將全局與局部特征有機融合，再傳遞給大語言模型以生成描述。這一設(shè)計使得模型能夠更深入地理解目標(biāo)區(qū)域及其與整體圖像之間的關(guān)系。

DAM-3B的能力不僅局限于靜態(tài)圖像，其衍生版本DAM-3B-Video更是將這一技術(shù)擴展至視頻領(lǐng)域。通過逐幀編碼區(qū)域掩碼并整合時間信息，DAM-3B-Video即使在面對遮擋或運動的情況下，也能生成準(zhǔn)確的描述，為動態(tài)視頻的局部描述提供了強有力的解決方案。

為了克服訓(xùn)練數(shù)據(jù)稀缺的難題，英偉達創(chuàng)新性地開發(fā)了DLC-SDP半監(jiān)督數(shù)據(jù)生成策略。該策略充分利用分割數(shù)據(jù)集和未標(biāo)注的網(wǎng)絡(luò)圖像，構(gòu)建了包含150萬局部描述樣本的訓(xùn)練語料庫。通過自訓(xùn)練方法不斷優(yōu)化描述質(zhì)量，確保了輸出文本的高精確度。同時，英偉達還推出了DLC-Bench評估基準(zhǔn)，以屬性級正確性作為衡量描述質(zhì)量的標(biāo)準(zhǔn)，而非簡單地與參考文本進行對比。

在包括LVIS、Flickr30k Entities等在內(nèi)的七項基準(zhǔn)測試中，DAM-3B展現(xiàn)出了卓越的性能，平均準(zhǔn)確率達到67.3%，成功超越了GPT-4和VideoRefer等模型，彰顯了其在圖像和視頻局部描述領(lǐng)域的領(lǐng)先地位。