昆侖萬維近期宣布,其Matrix系列在交互式世界生成領域取得了重大進展,正式推出了Matrix-Game大模型(17B),并慷慨地將其核心代碼向公眾開放。這一舉措標志著Matrix-Game成為業(yè)界首個開源的、專為游戲世界建模設計的10B級空間智能大模型,旨在開放式環(huán)境下實現(xiàn)內容生成的高質量與精確控制。
Matrix-Game的推出,旨在為游戲開發(fā)者及AI愛好者提供一把鑰匙,解鎖構建和探索交互式虛擬世界的無限可能。該模型基于前沿技術,能夠深入理解復雜環(huán)境中的動態(tài)變化與交互模式,從而生成既連貫又可控的游戲體驗,讓虛擬世界更加生動逼真。
Matrix-Game的強大功能得益于其精心設計的三大核心組件。首先,昆侖萬維自主構建了Matrix-Game-MC數(shù)據(jù)集,這一數(shù)據(jù)集涵蓋了海量的Minecraft游戲視頻數(shù)據(jù),既包括無標簽的大規(guī)模視頻,也包含精細標注的、帶有控制信號的視頻,為模型的訓練提供了堅實的基礎。
其次,Matrix-Game主模型采用了先進的擴散模型技術,構建了一個從圖像到世界的生成框架。這一框架能夠根據(jù)用戶的輸入,如鍵盤指令和鼠標移動,生成連貫且可控的互動視頻。在視覺質量、時序一致性和物理合理性方面,Matrix-Game主模型均展現(xiàn)出了卓越的性能。
昆侖萬維還提出了GameWorld Score評測體系,這一統(tǒng)一的游戲交互世界評估標準填補了該領域缺乏系統(tǒng)性評測基準的空白。GameWorld Score從視覺質量、時序質量、動作可控性和物理規(guī)則理解四個維度全面量化模型性能,為Matrix-Game及其他同類模型的評估提供了科學依據(jù)。
Matrix-Game在Minecraft的多種場景下均能實現(xiàn)可控生成,包括森林、沙灘、沙漠、冰川、河流和平原等自然景觀。用戶可以通過鍵盤和鼠標輸入指令,如使用方向鍵控制角色移動、空格鍵跳躍、攻擊鍵攻擊以及鼠標控制視角等,來操控游戲中的角色。Matrix-Game能夠根據(jù)這些指令生成相應的游戲世界視頻,支持角色的前后左右移動、跳躍、攻擊以及視角變換等動態(tài)行為,為用戶帶來沉浸式的游戲體驗。
Matrix-Game還支持自回歸式的長視頻生成,這一特性使得動作與視角之間的銜接更加絲滑流暢,同時在時間一致性和環(huán)境適應性方面也表現(xiàn)出色。這一創(chuàng)新為開發(fā)沉浸式長時體驗、創(chuàng)意內容生成以及游戲設計等應用提供了堅實的模型基礎,將推動游戲行業(yè)向更高層次發(fā)展。