鳳凰網(wǎng)科技訊 7月14日,阿里巴巴(BABA)旗下高德近日發(fā)布通用世界模型工坊ABot-World Studio,并開放測試。該產(chǎn)品將交互式視頻生成與3DGS場景生成整合至同一平臺,用戶輸入文字或圖片后,可生成支持實時操控、保存和分享的虛擬場景。
據(jù)高德介紹,ABot-World Studio可在單張英偉達(NVDA)RTX 5090顯卡上本地部署,生成結果能夠導出為視頻或3DGS文件。目前,其底層ABot-World系列模型已開源,并在Reactor和Hugging Face平臺上線。
在長時序生成方面,ABot-World Studio的架構未設置固定推理時長上限。高德稱,官方測試中,產(chǎn)品曾在單次任務中連續(xù)推理超過1小時,期間未出現(xiàn)崩潰或明顯質量衰減。用戶可通過第一人稱或第三人稱視角控制移動,生成畫面會根據(jù)操作持續(xù)變化。
除交互式視頻外,ABot-World Studio還可直接生成具有幾何結構和空間深度的3DGS場景。用戶能夠在生成空間中移動和探索,并將場景文件保存或分享,由此形成可持續(xù)積累的3D內(nèi)容庫。
該產(chǎn)品還加入了名為“時空任意門”的場景連接功能。用戶可在一個3D場景中設置入口,并將其連接至另一個生成場景,從而在不同虛擬空間之間切換。高德試圖借此解決交互式視頻難以長期保留、單個3D場景探索范圍有限等問題。
ABot-World Studio底層由ABot-World系列通用交互式世界模型提供支持,其中包括負責視頻生成的ABot-World0,以及負責3D生成的ABot-3DWorld0。
高德表示,ABot-World0將場景漫游和角色控制納入統(tǒng)一模型,通過算法優(yōu)化減少長時間生成中的誤差累積。ABot-3DWorld0則與此前發(fā)布的ABot-Earth0.5采用相同推理路徑,可覆蓋室內(nèi)、街景和城市航拍等不同尺度,并通過“生成、評估、修復”的模塊化流程改善場景質量。
ABot-World系列模型均支持在單張消費(883434)級GPU上完成本地推理,無需依賴專用服務器算力。用戶可通過ABot-World Studio測試網(wǎng)站體驗相關功能,也可從GitHub獲取已開源的模型代碼。
在應用層面,高德將其定位于機器人仿真訓練、游戲(881275)場景生成、影視分鏡制作以及文旅和教育內(nèi)容開發(fā)。例如,機器人開發(fā)者可使用生成場景搭建模擬訓練環(huán)境,影視創(chuàng)作者則可將單視角素材轉化為可探索場景和多視角畫面。
