最新最快科技资讯
太阳能光伏网

昆仑万维开源Matrix-Game大模型 可据指令生成相应游戏世界视频

【太平洋科技快讯】5月13日,昆仑万维宣布,旗下Matrix系列的交互式世界生成方向正式落地,推出Matrix-Game大模型(17B),并开源其核心代码。Matrix-Game是工业界首个开源的10B空间智能大模型,专为游戏世界建模而设计,致力于在开放式环境中实现高质量的内容生成与精确控制。

Matrix-Game的目标是为游戏开发者和AI爱好者提供一个强大的工具,用于构建和探索交互式虚拟世界。该模型基于先进的技术,能够理解和学习复杂环境中的动态变化和交互模式,从而生成连贯、可控的游戏体验。

Matrix-Game的功能源于其三大核心组件:

Matrix-Game-MC数据集:该数据集由昆仑万维自主构建,包含海量Minecraft游戏视频数据,分为无标签的大规模视频和带有键盘鼠标控制信号的精细标注视频。

Matrix-Game主模型:基于先进的扩散模型技术,Matrix-Game主模型构建了一个从图像到世界的生成框架。该框架能够根据用户的输入,例如键盘指令和鼠标移动,生成连贯且可控的互动视频,在视觉质量、时序一致性和物理合理性方面达到了出色的平衡。

GameWorld Score评测体系:昆仑万维提出了这一统一的游戏交互世界评估标准,从视频的视觉质量、时序质量、动作可控性和物理规则理解四个维度全面量化模型性能。该评测体系的提出,填补了该领域缺乏系统性评测基准的空白。

Matrix-Game能够在多种Minecraft场景下实现可控生成,包括森林、沙滩、沙漠、冰川、河流和平原等。用户可以通过键盘和鼠标输入指令,例如使用方向键控制角色移动,空格键跳跃,攻击键攻击,以及鼠标控制视角,来操控游戏中的角色。Matrix-Game能够根据这些指令生成相应的游戏世界视频,支持角色的前后左右移动、跳跃、攻击以及视角变换等动态行为。

此外,Matrix-Game还支持自回归式的长视频生成,这意味着它能够实现动作与视角之间的丝滑衔接,并在时间一致性和环境适应性方面表现出色。这一特性为开发沉浸式长时体验、创意内容生成以及游戏设计等应用奠定了坚实的模型基础。

最新相关

魅族Note16售价799元起 配备6000mAh电池

[太平洋科技快讯]5月13日,星纪魅族正式推出全新机型――魅族Note 16,号称"流畅耐用战神"。5月13日至6月20日期间,"百大职业"者线下购买还可领取100元专属优惠,叠加国补后最低到手价为594.15元...

魅族Note16 Pro发布 国补后售价1274.15元起

[太平洋科技快讯]5月13日,魅族正式发布了新一代Note系列手机——Note 16 Pro,搭载第三代骁龙7s处理器,国补后首销价1274.15元起,目前已开启预售,将于5月16日正式开售。外观设计方面,...

魅族发布Flyme AIOS2系统 Note16系列首发搭载

[太平洋科技快讯]5月13日,星纪魅族正式发布全新的Flyme AIOS 2操作系统,魅族Note 16系列新机将首发搭载,今日下午开启内测报名。Flyme AIOS 2 将采用分批次推送的方式。第一批内测报名时间为20...

特斯拉神秘新车亮相 或为亲民车型

[太平洋科技快讯]近日,相关曝料分享了一组航拍画面。画面显示,一辆被车罩覆盖的测试车停放在工厂内。该车明显缺少车身面板和车顶,但从轮廓来看,其与Model Y极为相似,且配备了Model Y的轮毂。...