玩游戏对人工智能来说并不简单。屏幕上的画面变化快,按键和鼠标要配合,很多局面在示范数据里根本没见过。一项新研究提出了Player-1,一个在示范之外继续学习的训练框架。
研究者先整理了6044条游戏操作轨迹,把动作、任务说明和视觉推理配对,用来微调电脑操作模型。他们还搭建了Player-1-Gym,包含16个合成的2D和3D环境,用程序自动给出奖励,并通过随机化观察和控制动态来支持多环境强化学习。
结果显示,Player-1-9B在MineDojo-300上的成功率从监督微调后的水平提升了27.8个百分点,达到38.33%,而评估中最强的基线只有12.63%。在ViZDoom-10和GameWorld上也有进一步增益。分析还发现,合成环境覆盖越广,迁移效果越好,强化学习过程中组合动作的使用也在增加。
这项工作的意义不只在于游戏分数。它提示了一种思路:当真实示范难以覆盖所有情况时,用可验证的合成经验补充训练,可能让数字操作更灵活。至于这种能力能走多远,还需要更多环境来检验。
评论