沉浸式玩家体验秘诀，看《梦三国2》游戏AI智能体！

近几年，全世界都见证了大模型和 AIGC 技术的爆发式增长，游戏行业也在全面拥抱 AI 。从游戏研发到游戏发行、运营的各个环节，AI 技术在游戏行业的落地应用逐步走向大众的视野，亦为游戏体验带来革命性颠覆。

模仿学习技术通过精准捕捉并解析真人玩家的游戏操作，赋予 AI 模型以高度的拟人化特性。这一过程主要依赖于对线上高水平玩家比赛录像的深入分析，从中提取关键的游戏状态和相应的动作决策。在这里，"状态"描绘了玩家所处的游戏环境和当前游戏状态的描述，而"动作"则记录了玩家在该状态下的具体操作。通过游戏的标准化接口，我们能够捕获这些数据，进而训练出能够模拟人类玩家行为的 AI，提升游戏的互动性和真实感。

这一部分，小智将向大家介绍，包含录像到训练数据的处理全流程。

1.录像下载及信息存储

游戏方将录像定期推送到 FTP 上，我们会定期从 FTP 中拉取录像，并存入对象存储中，并在数据库中记录录像信息。

2.录像信息解析过滤

在进行模仿学习时，为了保证模型的效果，需要筛选特定角色的、高段位的、表现较好的录像使用，所以通过游戏方提供的录像过滤工具，可以获取每场录像的筛选映射信息，我们可通过该映射信息进行录像筛选，具体筛选信息字段示例如下：

matchid	score/rank	hero_id	KDA	game_result
比赛唯一id	能力分/段位	角色id	比赛表现	比赛结果

3.录像解析 proto 数据

在过滤得到所需录像之后，我们通过录像解析工具，将一局比赛解析处理成多个 proto 数据，每个 proto 数据表示一帧游戏数据，proto 中包含了我们训练所需的所有数据。之后我们把 proto 数据同样存放到对象存储中，并在mysql 中记录下这场比赛对应的 proto 及录像信息。

如下图为 proto 的示例，其中包含了游戏某一帧状态和录像动作两部分主要信息，状态又分为比赛通用信息和各个玩家的状态信息两部分，通过 proto 数据，我们就可以构建状态-动作数据样本。

游戏场景（scene）实现了对数据集进行具体场景的归类，通过标记主英雄的重要动作节点赋予操作的目的性。具体而言，按照动作优先级排序，可以将游戏场景分为以下五大类：

我方英雄和己方小兵处于敌方防御塔一定范围内即定义为推塔；我方英雄位于我方防御塔内且该范围内同时存在敌方小兵/英雄时为守塔；我方英雄位于我方基地 3200 范围内且该范围内同时存在敌方小兵/英雄时为守基地；我方英雄和己方小兵处于敌方基地 3200 范围内即定义为推基地。

4、野区发育

如果攻击目标为我方野怪，划分为打自家野；如果攻击目标为敌方野怪，划分为反野；如果攻击目标为中立 Boss，划分为打 Boss。

以上所有事件如果均未发生，那么统一标为寻路环节。

前面我们定义了详细的场景，首先对于一局比赛，找到符合场景的帧，如上图中 T1 泡泉水、T3 清线等（图中的 T1、T2 不代表连续帧，仅用于示例），那么有个这些有场景定义的帧之后，就可以对一局进行场景划分，对于两个场景帧中的剩余帧，定义为"去"下一个场景，如 T2 帧没有找到符合的场景，由于 T3 为清线，那么 T2 定义为去清线。经过上述操作后，每帧都会赋予一个场景的定义。

在每一帧都有场景定义之后我们再来构建 scene intent，分为 global scene、global intent、local scene 和 local intent，其中 scene 表示的意图（干什么）信息，intent 表示的是位置（在哪里干）信息。

local scene, 假设当前帧为非寻路场景，即不包含“去xxx”，那么该帧local scene 为当前场景一致，比如当前帧为泡泉水，那么 local scene 也为泡泉水。如当前帧为寻路场景，那么该帧 local scene 为最近的下一个非寻路场景，如当前场景为 T2 去清线，那么 local scene 为清线。

local intent，假设当前帧为非寻路场景，即不包含“去xxx”，那么该帧 local intent 为当前场景结束所对应的位置，把小地图映射为 544x544 的二维矩阵，然后把该位置映射到二维矩阵上，然后把 544x544 的矩阵 pool 成 16x16 的矩阵，位置在 16x16 矩阵中的 index 作为 local intent，比如当前帧为泡泉水，那么 local intent 也为T1泡泉水结束对应位置。如当前帧为寻路场景，那么该帧 local intent 为最近的下一个非寻路场景开始的位置，如当前场景为 T2 去清线，那么 local intent 为 T3 清线开始对应的位置。

global scene，定义为当前帧往后找，直到下一个非寻路场景作为当前帧的global scene，如上图中 T1 的场景为泡泉水，往后找，可能经过多个泡泉水帧，直到找到 T3 帧为清线场景，那么 T1 帧的 global scene 为清线。

global intent，假设当前帧为非寻路场景，即不包含“去xxx”，那么该帧 global intent 为下一个非寻路场景开始所对应的位置，同理映射到 16x16 的矩阵中，对应的 index 作为 global intent，比如当前帧为泡泉水，那么 global intent 也为 T3 清线开始位置。如当前帧为寻路场景，那么该帧global intent 为最近的下一个非寻路场景结束的位置，如当前场景为 T2 去清线，那么 global intent 为 T3 清线场景结束对应的位置。

current scene，代表玩家的当前帧状态下所处的场景。

以上的五个定义也会作为我们在训练模型时候的五个辅助任务，帮助我们的模型更好的学习和掌握真人玩家数据中的宏观策略。

在完成 scene intent 的定义之后，我们构建了一个 render，一方面可以校验我们的一些基础数据是否合理，也可以观察我们构建的辅助任务 scene intent 是否合理。

render 由四张子图构成，分别表示全局地图、主英雄视角（局部地图）、local intent 位置和 global intent 位置示意图。

第一个为 544*544 的全局地图，显示游戏内基本信息。蓝色阴影是游戏内地形；红蓝双方建筑处对应颜色的矩形表示塔；大圆形（有黑线描边）表示英雄，主英雄填充色为绿色，其他英雄填充对应阵容的颜色（红/蓝）；小圆形（无黑线描边）表示小兵，填充对应阵容的颜色（红/蓝）；橙色三角形表示野怪。

第二个是以主英雄为视角中心的小地图，维度是 36*36。在小地图里面不仅包含了全局地图在该区域显示的所有信息，还额外加入了其他与战斗有关的数据。在该区域内的英雄和小兵会按照百分比血量填充颜色表示当前帧的状态，主英雄在攻击时会有黑色箭头指向对应单位，其中紫色框表示第六部分中介绍的 current intent 位置。

第三个、第四个图同样为 544*544 的全局地图，其中紫色方框表示第六部分介绍的 local intent 和 global intent 的位置。同时在对应图片上还会显示current scene、local scene 和 global scene。

05

数据分析

我们做了详细的数据分析工作。如下为不同定位英雄，多局比赛的地图位置的热力图分析，能明显看出中路、下路和游走在热力图上的区别，同时为了解决 AI 插侦察眼的问题，我们也分析了真人玩家插眼的位置热力图，同时统计出一些常见的位置，用于 AI 插眼。

根据我们设计的主动作类型，我们会发现，不同主动作类型的样本存在较为严重的不平衡现象，同时对于不同定位的英雄，主动作的分布也是不一样的。

如游戏场景定义所述，针对一局比赛我们实现了 21 个"干什么"的场景，如守塔、控符等，及对应的 21 个"去干什么"的场景，针对这些场景我们也同时做了不同英雄的统计，发现同样存在不同定位的英雄，场景占比也不一样。

主动作、移动方向、移动距离、道具/技能方向、道具/技能距离、目标、TP 目标，这些参数会用于控制 AI 动作，具体可参考动作空间。

同时还会预测我们在第六部分中构建的四个 scene intent 的标签，并且这四个输出会与 sharelayerFC 的输出拼接，用于上述七个动作头的输入，即在预测 AI 的动作的时候会加入场景意图信息。

主英雄、我方英雄、敌方英雄、我方建筑、敌方建筑、我方小兵、敌方小兵、野怪、Boss、眼、信使、召唤物、符文、AOE、特效、全局信息、Global map、Local map 组成输入，具体定义及组成可参考状态信息，与网络结构中的多输入头对应。

如模型输出中所述在预测七个动作头时，会加入 scene intent 的信息，在训练时 scene intent 是提前知道的，所以在预测该七个动作头时，使用的真实的 scene intent 输入信息。同时模型预测的 scene intent 信息也会计算 loss 进行学习（在部署时，预测七个动作头使用的就是模型 scene intent 输出头预测的信息了）。

多任务学习，除了动作头之外，设计了多个辅助任务头，最终通过 weighted sum 整个各个损失，并将多任务的总损失用于网络优化，从而实现各子任务目标的同步优化；

根据主动作屏蔽无关动作头的 loss 回传，如主动作为移动，那么除了移动坐标的输出头之外的其他二级动作头都屏蔽 loss 回传；

样本训练前置加权，针对每个英雄主动作不平衡及场景的不平衡，对样本进行场景-主动作类型组合维度的加权，通过加权提升模型的相关效果。

样本训练后置加权，针对已训练的模型，发现该模型在某些情况下表现较差，比如不会打 Boss等，可挑选该类场景下的样本加权，进行加训迭代；

多英雄数据融合，为了提升模型的泛化性，减少部署使用时的成本，最开始是一个英雄的数据训练一个模型，后来我们把多个英雄的数据合并起来，训练一个模型。相比于只使用一个英雄的数据，合并数据的效果反而更好。

6.难度分级

1）难度分级实现

输入干扰针对模型的一些关键输入做一些扰动，比如敌方英雄的血量、蓝量扰动，位置扰动，用来模仿真人玩家对于血量位置把握不准确的情况。

输出干扰针对模型的一些关键输出参数做扰动，比如技能/道具释放的方向和位置，用来模仿真人玩家技能道具释放不准确的情况或失误等。

规则干扰，如 AI 的反应时间、AI 使用技能的概率、AI 使用道具的概率、AI 普攻的频率、AI 出装的正确程度等，这些可通过规则实现。

最终我们针对《梦三国2》设计了如下七个难度分级维度，通过这七个维度共生成六个难度，其中技能使用概率、道具使用概率、补刀攻击概率、反应时间、出装速度为规则干扰；技能使用准确率为输出干扰；技能躲避概率为输入干扰，主要干扰输入状态中技能特效及 AOE 的信息。针对各个维度配置了一套开放的参数，参数调整之后，会进行自动对战测试，保证各个难度的水平、胜率、数据符合要求。

2）动态难度调整

为了提升玩家的游戏体验并确保每场对局的挑战性和公平性，我们采用了动态难度调整机制。在《梦三国2》中，我们根据玩家的能力分和连败情况，在匹配开局时初始化敌我双方 AI 的难度级别。此外，我们还设计了局内剧本，能够根据对局的实时状态调整不同英雄 AI 的难度，以适应比赛的发展。

近期了解到，网易数智正在开发中的实时胜率预测模型将进一步提升这一机制的精准度。该模型能够根据当前比赛的状况输出两边的实时胜率，并以此作为调整 AI 难度的依据。网易数智的目标是创造一个温暖的匹配环境，让真人玩家的胜率能够逐渐提升，同时对于陪玩或掉线的情况，我们希望保持真人玩家的胜率在 40% 至 60% 的范围内。

根据实时胜率，将相应地提高或降低 AI 的难度，确保玩家在每场对局中都能体验到适当的挑战。通过这种局内动态难度调整，我们旨在让玩家在比赛中达到心流状态，从而极大地增强游戏的吸引力和留存率。小智相信，AI 智能体投放的精确控制将为玩家带来更加丰富和满足的游戏体验。

3）风格多样

训练多风格模型：

设计一些与风格相关的统计特征，针对每局比赛统计特征，区分同一英雄(位置)的多个风格的数据；根据玩家的状态-操作数据，对玩家的行为序列做 embedding，针对行为序列做聚类，尝试通过聚类找出不同风格操作的玩家数据；有个不同风格的数据之后，每种区分度高的风格训练一个模型。

规则多风格方案：

模型中一些重要的输入的改变都会影响 AI 的决策风格，比如敌人的血量、自身的血量等，可针对风格设定（激进、谨慎等）使用相关的规则实现 AI 在已有模型上的决策风格改变。

• 异步流程，不影响游戏逻辑

• 分布式部署，可增减机器

• AI 开局数量、历史调用量及 AI 参与对局的表现可感知

• 部署集群资源占用情况可感知

在我们训练得到模型之后，我们会先进行离线自动测试，通过自动对战 GameCore 同时多开对局，让我们的 AI 与行为树对战，两边为镜像阵容，通过行为树来验证我们模型强度是否达标，如下图为 15 个英雄各自进行近 40 场对战后，该英雄的 KDA 及其他指标的情况。

当我们发现对战行为树指标还不错之后，我们会将 AI 模型，部署到 AI 测试服，游戏策划、测试等同学都可以在测试服上体验最新版本的 AI，跟 AI 进行实时对抗。如下图是列出的对于 AI 不能出现或者只能接受偶现的一些行为，同时，在 AI 测试服中会对下列的每一条内容进行验收，除了下列行为外，在 AI测试服实时对抗中，还可根据游戏体验提出一系列反馈问题，我们也会根据反馈问题进行 AI 行为的迭代，从来不断来提高 AI 的拟人性。