Robocup3D仿真比赛关键技术的研究_个体技术的设计

第四章RoboCup3D仿真比赛中个体技术的设计

在RoboCup3D仿真比赛中，11个球员为了完成赢得比赛的共同目标而互相合作。两个球队之间的对抗实际上就是两个球队策略程序之间优劣的较量。比赛的结果很大程度上是由球员所具备的技能来决定的。仿真比赛客户端程序中，球员的技能实际上就是它所具备的能完成某个动作的能力，一个球员的行为特点也与它具备的技能有关，在多智能体系统中，单个智能体的技能对整个多智能体系统的性能有很大影响，体现在RoboCup3D中就是单个球员所具备的能力。球员所具备的技能可以分解成许多基本的动作，一些高级的动作正是由一系列基本的动作所组成的，整个球队的策略都可以理解为单个球员技能的协调与合作。

球员的动作分为高层动作和中层动作以及底层动作[29]。如图4.1所示，较高的动作都是通过调用一系列较低一层的动作来实现，最底层的动作实际上也就是最基本的指令(dash, kick, beam, say等)，这些指令是能被服务器直接理解和接受的，每个球员根据当前的世界模型的状态来决定执行相应的技能动作。而中层动作包括射门、守门、拦截、带球等。高层动作一般是指由两个或两个以上的机器人通过相互配合完成的动作，如一射一传、二过一以及下底传中等[30-31]。

其中要注意的是，选择某个技能动作只是产生了一系列基本命令的集合而已，而服务器并不能保证一定可以执行这些指令集合。比如有个球员要执行跑位的战术动作，但是它的体力值已经耗尽，而执行这个复合动作包含着dash这样的基本指令，根据Server的说明，执行dash动作需要消耗一定的体力值，所以只有当体力值大于dash所要求的才可以响应。

本章主要针对踢球、拦截、射门、守门、带球这几个动作进行分析讨论。

图4.1个体动作的层次关系

4.1 踢球动作的设计

踢球动作有一定的复杂性，首先需要弄清它的基本模型。我们知道，球员的半径为0.22m，球的半径为0.111m，而踢球半径是0.04 m，直接加和就是0.371m，因此踢球时球员和球心平面距离的取值范围是0.32m到0.38m。距离远近和踢球效果没有明显关系，但踢球时速度沿球方向的分速度和踢球效果有关。

可以通过实验测得，当用最大力朝x轴方向可以踢平均26.64m远（距离误差来源于踢球时服务器加的力量噪声），且力量和球的总位移成正比。角度越大，总位移越小，如50度时只能踢17.5m。20度时最大高度为0.65m，可以飞过球员头顶。有趣的是如果往y轴方向踢，最远距离缩短为约20m，且朝其他方向踢时落点近似在以20m为短半轴26.6m为长半轴的椭圆上。在3D仿真比赛中，球员只能把球沿着中心连线的方向加速，而且踢球距离比2D小了很多，所以仅仅以当前身体状况，判断是否发出踢球命令，会由于误差浪费不少踢球的机会，从而降低了踢球效率。

球员在发出踢球命令之前要根据自身位置速度以及球的位置和速度，确定好踢球点、踢球方向和驱动力，即做出控制决策。身体控制是通过向周围

360度发出模为0—100的驱动力实现，由身体状态完全计算出控制决策，是比较复杂的过程，所以采取离散控制方案进行尝试，以期望提高踢球效率。

对驱动控制方案进行离散化，先将其角度以5度划分，共分为72个方向。且只使用0，20，30，50，70，100六种力度，则总共有361个控制方案。场上身体状态可以用一个四元组描述（Px，Py，Vx，Vy），考虑可以用相对距离表示一次运动的结果，则可仅用（Vx，Vy）表示当前状态。建立函数S（Vx，Vy，M），M为所使用的控制方案，该转移函数可以用数组表示，并在初始化时计算。

可以将踢球动作划分为下面几个阶段：

1) 向球冲刺，以最快速度接近球。（Drive阶段）

2) 跑向踢球点，以取得较好的身体位置保证将球踢到指定

方向。（Reach阶段）

3) 急停，将速度降至某界限以下，实现控制接近速度，以及急转

后的踢球。（Stop阶段）

4) 控制驱动的上限，较慢速接近球，并踢出。（kick阶段）

对于每次踢球的４个阶段由各种踢球级别进行不同的控制。主要是调整不同的踢球点，接近速度，驱动上限。通过身体与球连线和目标方向的夹角的余弦值cos?来辅助控制踢出方向，cos?=1 表示方向完全正确（一般不会发生），cos?<0 表示方向相反等等。控制方案会随拦截关系而临时调整，比如发现自己并不具有较多的优势时会更多的使用Drive，以更快的接近球。

实验表明，虽然提高了踢球的效率，但同时也牺牲了一些踢球精度。目前，在3D中对Agent的精度控制是比较困难的，特别是踢球，速度和精度是一对矛盾。

4.2 拦截动作的设计

截球动作是球员必须具备的基本技能之一，而截球技术首先要解决的就是对球运动的判断，从而做出正确的截球决策，这是其他高层决策的基础。

可以把拦球问题归纳成如图4.2的一个简单场景，d为球员到球的距离，a为球到球员之间的连线和球运动方向的夹角，s是球的即时运动速度，s随运动衰减。该问题就是通过已知的d、a、s，计算出球员正确的拦截角度b 和拦截时间t。

图4.2 截球场景

在第三章中我们已经得到了球的运动方程和球员的运动方程，将他们表示成两个参数方程。如下：

球的运动方程：（关于时间t 的参数方程）

00

(1)()(1)()qt x ball qt y ball v e x t q v e y t q ????=?????=?? (4-1) 球员的运动方程：（关于时间t ，和角度θ的参数方程，其中角度θ表示力的方向）

00(cos )(1)cos (,)(sin )(1)sin (,)qt x m m agent qt y m m agent v v e v qt x t q v v e v qt y t q θθθθθθ?????+=?????+?=?? (4-2) 再将其联立，解出球运动轨迹和球员运动轨迹的交点

()(,)()(,)ball agent ball

agent x t x t y t y t θθ=???=?? (4-3) 那么就可以得到t 和θ，也就是球员的拦截时间和拦截角度。由于方程里含有指数项，θ值不易推导出来，所以需用迭代法或是试探法求得最优拦截。

由于物理模型已知，可选择二分法求解[32]。

如图4.3，以队员到球运动轨迹上的垂点r为分界线，通过二分法试探，每一次试探，利用球在队员跑到球轨迹上的时候运动的距离确定解的上界与下界。第一次试探点为垂点r。如果试探结果解在垂点以前，以后的试探点都选取解的上、下边界的中点,即b和r的中点；如果解在垂点以后，而上界没有确定，则试探点为下界加上一个试探距离，一旦确定了上界，以后的试探选取二分点。通过反复的试探，可以很快地把解确定在一定精度的范围之内。但该方法没有考虑运动噪声，所以可能产生偏差，这个问题将在以后改进。

图4.3 二分法求解截球点

4.3 守门动作的设计

守门动作的实现是建立在截球基础上的。在Server06版中将球门高度从原来的0.5m改为1.6m，而门将的高度是0.44m，球的高度是0.222m，守门员要根据球飞来的高度判断是否需要跳起扑救。这里我们只讨论地面射门的情况。设计守门动作的关键就是确定门将的站位点和出击时机。

守门员在防守时的站位应该在一条与门线平行，并相距一定距离的直线上运动，根据球的位置确定最佳站位点。这里选择让守门员站在球与两个门柱连线的角平分线上，如图4.4所示，这样它扑救两边的距离是相等的了。但要注意保证门将总是位于球门的正面，避免站位过于靠边，形成球门前很大的空白区域，若对手不是选择直接射门而是传球，那么球门前方就完全在防守区之外了。为了防止守门员弃门而出，需要限制门将离球门最大的防守

距离，默认值是3m。

守门员的出击时机较难把握，主要是判断能否拦截到球，如果可以就出击，具体方法如4.2节所述。但我认为，当门将和球的距离在3m以内时，必须出击。也就是说，当球距离球门越近，守门员越容易出击，这样也更符合实际情况。

图4.4 守门员站位选择

4.4 射门动作的设计

射门动作主要有两种：地面射门和高空射门。这两种射门并没有本质区别，只是在踢球角度上有差别。下面只讨论地面射门。

地面射门，关键是要找射门点。鉴于目前对于球员的控制方面，我们做的精度不高，导致射门很容易偏出，所以做了如下改进：从左门柱开始到右门柱结束，期间每隔0.2m为一个选取点。对于每一个点，首先判断在该点和自己的连线左右25°的扇型范围内，是否有敌方球员，15°范围内是否有守门员。如果没有通过第一轮判断，则排除。在剩下的点中，比较出具有最大空隙扇型区域的点，取该点作为射球点。一般从球门中点开始判断。这样

偏出的几率比较小，而且射门成功率较高。见图4.5。

图4.5 选取射门点

射门角度的控制对射门成功率也很重要，角度越大，成功率越高。因此，当角度小于10度时，射门的概率很小，应该寻求更好的机会。主要思想是计算两门柱与球员的连线、守门员与球员的连线之间的夹角，选角度大者射门。如图4.6所示。

图4.6 射门角度选择

射门距离的选择上，以球门中心到球的距离为标准。根据测量的结果，队员最远能踢到26m左右，为保证成功率，射门距离选择为15m。

射门力量：地面球为100，即最大力量。高空球根据射门距离和踢球角

度（一般选择30度）计算出来。

实验结果统计得出：用上面的方法，射门成功率为百分之70左右；而如果只是选择球门中心为射门点，那么成功率仅为百分之50左右。具体实现代码请参看附录1。

4.5 带球动作的设计

4.5.1 采用人工势域法和A*算法带球

带球动作的主要目的就是选择一条安全有效的路线，来躲避敌方球员的拦截，到达目标点。它属于路径规划问题[33-34]。一种较为简单的方法是：将带球者前方的区域分为多个扇型区域，然后逐个判断是否有敌方球员，有则禁止朝此方向带球。虽然这种方法还算可靠，但如果出现不可预测的敌方球员方向突变，就很可能失误了。

目前有些队伍采用启发式搜索A*算法来得到最优路径，这种算法是对每个场上的物体做一次遍历，并且只是将对方球员所占据的区域标记为不可通过，简单说，就是一个二值的障碍物的映像，而不是一个“场”。它的缺点主要是所确定的评估函数往往不够客观，搜索时间太长。

因此，可以选择利用人工势域法和A*算法相结合来设计带球动作。对敌方球员（可看作障碍物）建立排斥势场，对目标点建立引力势场。将建立好的势函数加入到 A*算法的估价函数，从而规划出最佳路径，最终绕开障碍物到达目标点。人工势场法相对其他路径规划方法更适合于复杂的环境[35]，由于人工势域方法建立在物理模型的基础之上，所以这种方法有着物理上的优越性。只要能将势函数取的足够的客观和准确，人工势域方法首先就能够用比较少的时间代价得到对带球区域的最准确描述。这样在得到了势场之后就能够“自然”的找出安全且高效的带球方向了，也就是能提前的算出过人的方向了。

4.5.2 势场的构建和改进

首先是构建一个人工势场，设x 是带球者当前所在的位置，()p u x 为目标位置对当前位置的引力势能，()p F x 为目标位置与当前位置之间的引力，()r u x 为敌方球员对当前位置的斥力势能，()r F x 为周围障碍物与当前位置之间的斥力。

引力势能为：

21()()2

p p u x k d x = (4-4) 式(4-4)中，p k 是引力场系数。 ()d x 是点x 到目标点的欧几里德距离。

在目标位置时，此函数为0。

引力为：

()()p

p p du F x k d x dx == (4-5)

斥力势能为：令()o s d x =

2000111()2()0r r k s s s s u x s s ??≤?=??>? (4-6)

式(4-6)中，()o d x 表示点x 到对方球员的欧几里德距离。r k 为斥力场系数。

0s 为斥力影响的最大距离。()o d x 大于这个上限0s 时，带球者将不再受到斥力

的作用。

斥力为：

0200111()()0r r k s s s s s F x s s ?????≤?=??>? (4-7)

那么当前位置的人工势能u(x)表示为:

()()()p r u x u x u x =+ (4-8) 当前位置的受力为：

()()()p r F x F x F x =+ (4-9)

带球者在人工势场内被引导沿着势域的梯度运动——即向下滑动。引力将带球者推向目标位置，斥力将带球者推向势能峡谷中。但是上述方法是基于静态控制的[36]，而在RoboCup3D 仿真比赛这样的一个复杂动态的环境中，我们必须考虑带球者及敌方球员的动态特性，也就是把他们的速度加入到斥力势能函数当中去。

设v r , v o 分别是带球者和对方球员的当前速率，这里的速度是球员驱动力的等效速率。r α,o α分别是带球者和敌方球员速度的方向。 令cos()|cos()|

o r v o r ααταα?=?，则速度势能为： 2000111()2()0o r v v s s v s s u x s s ????≤?=??>?

(4-10)

速度受力为： 0200111()()0o v r v v s s v s s s F x s s τ?????≤?=??>?

(4-11)

那么改进之后的势能函数为： ()()()()p r v u x u x u x u x =++ (4-12)

当前受力为：

()()()()p r v F x F x F x F x =++ (4-13)

那么加入了双方球员速度的影响之后，该方法就能够更好的适应比赛的动态环境。当敌方球员向目标点靠近时，()v F x 为正值，减弱斥力，使带球者更容易向目标点靠拢；相反，若敌方球员远离目标点运动，()v F x 就为负值，与斥力叠加，斥力增强，带球者就很容易避开对手。

但人工势场法也有其自身的缺点，即容易出现局部极小值[37-38]。当目标位置离敌方球员距离较近的时候，带球者一方面受到引力的作用向目标点移

动，同时也更接近对手，就会受到更大的斥力作用。假如在这个过程中，斥力大于引力，那么带球者将不能够到达目标点，陷入了局部极小状态。为此，

可以在()0F x =的时候，

加入权值调整，增大引力势能的影响和减小斥力势能的影响，如下式：

))()(()()(x u x u x u x u v r r p p +Γ+Γ= (4-14)

式(4-14)中，p Γ为引力势能的权值，r Γ为斥力势能的权值，并且

1p r Γ+Γ=。通过改变它们的取值，就可以使带球者跳出局部极小，往势能减小的方向继续向目标点前进。

4.5.3 利用势场进行启发式搜索

构建好势场并得到势函数之后，利用A*算法寻找由起始点n s 到目标点n g 的最佳路径。其关键是定义一个性能良好的估价函数f ，在启发函数的选取上，做如下改进：

f = 势场值 + 起始节点到当前搜索节点的代价 + 当前搜索节点到目标节点的代价。它可以表示为：

f(n)=u(n)+g(n)+h(n) (4-15)

式(4-15)中，u(n)是当前点n 的势场值，可根据上节构造的势能函数计算

得出；

g(n)为起始点n s 到当前搜索点n 的实际代价；

h(n)为从当前点n 到目标点n g 的估计代价。

在这里，我们规定，g(n)代表搜索节点n 的深度；h(n)定义为每一个节点与目标位置之间的距离。

A*算法流程[39]如下：

1. 初始化Open 表和Close 表。Open 表是用来放未访问的节点，Close 表示用来放访问过的节点；

2. 将带球队员的位置即搜索的起始点压入Open 表中；此时g(n s )=0,

2/122))()(()(gy

sy gx sx s n n n n n h ?+?= (4-16) 式(4-16)中， n sx 和n sy 分别为起始点在x 和y 轴的坐标；

n gx 和n gy 分别为目标点在x 和y 轴的坐标。

3. 若Open 表不为空，取出Open 表的第一个节点，同时将这个结点放入Close 表中。（此处取出的节点应该是启发函数值最小的节点，这样Open 表在每扩展节点之后均要排序。而我们的算法没有排序，所以就取节点的时候即时找一个启发函数值最小的节点）。

4. 对当前节点n 进行扩展，如果新节点n ′超出搜索域，或已经在Close 表中，则放弃n ′；否则计算：

1)(+=′n n g (4-17)

2/122))()(()(gy

y gx x n n n n n h ?′+?′=′ (4-18) a ． 如果 n'已在 Open 表中，则比较该节点的估价值)(n f ′与原来的函

数值的大小，如果)(n f ′更大则放弃n'，否则，将原来的函数值进行

更新。

b ． 若新节点在Close 表中且新节点的估价值小于Close 的函数值，则

把Close 表中相应的节点取出放入Open 表中。

c ． 对Open 表进行排序。

5. 返回第三步，直到找到了目标节点。

图4.7是利用人工势域和A*算法设计带球动作的程序流程图。

图4.7 设计带球动作的程序流程图

4.5.5 仿真实验

在TsinghuAeolus3D2004底层源代码的基础上，用上述人工势场法和A*算法相结合改动带球程序dribble()，详细代码参见附录2。其中，双方球员和球的位置及速度可以通过收到的视觉信息得到，而引力场系数和斥力场系数可根据经验给出，之后可通过实验不断修正。利用监视器Monitor设计一过一

的测试场景，如下（位置用笛卡儿坐标表示）：

进攻球员：位置（-1，0，0）速度（0，0，0）体力（100）

防守球员：位置（5，0，0）速度（0，0，0）体力（100）

球：位置（0 ，0，0）速度（0，0，0）

成功条件：进攻队员带球摆脱防守者并到达目标点（15，5，0）

失败条件：球被防守者拦截或带球者丢球

输出：失败次数及成功次数

这里先后用了两种方法进行比较，一个是改进的人工势域和A*算法相结合的方法，另一个是启发式搜索带球算法。对其做了长时间的测试，部分数据如表4.1和表4.2所示。两种方法的比较结果如表4.3所示。

表4.1 改进的人工势域和A*算法相结合的方法

球员终止位置球位置结果使用周期数第1次(21.3627,9.15863,0) (22.3732,8.64097,0) 失败65

第2次(15.1619,5.37383,0) (15.5223,5.02873,0) 成功58

第3次(14.9372,5.08469,0) (15.3875,5.26311,0) 成功52 ……………

第118次(15.0653,4.78654,0) (15.5426,4.85422,0) 成功51

表4.2 启发式搜索带球算法

球员终止位置球位置结果使用周期数第1次(11.2648,2.87243,0) (13.98272,6.4718,0) 丢球44

第2次(15.2347,4.67201,0) (15.52733,4.3472,0) 成功67

第3次(13.4728,8.62723,0) (12.48355,14.574,0) 失败59 ……………

第116次(9.14518,3.51865,0) (10.6567,8.34653,0) 失败54

表4.3 带球算法的测试结果

实验总周期数成功次数失败次数成功率

未改进的带球算法6000 68 48

58.621%

改进之后的带球算法6000 91 27

77.118%

测试表明，改进后的带球算法成功率高出原来算法的成功率，能够更加适应比赛的复杂环境，有效地完成带球动作。

4.6本章小结

这章内容主要设计了球员的五个基本动作，分别是踢球、拦截、守门、射门和带球。其中通过采用离散控制方案提高踢球效率,选用二分法计算球员的拦截点,采用改进的人工势域和A*算法相结合来实现带球动作的设计。并且将这些方法用于仿真比赛下进行了在线调试，使球员能够较好的完成预期工作，具有很好的实时性，能够满足仿真比赛的要求。

第五章RoboCup3D仿真比赛的决策的研究

RoboCup是一个充满合作和对抗的多智能体环境，队伍的整体策略是一个典型的分布式多智能体问题，它是充分利用现有资源来获取一个共同的集体目标，也就是获得比赛的胜利[40-41]。它的行为决策是从感知状态到执行动作的一种映射，基于感知建立一个环境的模型，并在这个基础上挑选最合适的动作[42]。而这个决策是依赖整个队伍的策略的，反过来队伍的策略就决定了这些个体的行为之间的协调关系。而每一个球员都在同一个策略体系下执行自己所在的那一部分，整支球队才能充分体现一种协调性。决策的大致流程可参看附录3。

由于对RoboCup3D仿真的研究还在初期阶段，加之3D底层物理规律的复杂性，我们目前还无法让Agen t既快速又高精度地完成任务。因此，在两者之间进行协调，把重点放在了底层控制方面，而决策就相应地做的较为简单。

场上球员可分为两类，普通球员和守门员。由于我们采用的是433的阵型，所以10个普通球员中又可分为四个后卫，三个中锋和三个前锋。那么本章主要是针对普通球员来设定整个决策流程的，如图5.1所示。而普通球员又只有有球和无球两种情况，这里将分别对其作详细分析。

5.1 有球队员的决策

在场上的队员，关键是有球队员的决策，它是整个比赛的关键。可以把场上的控制大致分为五部分，如图5.2所示。

1) 球在我方禁区

首要选择是传球给队友——他不能在我方球门附近，且他的周围人比较少；如果经过判断认为传不出去，对方逼得又不紧，那么就自

己从边路向前带球；对方紧逼，带球也不行，就以最大力量大脚开出，寄希望于依靠球速穿过敌方球员的身体。