RFC2544性能测试介绍

第一章 Latency原理分析

1.1 Latency定义

RFC1242中对Latency定义如下：

对于存储转发设备来说：当输入帧的最后一位到达输入端口时，时间间隔开始计算。当输出帧的第一位在输出端口上可见时，时间间隔计算结束。

对于按位转发设备来说：当输入帧的第一位到达输入端口时，时间间隔开始计算。当输出帧的第一位在输出端口上可见时，时间间隔计算结束。

延迟的可变性会引发一些问题，未来的应用程序很可能与网络延迟更加紧密相关。网络延迟的增加将会减小网络的可用直径，理想的情况是要消除数据速率对延迟测试的影响。测试应该在不改变设备配置的情况下，对不同大小的帧进行。

对于交换机而言，延迟是衡量交换机性能的一个重要指标，延迟越大说明交换机处理帧的速度越慢。另外管理型交换机和非管型交换机由于系统负载不同、处理方式的区别，在帧转发

延迟上会存在较大差异。

1.2 软件测试方法

1.2.1 基本测试方法

SmartBits以用户所定义的速率发送一个burst，帧的大小和发送的数目由用户自己定义。在所发送的数据帧的中间，插入一个带有tag的帧，该帧被用来计算Latency。当tag帧被完全传送时，记录此时时间，标记为Transmit Timestamp；接收端识别该tag帧的时间则记为Receive Timestamp。则Latency的计算公式为：

(Receive Timestamp) minus (Transmit Timestamp) = Latency

对于按位转发设备的测量，SmartApplications采用FIFO规则，也就是说它计算的是以下这两个时间之间的差值：输入帧的第一位到达输入端口时的时间和输出帧的第一位在输出端口上可见时的时间。如果在S&F栏上显示NA，则是因为S&F的计算结果为0或负数，表示DUT/SUT 是一个按位转发设备。

1.2.2 测试步骤

1.进行Throughput测试以获得最合适的DUT吞吐量速率。

2.设置Latency的参数运行。

3.采用下面的计算公式以得到S&F时间：

(Test result)-(frame-length bit time)＝（store & forward Latency）

1.2.3 抓包分析

通过端口镜像功能对Latency测试过程抓包，第一个测试帧结构如图6。

图表6 first test frame

该帧trigger2字段中包含的是4e 65 74 63 6f 95，转换为ASCII码就是Netco.（.为不可显示符号）。

Tag帧位于Burst的中间，其结构如图7所示。

图表7 tag frame

Tag帧trigger2字段中包含的是4e 65 74 63 6f 6d，转换为ASCII码就是Netcom。

图表 1 timestamp1

用分布式协议分析仪J6801A可以抓到两边发的包，它通过硬件同步可以显示出抓包时的绝对时间，通过这个时间我们可以计算出交换机、路由器转发包的Latency大小。

如图所示，tag帧的timestamp1为：0.4201067，timestamp2为：0.4202678。两者之差值为：timestamp1-timestamp2=0.4202678-0.4201067=161.1us。进而可以算出S&F时间：

161.1－1518*8*0.01＝39.66us

Latency的大小与交换机、路由器能否达到线速有很大关系。如果交换机、路由器达不到线速或者借助于缓存才能达到线速，那么用线速来测量Latency时，由于tag帧在缓存中等待处理的时间很长最终测得的Latency要比正常的数据大很多。所以测试Latency之前一定要先测Throughput以获得最合适的吞吐率。

1.2.4 Broadcast latency

RFC2285中对Broadcast Latency定义如下：

DUT/SUT在广播域中转发一个广播帧到各个端口所需要的时间。

AST II中共有七项测试，其中一项是Broadcast Latency的测试。其测试原理是由RFC2889而来：选取一个源端口和N个目的端口，由源端口向目的端口发送一个广播包来进行Broadcast Latency测试。它从广播帧第一位离开源SmartCard时计时，到广播帧第一位到达目的SmartCard 时计时结束。

如图8所示，AST II测试Broadcast Latency所发送的广播包，其帧末尾三个字节ASCII 码为AST，表明这是测试帧。

图表8 Broadcast test frame

1.3 注意事项和相关结论

https://www.360docs.net/doc/3b12871078.html,tency测试之前应该先进行DUT的吞吐量测试以获得最适宜的DUT吞吐量速率，然后用测出的吞吐量来测试Latency，这样可以防止tag帧的丢失。

2.实际Latency的计时并不是从tag帧的第一位开始，而是从tag帧的trigger的最后一位离开源SmartCard开始计时到tag帧的trigger的最后一位到达目的SmartCard结束，二者之差值即为Test result。也就是说SmartApplications通过tag帧计算出的时间是CT时间，需根据下面的公式求得S&F值。

(test result) - (frame-length bit time) = (store & forward Latency )

3.线长对测试结果的影响：由于计时开始和结束都是由SmartBits所决定，所以交换机测试端口之间的线长对结果会产生一定的影响。经过实际测试，10M Full、1518bytes模式下，线长50m＋60cm时测得S&F时间为13.2us；同等模式下，线长150m＋50m＋30cm时测得S&F时间为13.9us。这也就是说线长对测试结果确实存在影响，但对测试结果的判定不会产生决定性作用，测试时可以忽略线长所带来的影响。

4.RFC2544中推荐duration大于120s，trial大于20次。这两个参数如果这样设置的话结果会相当准确，不过花费的时间太长不适合实际测试使用。我司目前采用的参数是duration

30s，trial 1次。这里需考虑交换机能否达到线速，如果达不到线速将可能丢失测试帧，这样测得的结果为无效的。此外，还需考虑测试时间的问题，如果交换机本身达不到线速，借助于缓存却可以达到，时间长短对结果就会有很大影响。所以首先要确定最合适的吞吐率，然后确定测试时间。推荐设置：duration 60s，trial 5次。

5. Broadcast latency由于其计时方式和CT时间的计时方式一致。通过分析可知，交换机对广播包进行校验检查以后，读出目的地址然后就直接转发给各个端口，无须像处理正常包时有个查表操作，所以其结果相对Latency来说要小一些。

第二章 Throughput原理分析

2.1 Throughput定义

RFC1242中定义了Throughput：即在没有帧丢失的情况下，设备能够接受的最大速率。

对于一个以太网系统，最大吞吐率应该等同于其接口速率。例如, 10M Bit/s，100M

Bit/s,1000M Bit/s。而实际上，由于不同的帧长度带来不同的传输效率, 这些绝对的吞吐率是无法达到的。越小的帧由于前导码和帧间隔的原因,其传输效率就越低。

根据以太网规定8字节的前导码以及12字节的最小帧间隔，我们很容易算出有效传输负荷，以发送64帧长为例，其有效传输负荷64Bytes,总的长度为 84Bytes，接口速率为10M Bit/s，Throughput理论值计算方法:

10M / (84*8) =14880.9 Frames/ per second

如图9所示，显示的是在不同的帧长度下实际可达到的最大吞吐率。

图表9 Throughput理论值

2.2 软件测试方法

2.2.1 测试目标

以设置的初始速度开始，通过不断的调整iteration的速率，力图找出在不丢帧情况下的最大吞吐量。

2.2.2 第一次和第二次测试

第一次测试可能会带来三个结果：

1.初始速度等于最大速度且没有丢帧。这种情况下，测试结束，初始速度就被记做吞吐量。

2.初始速度小于最大速度且没有丢帧。这种情况下，调整速度为初始速度和最大速度的二分之一，开始第二次测试。

3.有帧丢失。速度调整为初始速度的80%，开始第二次测试。20%速度的调整只出现在第一次测试失败的情况下。

2.2.3 第三次和后续测试

第三次测试和后续的测试采用二分法来寻找可能的最大速度。每次测试后，如果测试通过则速度上调50%；如果失败则速度下调50%。重复该过程直至找到最大速度。当然，只采用二分法是不可能得到理论上精确的最大吞吐量：速率的调整会越来越小。基于这个原因，测试参数里包含了一个精度条件。当速率调整不满足精度时停止测试，当前得到的最大速率即为最大吞吐量。

2.2.4 抓包分析

通过端口镜像对测试过程进行抓包可以发现：测试帧trigger2字段是由1开始递增的。（参数配置：10M Half 1518Bytes）

第一帧结构如图10所示，其帧序号为1。

图表10 throughput test first frame

最后一帧结构如图11所示，其序号为813（16进制为0x032D）。

图表11 throughput test last frame

SmartApplications以此来进行帧的计数，判断测试成功与否。其速度的调整如图12所示。从图中很明显可以看出来，通过二分法不断的调整测试速度，最终得到交换机在不丢帧的情况下最大的转发速度。

图表12 Throughput 算法

2.3注意事项和相关结论

1.进行Throughput测试时，应把流控关闭。实际上如果打开了交换机的流控进行Throughput测试时，软件会提示关闭流控，不然无法进行测试。这主要是因为如果实际中交换机达不到线速，产生了流控，它会阻止Smartcard发包，这样得出的结果是没有意义的。

2.半双工进行测试时不能勾选Bi-directional，如果勾选此项会造成过多的冲突导致测试结果无效。

3.路由器测试Throughput应该满足以下几个条件：https://www.360docs.net/doc/3b12871078.html,N-to-WAN；b.64bytes小包；c.须测两种模式：NAT开启，防火墙关闭；NAT开启，防火墙开启。这是因为数据流出或流入局域网才需要路由器处理，才能代表路由器性能，LAN-to-LAN代表的仅是路由器内部小交换机性能，一点意义都没有；其次路由器在处理数据包时，主要的时间花在处理包头、包尾上对不同大小的数据包，路由器每秒能处理的包数量差别不会太大。如128Byte包每秒能处理10000个，并不能做到64 Byte包每秒处理20000个，而是只比10000个略多一点点，比如10100个。小包转发的处理能力才能真正体现路由器的Throughput能力；再次NAT是宽带路由器最基本、最核心的功能，不开启NAT就不成其为宽带路由器了，而且软件设计的好坏直接影响到NAT效率和路由器性能，所以NAT开启的Throughput才是有意义的。而防火墙，应该算作宽带路由器附带的高级功能，有的产品防火墙规则很复杂，能过滤很多东西，有的产品规则就又少又简单。规则多、复杂的，CPU用来过滤数据的时间就长，规则少、简单的，过滤数据的时间就短，这对Throughput测试数据影响还是挺大的。为公平起见，在测试路由器Throughput时，特别是在不同产品性能比较时，把防火墙关闭是合理的。防火墙开启后进行Throughput测试，可以从另一个方面来比较防火墙的算法优劣。

4.该项测试所发帧的多少由测试时间Duration所决定，RFC2544中没有给出相关理论值，我司目前采用参数为30s。个人认为该项参数的设置至少要满足能够把交换机的缓存填满，这样测出的数据才是合乎实际的；如果测试测试时间过短，可能还未把交换机的缓存填满就结束了，这样得到的吞吐率并不是实际上真正的吞吐率。推荐设置：duration 60s，trial 1次。

第三章 Packet loss原理分析

3.1 Packet loss定义

RFC1242中对Packet loss定义如下：

在固定状态负载下，由于缺乏资源而没有被网络设备转发出去的帧占所有应该被转发的帧数的百分比。

这个衡量标准可以用来报告网络设备在超载状态下的性能。对于处于负载过重状态下的网

络，如受到广播风暴冲击下的网络，这个标准可以很有用地报告网络设备的运行方式。

3.2软件测试方法

3.2.1 基本测试方法

1.源smartcard以最大可能的吞吐率发送一个特定时间的burst。

2.目的smartcard统计收到的帧数。

3.丢弃的帧数和丢帧率被计算出来。

RFC2544中的基准测试方法是先以最大的吞吐率进行测试，然后逐次降低10%速率进行测试，如果连续的两次测试通过无丢包那么测试停止。其中每次调整的速率幅度必须是最大速度的10%。

3.2.2 抓包分析

测试帧如图13所示，trigger2字段为6字节的Netcom ASCII字符串值。

图表13 Packet loss frame

3.3注意事项和相关结论

1.Packet loss主要测试交换机在短时间，高转发率（线速）条件下，转发帧过程中丢帧百分比。

2.对于吞吐量达到100%线速的交换机来说，帧丢失率测试结果必然为0。

3. 推荐设置：duration 10s，trial 1次。

第四章 Back to Back原理分析

4.1 Back to Back定义

RFC1242中对Back to Back定义如下：

固定长度的帧按照一定的速率出现，从而当某种传输介质传输这些需按一定速率传送的帧时，从空闲状态到开始传送只需经过一段短的或者中等的时段，帧和帧之间只会有些极小的合法的间隔出现。

在网络中许多设备都可以产生背靠背帧脉冲串，并且这种设备的数目还在增长中。这样的设备比如使用像NFS一类的协议的远端磁盘服务器，比如RDUMP这样的远端磁盘备份系统，和远端磁带访问系统都可以被配置成：一个请求就可以引发一批大小为64K字节的数据被返回。对于以太网这样只能传送相对小的MTU的网络来说，由此会导致许多网络片断在网络中传送。因为只有当所有的网络片断都被收到时，才会将这些网络片断重组，如果因为网络中的某些网络设备没能对连续帧进行充分处理而引起某个网络片断的丢失，将会使这些网络片断的发送方陷入无限循环中，不断地尝试着发送大量数据段来使接收方完整地收到这些网络片断。

随着Internet的规模不断扩大，使得路由更新信息生成许多帧，同时现代路由表被传送的速度也要非常快。由于路由信息传送帧的丢失将会产生网络不可达的错误信息。对这个参数的

测试目的就是要确定网络设备的数据缓存范围的大小。

4.2软件测试方法

4.2.1第一次和第二次测试

第一次测试可能产生两个结果：

1.目的端口收到了所有的帧。这种情况下，测试成功且停止。

2.一个或多个帧丢失。这种情况下，发送帧的数量调整为原来的50％，开始第二次测试。

4.2.2第三次和后续测试

第三次和后续测试采用二分法来进行调整测试，和Throughput很类似，只不过Throughput 每次调整的是速率，而Back to Back每次调整的是发送的帧数。每次测试后，发送帧的数量都作相应调整，如果测试通过则帧数上调50%，如果测试失败则帧数下调50%。一直重复直到找寻到最好的结果：一个帧也不丢。

4.2.3 抓包分析

测试帧如图14所示，trigger2字段为6字节的Netcom ASCII字符串值。

图表14 Back to Back test frame

其发送时间调整算法如图15所示。

图表15 Back to Back 算法

4.3注意事项和相关结论

1.该测试调整发包的数量是通过调整测试时间duration来实现的。

2．该项测试主要反映交换机处理网络突发数据的缓冲能力，从另一个方面也可以反映交换机缓冲区的大小。所以该项测试的duration的设置必须满足能够填满交换机的缓冲区，建议为60s。

3．背对背测试结果是在稳态负载情况下获得的持续不丢包的帧数量，对于吞吐量结果为100%线速的交换机来说该值并没有太大意义。对于吞吐量不是线速的交换机，背对背测试往往

能够反映设备缓存的大小，而且不同交换机差别很大。

4.4 Throughput，Packet loss以及Back to Back的关系

1．Throughput 作为用户选择和衡量交换机性能最重要的指标之一，吞吐量的高低决定了交换机在没有丢帧的情况下发送和接收帧的最大速率。

2．Packet loss 该测试决定交换机在持续负载状态下应该转发，但由于缺乏资源而无法转发的帧的百分比。帧丢失率可以反映交换机在过载时的性能状况，这对于指示交换机在不正常状态下的运行情况非常有用。

3.Back-to-Back 该测试反映交换机在不丢帧的情况下能够持续转发数据帧的数量。该参数的测试能够反映数据缓冲区的大小。

这三项测试的各自侧重点不同，但都是针对现实使用中可能会遇到的情况做一个测试：Throughput是反映交换机在长时间的使用中不丢包情况下所能达到的最大转发速率；Packet loss则是测试交换机在短时间，高转发率条件下，转发帧过程中丢帧百分比；Back to Back

则反映交换机数据缓冲区的大小。结合这三个测试一款交换机的性能就可以很明显的体现出来。

参考文档

1.IEEE 80

2.3协议

2.SmartApplications help

3.SmartApplications User Guide

4.SmartApplications_API_3.00_UG_RevG

5.RFC1242、RFC2544 S.Bradner Harvard University

6.RFC2285、RFC2889 R. Mandeville European Network Laboratories

7.以太网(第三版) [美]Gilbert Held著人民邮电出版社

8.快速以太网 [美]Liam B.Quinn著人民邮电出版社

9.千兆位以太网教程 [美] Jayant K，Mohan K著清华大学出版社