本文档由成都征天科技有限公司天极云团队原创出品,转载请注明出处,征天科技致力于为企业和个人提供专业的云计算IaaS和PaaS层产品和服务,官网地址:www.tjiyun.com 欢迎访问。
本文档主要介绍Qemu/KVM虚拟机使用TC做网卡流量双向限速的原理和操作。
一.TC限速相关介绍
1.TC限速原理介绍
Linux操作系统中的流量控制器TC(Traffic Control)用于Linux内核的流量控制,主要是通过在输出端口处建立一个队列来实现流量控制。
接收包从输入接口进来后,经过流量限制丢弃不符合规定的数据包,由输入多路分配器进行判断选择,如果接收包的目的主机是本主机,那么将该包送给上层处理,否则需要进行转发,将接收包交到转发块(Forwarding Block)处理。转发块同时也接收本主机上层(TCP、UDP等)产生的包,通过查看路由表,决定所处理包的下一跳。然后,对包进行排列以便将它们送到输出接口。
从以上介绍可以看出,TC只能对网卡发出的数据包做分类限制,不能对网卡接收的数据包做分类限制,但是可以对网卡接收的数据包流量做一个整体限制。因为我们项目中只需要对网卡接收的流量做整体限制,所以TC刚好可以满足我们对网卡流量双向限制的要求。
2.TC限速基本概念介绍
TC对流量的处理由三种对象控制,它们是:
队列规则 qdisc(queueing discipline)
类(class)
分类器(Classifiers).
qdisc队列规则(queueing discipline)
qdisc(队列规则)是queueing discipline的简写,它是理解流量控制(traffic control)的基础。无论何时,内核如果需要通过某个网络接口发送数据包,它都需要按照为这个接口配置的qdisc把数据包加入队列。然后,内核会尽可能多地从qdisc里面取出数据包,把它们交给网络适配器驱动模块。最简单的qdisc是pfifo,它不对进入的数据包做任何的处理,数据包采用先入先出的方式通过队列。不过,它会保存网络接口一时无法处理的数据包。
可分类的qdisc包括:
(1)CBQ
CBQ是Class Based Queueing(基于类别排队)的缩写。它实现了一个丰富的连接共享类别结构,既有限制(shaping)带宽的能力,也具有带宽优先级管理的能力。带宽限制是通过计算连接的空闲时间完成的。空闲时间的计算标准是数据包离队事件的频率和下层连接(数据链路层)的带宽。
(2)HTB
HTB是Hierarchy Token Bucket的缩写。通过在实践基础上的改进,它实现了一个丰富的连接共享类别体系。使用HTB可以很容易地保证每个类别的带宽,虽然它也允许特定的类可以突破带宽上限,占用别的类的带宽。HTB可以通过TBF(Token Bucket Filter)实现带宽限制,也能够划分类别的优先级。
(3)PRIO
PRIO qdisc不能限制带宽,因为属于不同类别的数据包是顺序离队的。使用PRIO qdisc可以很容易对流量进行优先级管理,只有属于高优先级类别的数据包全部发送完毕,才会发送属于低优先级类别的数据包。为了方便管理,需要使用iptables或者ipchains处理数据包的服务类型(Type Of Service,ToS)。
Class 类
某些qdisc可以包含一些类别,不同的类别中可以包含更深入的qdisc,通过这些细分的qdisc还可以为进入队列的数据包排队。通过设置各种类别数据包的离队次序,qdisc可以设置网络数据流量的优先级。
Filter 规则
Filter(过滤器)用于为数据包分类,决定它们按照何种qdisc进入队列。无论何时数据包进入一个划分子类的类别中,都需要进行分类。分类的方法可以有多种,使用fileter(过滤器)就是其中之一。使用filter(过滤器)分类时,内核会调用附属于这个类(class)的所有过滤器,直到返回一个判决。如果没有判决返回,就作进一步的处理,而处理方式和qdisc有关。需要注意的是,filter(过滤器)是在qdisc内部,它们不能作为主体。
二.TC限速操作
1.虚拟机流入流量限制
(1)清除tap01网卡设备上所有的流入规则,防止与新添加的规则冲突。
# tc qdisc del dev tap01 root
(2)在网络设备tap01上绑定一个htb类型的qdisc根队列
# tc qdisc add dev tap01 root handle 1: htb default 9999
(3)在qdisc根队列1:下创建一个子类1:5,并设置子类的流量速率为50Mb/s
# tc class add dev tap01 parent 1: classid 1:5 htb rate 50Mbit burst 1Mbit
(4)为子类1:5添加随机公平队列sfq,防止该类被某一会话连接独占
# tc qdisc add dev tap01 parent 1:5 handle 5: sfq perturb 10
(5)为子类1:5添加过滤器,用来将目标地址为0.0.0.0/0(指所有网络)的数据包发往类1:5,使用其中的规则出队
# tc filter add dev tap01 parent 1: protocol ip prio 1 u32 match ip dst 0.0.0.0/0 flowid 1:5
注: tap01为虚拟机连接到网桥的网卡,与虚拟机内部的网卡一一对应。因tap01口的出方向的流量就是进入虚拟机内部网卡的流量,所以限制tap01口的出方向的流量,就可以限制流入虚拟机的网络流量。
2.虚拟机流出流量限制
(1)清除tap01网卡设备上所有的流入规则,防止与新添加的规则冲突。
# tc qdisc del dev tap01 ingress
(2)在网络设备tap01上绑定一个处理ingress流量的qdisc根队列
# tc qdisc add dev tap01 ingress handle ffff:
(3)为类ffff:添加过滤器,并限制流量为50Mb/s
# tc filter add dev tap01 parent ffff: protocol all prio 1 basic police rate 50Mbit burst 10Mbit mtu 65535 drop
注: tap01为虚拟机连接到网桥的网卡,与虚拟机内部的网卡一一对应。因tap01口的入方向的流量就是虚拟机内部网卡发出的流量,所以限制tap01口的入方向的流量,即可限制流出虚拟机的网络流量。
命令中的数字10和65535存在关联性,需要一起修改,否则会导致限速不准确。
如您有任何问题,欢迎与我们交流,微信号 ztkj_tjiyun