整体需求
实现pod网络流量的QoS，包括出口流量跟入口流量。
技术方案
底层技术方案使用linux内核iproute2包中tc（trafficcontrol）命令。Linux中的QoS分为入口(Ingress)部分和出口(Egress)部分，入口部分主要用于进行入口流量限速(policing)，出口部分主要用于队列调度(queuingscheduling)。大多数排队规则(qdisc)都是用于输出方向的，输入方向只有一个排队规则，即ingressqdisc。ingressqdisc本身的功能很有限（因为没有缓存只能实现流量的drop）。但可用重定向incomingpackets。通过Ingressqdisc把输入方向的数据包重定向到虚拟设备ifb，而ifb的输出方向可以配置多种qdisc，就可以达到对输入方向的流量做队列调度的目的。
流量控制使用无分类算法tbf（令牌桶算法）。令牌桶过滤器(TBF)：只允许以不超过事先设定的速率到来的数据包通过,同时允许短暂突发流量朝过设定值。TBF很精确,对于网络和处理器的影响都很小,实现是针对数据的字节数进行的，而不是针对数据包进行,常用于网关限速。
对容器做流量控制即在宿主机对相应的interface做流控，所以interface的ingress流量对应pod的egress流量，interface的egress流量对应pod的ingress流量。
1.容器ingress流量
方案一：（限流所有流量）
#tc qd add dev calic8794bc5a1c root tbf rate 256kbit burst 10000 latency 50ms
//速率256kbit 突发传输10k 最大延迟50ms
rate限制的传输速率用位来计算
latency确定了一个包在TBF中等待传输的最长等待时间.
burst桶的大小,以字节计.指定了最多可以有多少个令牌能够即刻被使用.
方案二:(***)
tc qdisc add dev calic8794bc5a1c root handle 3: htb default 30
tc class add dev calic8794bc5a1c parent 3: classid 3:3 htb rate 10mbit
//tc class add dev calic8794bc5a1c parent 3:3 classid 3:30 htb rate 6mbit ceil 10mbit
//tc class add dev calic8794bc5a1c parent 3:3 classid 3:33 htb rate 4mbit ceil 10mbit
tc filter add dev calic8794bc5a1c protocol ip parent 3:0 prio 1 u32 match ip src 10.10.102.66/32 flowid 3:3
tc filter add dev calic8794bc5a1c parent 3:0 protocol ip handle 3 fw flowid 3:33
iptables -t mangle -A PREROUTING ! -s 192.168.0.0/16 -j MARK --set-mark 3
2.容器egress流量（用ingressqdisc和ifb做interface上ingress方向的队列调度）
方案一：（限流所有流量）（加上haproxy可以限制外部流量）
#tc qdisc add dev calic8794bc5a1cingress
#tc filter add dev calic8794bc5a1c parent ffff: protocol ip prio 1 u32match ipdst 0.0.0.0/0police rate 10mbit burst 10000 drop flowid :1
方案二：（用ifb转发流量使用tbf限流）
#modprobe ifb
#ip link set dev ifb0 up
#tc qdisc add dev calic8794bc5a1cingress
#tc filter add dev calic8794bc5a1cparent ffff: protocol ip u32 match u320 0（ipdst 0.0.0.0/0）flowid1:1 action mirred egress redirect dev ifb0
#tc qdisc add dev ifb0 root tbfrate 256kbit burst 10000 latency 50ms
方案三：（内核3.19iproute2 4.1以上才支持）
tc filter add dev caliXXX parent ffff: protocol ip u32 match u32 0 0 action connmark action mirred egress redirect dev ifb0 flowid ffff:1
方案四：（***）
#tc qdisc add dev ifb0 root handle 1: htb
#tc class add dev ifb0 parent 1: classid 1:1 htb rate 6mbit burst 15k
#tc class add dev ifb0 parent 1:1 classid 1:10 htb rate 5mbit burst 15k
#tc class add dev ifb0 parent 1:1 classid 1:20 htb rate 3mbit ceil 6mbit burst 15k
#tc class add dev ifb0 parent 1:1 classid 1:30 htb rate 1kbit ceil 6mbit burst 15k
#tc qdisc add dev ifb0 parent 1:10 handle 10: sfq perturb 10
#tc qdisc add dev ifb0 parent 1:20 handle 20: sfq perturb 10
#tc qdisc add dev ifb0 parent 1:30 handle 30: sfq perturb 10
#tc filter add dev ifb0 protocol ip parent 1:0 prio 1 u32 match ip src 192.168.40.175/32 flowid 1:10
#tc filter add dev ifb0 protocol ip parent 1:0 prio 2 flowid 1:30(错误)
//tc filter add dev
ifb0parent 1:0
protocol ip handle 4 fw flowid 1:30
//iptables-t mangle -A OUTPUT -s 192.168.0.0/16 -d 10.10.102.0/24 -j MARK--set-mark 4
配置
apiVersion: v1
kind: Pod
metadata:
name: qos
annotations:
kubernetes.io/ingress-bandwidth: 3M
kubernetes.io/egress-bandwidth: 3M
spec:
containers:
- name: net-test
imagePullPolicy: Never
image: net-test
command: [./run.sh]