基于lvs实现4层负载均衡

~

章文嵩：研发，原就职alibaba公司，目前就职滴滴；

lvs：2部分组成
ipvsadm：用户空间的命令行工具；用于管理集群服务及集群服务上的RS；
ipvs：是内核中的框架；工作于内核上的netfilter的INPUT钩子上的程序，可根据用户定义的集群实现请求转发；

注意：在lvs主机上，不允许在INPUT链上添加规则，一般不建议与ipvs一同使用filter规则；更不能使用nat规则，任何链接追踪功能都不能开启，链接会话表就限制了会话能力，否则，并发响应能力将大大受到限制；

支持基于TCP UDP SCTP AH EST AH_EST等协议及端口进行调度；

以下部分内容摘自于： https://www.jianshu.com/p/5184c6564ee2

多目标的DNAT；通过将请求报文中的目标地址和目标端口修改为挑选出的某RS的RIP和PORT实现转发；

ipvs工作在INPUT链上，所以只有在INPUT链上才能判断出集群服务，然后才能向后转发，转发时，基于某种调度算法，ipvs自动从后端主机中挑选出一个来响应用户请求，挑选出的主机IP会成为报文目标IP的修改对象；
定义负载均衡集群服务时，要定义集群服务，集群服务的真实主机；

上图为lvs-nat的常见的使用场景，其工作流程如下：
1、客户端的请求发往Director 的VIP。
2、Director发到客户端请求报文后，将报文中的目标Ip修改为集群中的选定的RIP，目标端口80也修改成8080，然后将请求报文发往RS。
3、当RS收到请求报文后，在检查报文的目标IP为自己的RIP后，会接受报文并进行处理响应。响应的源Ip为RIP，目标IP为CIP，端口不变。
4、Director收到RS的响应报文，修改响应报文的源IP为VIP，端口为80，然后转发给客户端。
5、客户端接受响应报文，其源IP为VIP，端口为80，整个过程对于客户端来说是透明无感知的。

通过修改请求报文的MAC地址，重新封装一个MAC首部进行转发；源MAC是DIP所在接口的MAC地址，目标MAC是挑选出的某RS的RIP所在接口的MAC地址；IP首部不会发生变化（依然是CIP<-->VIP）

lvs服务主机与后端服务器主机接在同一交换机上，且每个后端主机都配有vip，为了避免地址冲突，把各后端主机配置的vip进行隔离；

隔离的方法有3种

（1）确保前端路由器将目标IP为VIP的请求报文转发往Director；

（2）RS的RIP可以使用私有地址，也可以使用公网地址；
（3）RS跟Director必须在同一物理网络（基于MAC地址转发）；RS的网关必须不能指向DIP；
（4）请求报文必须由Directory调度，但响应报文必须不能经由Director；
（5）不支持端口映射；
（6）RS可以使用大多数的OS；一般都为Linux系统；

上图为lvs-dr的常见的使用场景,其工作流程如下：
1、客户端的请求会发往Director，此时，客户端请求报文的源Ip为CIP，目标Ip为Director的VIP。
2、当Director接受到客户端的请求报文后，Director会在请求报文外封装一个MAC首部，其源MAC为Director接口的MAC地址，目标MAC为选定RS的MAC地址；
3、当RS收到Director转发过来的请求报文后，检查发现请求报文的目标Ip为本地环回接口上配置的VIP，因此会接受报文进行响应处理。另外由于对ARP响应规则做了修改，因此RS不会把响应报文响应给director ，而是响应给GW；
4、客户端接收响应报文，完成通信。

请求报文源IP为cip，目标IP为vip，到达lvs服务进入INPUT链上，在整个ip报文外又加了一层ip首部，即IP报文传输IP报文所以叫IP隧道，此时外层源IP为dip，目标IP为某一个被挑选出来远端的rip，远端的服务主机收到报文经过不断拆包后，将响应报文发给客户端，构建响应报文的源IP为rip，目标IP为cip；

（1）RIP，DIP，VIP全得是公网地址；
（2）RS网关不能指向也不可能指向DIP；
（3）请求报文经由Director转发，但响应报文将直接发往CIP；
（4）不支持端口映射；
（5）RS的OS必须支持隧道功能；

（1）VIP是公网地址，RIP和DIP一般是私网地址，且通常不再同一网络中，但需要经由路由器互通；
（2）RS收到的请求报文源IP为DIP，因此响应报文将直接响应给DIP；
（3）请求和响应报文都经由Director；
（4）支持端口映射；
（5）RS可以使用大多数的OS；

负载均衡集群中会话保持的方式
（1）原地址哈希；
（2）会话集群；
（3）会话服务器；

如上图所示：
1.客户端的请求会发往Director，此时，客户端请求报文的源IP为CIP，目标IP为Director的VIP
2.当Director收到客户端的请求报文时，会将源IP修改为本机的DIP，同时将请求报文中的目标IP修改为后端某个RS的RIP，具体为哪个RS的RIP，取决于LVS使用的具体算法
3.当RS收到对应的请求报文时，会发现报文的目标IP就是自己的RIP，于是就会接收报文并处理后进行响应。响应报文的源IP则为RIP，目标IP则为DIP
4.当Director收到对应的响应报文时，Director会将响应报文的源IP修改为VIP，目标IP修改为CIP，于是响应报文被发往客户端。
5.客户端则会收到响应报文，源IP为VIP，端口为80，而LVS相对于客户端而言，转换过程是透明的。

根据其调度时是否考虑后端主机的当前负载，可分为 静态方法 和 动态方法 两类

基于客户端瘦cookie+服务器端的session机制，在负载均衡时，同一用户被调度不同后端服务器时，为了保持会话连接功能不丢失；当第一次用户请求时，通过调度机制给该用户分配了一个负责响应后端服务器，以后来自该用户的请求就由这个服务器负责响应了，而不再调度，这就叫 源地址哈希 ；

在调度器上有会话追踪表，在这个会话追踪模板中，把用户的IP地址和挑选的后端服务器对应的记录下来，而且定义一个超时时长，在定义的时间内该条目不会删除；所以，用户请求到来时，先检查这个表，把原IP当做k查找，因为哈希就是k/v数据，对应的v就是后端的真实服务器；如果检查有用户的IP对应的记录，则直接将请求报文发给记录中对应的后端真实服务器，而不通过调度；

缺陷 ：当记录的真实服务器挂了时，就没有会话保持记录了；当内网用户同过同一IP地址访问外网时，可能会把内网用户的所有请求都发往会话记录表上的真实服务器，这样负载均衡能力是受到损害的；

解决办法

内网用户请求的目标地址，在调度器上把目标地址绑定到一个代理缓存服务器上，以后，任何用户访问的是该目标地址就发往绑定的代理服务器，代理服务器收到请求后，再发往后端服务器主机，从而实现正向代理负载均衡的作用；

ipvs功能特别强大，一般网站用到的可能性比较小，但面试必会问到；
如果负载不是特别大，使用配置比较麻烦，维护成本较大；

ipvs/ipvsadm的关系相当于netfilter/iptables的关系；
真正提供lvs服务的是ipvs；

因为是根据请求的目标ip地址和目标端口（能识别协议）进行转发；一个ipvs（Director）主机就可同时为多个集群提供服务进行调度；这就是四层交换的原因；只不过一个Director很有可能成为负载均衡的瓶颈；

注意：单个Director可同时为多个集群提供调度服务；

在centos 7系统上：
判断内核是否支持ipvs：

判断ipvsadm程序包是否安装

ipvsadm -A|E -t|u|f service-address [-s scheduler]
-A：增，添加
-E：修改

ipvsadm -D -t|u|f service-address
-D：删除集群服务；

service-address：定义集群服务的地址
-t：tcp，把tcp端口定义成集群服务，vip:tcp_port；
-u：udp，把udp端口定义成集群服务，vip:udp_port；
-f：Firewalls mark防火墙标记，是一个数字；

-s scheduler：定义集群服务的调度方法，默认为wlc加权最少连接；

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
-a：增，添加RS；
-e：改，修改RS；

ipvsadm -d -t|u|f service-address
-d：删除

-r server-address：向已存在的service-address（集群服务）添加RS的地址；
rip[:port] 端口省略时，表示不做端口映射，与请求服务的端口为同一端口；有些集群服务不支持端口映射，如lvs-dr，lvs-tun，只要响应报文不经过Director都不支持；

查看： ipvsadm -L|l [options]
-L，--list：列出集群服务；
-n, --numeric：数字格式显示，不反解主机名到ip地址，服务到端口号；
--exact：精确显示数值，不进行单位换算；
-c, --connection：显示当前ipvs连接；可查看后端服务器是否连接；
--stats：统计数据；
--rate：速率；

清空 ：clear
ipvsadm -C

保存和重载
保存：输出重定向
ipvsadm -S > /PATH/TO/SOME_RULE_FILE
ipvsadm-save > /PATH/TO/SOME_RULE_FILE

重载：输入重定向
ipvsadm -R < /PATH/TO/SOME_RULE_FILE
ipvsadm-restore < /PATH/TO/SOME_RULE_FILE

清空计数器：
ipvsadm -Z [-t|u|f service-address]

例如：

例如：

添加集群服务，vip为172.18.11.111提供web服务，指明调度方法为rr；不指明为默认wlc；

在集群服务中添加RS地址为192.168.255.2，类型为lvs-nat，权重为1此值无意义，因为前面已经指明使用rr调度算法

再次添加一个RS

再次添加一个集群服务

在另一个集群服务上添加2个RS

修改集群服务的调度方法为wrr

注意：修改只能改属性，不能改IP地址；只有删除集群服务才能从新改IP地址；

修改RS的权重值为10

保存集群服务规则至指定路径

查看保存的内容：

清空集群服务

重载集群服务配置文件

下次开机时会自动载入集群服务规则：
所以，可把规则保存在/etc/sysconfig/ipvsadm文件中；
[root@VM_0_2_centos ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
一般手动保存后（确保保存无误），下次开机时，会自动重载此文件；

需要开机自动有效：
[root@VM_0_2_centos ~]# systemctl enable ipvsadm.service

lvs-nat设计要点：
（1）DIP与RIP要在同一IP网络，RIP的网关要指向DIP；
（2）支持端口映射；
（3）是否用到共享存储，取决于业务需要；

1、配置RS1

2、配置RS2

3、配置Director

打开网卡核心转发功能；永久有效：

查看内核参数是否打开核心转发功能

此时，在Director测试，访问RS1、RS2；

添加ipvs集群：

在另一台虚拟机上测试，调度是否起作用：
测试主机为：172.18.11.111

修改Director上的调度方式为wrr

再到测试主机为：172.18.11.111，测试wrr的调度效果

经过多次请求测试后，有明显wrr调度效果；
其RS服务器响应权重比是1:2，即RS1响应1次后RS响应2次；

数据同步：rsync+inotify

响应报文不用经过Director，每个RS必须配置VIP，为了避免地址冲突，有3种方式：

在各主机（Director，RS）均需要配置VIP，因此，要解决地址的冲突的问题，目标是让各RS上的VIP不可见，仅用接收目标地址为VIP的报文，同时可作为响应报文的源地址；
（1）在前端的网关接口上静态绑定（vip+mac）；
缺陷：一旦Director挂了，基于高可用转移另外节点上无法实现；而且，要在网关上有权限操作；
（2）在各RS上使用arptables；添加规则，拒绝自己的VIP地址向外通告及响应arp解析地址的请求；
（3）在各RS上修改内核参数，来限制arp响应和通告；
注意：要将VIP配置在lo的别名上，不能配置在网卡的别名上；

在各RS上设置arp通告级别即修改两个内核参数arp_ignore、arp_announce，因为地址是属于内核的，所以在Linux主机默认的通告方式是所有本机的可用IP地址通告给每个接口；

arp_announce要限制通告级别，每一个网卡仅在把自己的网络地址向所在物理网络中通告，即各网卡间地址绝不交叉通告；arp_announce设置为2；

arp_ignore是限制响应别人arp请求的级别；默认响应请求是无论从哪个接口接收到arp请求，只要本机有这个地址都会响应；限制arp响应级别后可实现，从哪个网卡接收的arp请求，
必须与该接口属于同一网络时才响应；arp_ignore`设置为1

lvs-dr设计要点：
（1）各主机一个接口即可，但需要在同一物理网络中；
（2）RIP的网关不能指向DIP，RIP和DIP通常应在同一网络，但此二者未必会与VIP在同一网络；
（3）各RS需要先设置内核参数，再设置VIP和路由；

搭建网络环境

1、配置Director

2、配置RS1

3、配置RS2

4、访问测试

在RS2主机运行

在报文进入时，进行打标记，例如目标IP是VIP端口80，把这类报文分拣出来打标，标记一般为十六进制整数，例如标记1；在input链上定义集群服务时，就可判定如果防火墙标记为1，则为集群服务；把本来在input链上完成识别、定义集群服务分成了两步，识别在prerouting做，定义在ipvs（inputing）上实现；

在mangle表上的prerouting链上，目标ip（VIP）为172.18.11.7，目标端口为80，打标记为1；

mark标记里包含了IP地址和端口；定义集群服务时使用mark即可；

打标记的方法：
iptables -t mangle -A PREROUTING -d $vip -p $protocol --dport $clusterserverport -j MARK --set-mark #
#：代表十六进制整数；

打标作用 ：提供辅助持久连接功能；在多个端口定义服务时，可把相关作为一个集群来调度；

配置RS1：

配置RS2：

在Director创建CA：

在RS1主机：

在CA服务上签证并传回给RS1：

在各RS主机重启web服务并查看443端口是否监听：

手动测试直接访问RS的IP：

测试请求，OK可以响应页面；-k表示可接受不受信任的页面响应；

单机测试ok，下面绑定80和443服务，打标记：

---

六安市15683651532： lvs 和 keepalived的有什么区别 - ？
啜辉丁疏： 1、特点不同:lvs基于4层的网络协议的,抗负载能力强,对于服务器的硬件要求除了网卡外,其他没有太多要求.keepalived主要的工作是提供lvs控制器的一个冗余,并且对real服务器做健康检查,发现不健康的real服务器,从lvs集群中剔除,...

六安市15683651532： 如何使用LVS构架负载均衡Linux集群系统 - ？
啜辉丁疏： 集群和负载均衡的区别如下:1、集群(Cluster) 所谓集群是指一组独立的计算机系统构成的一个松耦合的多处理器系统,它们之间通过网络实现进程间的通信?应用程序可以通过网络共享内存进行消息传送,实现分布式计算机?2、负载均衡...

六安市15683651532： 四层和七层负载均衡的区别 - ？
啜辉丁疏： 负载均衡四层和七层主要是根据网络的结构来的.一般来说,四层主要是网络层,也就是TCP和UDP的负载均衡(主要是TCP的).七层是应用层,主要是指HTTP、FTP、HTTPS等的负载均衡. 四层负载均衡的典型软件如LVS,七层负载均衡的比较典型软件如haproxy,nginx等.

六安市15683651532： nginx负载均衡的算法怎么实现的 - ？
啜辉丁疏： 常见的有LVS、Nginx和HAProxy,者者介绍分别如下:LVS:使用集群技术和Linux操作系统实现一个高性能、高可用的服务器,它具有很好的可伸缩性(Scalability)、可靠性(Reliability)和可管理性(Manageability),感谢章文嵩博士为我...

六安市15683651532： lvs跟nginx实现负载均衡有什么区别 - ？
啜辉丁疏： lvs和nginx都可以用作多机负载的方案,它们各有优缺,在生产环境中需要好好分析实际情况并加以利用. 首先提醒,做技术切不可人云亦云,我云即你云;同时也不可太趋向保守,过于相信旧有方式而等别人来帮你做垫被测试.把所有即时听...

六安市15683651532： Nginx和lvs抗并发的极限是多少 - ？
啜辉丁疏： LVS 4层(tcp)负载均衡,转发,DR模式为主要场景 优点:数据包返回可以不经过LB,因此高效,几十万并发 缺点:需要配置RS,所以部署复杂,功能单一. Nginx 7层,负载均衡(反向代理),1.9以后支持4层 缺点:效率不太高,1-5万并...

六安市15683651532： lvs 和SLB 有什么联系? - ？
啜辉丁疏： LVS是在四层包转发实现负载均衡,是SLB的一种实现.

六安市15683651532： 如何提高网站并发访问性能 - ？
啜辉丁疏： 1、HTML静态化 其实大家都知道,效率最高、消耗最小的就是纯静态化的html页面,所以我们尽可能使我们的网站上的页面采用静态页面来实现,这个最简单的方法 其实也是最有效的方法.但是对于大量内容并且频繁更新的网站,我们无法全...