【干货专栏】3DEXPERIENCE安装小技巧 Load Balance Setting
1. Introduction
随着3DEXPERIENCE平台的推广，大规模用户数量的客户也逐渐开始增多，如何做3DEXPERIENCE平台的负载均衡的问题也逐渐被越来越多的同事提出，为此我简单列出我们常用的两个负载均衡配置软件Apache和HAProxy这两个软件的配置方法，希望能对大家学习负载均衡的配置起到一定的启发。
首先，对于DS的官方文档，对于3DEXPERIENCE平台的默认推荐使用的负载均衡软件是HAProxy和F5，因为HAProxy是免费开源的，所以我们通常遇到的更多是HAProxy的配置，所以本篇文章的重点是HAProxy的配置方案。
其次，Apache作为同样免费，并且在V6平台架构中我们使用频率非常高的负载均衡软件，在比较新的版本中，其配置方法比原来变得更加简单方便，再加上其现在是3DEXPERIENCE平台不可或缺的服务器组件，在一些场景下，使用Apache进行负载均衡也似乎是一个比较不错的选择。
最后，综上所述，我在本篇文章特意选出了Apache和HAProxy两个软件，再结合3DEXPERIENCE的负载均衡配置方案给大家做一个介绍。
2. Apache
2.1. Introduction
从3DX 16x开始，Apache作为3DEXPERIENCE平台不可或缺的重要组件，我们很多同事越来越了解其作为反向代理服务器的作用，但是Apache在3DX 15x之前，尤其是13x之前的版本，Apache也是经常用于我们的系统架构的搭建上，其主要是作为我们的负载均衡服务器来使用的。虽然3DEXPERIENCE目前默认使用的负载均衡是HAProxy和F5两种，但是某些情况下，Apache还是一个非常不错的选择，因为我将Apache的负载均衡方法设置放在了第一篇。
对于动态站点，Apache的负载均衡提供了两种机制来支持对于动态站点的负载均衡：Session Sticky和Session Cluster。对于我们的3DEXPERIENCE以及之前的V6平台的enovia品牌来说，由于内部机制的原因，我们的平台不支持SessionCluster的方式，所以用Apache来做负载均衡看起来唯一的选择就只有SessionSticky了。
2.2. Installation
对于Apache2.4版本，已经是解压即用的了，所以安装来说没有任何的难度和问题，唯一需要注意的则是要启动Apache服务之前，在配置文件中对其端口号和路径的设定，端口不能与其他应用冲突，路径的设定要正确。
端口的设定有两处，以Apache2.4版本的配置文件为例：
Line60 ： Listen 80
Line222 ： ServerName localhost:80
Apache路径的设定比较多，不过在Apache2.4的版本已经被通配符“${SRVROOT}”替代了，也就是说，如果是Apache2.4的版本下，我们不需要进行路径的重设了。
2.3. Common Setting
利用Apache进行负载均衡，首先要保证如下的模块被启用，因为无论后面是要配置Session Sticky还是Session Cluster的模式，下面的配置都是必须的，具体配置可以在httpd.conf文件中进行修改，将被“#”注释掉的所需要的模块行启用即可。
#提供基础的代理功能
LoadModule proxy_modulemodules/mod_proxy.so
#提供负载均衡的功能
LoadModule proxy_balancer_modulemodules/mod_proxy_balancer.so
#代理http协议
LoadModule proxy_http_modulemodules/mod_proxy_http.so
#负载均衡的算法模块
LoadModule lbmethod_byrequests_modulemodules/mod_lbmethod_byrequests.so
LoadModule slotmem_shm_modulemodules/mod_slotmem_shm.so
#兼容低版本访问
LoadModule access_compat_modulemodules/mod_access_compat.so
2.4. Session Sticky Setting
由于3DEXPERIENCE平台的内部机制的特殊性，使得不同服务之间的Session复制成为不可能，所以对于3DEXPERIENCE平台的负载均衡的方案，在使用Apache的情况下，SessionSticky变成了唯一选择。
下面是一个对两个NOCAS的TomEE+服务进行负载均衡配置的一个示例。
ProxyRequests Off
ProxyPass / balancer://mycluster/
#ProxySet lbmethod=bytraffic
#下面一行非常重要，是区别Session Cluster模式设置的重要参数行
Header add Set-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e;path=/" env=BALANCER_ROUTE_CHANGED
<Proxy balancer://mycluster>
#下面是要进行负载均衡的服务列表，loadfactor是负载权重，权重越大被访问的比例就越高
#下面一行非常重要，是区别SessionCluster模式设置的重要参数行
ProxySetstickysession=ROUTEID
</Proxy>
<VirtualHost *:80>
ServerName 3dx.vs.com
ProxyVia On
ProxyRequests Off
ProxyPassReverse /internalbalancer://mycluster/ internal
ProxyPass / internalbalancer://mycluster/ internal
</VirtualHost>
2.5. SessionSticky & reverse proxy setting in one Apache
在成功完成了Apache的负载均衡设置尝试后，我一直在尝试如何将负载均衡和3DEXPERIENCE平台的反向代理这些设置同时设置在一个Apache当中，很遗憾的是，没有成功，目前我只成功设置了3DSpace的负载均衡和3DEXPERIENCE平台的反向代理同时在一个Apache当中，下面我会列出我的设置方案，希望能起到抛砖引玉的作用，大家如果试成功如何将所有的服务的负载均衡和反向代理都同时加到一个Apache当中的话，希望能告诉我如何设置。
我的环境是在windows server 2012下安装的17x的环境，17x环境的安装配置方法请参考我之前写的3DX 17x的安装文档，为3dspace创建了两个TomEE+服务，发布端口分别是9080和9081，9081端口是在按照我之前安装17x的安装文档安装完3DEXPERIENCE平台后，为3dspace新增加的一个TomEE+的服务。
在目录C:Apache24conf下新建一个配置文件balance.conf，文件内容如下：
LoadModuleproxy_module modules/mod_proxy.so
LoadModuleproxy_balancer_module modules/mod_proxy_balancer.so
LoadModuleproxy_http_module modules/mod_proxy_http.so
LoadModule lbmethod_byrequests_modulemodules/mod_lbmethod_byrequests.so
LoadModuleslotmem_shm_module modules/mod_slotmem_shm.so
LoadModuleaccess_compat_module modules/mod_access_compat.so
ProxyRequestsOff
ProxyPass /balancer://mycluster/
#ProxySetlbmethod=bytraffic
Header addSet-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e; path=/"env=BALANCER_ROUTE_CHANGED
<Proxybalancer://mycluster>
ProxySet stickysession=ROUTEID
</Proxy>
<VirtualHost*:80>
ServerName 3dx.vs.com
ProxyVia On
ProxyRequests Off
ProxyPassReverse /3dspacebalancer://mycluster/3dspace
ProxyPass /3dspacebalancer://mycluster/3dspace
</VirtualHost>
修改Apache的配置文件httpd.conf，在Include conf/2017x_v1.conf之前插入新的引用配置文件Includeconf/balance.conf。
注意：Include conf/2017x_v1.conf这行设置不是Apache的默认设置，该行是我之前的3DE 17x安装文档中对Apache进行配置加入的配置设置，如果没有看过我之前的3DE 17x的安装文档的，最好能结合之前我的安装文档看一下Apache的完整设置。
修改后的httpd.conf最后两行设置为：
Include conf/balance.conf
Include conf/2017x_v1.conf
注意：一定要注意这两行的次序。
打开2017x_v1.conf文件中引用的对于3dspace反向代理的设置文件，默认引用文件的行命令为：IncludeC:DassaultSystemesR2017xDSpacewin_b64 emplatesDSpace_httpd_fragment.conf
打卡该文件，该文件里面按照我们17x安装文档里面的修改设置行默认应该为：
将这两行后面的9080端口号去掉，改为：
重启Apache服务，然后可以登录3dspace服务了，如果您多用几个不同的客户端登录，你从两个TomEE+的后台日志可以看出，不同的客户端会被分配给不同的TomEE+服务的。
3. HAProxy
3.1. Introduction
HAProxy是DS官方文档推荐的负载均衡软件，HAProxy是一个使用C语言编写的自由及开放源代码软件，其应用是比较广泛的包括 GitHub、Bitbucket、Stack Overflow、Reddit、Tumblr、Twitter和 Tuenti在内的知名网站，及亚马逊网络服务系统都使用了HAProxy。
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。
HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。
HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。
HAProxy实现了一种事件驱动, 单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。
3.2. Installation
3.2.1. Linux版本
#解压
tar -zxvf haproxy-1.6.9.tar.gz
cd haproxy-1.6.9
#安装
make TARGET=linux2628ARCH=x86_64 PREFIX=/usr/local/haproxy
make installPREFIX=/usr/local/haproxy
#参数说明TARGET=linux26 #内核版本，使用uname -r查看内核，如：2.6.18-371.el5，此时该参数就为linux26；kernel 大于2.6.28的用：TARGET=linux2628ARCH=x86_64 #系统位数PREFIX=/usr/local/haprpxy #/usr/local/haprpxy为haprpxy安装路径3.2.2. Windows版本
Windows版本的是解压即用，不用安装。
3.3. Settings
HAProxy的具体设置参数如下：
###########全局配置#########global log 127.0.0.1 local0 #[日志输出配置，所有日志都记录在本机，通过local0输出] log 127.0.0.1 local1 notice #定义haproxy 日志级别[error warringinfo debug] daemon #以后台形式运行harpoxy nbproc 1 #设置进程数量 maxconn 4096 #默认最大连接数,需考虑ulimit-n限制 #user haproxy #运行haproxy的用户 #group haproxy #运行haproxy的用户所在的组 #pidfile /var/run/haproxy.pid #haproxy 进程PID文件 #ulimit-n 819200 #ulimit 的数量限制 #chroot /usr/share/haproxy #chroot运行路径 #debug #haproxy 调试级别，建议只在开启单进程的时候调试 #quiet ########默认配置############defaults log global mode http #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK option httplog #日志类别,采用httplog option dontlognull #不记录健康检查日志信息 retries 2 #两次连接失败就认为是服务器不可用，也可以通过后面设置 #option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip option httpclose #每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现 #option redispatch #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器，以后将不支持 option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接 maxconn 4096 #默认的最大连接数 timeout connect 5000ms #连接超时 timeout client 30000ms #客户端超时 timeout server 30000ms #服务器超时 #timeout check 2000 #心跳检测超时 #timeout http-keep-alive10s #默认持久连接超时时间 #timeout http-request 10s #默认http请求超时时间 #timeout queue 1m #默认队列超时时间 balance roundrobin #设置默认负载均衡方式，轮询方式 #balance source #设置默认负载均衡方式，类似于nginx的ip_hash #balnace leastconn #设置默认负载均衡方式，最小连接数 ########统计页面配置########listen stats bind 0.0.0.0:1080 #设置Frontend和Backend的组合体，监控组的名称，按需要自定义名称 mode http #http的7层模式 option httplog #采用http日志格式 #log 127.0.0.1 local0 err #错误日志记录 maxconn 10 #默认的最大连接数 stats refresh 30s #统计页面自动刷新时间 stats uri /stats #统计页面url stats realm XingCloud Haproxy #统计页面密码框上提示文本 stats auth admin:admin #设置监控页面的用户和密码:admin,可以设置多个用户名 stats auth Frank:Frank #设置监控页面的用户和密码：Frank stats hide-version #隐藏统计页面上HAProxy的版本信息 stats admin if TRUE #设置手工启动/禁用，后端服务器(haproxy-1.4.9以后版本) ########设置haproxy 错误页面######errorfile 403 /home/haproxy/haproxy/errorfiles/403.http#errorfile 500 /home/haproxy/haproxy/errorfiles/500.http#errorfile 502 /home/haproxy/haproxy/errorfiles/502.http#errorfile 503 /home/haproxy/haproxy/errorfiles/503.http#errorfile 504 /home/haproxy/haproxy/errorfiles/504.http ########frontend前端配置##############frontend main bind *:80 #这里建议使用bind *:80的方式，要不然做集群高可用的时候有问题，vip切换到其他机器就不能访问了。 acl web hdr(host) -i www.abc.com #acl后面是规则名称，-i为忽略大小写，后面跟的是要访问的域名，如果访问www.abc.com这个域名，就触发web规则，。
acl img hdr(host) -i img.abc.com #如果访问img.abc.com这个域名，就触发img规则。 use_backend webserver if web #如果上面定义的web规则被触发，即访问www.abc.com，就将请求分发到webserver这个作用域。 use_backend imgserver if img #如果上面定义的img规则被触发，即访问img.abc.com，就将请求分发到imgserver这个作用域。
default_backend dynamic #不满足则响应backend的默认页面
########backend后端配置##############backend webserver #webserver作用域 mode http balance roundrobin #balance roundrobin 负载轮询，balance source 保存session值，支持static-rr，leastconn，first，uri等参数 option httpchk /index.html HTTP/1.0 #健康检查, 检测文件，如果分发到后台index.html访问不到就不再分发给它 server web1 10.16.0.9:8085 cookie 1 weight 5 check inter 2000 rise 2 fall 3 server web2 10.16.0.10:8085 cookie 2 weight 3 check inter 2000 rise 2 fall 3 #cookie 1表示serverid为1，check inter 1500 是检测心跳频率 #rise 2是2次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重
上面的设置参数太多太乱，理解学习比较困难？没问题，下面我给出一个具体的配置示例，供大家参考学习；我配置的环境如下：所有的服务都在同一台机器上，具体机器环境的安装还是请参考我的17x安装文档，在安装好17x的环境基础上，多配置了一个Passport和一个Space的TomEE+服务，即环境有2个Passport的TomEE+服务（端口为8080和8086），2个Space的TomEE+（端口为9080和9081）服务，配置好的Passport集群的端口为8088，配置好的Space集群的端口为9088，具体的配置参数文件haproxy.cfg内容如下：
global
maxconn 1500
nbproc 1
daemon
defaults
mode tcp
retries 1
option redispatch
maxconn2000
timeout connect 5s
timeout client 120s
timeout server 120s
frontend http-in_passport
bind0.0.0.0:8088
modehttp
capture cookie SERVERID len 100
default_backend Service_All_passport
backend Service_All_passport
balanceroundrobin
modehttp
cookie SERVERID insert indirect nocache secure httponly
#for all services except 3DSpace :
option httpchk OPTIONS /3dpassport//healthcheck/ HTTP/1.0
http-send-name-header x-dsp-client-node
# Listof servers
server Passport _Front_0 3dx.vs.com:8080 cookie Passport_Front_0check
server Passport _Front_1 3dx.vs.com:8086 cookie Passport_Front_1 check
frontend http-in_space
bind0.0.0.0:9088
modehttp
capture cookie SERVERID len 100
default_backendService_All_space
backend Service_All_space
balance roundrobin
modehttp
cookie SERVERID insert indirect nocache secure httponly
#for3DSpace :
option httpchk OPTIONS /3dspace/ HTTP/1.0
http-send-name-header x-dsp-client-node
# Listof servers
server Front_0 3dx.vs.com:9080 cookie Front_0 check
server Front_1 3dx.vs.com:9081 cookie Front_1 check
然后再附上Apache反向代理对Passport和Space的参数设置：
Passport：
<Location "/3dpassport">
</Location>
3DSpace：
<Location /3dspace>
RequestHeader set X-Forwarded-Proto"https"
RequestHeader set X-Forwarded-Port"443"
# Cross-origin resource sharing (CORS)
SetEnvIf Origin"^http(s)://(.+.)?(vs.com)(:d{1,5})?$" origin_is=$0
Header always set Access-Control-Allow-Origin%{origin_is}e env=origin_is
Header set Access-Control-Allow-Credentials"true"
Header set Access-Control-Allow-Methods"GET, POST, OPTIONS, HEAD, PUT, DELETE, PATCH"
Header set Access-Control-Allow-Headers"accept,x-requested-method,origin,x-requested-with,x-request,cache-control,content-type,last-modified,x-utc-offset,SecurityContext,X-DS-CSRFTOKEN,keep-alive,DS-API-Version,DS-Client-Step-Name,DS-Request-ID,ENO_CSRF_TOKEN,SecurityToken"
Header set Access-Control-Expose-Headers"DS-Request-ID,X-DS-CSRFTOKEN"
Header set Access-Control-Max-Age"600"
</Location>
大家可以看到，我Apache里面对于Passport设置的端口为8088,3DSpace为9088。
设置好这些参数，重新启动Apache服务器，启动HAProxy服务，一切OK！
作者简介
赵亮
达索系统，系统架构技术顾问
