一、簡介
成都創(chuàng)新互聯(lián)一直在為企業(yè)提供服務(wù),多年的磨煉,使我們在創(chuàng)意設(shè)計,全網(wǎng)營銷推廣到技術(shù)研發(fā)擁有了開發(fā)經(jīng)驗。我們擅長傾聽企業(yè)需求,挖掘用戶對產(chǎn)品需求服務(wù)價值,為企業(yè)制作有用的創(chuàng)意設(shè)計體驗。核心團隊擁有超過十年以上行業(yè)經(jīng)驗,涵蓋創(chuàng)意,策化,開發(fā)等專業(yè)領(lǐng)域,公司涉及領(lǐng)域有基礎(chǔ)互聯(lián)網(wǎng)服務(wù)西部信息服務(wù)器托管、App定制開發(fā)、手機移動建站、網(wǎng)頁設(shè)計、網(wǎng)絡(luò)整合營銷。
Calico是一個純?nèi)龑拥膮f(xié)議,為OpenStack虛機和Docker容器提供多主機間通信。Calico不使用重疊網(wǎng)絡(luò)比如flannel和libnetwork重疊網(wǎng)絡(luò)驅(qū)動,它是一個純?nèi)龑拥姆椒ǎ褂锰摂M路由代替虛擬交換,每一臺虛擬路由通過BGP協(xié)議傳播可達信息(路由)到剩余數(shù)據(jù)中心。
為什么Calico網(wǎng)絡(luò)選擇BGP?
參考地址:https://blog.51cto.com/weidawei/2152319
我們在Calico網(wǎng)絡(luò)中使用BGP去宣告數(shù)據(jù)終端(end points)路由是因為如下原因:
(1)BGP是一種簡單的路由協(xié)議
(2)擁有當(dāng)前行業(yè)的最佳實踐
(3)唯一能夠支撐Calico網(wǎng)絡(luò)規(guī)模的協(xié)議
1、原理
如下圖所示,描述了從源容器經(jīng)過源宿主機,經(jīng)過數(shù)據(jù)中心的路由,然后到達目的宿主機最后分配到目的容器的過程。
整個過程中始終都是根據(jù)iptables規(guī)則進行路由轉(zhuǎn)發(fā),并沒有進行封包,解包的過程,這和flannel相比效率就會快多了。
2、框架
calico包括如下重要組件:Felix,etcd,BGP Client,BGP Route Reflector。下面分別說明一下這些組件。
(1)Felix:主要負(fù)責(zé)路由配置以及ACLS規(guī)則的配置以及下發(fā),它存在在每個node節(jié)點上。
(2)etcd:分布式鍵值存儲,主要負(fù)責(zé)網(wǎng)絡(luò)元數(shù)據(jù)一致性,確保Calico網(wǎng)絡(luò)狀態(tài)的準(zhǔn)確性,可以與kubernetes共用;
(3)BGP Client(BIRD), 主要負(fù)責(zé)把 Felix寫入 kernel的路由信息分發(fā)到當(dāng)前 Calico網(wǎng)絡(luò),確保 workload間的通信的有效性;
(4)BGPRoute Reflector(BIRD), 大規(guī)模部署時使用,摒棄所有節(jié)點互聯(lián)的mesh模式,通過一個或者多個 BGPRoute Reflector 來完成集中式的路由分發(fā);
二、服務(wù)搭建
1、環(huán)境準(zhǔn)備
1)系統(tǒng)環(huán)境
主機名 | 系統(tǒng) | 宿主IP | 服務(wù) |
master01 | CentOS7.4 | 172.169.18.210 | docker1.13.1 etcd3.2.22 calico2.6.10 |
node01 | CentOS7.4 | 172.169.18.162 | docker1.13.1 etcd3.2.22 calico2.6.10 |
node02 | CentOS7.4 | 172.169.18.180 | docker1.13.1 etcd3.2.22 calico2.6.10 |
2)暫時關(guān)閉防火墻和selinux服務(wù)
3)配置hosts,添加如下
# vim /etc/hosts
172.169.18.210 master01
172.169.18.162 node01
172.169.18.180 node02
2、安裝docker服務(wù)(三個節(jié)點)
1)yum安裝docker1.13版本
# yum install docker -y
2)修改默認(rèn)docker0的網(wǎng)卡信息
# vim /etc/docker/daemon.json
#追加如下參數(shù)
"bip":"172.169.10.1/24"
其他節(jié)點:
node01網(wǎng)絡(luò)地址:172.169.20.1/24
node01網(wǎng)絡(luò)地址:172.169.30.1/24
重啟docker服務(wù)
3、安裝etcd服務(wù)(在三個節(jié)點機上都要安裝etcd,構(gòu)成etcd集群環(huán)境)
1)yum安裝etcd3.2.22版本
# yum install etcd -y
2)修改etcd配置文件
# vim /etc/etcd/etcd.conf
#maser01節(jié)點
ETCD_DATA_DIR="/var/lib/etcd/"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://127.0.0.1:4001"
ETCD_NAME="master01"
ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_INITIAL_CLUSTER="master01=http://172.169.18.210:2380,node01=http://172.169.18.162:2380,node02=http://172.169.18.180:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
#node01節(jié)點
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://127.0.0.1:4001"
ETCD_NAME="node01"
ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_INITIAL_CLUSTER="master01=http://172.169.18.210:2380,node01=http://172.169.18.162:2380,node02=http://172.169.18.180:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
#node02
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001"
ETCD_NAME="node02"
ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_INITIAL_CLUSTER="master01=http://172.169.18.210:2380,node01=http://172.169.18.162:2380,node02=http://172.169.18.180:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
按如上配置分別啟動集群,啟動集群后,將會進入集群選舉狀態(tài),若出現(xiàn)大量超時,則需要檢查主機的防火墻是否關(guān)閉,或主機之間是否能通過2380端口通信,集群建立后通過以下命令檢查集群狀態(tài)。
3)在任意節(jié)點查看集群狀態(tài)
# etcdctl member list
當(dāng)關(guān)閉master01節(jié)點后,選舉自動切換到node02上
4)檢查集群健康狀態(tài)(在三個節(jié)點中的任意一個上面都可以查看)
# etcdctl cluster-health
到此,etcd集群搭建完畢?。?!
4、搭建Calico服務(wù)(docker集合采用2.6版本)
備注:新老版本的執(zhí)行命令有所差異,注意了?。?!
Calico實現(xiàn)了一個Docker網(wǎng)絡(luò)插件,可用于為Docker容器提供路由和高級網(wǎng)絡(luò)策略。
calico地址:https://github.com/projectcalico/calicoctl/tags
1)下載
# wget -O /usr/local/bin/calicoctlhttps://github.com/projectcalico/calicoctl/releases/download/v1.6.4/calicoctl
# chmod +x /usr/local/bin/calicoctl
2)配置calicoctl - etcdv2數(shù)據(jù)存儲區(qū)
官方配置地址:https://docs.projectcalico.org/v2.6/reference/calicoctl/setup/etcdv2
# mkdir -p /etc/calico
# vim /etc/calico/calicoctl.cfg
# cat /etc/calico/calicoctl.cfg
apiVersion: v1
kind: calicoApiConfig
metadata:
spec:
datastoreType: "etcdv2"
etcdEndpoints: http://172.169.18.210:2379,http://172.169.18.162:2379,http://172.169.18.180:2379
3)幫助信息
# calicoctl -help
啟動Calico服務(wù)
在Docker環(huán)境中Calico服務(wù)是做為容器來運行的,使用host的網(wǎng)絡(luò)配置。所有容器配置使用Calico服務(wù),做為calico節(jié)點互相通信。
Calico在每個主機上通過一個自己的container與其他主機或者網(wǎng)絡(luò)通訊,即calico-node的container,這個container里面包含了Bird路由管理、Felix協(xié)議等。
4)在三個節(jié)點上都要下載calico的node鏡像
(可以先在一個節(jié)點上下載鏡像,然后將鏡像通過docker save導(dǎo)出保存到本地,再將鏡像拷貝到其他節(jié)點上通過docker load導(dǎo)入,這樣對于其他節(jié)點來說,比使用docker pull要快)
[root@master01 ~]# docker pull calico/node:v2.6.10
[root@master01 ~]# docker pull calico/node-libnetwork
5.1)啟動三個節(jié)點的node服務(wù)(方法一)
#master01節(jié)點(指定版本--node-image=calico/node:v2.6.10)
# calicoctl node run --node-image=calico/node:v2.6.10 --ip=172.169.18.210
#node01
# calicoctl node run --node-image=calico/node:v2.6.10 --ip=172.169.18.162
#node02
# calicoctl node run --node-image=calico/node:v2.6.10 --ip=172.169.18.180
5.2)啟動三個節(jié)點的node服務(wù)(方法二)
#創(chuàng)建system service文件
# EnvironmentFile:ExecStart中大量引用的環(huán)境變量,在/etc/calico/calico.env文件中設(shè)置;
# ExecStartPre操作:如果環(huán)境中存在calico-node服務(wù),刪除;
# ExecStart操作:”--net”設(shè)置網(wǎng)絡(luò)參數(shù);“--privileged”以特權(quán)模式運行;‘“--nam”設(shè)置容器名;“calico/node:v2.6.10”指定鏡像,這里默認(rèn)是“quay.io/calico/node:v2.6.10”;
# ExecStop操作:停止容器;
# -v /var/run/docker.sock:/var/run/docker.sock:此映射關(guān)系在官方文檔中未給出;
# 會導(dǎo)致在創(chuàng)建容器時報錯“docker: Error response from daemon: failed to create endpoint test1 on network net1: NetworkDriver.CreateEndpoint: Network 44322b3b9b8c5eface703e1dbeb7e3755f47ede1761a72ea4cb7cec6d31ad2e5 inspection error: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?.”;
# 即在calico類型的網(wǎng)絡(luò)上不能創(chuàng)建容器,因為無法調(diào)用docker服務(wù)的sock,需要指明calico服務(wù)調(diào)用docker sock的路徑,請見:https://github.com/projectcalico/calico/issues/1303
# vim /usr/lib/systemd/system/calico.service
[Unit]
Description=calico-node
After=docker.service
Requires=docker.service
[Service]
EnvironmentFile=/etc/calico/calico.env
ExecStartPre=-/usr/bin/docker rm -f calico-node
ExecStart=/usr/bin/docker run --net=host --privileged \
--name=calico-node \
-e NODENAME=${CALICO_NODENAME} \
-e IP=${CALICO_IP} \
-e IP6=${CALICO_IP6} \
-e CALICO_NETWORKING_BACKEND=${CALICO_NETWORKING_BACKEND} \
-e AS=${CALICO_AS} \
-e NO_DEFAULT_POOLS=${CALICO_NO_DEFAULT_POOLS} \
-e CALICO_LIBNETWORK_ENABLED=${CALICO_LIBNETWORK_ENABLED} \
-e ETCD_ENDPOINTS=${ETCD_ENDPOINTS} \
-e ETCD_CA_CERT_FILE=${ETCD_CA_CERT_FILE} \
-e ETCD_CERT_FILE=${ETCD_CERT_FILE} \
-e ETCD_KEY_FILE=${ETCD_KEY_FILE} \
-v /var/log/calico:/var/log/calico \
-v /run/docker/plugins:/run/docker/plugins \
-v /var/run/docker.sock:/var/run/docker.sock \
-v /lib/modules:/lib/modules \
-v /var/run/calico:/var/run/calico \
calico/node:v2.6.10
ExecStop=-/usr/bin/docker stop calico-node
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
#calico.env變量文件
# vim /etc/calico/calico.env
ETCD_ENDPOINTS=http://172.169.128.210:2379,http://172.169.18.162:2379,http://172.169.18.180:2379
# 啟用ssl/tls時,認(rèn)證相關(guān)文件位置
ETCD_CA_FILE=""
ETCD_CERT_FILE=""
ETCD_KEY_FILE=""
# 留空時默認(rèn)采用主機hostname作為辨識,所以留空時請確保主機名唯一
CALICO_NODENAME=""
CALICO_NO_DEFAULT_POOLS=""
# 設(shè)置路由下一跳,留空時從主機當(dāng)前端口中自動選擇,有參數(shù)”autodetect”強制每次啟動時間自動檢測
CALICO_IP="172.169.18.210"
CALICO_IP6=""
# as number,默認(rèn)從全局默認(rèn)設(shè)置繼承
CALICO_AS=""
# 啟用libnetwork drive
CALICO_LIBNETWORK_ENABLED=true
# 路由協(xié)議,可選”bird”,“gobgp”,“none”,默認(rèn)即”bird”, “gobgp”無ipip模式
CALICO_NETWORKING_BACKEND=bird
#啟動服務(wù)
# systemctl daemon-reload
# systemctl enable calico
# systemctl restart calico
# systemctl status calico
6)查看狀態(tài)
可以在三個節(jié)點上查看calico-node啟動情況
# docker ps -a
# ps -ef | grep calico
查看節(jié)點狀態(tài)信息(在三個節(jié)點上都可以查看)
# calicoctl node status
5、使用calicoctl創(chuàng)建ipPool
官方參考地址:https://docs.projectcalico.org/v2.6/reference/calicoctl/resources/ippool
在啟動別的容器之前,我們需要配置一個IP地址池帶有ipip和nat-outgoing選項。所以帶有有效配置的容器就可以訪問互聯(lián)網(wǎng),在每個節(jié)點上運行下面的命令:
先查看calico的ip池(任意一個節(jié)點上都能查看)
# calicoctl get ipPool -o wide
參數(shù)解釋:
# 運行calico服務(wù)后,默認(rèn)含1個192.168.0.0/16的ipv4地址池,1個64位的ipv6的地址池,后續(xù)網(wǎng)絡(luò)分配即地址池獲取;
# NAT:容器獲得的地址是否可nat出host;
# IPIP:ipip是在宿主機網(wǎng)絡(luò)不完全支持bgp時,一種妥協(xié)的overlay機制,在宿主機創(chuàng)建1個”tunl0”虛擬端口;設(shè)置為false時,路由即純bgp模式,理論上ipip模式的網(wǎng)絡(luò)傳輸性能低于純bgp模式;設(shè)置為true時,又分ipip always模式(純ipip模式)與ipip cross-subnet模式(ipip-bgp混合模式),后者指“同子網(wǎng)內(nèi)路由采用bgp,跨子網(wǎng)路由采用ipip”
1)在任意節(jié)點上定義都可以,ipPool屬于全局;
[root@master01 ~]# vim new-pool-1.yaml
apiVersion: v1
kind: ipPool
metadata:
cidr: 172.169.10.0/24
spec:
ipip:
enabled: true
mode: cross-subnet
nat-outgoing: true
disabled: false
2)#創(chuàng)建
# calicoctl create -f new-pool-1.yaml
同理繼續(xù)把后面兩個節(jié)點的網(wǎng)段添加完成即可,如下如
3)刪除默認(rèn)的ip地址池
# calicoctl delete ipPool 192.168.0.0/16
查看docker三個節(jié)點網(wǎng)絡(luò)
4)容器網(wǎng)絡(luò)配置
#修改docker配置文件(三節(jié)點修改)
# vim /usr/lib/systemd/system/docker.service
添加如下參數(shù):
-H unix:///var/run/docker.sock -H 0.0.0.0:2375 --cluster-store etcd://172.169.18.210:2379,172.169.18.162:2379,172.169.18.180:2379 \
重啟服務(wù)
# systemctl daemon-reload
# systemctl restart docker
#創(chuàng)建network(任意一個節(jié)點創(chuàng)建即可)
# docker network create --driver calico --ipam-driver calico-ipam net1
# docker network ls
5)創(chuàng)建容器測試
docker run --name web1 --privileged -itd --net=net1 centos:7.4.1708 /usr/sbin/init
(1)#查看容器信息
# docker inspect web1
(2)網(wǎng)絡(luò)節(jié)點變化
(3)host節(jié)點routing table
# ip route show
(4)容器routing table
# 容器網(wǎng)關(guān)“169.254.1.1”是1個預(yù)留本地ip地址,通過cali0端口發(fā)送到網(wǎng)關(guān);
# calico為簡化網(wǎng)絡(luò)配置,將容器的網(wǎng)關(guān)設(shè)置為1個固定的本地保留地址,容器內(nèi)路由規(guī)則都是一樣的,不需要動態(tài)更新;
# 確定下一跳后,容器會查詢下一跳”169.254.1.1”的mac地址
# docker exec web1 ip route show
# docker exec web1 ping 114.114.114.114
通過”ip neigh show”可查詢arp表(需要觸發(fā)),這里查詢到”169.254.1.1”的mac地址是”7a:b2:59:f7:0c:91”,仔細觀察會發(fā)現(xiàn)此mac地址即host節(jié)點網(wǎng)卡”calic255b5bfca1”的mac地址
# docker exec web1 ip neigh show
host節(jié)點對應(yīng)容器的網(wǎng)卡并沒有配置ip地址,無論容器發(fā)出的arp的請求地址是什么,其直接以自己的mac地址響應(yīng)即”arp proxy”;
# 容器的后續(xù)報文目的IP不變,但mac地址變成了宿主機上對應(yīng)interface的地址,即所有的報文都會發(fā)給宿主機,然后宿主機根據(jù)ip地址進行轉(zhuǎn)發(fā),此feature是calico默認(rèn)開啟的,可通過如下方式確認(rèn):
# cat /proc/sys/net/ipv4/conf/cali7d1d9f06ed8/proxy_arp
(5)在node02節(jié)點創(chuàng)建一個容器web2
# docker run --name web2 --privileged -itd --net=net1 centos:7.4.1708 /usr/sbin/init
# docker exec -ti web2 /bin/bash
即可
補充知識點:
Flannel | Calico | |
overlay方案 | 1. udp 2.vxlan | ipip,宿主機網(wǎng)絡(luò)不能完全支持bgp時,可采用ipip模式 |
host-gw方案 | host-gw,要求宿主機在相同subnet | bgp |
網(wǎng)絡(luò)策略 | 不支持 | 支持 |
ipam | 不支持去中心化ipam | 不支持去中心化ipam |
性能 | 理論值: 1. host-gw模式的性能優(yōu)于overlay模式,甚至接近于宿主機直接通信; 2. flannel host-gw模式與calico bgp模式相當(dāng); 3. flannel overlay模式與calico ipip模式相當(dāng)或略差,ipip包頭較vxlan小; 4. flannel udp 模式相對最差,udp封裝方式在linux用戶態(tài),vxlan與ipip封裝在linux內(nèi)核態(tài)完成(ipip安全性不如vxlan)。 |
本文名稱:基于calico網(wǎng)絡(luò)策略
網(wǎng)站網(wǎng)址:http://www.rwnh.cn/article12/pgspgc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供移動網(wǎng)站建設(shè)、商城網(wǎng)站、關(guān)鍵詞優(yōu)化、網(wǎng)站制作、Google、營銷型網(wǎng)站建設(shè)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)