使用 Sidecar CRD 優(yōu)化 Istio 性能
我們知道在服務(wù)網(wǎng)格集群中的每個(gè)工作負(fù)載實(shí)例上都會(huì)透明地注入一個(gè) Istio sidecar 代理,這個(gè)代理攔截負(fù)載的出入流量,并根據(jù)配置完成相應(yīng)的流量管理,包括流量、安全、可觀測性等等。為了更加細(xì)粒度的控制代理的行為,從 1.1 版本開始 Istio 便引入了和服務(wù)網(wǎng)格數(shù)據(jù)面 Sidecar 同名的 Sidecar CRD 資源對(duì)象,控制負(fù)載上的出入流量以及課訪問的目標(biāo)服務(wù)等。
Sidecar 對(duì)象描述了 sidecar 代理的配置,sidecar 代理管理與其連接的工作負(fù)載的 inbound 和 outbound 流量。默認(rèn)情況下,Istio 將為網(wǎng)格中的所有 sidecar 代理服務(wù),使其具有到達(dá)網(wǎng)格中每個(gè)工作負(fù)載所需的必要配置,并在與工作負(fù)載關(guān)聯(lián)的所有端口上接收流量。Sidecar 資源提供了一種的方法,在向工作負(fù)載轉(zhuǎn)發(fā)流量或從工作負(fù)載轉(zhuǎn)發(fā)流量時(shí),微調(diào)端口集合和代理將接收的協(xié)議,此外,可以限制代理在從工作負(fù)載轉(zhuǎn)發(fā) outbound 流量時(shí)可以達(dá)到的服務(wù)集合。
比如我們可以創(chuàng)建一個(gè)如下所示的 Sidecar 對(duì)象:
apiVersion: networking.istio.io/v1beta1
kind: Sidecar
metadata:
name: test-sc
spec:
egress:
- hosts:
- "istio-system/*"
- "default/*"
在上面的 Sidecar 對(duì)象中我們指定了 egress 字段,這個(gè)字段用于指定 sidecar 代理的出口流量,其中 hosts 字段用于指定 sidecar 代理可以訪問的目標(biāo)服務(wù),這里我們指定了 istio-system/* 和 default/*,意思是我們可以控制 default 命名空間下的 sidecar 代理只可以訪問 istio-system 和 default 命名空間下的服務(wù),其他命名空間下的服務(wù)則無法訪問。
整體上 Sidecar 對(duì)象的核心包括四個(gè)字段:workloadSelector、ingress 與 egress、outboundTrafficPolicy。
- workloadSelector:這個(gè)字段用來指定 sidecar 代理所屬的工作負(fù)載,可以通過標(biāo)簽來指定,如果沒有指定則會(huì)應(yīng)用到當(dāng)前命名空間下所有的工作負(fù)載上(每個(gè)命名空間下只能定義一個(gè)全局的 Sidecar 對(duì)象),如果定義在根命名空間 istio-system 下則會(huì)應(yīng)用到所有命名空間下的工作負(fù)載上。需要注意的是如果一個(gè)命名空間下存在多個(gè) workloadSelector 的 Sidecar 選中同樣的負(fù)載,則也會(huì)出現(xiàn)問題,所有要注意避免這種情況。
- egress:這個(gè)字段用來配置 sidecar 代理對(duì)服務(wù)網(wǎng)格內(nèi)部其他服務(wù)的訪問,如果沒有配置則默認(rèn)命名空間下的所有服務(wù)都可以訪問,如果配置了則只能訪問配置的服務(wù)。該字段下面可以配置如下幾個(gè)參數(shù):
- hosts:這是一個(gè)必選的字段,表示監(jiān)聽器對(duì)應(yīng)的服務(wù)地址,格式為 <namespace>/<FQDN>,可以對(duì) namespace、FQDN 進(jìn)行通配符匹配,比如 default/* 表示 default 命名空間下的所有服務(wù),*/foo 表示所有命名空間下的 foo 服務(wù),*/* 表示允許目標(biāo)是任意命名空間下的任意服務(wù),~/* 表示禁止目標(biāo)是任意命名空間下的任意服務(wù)。
- port:監(jiān)聽器關(guān)聯(lián)的端口。
- bind:監(jiān)聽器綁定的地址。
- captureMode:配置流量捕獲模式,可以是 DEFAULT、IPTABLES、NONE 三種模式,默認(rèn)是 DEFAULT,DEFAULT 模式表示使用環(huán)境默認(rèn)的流量捕獲規(guī)則;IPTABLES 模式表示基于 iptables 規(guī)則轉(zhuǎn)發(fā)的流量,NONE 模式表示沒有流量攔截。
- ingress:這個(gè)字段用來配置 sidecar 代理對(duì)應(yīng)工作負(fù)載的入流量控制。該字段下面可以配置如下幾個(gè)參數(shù):
port:這是一個(gè)必選的字段,表示監(jiān)聽器對(duì)應(yīng)的端口。
bind:監(jiān)聽器綁定的地址。
captureMode:配置流量捕獲模式,與 egress 中的 captureMode 字段一樣。
defaultEndpoint:也是必選字段,表示流量的轉(zhuǎn)發(fā)目標(biāo)地址,比如 127.0.0.1:port 或者 0.0.0.0:port。
outboundTrafficPolicy:這個(gè)字段用來配置 sidecar 代理對(duì)應(yīng)工作負(fù)載的出流量控制,該字段有兩種訪問配置:
ALLOW_ANY:表示允許訪問任意服務(wù),sidecar 代理在攔截到這個(gè)出流量后,會(huì)直接透傳。
REGISTRY_ONLY:sidecar 代理會(huì)攔截所有的出口流量,只允許服務(wù)網(wǎng)格內(nèi)部服務(wù)可以被訪問,對(duì)于外部服務(wù)需要使用 ServiceEntry 注冊(cè)才可以被訪問。
Sidecar 對(duì)象可以定義在根命名空間 istio-system 下,這樣就會(huì)應(yīng)用到所有命名空間下的工作負(fù)載上,比如我們可以創(chuàng)建一個(gè)如下所示的 Sidecar 對(duì)象:
# global-sidecar.yaml
apiVersion: networking.istio.io/v1beta1
kind: Sidecar
metadata:
name: default
namespace: istio-system
spec:
egress:
- hosts:
- "./*"
上面的這個(gè) Sidecar 對(duì)象定義在 istio-system 命名空間下,這樣就會(huì)應(yīng)用到所有命名空間下的工作負(fù)載上,其中 egress 字段中的 hosts 字段指定了可以訪問的服務(wù),這里我們指定了 "./*",表示限制整個(gè)服務(wù)網(wǎng)格中的服務(wù)只能訪問本命名空間的服務(wù)。在實(shí)踐中我們推薦使用這種方式在全局范圍定義一個(gè)統(tǒng)一的 Sidecar 規(guī)則,然后在特定的命名空間下再定義一個(gè) Sidecar 對(duì)象來覆蓋全局的 Sidecar 規(guī)則。
比如我們可以在 default 命名空間下創(chuàng)建一個(gè)如下所示的 Sidecar 對(duì)象來覆蓋上面全局的這個(gè)對(duì)象:
# default-sidecar.yaml
apiVersion: networking.istio.io/v1beta1
kind: Sidecar
metadata:
name: default
namespace: default
spec:
egress:
- hosts:
- "foo/*"
這個(gè)對(duì)象就允許 default 命名空間的服務(wù)可以訪問 foo 命名空間的服務(wù)。
同樣我們還可以使用 workloadSelector 字段來指定 sidecar 代理所屬的工作負(fù)載,比如我們可以創(chuàng)建一個(gè)如下所示的 Sidecar 對(duì)象:
# default-sidecar.yaml
apiVersion: networking.istio.io/v1beta1
kind: Sidecar
metadata:
name: default
namespace: default
spec:
workloadSelector:
labels:
app: bar
egress:
- hosts:
- "bar/foo-api"
上面的這個(gè)對(duì)象只會(huì)應(yīng)用到 app: bar 標(biāo)簽的工作負(fù)載上,并覆蓋以上命名空間級(jí)別的規(guī)則,使得 default 命名空間下面的 app: bar 標(biāo)簽的工作負(fù)載只能訪問 bar 命名空間下面的 foo-api 服務(wù)。
接下來我們使用 sleep 和 httpbin 應(yīng)用來進(jìn)行測試說明,將這兩個(gè)應(yīng)用部署到 default 和 other 兩個(gè)命名空間下面:
kubectl create ns other
kubectl label ns other istio-injectinotallow=enabled
kubectl apply -f samples/sleep/sleep.yaml -n default
kubectl apply -f samples/sleep/sleep.yaml -n other
kubectl apply -f samples/httpbin/httpbin.yaml -n default
kubectl apply -f samples/httpbin/httpbin.yaml -n other
默認(rèn)情況下,注入了 Istio 的工作負(fù)載會(huì)進(jìn)行全網(wǎng)格的傳播,假設(shè) default 和 other 兩個(gè)不相干的命名空間,other 中有大量的服務(wù),而 default 中只有幾個(gè),因?yàn)槁酚蓚鞑サ年P(guān)系,default 命名空間中的工作負(fù)載,其 sidecar 代理中也會(huì)帶上 other 命名空間中的路由信息。例如:
$ istioctl proxy-config clusters sleep-9454cc476-jfw97 |grep other
httpbin.other.svc.cluster.local 8000 - outbound EDS
sleep.other.svc.cluster.local 80 - outbound EDS
可以看到,在 default 命名空間中的 Pod,保存了其它命名空間中的路由信息。這不管是對(duì)內(nèi)存消耗還是路由控制來說,都會(huì)造成一定浪費(fèi),這個(gè)時(shí)候我們就可以定義一個(gè) Sidecar 資源,限制 sleep 服務(wù)只訪問同一命名空間的其他服務(wù),如下所示:
# sleep-sidecar.yaml
apiVersion: networking.istio.io/v1alpha3
kind: Sidecar
metadata:
name: sleep
spec:
workloadSelector:
labels:
app: sleep
egress:
- hosts:
- "default/*"
直接應(yīng)用上面的資源對(duì)象即可:
$ kubectl apply -f sleep-sidecar.yaml
$ kubectl get sidecar
NAME AGE
sleep 16s
這個(gè)時(shí)候可以看到在 sleep 應(yīng)用中只剩下了本命名空間之內(nèi)的服務(wù)了:
$ istioctl proxy-config clusters sleep-9454cc476-jfw97
SERVICE FQDN PORT SUBSET DIRECTION TYPE DESTINATION RULE
80 - inbound ORIGINAL_DST
BlackHoleCluster - - - STATIC
InboundPassthroughClusterIpv4 - - - ORIGINAL_DST
PassthroughCluster - - - ORIGINAL_DST
agent - - - STATIC
httpbin.default.svc.cluster.local 8000 - outbound EDS
kubernetes.default.svc.cluster.local 443 - outbound EDS
prometheus_stats - - - STATIC
sds-grpc - - - STATIC
sleep.default.svc.cluster.local 80 - outbound EDS
xds-grpc - - - STATIC
zipkin - - - STRICT_DNS
現(xiàn)在我們可以在 sleep 應(yīng)用中去訪問下 httpbin 的應(yīng)用:
$ kubectl exec -it sleep-9454cc476-jfw97 -- curl http://httpbin.default:8000/ip
{
"origin": "127.0.0.6"
}
可以看到 default 命名空間下面的應(yīng)用可以正常訪問,那么對(duì)于 other 命名空間下面的服務(wù)正常就不能訪問了。
$ kubectl exec -it sleep-9454cc476-jfw97 -- curl http://httpbin.other.svc.cluster.local:8000/ip
可以看到 default 命名空間下面的應(yīng)用無法訪問 other 命名空間下面的服務(wù)了。
Istio 默認(rèn)情況下,服務(wù)網(wǎng)格內(nèi)部的所有數(shù)據(jù)面代理都通過 xDS 從控制面獲取全量的配置,這種方式在數(shù)據(jù)面代理數(shù)量較少的情況下是沒有問題的,但是當(dāng)數(shù)據(jù)面代理數(shù)量較多的大規(guī)模服務(wù)網(wǎng)格的場景下,這種方式顯然會(huì)造成性能問題,全量的配置會(huì)引起數(shù)據(jù)面代理的內(nèi)存暴漲,所以 Sidecar 對(duì)象是非常有必要的,通過 Sidecar 對(duì)象只維護(hù)少量依賴服務(wù)的配置,可以大大減少無用的內(nèi)存消耗,所以在生產(chǎn)環(huán)境中我們推薦大家使用 Sidecar 對(duì)象來控制數(shù)據(jù)面代理的配置。