基于 Admission Webhook 实现 Pod DNSConfig 自动注入
本文主要分享如何使用 基于 Admission Webhook 实现自动修改 Pod DNSConfig，使其优先使用 NodeLocalDNS 。
1.背景
上一篇部署好
NodeLocal DNSCache，
但是还差了很重要的一步，
配置
pod
使用 NodeLocal DNSCache 作为优先的
DNS
服务器。
有以下几种方式：
- 方式一：修改 kubelet 中的 dns nameserver 参数，并重启节点 kubelet。
存在业务中断风险，不推荐使用此方式
。
- 测试时可以用这个方式，比较简单
- 方式二：创建 Pod 时手动指定 DNSConfig，
比较麻烦，不推荐。 - 方式三：借助 DNSConfig 动态注入控制器在 Pod 创建时配置 DNSConfig 自动注入，
推荐使用此方式。
- 需要自己实现一个 webhook，相当于把方式二自动化了
第一种方式存在业务中断风险，而且后续新增节点时也需要修改 kubelet 配置，比较麻烦。
而第二种方式则每个创建的 Pod 都需要手动指定 DNSConfig 就更繁琐了。
因此一般是推荐使用第三种方式，实现一个 Webhook，由该 Webhook 来自动修改 Pod 的 DNSConfig。
2. 自动注入规则
Admission Webhook 用于自动注入 DNSConfig 到新建的 Pod 中，避免您手工配置 Pod YAML进行注入。
注入范围
为了使应用更灵活，我们指定，只对携带
node-local-dns-injection=enabled
label 的命名空间中新建 Pod 的进行注入。
可以通过以下命令给命名空间打上Label标签：
kubectl label namespace <namespace-name> node-local-dns-injection=enabled
注入规则
Webhook 则是在所有 Pod 创建、更新前都会进行检测，如果 Pod 所在 Namespace 满足条件，或者 Pod 也满足条件则自动注入 DNSConfig，将 NodeLocalDNS 作为 Pod 的优先 DNS 服务。
具体规则如下：
Pod 在同时满足以下条件时，才会自动注入 DNS 缓存。如果您的 Pod 容器未注入 DNS 缓存服务器的 IP 地址，请检查 Pod 是否未满足以下条件。
- 1）新建 Pod 不位于 kube-system 和 kube-public 命名空间。
- 2）新建 Pod 所在命名空间的 Labels 标签包含 node-local-dns-injection=enabled。
- 3）新建 Pod 没有被打上禁用 DNS 注入 node-local-dns-injection=disabled 标签。
- 4）新建 Pod 的网络为 hostNetwork 且 DNSPolicy 为 ClusterFirstWithHostNet，或 Pod 为非 hostNetwork 且 DNSPolicy 为 ClusterFirst。
3. Admission Webhook 实现
配置文件
我们可以通过配置文件来执行 KubeDNS 地址和 NodeLocalDNS 地址，也提供了默认值。
const (
DefaultKubeDNS = "10.96.0.10"
DefaultLocalDNS = "169.254.20.10"
)
func NewDNSConfig(kubedns, localdns string) Config {
if kubedns == "" {
kubedns = DefaultKubeDNS
}
if localdns == "" {
localdns = DefaultLocalDNS
}
return Config{
KubeDNS: kubedns,
LocalDNS: localdns,
}
}
启动服务时可以指定
flag.StringVar(&kubedns, "kube-dns", "10.96.0.10", "The service ip of kube dns.")
flag.StringVar(&localdns, "local-dns", "169.254.20.10", "The virtual ip of node local dns.")
注入 DNSConfig
Webhook Handle 方法中就是核心逻辑。
func (a *PodAnnotator) Handle(ctx context.Context, req admission.Request) admission.Response {
pod := &corev1.Pod{}
err := a.Decoder.Decode(req, pod)
if err != nil {
return admission.Errored(http.StatusBadRequest, err)
}
klog.Infof("AdmissionReview for Kind=%v, Namespace=%v Name=%v (%v) UID=%v patchOperation=%v UserInfo=%v",
req.Kind, req.Namespace, req.Name, pod.Name, req.UID, req.Operation, req.UserInfo)
// determine whether to perform mutation
if !a.NeedMutation(pod) {
klog.Infof("Skipping mutation for %s/%s due to policy check", pod.Namespace, pod.Name)
return admission.Allowed("not need mutation,skip")
}
// mutate the fields in pod
mutation(pod, a.Config)
marshaledPod, err := json.Marshal(pod)
if err != nil {
return admission.Errored(http.StatusInternalServerError, err)
}
return admission.PatchResponseFromRaw(req.Object.Raw, marshaledPod)
}
首先通过 NeedMutation 判断是否满足条件，如果不需要注入则跳过
如果需要则执行 mutation 方法修改 Pod 的 DNSConfig 字段。
NeedMutation
这里就是按照之前提到的注入规则进行判定
// NeedMutation Check whether the target resoured need to be mutated
func (a *PodAnnotator) NeedMutation(pod *corev1.Pod) bool {
if pod.Namespace == "" {
pod.Namespace = "default"
}
/*
Pod will automatically inject DNS cache when all of the following conditions are met:
1. The newly created Pod is not in the kube-system and kube-public namespaces.
2. The Labels of the namespace where the new Pod is located contain node-local-dns-injection=enabled.
3. The newly created Pod is not labeled with the disabled DNS injection node-local-dns-injection=disabled label.
4. The network of the newly created Pod is hostNetwork and DNSPolicy is ClusterFirstWithHostNet, or the Pod is non-hostNetwork and DNSPolicy is ClusterFirst.
*/
//1. The newly created Pod is not in the kube-system and kube-public namespaces.
for _, namespace := range ignoredNamespaces {
if pod.Namespace == namespace {
klog.V(1).Infof("Skip mutation for %v for it's in special namespace: %v", pod.Name, pod.Namespace)
return false
}
}
// Fetch the namespace where the Pod is located.
var ns corev1.Namespace
err := a.Client.Get(context.Background(), client.ObjectKey{Name: pod.GetNamespace()}, &ns)
if err != nil {
klog.V(1).ErrorS(err, "Failed to fetch namespace: %v", pod.Namespace)
return false
}
//2. The Labels of the namespace where the new Pod is located contain node-local-dns-injection=enabled.
if v, ok := ns.Labels[NodeLocalDNSInjection]; !ok || v != "enabled" {
return false
}
//3. The newly created Pod is not labeled with the disabled DNS injection node-local-dns-injection=disabled label.
if v, ok := pod.Labels[NodeLocalDNSInjection]; ok && v == "disabled" {
return false
}
//4. The network of the newly created Pod is hostNetwork and DNSPolicy is ClusterFirstWithHostNet, or the Pod is non-hostNetwork and DNSPolicy is ClusterFirst.
// The network of the Pod is hostNetwork, so DNSPolicy should be ClusterFirstWithHostNet.
if pod.Spec.HostNetwork && pod.Spec.DNSPolicy != corev1.DNSClusterFirstWithHostNet {
return false
}
// The network of the Pod is not hostNetwork, so DNSPolicy should be ClusterFirst.
if !pod.Spec.HostNetwork && pod.Spec.DNSPolicy != corev1.DNSClusterFirst {
return false
}
// If all conditions are met, return true.
return true
}
mutation
mutation 则是根据配置文件组装好 DNSConfig 并注入到 Pod。
func mutation(pod *corev1.Pod, conf Config) {
ns := pod.Namespace
if ns == "" {
ns = "default"
}
pod.Spec.DNSPolicy, pod.Spec.DNSConfig = loadCustomDnsConfig(ns, conf)
}
func loadCustomDnsConfig(namespace string, config Config) (corev1.DNSPolicy, *corev1.PodDNSConfig) {
nsSvc := fmt.Sprintf("%s.svc.cluster.local", namespace)
return "None", &corev1.PodDNSConfig{
Nameservers: []string{config.LocalDNS, config.KubeDNS},
Searches: []string{nsSvc, "svc.cluster.local", "cluster.local"},
Options: []corev1.PodDNSConfigOption{
{
Name: "ndots",
Value: StringPtr("3"),
},
{
Name: "attempts",
Value: StringPtr("2"),
},
{
Name: "timeout",
Value: StringPtr("1"),
},
},
}
}
至此，核心逻辑就结束了，还是比较简单的，对于每个 Pod 创建、更新请求，Webhook 中都判断该 Pod 是否需要注入，不满足条件则直接跳过，满足条件则根据配置生成 DNSConfig 并注入到 Pod 中。
4. 部署
包含两部分：
- 1）Webhook 本身部署
- 2）K8s 中增加 Webhook 配置
Webhook 部署
需要部署以下几部分内容：
- Cert-manager : 由于 Webhook 需要配置证书，建议使用 cert-manager 来自动注入，减少手动操作。
- RBAC：Webhook 需要查询 Pod、Namespace 等信息，因此需要授权
- Deploy：Webhook 本身以 Deploy 方式部署。
具体文件都在 /deploy 目录下，直接使用即可。
在 deploy 目录提供了部署相关 yaml，apply 即可。
- 1）部署 cert-manager 用于管理证书
- 2）创建 Issuer、Certificate 对象，让 cert-manager 签发证书并存放到 Secret
- 3）创建 rbac 并部署 Webhook, 挂载 2 中的 Secret 到容器中以开启 TLS
- 可以修改启动命令中的 -kube-dns 和 -local-dns 参数来调整 KubeDNS 和 NodeLocalDNS 地址，默认为 10.96.0.10 和 169.254.20.10。
webhook-deploy.yaml 如下，就是一个普通的 Deployment：
镜像已经推送到了 Dockerhub，大家可以直接使用
apiVersion: apps/v1
kind: Deployment
metadata:
name: nodelocaldns-webhook
namespace: kube-system
labels:
app: nodelocaldns
spec:
replicas: 1
selector:
matchLabels:
app: nodelocaldns
template:
metadata:
labels:
app: nodelocaldns
spec:
serviceAccountName: nodelocaldns-webhook # 提供查询 namespace 信息的权限
containers:
- name: nodelocaldns-webhook
image: lixd96/nodelocaldns-admission-webhook:v0.0.1
imagePullPolicy: IfNotPresent
command:
- /manager
args:
- "-kube-dns=10.96.0.10"
- "-local-dns=169.254.20.10"
volumeMounts:
- name: webhook-certs
mountPath: /tmp/k8s-webhook-server/serving-certs # Webhook 证书默认路径
readOnly: true
volumes:
- name: webhook-certs
secret:
secretName: nodelocaldns-webhook
---
apiVersion: v1
kind: Service
metadata:
name: nodelocaldns-webhook
namespace: kube-system
labels:
app: nodelocaldns
spec:
ports:
- port: 443
targetPort: 9443
selector:
app: nodelocaldns
部署命令如下：
cd deploy
# 部署 CertManager 以及签发证书
kubectl apply -f cert-manager
# 部署 Webhook
kubectl apply -f webhook-deploy.yaml
kubectl apply -f webhook-rbac.yaml
MutatingWebhookConfiguration
yaml 大概是这样的：
---
apiVersion: admissionregistration.k8s.io/v1
kind: MutatingWebhookConfiguration
metadata:
name: mutating-webhook-configuration
annotations:
cert-manager.io/inject-ca-from: kube-system/nodelocaldns-webhook
webhooks:
- admissionReviewVersions:
- v1
clientConfig:
#caBundle: ""
service:
name: nodelocaldns-webhook
namespace: kube-system
path: /mutate-v1-pod
failurePolicy: Fail
name: nodelocaldns-webhook.kube-system.svc
namespaceSelector: # 限制生效范围
matchLabels:
node-local-dns-injection: enabled
rules:
- apiGroups:
- ""
apiVersions:
- v1
operations:
- CREATE
- UPDATE
resources:
- pods
sideEffects: None
增加
cert-manager.io/inject-ca-from
annotation 让 CertManager 自动注入 CA 证书。
annotations:
cert-manager.io/inject-ca-from: kube-system/nodelocaldns-webhook
限制生效范围
namespaceSelector: # 限制生效范围
matchLabels:
node-local-dns-injection: enabled
只关心 Pod 的 Create、Update 事件：
rules:
- apiGroups:
- ""
apiVersions:
- v1
operations:
- CREATE
- UPDATE
resources:
- pods
也是直接 apply 即可
cd deploy
kubectl apply -f webhook-config.yaml
5. 测试
首先给 default namespace 打上
node-local-dns-injection=enabled
label。
kubectl label namespace default node-local-dns-injection=enabled
创建一个 Pod，然后查看 yaml 看看 dnsConfig 是否被修改了。
kubectl run busybox --image=busybox --restart=Never --namespace=default --command -- sleep infinity
查看一下完整 Yaml
[root@webhook ~]# k get po busybox -oyaml
apiVersion: v1
kind: Pod
metadata:
annotations:
cni.projectcalico.org/containerID: 2a4caca308b031f872c47ef334cf7e940d74646a2f0a8893c7786508d30ed488
cni.projectcalico.org/podIP: 172.25.233.215/32
cni.projectcalico.org/podIPs: 172.25.233.215/32
creationTimestamp: "2024-02-05T10:43:16Z"
labels:
run: nginx-pod
name: nginx-pod
namespace: default
resourceVersion: "19341"
uid: 2b107b50-e85c-462f-8919-a0c01114bae6
spec:
containers:
- image: nginx
imagePullPolicy: Always
name: nginx-pod
resources: {}
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
volumeMounts:
- mountPath: /var/run/secrets/kubernetes.io/serviceaccount
name: kube-api-access-4wf2n
readOnly: true
dnsConfig:
nameservers:
- 169.254.20.10
options:
- name: ndots
value: "2"
searches:
- default.svc.cluster.local
- svc.cluster.local
- cluster.local
dnsPolicy: None
Dns 部分如下：
dnsConfig:
nameservers:
- 169.254.20.10
options:
- name: ndots
value: "2"
searches:
- default.svc.cluster.local
- svc.cluster.local
- cluster.local
dnsPolicy: None
可以看到，已经注入了我们的 NodeLocalDNS 了。
然后往没有打 Label 的命名空间创建 Pod
kubectl create namespace myns
kubectl run busybox --image=busybox --restart=Never --namespace=myns --command -- sleep infinity
查看 DNSConfig 是否被修改
[root@webhook ~]# kubectl -n myns get pod nginx-pod -oyaml
apiVersion: v1
kind: Pod
metadata:
annotations:
cni.projectcalico.org/containerID: 93a545988d7c7bbb88f0bc0e745226cd9e684bd63b78754dadd738861ed34512
cni.projectcalico.org/podIP: 172.25.233.218/32
cni.projectcalico.org/podIPs: 172.25.233.218/32
creationTimestamp: "2024-02-06T01:22:36Z"
labels:
run: nginx-pod
name: nginx-pod
namespace: myns
resourceVersion: "116195"
uid: 1f64a831-7470-49d5-b28e-1cd231ef5d8f
spec:
containers:
- image: nginx
imagePullPolicy: Always
name: nginx-pod
resources: {}
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
volumeMounts:
- mountPath: /var/run/secrets/kubernetes.io/serviceaccount
name: kube-api-access-shk68
readOnly: true
dnsPolicy: ClusterFirst
enableServiceLinks: true
可以看到，并没有，说明我们的逻辑是没问题的，只会对打了 Label 的命名空间中的 Pod 进行注入。
最后测试能否正常解析
测试一下注入 DNSConfig 之后能否正常解析 DNS
kubectl run busybox-pod --image=busybox --restart=Never --namespace=default
进入 Pod 并测试解析 Service 记录
[root@webhook ~]# k exec -it busybox-pod -- nslookup nodelocaldns-webhook.kube-system.svc.cluster.local
Server: 169.254.20.10
Address: 169.254.20.10:53
Name: nodelocaldns-webhook.kube-system.svc.cluster.local
Address: 10.105.137.213
[root@webhook ~]# kk get svc nodelocaldns-webhook
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
nodelocaldns-webhook ClusterIP 10.105.137.213 <none> 443/TCP 14h
可以看到，Nameserver 是 169.254.20.10，也就是我们的 NodeLocalDNS，然后能拿到正确的 IP，说明我们的 NodeLocalDNS 是没问题的。
6. 小结
本文主要分析了如何通过自定义一个 Admission Webhook 来自动化的修改 Pod 的 DNSConfig，使其优先使用 NodeLocalDNS。
