给Kubernetes集群下的容器配置内核参数

开发 开发工具
在Kubernetes集群下运行的容器的内核参数是默认的,但是对于某型类型的应用如Nginx Ingress controller而言,默认的内核参数配置是不够的,需要做出调整,例如somaxconn是限制了接收新TCP 连接侦听队列的大小,它的默认值是128,但是对于反向代理的服务器而言,这个配置实在是太小了。

问题

在Kubernetes集群下运行的容器的内核参数是默认的,但是对于某型类型的应用如Nginx Ingress controller而言,默认的内核参数配置是不够的,需要做出调整,例如somaxconn是限制了接收新TCP 连接侦听队列的大小,它的默认值是128,但是对于反向代理的服务器而言,这个配置实在是太小了。那么我们自然想到需要去调整这个应用的容器的内核配置参数。

解决之道

Docker Daemon的处理方式

对于Docker引擎而言,可是使用--sysctl运行参数来设定需要更改的内核参数,例如:

  1. docker run -it --sysctl net.core.somaxconn=65535  busybox 
  2. #在容器看看是否配置成功: 
  3. cat /proc/sys/net/core/somaxconn 

然后我们可以看看容器的详情:

可以看到,Docker引擎对容器进行了相关的配置,而无需使用特权模式来设置内核参数

Kubernetes的处理之道

在Kubernetes里,Kubernetes可以利用Docker引擎的这个--sysctl的能力,也可以利用privilege init container的方式。目前sysctls的能力还依然在alpha阶段,选择时需要注意。

Kubernetes Sysctls

具体可以参考:Using Sysctls in a Kubernetes Cluster

实践过程如下:

  • 需要在kubelet启动参数上配置对应的开关--experimental-allowed-unsafe-sysctls。例如在阿里云的kubernetes服务,可以在node节点,修改/etc/systemd/system/kubelet.service.d/10-kubeadm.conf,增加对应的配置并重新加载systemctl daemon-reload,然后重启kubelet。如下是允许配置和net相关的内核参数:

            Kubernetes允许配置的内核参数如下:

  1. kernel.shm*, 
  2.            kernel.msg*, 
  3.            kernel.sem, 
  4.            fs.mqueue.*, 
  5.            net.*. 
  • 启动Pod的时候设置对应的annotation,申明需要修改的内核参数,以启动一个nginx为测试例子:
  1. apiVersion: v1 
  2. kind: Pod 
  3. metadata: 
  4.   name: test-sysctl 
  5.   annotations: 
  6.    security.alpha.kubernetes.io/unsafe-sysctls: net.core.somaxconn=65535 
  7. spec: 
  8.   containers: 
  9.   - image: nginx 
  10.     name: nginx 
  11.     ports: 
  12.     - containerPort: 80 
  13.       protocol: TCP 
  14.   nodeSelector: 
  15.     kubernetes.io/hostname: cn-shenzhen.i-xxxxx      

注意:对于需要变更内核参数的应用,建议部署到特定的机器上。为了方便,我是使用了node selector。

如果对应的机器的kubelet没有打开这个对应的开关,那么pod是部署不成功的。我们可以通过kubectl get event来看看对应的日志:

那么这个方式背后的原理是什么呢?其实就是docker的--sysctl,我们可以pod到对应的node接点去docker inspect看看。但是奇怪的是,docker inspect看不到任何sysctl的迹象,是不是那里有误?

其实不是的,因为真正执行sysctl是kubernetes的pause container也叫做infra container,我们找到对应的这个容器,再docker inspect看看:

这个时候,我们发现,这个pause容器配置了sysctls。

Kubernetes Init Container

Init container的用法可以参考:Init Containers

使用init container的好处是,无需去改变kubelet的配置,但是需要给这个init container配置成privilege的权限。

以下是一个启动Pod的例子:

  1. apiVersion: v1 
  2. kind: Pod 
  3. metadata: 
  4.   name: test-sysctl-init 
  5.   namespace: default 
  6. spec: 
  7.   containers: 
  8.   - image: nginx 
  9.     imagePullPolicy: Always 
  10.     name: nginx 
  11.     ports: 
  12.     - containerPort: 80 
  13.       protocol: TCP 
  14.   initContainers: 
  15.   - image: busybox 
  16.     command: 
  17.     - sh 
  18.     - -c 
  19.     - echo 10000 > /proc/sys/net/core/somaxconn 
  20.     imagePullPolicy: Always 
  21.     name: setsysctl 
  22.     securityContext: 
  23.       privileged: true 

至于使用那种方式,可以自行选择。后续也要留意kubernetes对于sysctls的演进。

【本文是51CTO专栏作者“VIPDOCKER-了哥 ”的原创文章,如需转载请通过51CTO与作者联系】

戳这里,看该作者更多好文

责任编辑:武晓燕 来源: 51CTO专栏
相关推荐

2017-08-08 11:14:47

AzureKubernetes多容器应用程序

2021-12-21 15:17:53

Kubernetes缓存Linux

2019-12-20 10:45:47

Kubernetes容器网络

2019-07-04 13:10:53

Docker设计云计算

2009-09-16 08:51:47

linuxtomcat集群配置

2022-08-01 07:47:03

虚拟化容器Pod

2021-09-02 05:37:22

Containerd Kubernetes 容器

2015-12-30 14:50:45

Kubernetes容器技术Docker

2023-11-03 13:20:13

Kubernetes

2021-05-12 10:59:39

Kubernetes容器集群

2023-06-27 17:37:08

Kubernete容器集群

2023-07-29 11:54:44

KuberneteNFS

2021-07-27 11:31:29

运维架构技术

2020-07-08 09:36:03

Kubernetes容器开发

2020-01-13 16:09:17

KubernetesDevops容器

2015-07-17 10:25:43

kubernetesDocker集群系统

2021-12-24 10:47:49

Kubernetes容器化微服务

2023-11-23 13:43:00

业务异常数据库

2013-11-07 13:59:56

Linux内核

2013-11-25 14:07:11

Linux内核内核特性
点赞
收藏

51CTO技术栈公众号