以非 root 用户身份运行 Kubernetes 节点组件

本文档介绍了如何使用 用户命名空间，以非 root 用户身份运行 kubelet、CRI、OCI 和 CNI 等 Kubernetes 节点组件。

此技术也称为_无 root 模式_。

准备工作

您的 Kubernetes 服务器版本必须至少为 1.22。要检查版本，请输入 kubectl version。

• 启用 Cgroup v2
• 使用用户会话启用 systemd
• 根据主机 Linux 发行版配置多个 sysctl 值
• 确保您的非特权用户列在 /etc/subuid 和 /etc/subgid 中
• 启用 KubeletInUserNamespace 功能门控

在无 root Docker/Podman 中运行 Kubernetes

kind

kind 支持在无 root Docker 或无 root Podman 中运行 Kubernetes。

请参阅使用无 root Docker 运行 kind。

minikube

minikube 也支持在无 root Docker 或无 root Podman 中运行 Kubernetes。

请参阅 Minikube 文档

• 无 root Docker
• 无 root Podman

在非特权容器中运行 Kubernetes

sysbox

Sysbox 是一个开源容器运行时（类似于“runc”），支持在使用 Linux 用户命名空间隔离的非特权容器中运行系统级工作负载，例如 Docker 和 Kubernetes。

有关更多信息，请参阅Sysbox 快速入门指南：容器中的 Kubernetes。

Sysbox 支持在非特权容器中运行 Kubernetes，而无需 Cgroup v2 且无需 KubeletInUserNamespace 功能门控。它通过在容器内部公开专门制作的 /proc 和 /sys 文件系统以及其他几种高级操作系统虚拟化技术来实现这一点。

直接在主机上运行无 root Kubernetes

K3s

K3s 实验性地支持无 root 模式。

有关用法，请参阅使用无 root 模式运行 K3s。

Usernetes

Usernetes 是 Kubernetes 的参考发行版，可以在没有 root 权限的情况下安装在 $HOME 目录下。

Usernetes 支持 containerd 和 CRI-O 作为 CRI 运行时。Usernetes 使用 Flannel (VXLAN) 支持多节点集群。

有关用法，请参阅Usernetes 仓库。

手动部署在用户命名空间中运行 kubelet 的节点

本节提供手动在用户命名空间中运行 Kubernetes 的提示。

创建用户命名空间

第一步是创建一个 用户命名空间。

如果您尝试在用户命名空间容器（例如无 root Docker/Podman 或 LXC/LXD）中运行 Kubernetes，则您已准备就绪，可以转到下一小节。

否则，您必须通过使用 CLONE_NEWUSER 调用 unshare(2) 来自己创建一个用户命名空间。

也可以使用命令行工具取消共享用户命名空间，例如

• unshare(1)
• RootlessKit
• become-root

取消共享用户命名空间后，您还必须取消共享其他命名空间，例如挂载命名空间。

您_不需要_在取消共享挂载命名空间后调用 chroot() 或 pivot_root()，但是，您必须_在_命名空间中_的_多个目录上挂载可写文件系统。

至少，以下目录需要_在_命名空间中（而不是_在_命名空间_之外_）可写

• /etc
• /run
• /var/logs
• /var/lib/kubelet
• /var/lib/cni
• /var/lib/containerd（对于 containerd）
• /var/lib/containers（对于 CRI-O）

创建委托 cgroup 树

除了用户命名空间之外，您还需要拥有一个带有 cgroup v2 的可写 cgroup 树。

如果您尝试在基于 systemd 的主机上的无 root Docker/Podman 或 LXC/LXD 中运行 Kubernetes，则您已准备就绪。

否则，您必须使用 Delegate=yes 属性创建一个 systemd 单元，以委托具有写权限的 cgroup 树。

在您的节点上，必须已将 systemd 配置为允许委托；有关更多详细信息，请参阅无 root 容器文档中的cgroup v2。

配置网络

节点组件的网络命名空间必须具有非环回接口，例如可以使用slirp4netns、VPNKit 或lxc-user-nic(1) 进行配置。

可以使用常规 CNI 插件配置 Pod 的网络命名空间。对于多节点网络，已知 Flannel (VXLAN, 8472/UDP) 可以工作。

必须使用外部端口转发器（例如 RootlessKit、slirp4netns 或socat(1)）将 kubelet 端口（10250/TCP）和 NodePort 服务端口等端口从节点网络命名空间暴露给主机。

您可以使用 K3s 中的端口转发器。有关更多详细信息，请参阅在无 root 模式下运行 K3s。可以在 k3s 的pkg/rootlessports 包中找到该实现。

配置 CRI

kubelet 依赖于容器运行时。您应该部署一个容器运行时（例如 containerd 或 CRI-O），并确保它在 kubelet 启动之前在用户命名空间内运行。

• containerd
• CRI-O

version = 2

[plugins."io.containerd.grpc.v1.cri"]
# Disable AppArmor
  disable_apparmor = true
# Ignore an error during setting oom_score_adj
  restrict_oom_score_adj = true
# Disable hugetlb cgroup v2 controller (because systemd does not support delegating hugetlb controller)
  disable_hugetlb_controller = true

[plugins."io.containerd.grpc.v1.cri".containerd]
# Using non-fuse overlayfs is also possible for kernel >= 5.11, but requires SELinux to be disabled
  snapshotter = "fuse-overlayfs"

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
# We use cgroupfs that is delegated by systemd, so we do not use SystemdCgroup driver
# (unless you run another systemd in the namespace)
  SystemdCgroup = false

[crio]
  storage_driver = "overlay"
# Using non-fuse overlayfs is also possible for kernel >= 5.11, but requires SELinux to be disabled
  storage_option = ["overlay.mount_program=/usr/local/bin/fuse-overlayfs"]

[crio.runtime]
# We use cgroupfs that is delegated by systemd, so we do not use "systemd" driver
# (unless you run another systemd in the namespace)
  cgroup_manager = "cgroupfs"

配置 kubelet

在用户命名空间中运行 kubelet 需要以下配置

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
featureGates:
  KubeletInUserNamespace: true
# We use cgroupfs that is delegated by systemd, so we do not use "systemd" driver
# (unless you run another systemd in the namespace)
cgroupDriver: "cgroupfs"

启用 KubeletInUserNamespace 功能门控后，kubelet 会忽略在节点上设置以下 sysctl 值期间可能发生的错误。

• vm.overcommit_memory
• vm.panic_on_oom
• kernel.panic
• kernel.panic_on_oops
• kernel.keys.root_maxkeys
• kernel.keys.root_maxbytes.

在用户命名空间内，kubelet 还会忽略尝试打开 /dev/kmsg 时引发的任何错误。此功能门控还允许 kube-proxy 在设置 RLIMIT_NOFILE 期间忽略错误。

KubeletInUserNamespace 功能门控是在 Kubernetes v1.22 中引入的，状态为“alpha”。

也可以通过挂载专门制作的 proc 文件系统（如Sysbox 所做的那样）在不使用此功能门控的情况下在用户命名空间中运行 kubelet，但这不受官方支持。

配置 kube-proxy

在用户命名空间中运行 kube-proxy 需要以下配置

apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: "iptables" # or "userspace"
conntrack:
# Skip setting sysctl value "net.netfilter.nf_conntrack_max"
  maxPerCore: 0
# Skip setting "net.netfilter.nf_conntrack_tcp_timeout_established"
  tcpEstablishedTimeout: 0s
# Skip setting "net.netfilter.nf_conntrack_tcp_timeout_close"
  tcpCloseWaitTimeout: 0s

注意事项

• 大多数“非本地”卷驱动程序（例如 nfs 和 iscsi）不起作用。已知本地卷（例如 local、hostPath、emptyDir、configMap、secret 和 downwardAPI）可以工作。

• 某些 CNI 插件可能不起作用。已知 Flannel (VXLAN) 可以工作。

有关此内容的更多信息，请参阅 rootlesscontaine.rs 网站上的注意事项和未来工作页面。

另请参阅

• rootlesscontaine.rs
• 无 root 容器 2020（KubeCon NA 2020）
• 使用无 root Docker 运行 kind
• Usernetes
• 使用无 root 模式运行 K3s
• KEP-2033：用户命名空间中的 Kubelet（又名无 root 模式）