Apr 6, 2024

Kube-apiserver Bypass Risks

cgxxv

kuberneteskube security

235 Words | 1 Minute, 4 Seconds

2024-04-06 09:26 +0800

kube-apiserver 是外部与集群交互的主要入口，提供了几种关键的内置安全控制，如审计日志和准入控制器。但还有一些方式可以绕过这些安全控制从而修改集群的配置或内容。

以下这些方式需要适当的被限制。

静态 Pod

每个节点上的 kubelet 会加载并直接管理集群中存储在指定目录中或从指定 URL 获取的静态 Pod 清单。kube-apiserver 不管理这些静态 Pod。对该位置具有写入权限的攻击者可以修改从该位置加载的静态 Pod 的配置，或引入新的静态 Pod。

静态 Pod 被限制访问 kube-apiserver 中的其他对象。如不能将静态 Pod 配置为从集群挂载 Secret。但是这些 Pod 可以执行其他安全敏感的操作，如使用hostPath直接挂载宿主机节点的文件目录.

默认情况下，kubelet 会创建一个 Mirror Pod，以便静态 Pod 在 kube-apiserver 中可见。但是如果攻击者在创建 Pod 时使用了无效的名字空间名称，则该 Pod 将在 kube-apiserver 中不可见，只能通过对受影响主机有访问权限的工具发现。

如果静态 Pod 无法通过准入控制，kubelet 不会将 Pod 注册到 kube-apiserver 中，但该 Pod 仍然在节点上运行。

Mitigations

  1. 仅在节点需要时启用 kubelet 静态 Pod manifest 功能
  2. 如果一个节点使用静态 Pod 功能，限制它的文件系统访问权限，即仅配置需要访问的目录或 URL
  3. 限制对 kubelet 配置参数和文件的访问，以防止攻击者通过设置静态 Pod 访问的文件系统路径或 URL
  4. 定期审计并集中报告所有对托管静态 Pod manifest 文件和 kubelet 配置文件的目录或 Web 存储位置的访问

kubelet API

kubelet 提供了一个 HTTP API，一般是 TCP:10250，在某些 kubernetes 发行版中，API 也可能暴露在 control-plane-panel 节点上。对 API 的直接访问允许公开有关运行在节点上的 Pod、这些 Pod 的日志以及在节点上运行每个容器中执行命令的信息。

具有对 Node 对象及子资源 RBAC 访问权限的集群用户，也可以访问 kubelet API，实际的访问权限取决于授予了哪些子资源的访问。[kubelet 鉴权]

对 kubelet API 的直接访问不受准入控制影响，也不会被审计日志记录。能直接访问此 API 的攻击者可能会绕过能检测或防止某些操作的控制机制。

kubelet API 可以配置为多种方式的验证，默认情况下，kubelet 的配置允许匿名访问。大多数 kubernetes 提供商将默认值更改为使用 webhook 和证书身份认证。这使得 control-plane-panel 能够确保调用者访问节点的 API 资源或子资源时经过授权的。但 control-plane-panel 不能确保默认的匿名访问也是如此。

Mitigations

  1. 使用 RBAC 等机制限制对节点 API 对象的资源及子资源的访问。只有在需要时才授予此访问权限，如监控服务。
  2. 限制对 kubelet 端口的访问，只允许指定和受信任的 IP 地址段访问该端口
  3. 确保将[kubelet 身份认证]设置为 webhook 或证书模式
  4. 确保集群上未启用不作身份认证的"只读"kubelet 端口

etcd API

etcd 监听的 TCP:2379，只有 kube-apiserver 和所使用的备份工具需要，对该 API 的直接访问允许公开或修改集群中保存的数据。

对 etcd API 的访问通常通过客户端证书身份认证来管理。由 etcd 信任的证书颁发机构颁发的任何证书都可以完全访问 etcd 中存储的数据。

对 etcd 的直接访问不受 kubernetes 准入控制的影响，也不会被 kubernetes 审计日志记录。具有对 API 服务器的 etcd 客户端证书私有的读取访问权限（或可以创建一个新的受信任的客户端证书）的攻击者可以通过访问集群 Secret 或修改访问规则来获得集群管理员权限。即使不提升 kubernetes RBAC 权限，可以修改 etcd 的攻击者也可以在集群内检索所有 API 对象或创建新的工作负载。

许多 kubernetes 提供商配置 etcd 为使用双向 TLS（客户端和服务器端需要互相验证对方的证书）。但这个特性目前 etcd API 鉴权还没有实现。任何具有 etcd 的客户端访问权限的证书都可以用于获得对 etcd 的完全访问权限。如用于健康检查的 etcd 客户端证书也可以授予完全读写访问权限。

Mitigations

  1. 确保 etcd 所信任的证书颁发机构颁发的证书仅用于该服务的身份认证
  2. 控制对 etcd 服务器证书的私钥以及 kube-apiserver 的客户端证书和密钥的访问
  3. 限制对 etcd 的访问，仅限于受信任的 IP 地址段

容器运行时 socket

kubernetes 集群的每个节点上，与容器交互的访问都由容器运行时通过一个 unix socket 控制。具有此 socket 访问权限的攻击者可以启动新容器与正在运行的容器进行交互。

在集群层面，这种访问造成的影响取决于在受威胁节点上运行的容器是否可以访问 Secret 或其他机密信息，攻击者可以使用这些机密数据将权限提升到其他工作节点或 control-plane-panel 组件（如 kube-proxy，kube-scheduler 等）。

Mitigations

  1. 确保严格控制对容器运行时 socket 所在文件系统的访问，尽可能仅限制为 root 用户
  2. 使用 linux 内核的命名空间等机制将 kubelet 与节点上运行的其他组件隔离
  3. 确保限制或禁止使用包含容器运行时 socket 的hostPath挂载，同时hostPath挂载必须设置为只读，以降低攻击者绕过文件系统目录限制的风险
  4. 限制用户对节点的访问，特别是限制超级用户对节点的访问

See Also