vSphere with Kubernetes Supervisor Cluster核心概念与架构解析

Supervisor Cluster主管集群是vSphere with KubernetesTanzu的核心K8s控制平面以特殊控制平面虚拟机形式运行在ESXi集群之上。它打通vSphere虚拟化层与Kubernetes容器层原生集成vCenter资源调度、存储、网络、权限体系。Supervisor集群本身既是K8s控制层可直接运行容器Pod同时支持创建多套独立TKG Guest Cluster客户集群统一管控所有容器工作负载是虚拟化平台落地Tanzu容器能力的基础底座。一、机房现场故障踩坑背景初期部署vSphere with Kubernetes时混淆Supervisor Cluster与TKG Guest Cluster直接尝试在Guest集群中配置存储策略、网络策略多次配置不生效。运维误以为Guest集群拥有完整资源管控权限不清楚存储、vDS网络、虚拟机资源调度权限由Supervisor统一管控。 1.1 初期无效排查操作反复调整TKG Guest集群内部yaml配置尝试直接访问底层ESXi硬件资源持续报错权限不足直接在Guest集群创建持久化存储无法识别vSphere存储策略。1.2 分层定位真实故障根因TKG Guest Cluster属于下层工作集群不具备调度虚拟化底层资源的权限。所有访问vSphere基础设施的请求都需要由上层Supervisor Cluster接收并代理执行。存储策略、容器网络、虚拟机生命周期、身份认证均由Supervisor统一管理。 现场验证修复先在Supervisor集群完成存储策略、网络配置再下发至下游TKG集群容器持久卷、网络策略正常生效。二、Supervisor Cluster基础架构核心说明1、部署形态由3台Control Plane VM控制平面虚拟机组成高可用集群部署在启用vSphere with Kubernetes的ESXi集群中使用vSphere DRS、HA保障控制平面高可用依赖vCenter完成生命周期运维。2、核心定位Supervisor就是运行在虚拟化平台上的Kubernetes控制层充当vSphere和容器工作负载中间枢纽。拥有两类工作负载承载能力直接运行Supervisor Namespace内Pod按需创建独立隔离的TKG Guest集群。3、和TKG Guest Cluster层级关系Supervisor Cluster 父集群主管集群TKG Guest Cluster 子集群客户工作集群。多个Guest集群受同一个Supervisor管控Guest集群对外提供业务容器服务基础设施资源调度交由Supervisor代理。4、内置能力原生支持vSphere CSI容器存储、NSX-T容器网络、基于vCenter的RBAC权限、虚拟机和容器统一监控、Tanzu Service Mesh对接、虚拟机Pod混合调度。三、标准化选型与部署判断标准1、什么时候直接使用Supervisor命名空间运行Pod轻量容器业务集群数量少不需要独立K8s控制平面追求资源精简无需单独维护多套K8s集群。2、什么时候创建独立TKG Guest Cluster多业务隔离需求、多团队运维、需要独立K8s版本、独立插件管理生产业务推荐采用Guest集群隔离工作负载。3、平台硬性约束一套vSphere集群仅能部署一套Supervisor Cluster无法在同一个vSphere集群部署多个主管集群。如需隔离通过命名空间或者新建TKG Guest集群实现。四、高频故障排错清单容器网络CRD资源需要在Supervisor完成配置下发故障现象根因分析标准解决方案TKG Guest集群无法创建PV持久卷找不到vSphere存储策略存储策略仅在Supervisor集群层面注册未同步至下游集群在Supervisor命名空间绑定存储策略通过StorageClass下发至Guest集群登录TKG集群无法查看底层ESXi、虚拟机资源信息Guest集群不具备虚拟化基础设施访问权限权限收拢于Supervisor通过Supervisor集群执行底层资源相关运维操作尝试在集群新建第二套Supervisor部署向导无法执行单个vSphere集群仅支持唯一一套Supervisor Cluster利用命名空间隔离或者部署TKG Guest集群实现业务隔离Supervisor集群Control Plane VM关机所有TKG集群容器调度异常所有Guest集群的调度请求依赖Supervisor控制平面开启集群HA、DRS保障3台控制平面虚拟机持续正常运行容器Pod无法跨节点通信NSX网络策略不生效在Supervisor集群配置容器网络策略不要直接在Guest集群创建底层网络资源五、运维高频误区避坑1.误区TKG Guest Cluster拥有完整独立基础设施权限纠正Guest集群仅管理业务容器所有虚拟化硬件资源操作必须经由Supervisor代理。2.误区Supervisor Cluster只能用来创建TKG集群不能直接运行容器纠正Supervisor内置命名空间可以直接部署运行容器Pod适合轻量级应用。3.误区可以在同一个vSphere集群部署多套Supervisor实现租户隔离纠正单vSphere集群限制仅部署一套Supervisor租户隔离使用Namespace。4.误区TKG Guest集群故障不会影响Supervisor纠正下层工作集群故障不会击穿上层Supervisor资源天然隔离适合多业务生产部署。5.误区升级TKG Guest集群版本会同步升级Supervisor纠正Supervisor与Guest集群版本独立升级但存在版本兼容矩阵升级前需要核对兼容列表。六、vSphere with Kubernetes标准化运维规范架构规范生产环境统一部署3节点Control Plane虚拟机实现Supervisor高可用禁止单节点测试架构上线。资源规范预留充足CPU、内存、共享存储承载Supervisor控制平面避免资源不足导致TKG集群创建失败。运维规范底层存储策略、容器网络、身份认证等基础设施资源统一在Supervisor集群配置管理。权限规范区分Supervisor管理员权限与TKG集群用户权限普通业务用户仅授予Guest集群访问权限。变更规范Supervisor版本升级属于平台级重大变更低峰窗口执行升级前核查所有下游TKG集群版本兼容性。