• 云原生服务云原生服务
    • 云原生备份容灾服务hot
    • 轻量集群服务new
    • 集群巡检服务new

KubeSphere Enterprise v3.3.1 版本说明

从 v3.3.1 开始， QingCloud KubeSphere Container Platform （QKCP）更名为 KubeSphere 企业版（KubeSphere Enterprise）。

可观测性

新特性

  • 新增 Whizard v0.5.0 作为 Prometheus 长期存储，用于多集群监控和告警。
  • 增加可观测中心，支持多集群监控和告警。
  • 引入三个新的 CRD GlobalRuleGroups、ClusterRuleGroups 和 RuleGroups，分别用于多集群、集群和项目告警。现在可以在GlobalRuleGroups、ClusterRuleGroups 和RuleGroups 中定义告警规则，这些规则将转换成 PrometheusRules 中的组。
  • 新增控制器将 PrometheusRules 同步到主集群。
  • 为RuleGroups、ClusterRuleGroups 和 GlobalRuleGroups 新增准入 Webhook 和控制器。
  • 支持修改、启用、禁用或重置内置告警规则。
  • 增加对 KubeSphere 核心组件的告警支持。
  • 支持在删除集群时清理该集群的通知设置。
  • 新增飞书通知渠道。
  • 支持静默通知。
  • 支持更改通知语言。
  • 支持在用户的通知设置中添加该用户账号关联的电子邮件地址。
  • 使用 OpenSearch 代替 Elasticsearch 作为内置的日志存储。
  • 新增 OpenSearch Curator。
  • 新增 OpenSearch 仪表盘。
  • 新增 OpenSearch 作为日志接收器。
  • 支持在 KubeSphere 控制台中搜索 OpenSearch 日志。
  • 为容器新增进程和线程监控指标。
  • 新增支持导入 Grafana 模板实现自定义监控看板。
  • 支持为容器日志、Kubernetes 事件日志和审计日志分别定义数据保留期限。

增强与更新

  • 完善集群概览页面。
  • 完善企业空间和项目的监控。
  • Prometheus 升级至 v2.39.1，Thanos 升级至 v0.29.5（自定义），kube-state-metrics 升级至 v2.6.0。
  • fluentbit-operator 升级至 v0.14.0。
  • Notification Manager 升级至 v2.1.0。
  • Alertmanager 从 v0.21.0 升级至 v0.23.0。
  • Grafana 从 v7.4.3 升级至 v8.3.3。
  • node-exporter 从 v0.18.1 升级至 v1.3.1。
  • Prometheus Operator 从 v0.43.2 升级至 v0.55.1。
  • kube-rbac-proxy 从 v0.8.0 升级至 v0.11.0。
  • configmap-reload 从 v0.3.0 升级至 v0.5.0。
  • kube-events 从 v0.3.0 升级至 v0.4.0。
  • Fluent Bit 从 v1.8.3 升级至 v1.9.4。

问题修复

  • 修复工具箱中日志细节样式。
  • 修复监控指标时间单位不准确的问题。
  • 修复日志搜索过程中的“无可用集群”问题。

DevOps

新特性

  • 提供了基于 GitOps 的持续部署方案，底层支持 Argo CD。
  • 优化使用 API 加载的流水线模板。
  • 在 DevOps 项目的基本信息页上增加白名单功能。
  • 在流水线运行记录页上新增事件标签页。

增强与更新

  • 支持在流水线 UI 上编辑 kubeconfig 绑定模式。
  • 增加提示说明 S2I 和 B2I 功能目前不支持 containerd 运行时。

问题修复

  • 修复 Jenkins 更新不能实时同步的问题。
  • 修复 Jenkins 的 cron 表达式检查失败的问题。
  • 修复导入代码库对话框中仓库和组织不能完全显示的问题。
  • 修复用户无法查看 CI/CD 模板的问题。
  • 删除 CI/CD 模板中的Deprecated 标签，在部署阶段用kubeconfig binding替换kubernetesDeploy。
  • 修复流水线参数未及时更新的问题。
  • 修复 NoSCMPipeline 自动清理行为，保持与 Jenkins 清理配置一致。

多租户和多集群

新特性

  • 支持按标签分组集群。
  • 支持限制添加到集群中的标签数量。
  • 支持自动更新集群的 kubeconfig。
  • 增加集群证书过期的指标。当 kubeconfig 在 7 天或 24 小时内即将过期时，用户将收到通知。
  • 支持移除集群告警。
  • controller-manager 现在会添加当前集群的名称到 kubesphere-config 的 configmap 中。
  • 支持集群成员管理和集群角色管理。

问题修复

  • 当集群未能加入联邦控制平面时，将就绪状态设置为 false。

微服务

新特性

  • 支持 Spring Cloud 并新增 Spring Cloud Operator。
  • 在 Spring Cloud Operator 中支持 Spring Cloud 配置和 Spring Cloud Microservice。
  • 在 Spring Cloud Operator 中支持 Spring Cloud Gateway。
  • 在 Spring Cloud Operator 中支持 Microservice Aggregated API。
  • 在 Spring Cloud Operator 中新增 GatewayRouteConfig。
  • 新增 springcloud-controller helm chart。
  • 新增 kubespher-spring-cloud-starter。

存储

新特性

  • 支持 PVC 扩容，当剩余容量不足时，可以自动扩展 PVC。
  • 支持卷快照内容管理和卷快照类管理。
  • 允许用户为存储类设置授权规则，使存储类只能在特定项目中使用。
  • 提供每个磁盘的使用数据。

问题修复

  • 当用户挂载卷时，将 hostpath 设置为必选项。
  • 更新 storageClass-accessor，删除存储资源时不再需要 accessor 的验证。

认证和授权

新特性

  • 支持手动禁用和启用用户。

增强和更新

  • 在创建或更新企业空间模板时检查用户的集群权限。

问题修复

  • 支持使用 LabelSelector 筛选企业空间角色。
  • 支持自定义或随机设置初始管理员密码。
  • 删除 role-template-manage-users, role-template-view-members 和 role-template-manage-roles 中的注释。
  • 修复 cluster-admin 不能查看和管理 configmap、secret 和 service 账户的问题。
  • 删除角色 workspace-manager。
  • 增加角色 platform-self-provisioner。
  • 删除角色 users-manager。
  • 屏蔽role-template-manage-groups。

DMP

新特性

DMP 框架

  • 新增应用监控信息重构监控。

ClickHouse

  • 支持 ClickHouse 内核版本 v21.1.3.32。
  • 支持更多 ClickHouse 指标。
  • 支持水平和垂直扩容。
  • 支持基于 SVC 的集群负载平衡。
  • 支持 ClickHouse 高可用。
  • 支持展示更多的集群状态。
  • 支持使用 QingCloud CSI 调整磁盘大小。
  • 支持自动配置和管理 ZooKeeper 集群。

MySQL

  • 支持统一设置 S3 和 NFS 的备份时间表。
  • 新增 MySQL sidecar 镜像的版本验证。
  • 支持以 ip:/directory 格式备份到 NFS 地址。
  • 支持创建集群时根据 MySQL 版本验证 MySQL 镜像。
  • 支持必要时切换到单节点模式。
  • 在 E2E 测试中支持 Chaos Mesh。
  • 使用 nfsbcp 简化集群 NFS 备份。
  • 支持 MySQL 配置模板。
  • 支持自定义 MySQL 版本。
  • 支持在备份到 NFS 时检查容量。
  • 在备份 CRD 中增加更多状态字段。
  • 升级 Go 的版本至 v1.17。
  • 支持安装 mysql-operator。

ECK

  • 支持热-温-冷架构。
  • 支持在控制台部署 Kibana。
  • 新增 Elasticsearch Metrics Exporter。

Kafka

  • 支持 Kafka v3.1 和 v3.2。
  • 支持在控制台安装和管理 Kafka 和 ZooKeeper 节点。
  • 支持集群自动故障切换和恢复。
  • 支持集群容量和存储扩容。
  • 增加 Kafka Metrics Exporter。
  • 支持使用 TLS 实现安全内部访问。
  • 支持在控制台管理用户、主题和 ACL。
  • 支持在控制台平衡集群。

MongoDB

  • 支持对 MongoDB 集群进行服务监控。
  • 加强数据库账户管理。
  • 支持动态磁盘扩容。
  • 优化优雅启停逻辑。
  • 支持显示更多集群状态。

OpenSearch

  • 支持安装和管理 OpenSearch、Dashboard 和 Logstash。
  • 支持 OpenSearch v2.3.0。
  • 支持集群计算和存储资源的垂直扩容。
  • 支持调整集群节点的数量。
  • 支持配置变化时滚动更新。
  • 支持 keystore 功能。
  • 增加 OpenSearch Metrics Exporter。
  • 支持使用 TLS 实现安全访问。

PostgreSQL

  • 支持 PostgreSQL 内核版本 v12.12, v13.8, v14.5, 及 v15.0。
  • 支持 PostGIS 和 Citus 插件。
  • 支持水平和垂直扩缩容。
  • 支持半同步流复制。
  • 在控制台中支持更多的指标。

Redis

  • 为 Redis 集群新增代理。
  • 支持 Redis 集群故障转移和自动恢复。
  • 支持资源监控。
  • 新增资源请求和限制。
  • 支持 Redis 集群的密码和无密码设置。
  • 支持 Redis 配置变化时动态更新配置。

应用商店

新特性

  • 支持使用原生 Helm 命令 管理创建的 Helm 版本。
  • OpenPitrix 支持更多选项。

问题修复

  • 修复 Helm Controller NPE 错误引起的 ks-controller-manager 崩溃。
  • 修复应用程序流量监控页面上更新流量策略时出错的问题。

网络

增强和更新

  • 将 OpenELB 与 KubeSphere 集成以暴露 LoadBalancer 服务。

问题修复

  • 修复项目删除后，项目网关未被删除的问题。
  • 修复网关日志查询完成后，日志查询连接没有终止的问题。
  • 修复用户在 IPv6 和 IPv4 双栈环境下无法创建路由规则的问题。
  • 更新 OpenELB 的检查 URL。

服务网格

问题修复

  • 解决使用多种协议的虚拟服务的端口冲突问题。

KubeEdge 集成

新特性

  • 支持节点终端，可以直接在 UI 上登陆集群节点，包括边缘节点。

增强与升级

  • 将 KubeEdge 从 v1.7.2 升级至 v1.9.2。
  • 移除 EdgeWatcher。

问题修复

  • 将集群模块的密钥从 kubeedge 改为edgeruntime。

许可证

新特性

  • 在许可证控制机制中增加集群 ID。
  • 为可观测中心增加许可证。
  • 增加 Spring Cloud 许可证。
  • 为 KubeSphere 许可证新增指标和告警规则。如果 KubeSphere 许可证在 30 天内即将过期，系统将发送通知。
  • 支持在许可证页面上显示许可证 ID。

安全

新特性

  • 引入 Ingress 以支持 HTTPS。

增强与更新

  • 强制要求密码长度至少为 8 个字符。
  • 新增逻辑以检查用户名和密码是否相同。
  • 禁用密码自动填充。
  • 支持一键启用 TLS。
  • 对部分容器镜像进行安全加固。
  • 支持配置密码安全策略，如第一次登录需要强制修改密码。

用户体验

新特性

  • 显示异常容器组的事件。
  • 在原有的 Redis 缓存之外，增加内存缓存。
  • 将产品名称和标识更新为 KubeSphere Enterprise。
  • 新增终端用户许可协议。
  • 在 KubeSphere Web 控制台中支持更多语言。
  • 支持容器生命周期管理功能。
  • 支持从 secret 和 configmaps 中批量创建容器环境变量。
  • 在审计日志搜索对话框中增加信息以提示用户启用审计日志功能。
  • 在创建存储类对话框中新增数据单元。
  • 当用户添加集群时，为用户新增集群查看权限。
  • 在流量监控标签页上增加时间范围选择器。
  • 在用户构建图像时，增加提示以提醒用户选择语言或工件类型。
  • 支持修改每页表格显示的项目数量。
  • 支持批量停止工作负载。
  • 增加创建者注释以确保容器组详情页显示的信息与其他详情页一致。
  • 支持在工作负载类型为statefulsets 或 daemonsets 时显示修订记录。
  • 增加支持页面。
  • 支持验证容器和服务名称的重名。

增强和更新

  • 支持设置默认容器镜像库。
  • 支持容器组相关事件的快捷下拉菜单。
  • 支持快速重定向到目标页面和设置页面上显示的行数。
  • 支持在控制台隐藏外部链接。
  • 删除 HPA 的 cpu-percent 限制为 100 的规定。
  • 优化服务拓扑页面上的服务细节区域。
  • 支持密码合规性检查。
  • 优化了部分页面文案描述。
  • 新增在 webhook 设置页面将访问令牌设置为必填项的功能。
  • 改善成员集群控制台的用户体验。
  • 优化服务列表中的服务类型和外部访问列。
  • 改进注册表验证 API，解决注册表验证失败的问题。

问题修复

  • 修复存储卷挂载到 init 容器时 statefulset 创建失败的问题。
  • 修复用户点击按钮过快造成的应用安装失败问题。
  • 修复创建工作负载时提示的资源请求已经超过了限制报错。
  • 修复在多集群项目中，流量管理和链路追踪标签页上不显示数据的问题。
  • 修复服务拓扑页面的服务详情区域数据未自动更新的问题。
  • 修复编辑有状态服务时不显示现有设置的问题。
  • 修复容器探针被删除后仍显示的问题。
  • 修复服务拓扑页面上的服务详情区域显示不正确的容器名称问题。
  • 修复集群节点页面上的工作节点数量不正确的问题。
  • 修复由无效的集群角色引起的工作区 API 错误。
  • 修复 kubeconfig 二次更新时信息显示错误问题。
  • 修复 kubeconfig 信息中不正确的私钥类型。
  • 修复 LoadBalancer 中不显示密钥的问题。
  • 修正在 LoadBalancer 访问模式下，用户不填写密钥和值时，系统未进行提示的问题。
  • 修复详细页中服务的更新时间不正确的问题。
  • 修复用户在添加 init 容器时提示不准确的问题。
  • 修复用户在 Secret 中输入汉字时报错的问题。
  • 修复总页数显示不正确的问题。
  • 修复应用程序更新时间不准确的问题。
  • 修复文档中的 404 问题。
  • 修复当集群未能加入联邦时，集群的状态仍然为 true 的问题。
  • 修复在金丝雀发布模式下，流量分配失败的问题。
  • 修复当用户将容器组请求设置为 0 时，配置不生效的问题。
  • 修复当选择多个操作系统时，金丝雀发布出错的问题。
  • 修复用户在创建工作负载时无法保存 configmap 配置的问题。

API

  • 将告警 API 升级到 v2beta1，v2alpha1 的告警 API 已停用。
  • 将主集群的 kube-apiserver 暴露为 LoadBalancer 服务，供成员集群访问。
  • 为 ClusterTemplate 提供 RESTful APIs。
  • 提供模板相关的 API。
  • 将 KubeEdge 代理服务改为 http://edgeservice.kubeedge.svc/api/。
  • 将 PatchWorkspaceTemplate 的补丁类型从 MergePatchType 改为 JSONPatchType。