
从 v3.3.1 开始， QingCloud KubeSphere Container Platform （QKCP）更名为 KubeSphere 企业版（KubeSphere Enterprise）。

## 可观测性

### 新特性

- 新增 Whizard v0.5.0 作为 Prometheus 长期存储，用于多集群监控和告警。
- 增加可观测中心，支持多集群监控和告警。
- 引入三个新的 CRD `GlobalRuleGroups`、`ClusterRuleGroups` 和 `RuleGroups`，分别用于多集群、集群和项目告警。现在可以在`GlobalRuleGroups`、`ClusterRuleGroups` 和`RuleGroups` 中定义告警规则，这些规则将转换成 `PrometheusRules` 中的组。
- 新增控制器将 `PrometheusRules` 同步到主集群。
- 为`RuleGroups`、`ClusterRuleGroups` 和 `GlobalRuleGroups` 新增准入 Webhook 和控制器。
- 支持修改、启用、禁用或重置内置告警规则。
- 增加对 KubeSphere 核心组件的告警支持。
- 支持在删除集群时清理该集群的通知设置。
- 新增飞书通知渠道。
- 支持静默通知。
- 支持更改通知语言。
- 支持在用户的通知设置中添加该用户账号关联的电子邮件地址。
- 使用 OpenSearch 代替 Elasticsearch 作为内置的日志存储。
- 新增 OpenSearch Curator。
- 新增 OpenSearch 仪表盘。
- 新增 OpenSearch 作为日志接收器。
- 支持在 KubeSphere 控制台中搜索 OpenSearch 日志。
- 为容器新增进程和线程监控指标。
- 新增支持导入 Grafana 模板实现自定义监控看板。
- 支持为容器日志、Kubernetes 事件日志和审计日志分别定义数据保留期限。

### 增强与更新

- 完善集群概览页面。
- 完善企业空间和项目的监控。
- Prometheus 升级至 v2.39.1，Thanos 升级至 v0.29.5（自定义），kube-state-metrics 升级至 v2.6.0。
- fluentbit-operator 升级至 v0.14.0。
- Notification Manager 升级至 v2.1.0。
- Alertmanager 从 v0.21.0 升级至 v0.23.0。
- Grafana 从 v7.4.3 升级至 v8.3.3。
- node-exporter 从 v0.18.1 升级至 v1.3.1。
- Prometheus Operator 从 v0.43.2 升级至 v0.55.1。
- kube-rbac-proxy 从 v0.8.0 升级至 v0.11.0。
- configmap-reload 从 v0.3.0 升级至 v0.5.0。
- kube-events 从 v0.3.0 升级至 v0.4.0。
- Fluent Bit 从 v1.8.3 升级至 v1.9.4。

### 问题修复

- 修复工具箱中日志细节样式。
- 修复监控指标时间单位不准确的问题。
- 修复日志搜索过程中的“无可用集群”问题。

## DevOps

### 新特性

- 提供了基于 GitOps 的持续部署方案，底层支持 Argo CD。
- 优化使用 API 加载的流水线模板。
- 在 DevOps 项目的**基本信息**页上增加白名单功能。
- 在流水线运行记录页上新增**事件**标签页。

### 增强与更新

- 支持在流水线 UI 上编辑 kubeconfig 绑定模式。
- 增加提示说明 S2I 和 B2I 功能目前不支持 containerd 运行时。

### 问题修复

- 修复 Jenkins 更新不能实时同步的问题。
- 修复 Jenkins 的 cron 表达式检查失败的问题。
- 修复**导入代码库**对话框中仓库和组织不能完全显示的问题。
- 修复用户无法查看 CI/CD 模板的问题。
- 删除 CI/CD 模板中的`Deprecated` 标签，在部署阶段用`kubeconfig binding`替换`kubernetesDeploy`。
- 修复流水线参数未及时更新的问题。
- 修复 NoSCMPipeline 自动清理行为，保持与 Jenkins 清理配置一致。

## 多租户和多集群

### 新特性

- 支持按标签分组集群。
- 支持限制添加到集群中的标签数量。
- 支持自动更新集群的 kubeconfig。
- 增加集群证书过期的指标。当 kubeconfig 在7天或24小时内即将过期时，用户将收到通知。
- 支持移除集群告警。
- controller-manager 现在会添加当前集群的名称到 kubesphere-config 的 configmap 中。
- 支持集群成员管理和集群角色管理。

### 问题修复

- 当集群未能加入联邦控制平面时，将就绪状态设置为 `false`。

## 微服务

### 新特性

- 支持 Spring Cloud 并新增 Spring Cloud Operator。
- 在 Spring Cloud Operator 中支持 Spring Cloud 配置和 Spring Cloud Microservice。
- 在 Spring Cloud Operator 中支持 Spring Cloud Gateway。
- 在 Spring Cloud Operator 中支持 Microservice Aggregated API。
- 在 Spring Cloud Operator 中新增 GatewayRouteConfig。
- 新增 springcloud-controller helm chart。
- 新增 kubespher-spring-cloud-starter。

## 存储

### 新特性

- 支持 PVC 扩容，当剩余容量不足时，可以自动扩展 PVC。
- 支持卷快照内容管理和卷快照类管理。
- 允许用户为存储类设置授权规则，使存储类只能在特定项目中使用。
- 提供每个磁盘的使用数据。

### 问题修复

- 当用户挂载卷时，将 `hostpath` 设置为必选项。
- 更新 storageClass-accessor，删除存储资源时不再需要 accessor 的验证。

## 认证和授权

### 新特性
- 支持手动禁用和启用用户。

### 增强和更新

- 在创建或更新企业空间模板时检查用户的集群权限。


### 问题修复

- 支持使用 LabelSelector 筛选企业空间角色。
- 支持自定义或随机设置初始管理员密码。
- 删除 `role-template-manage-users`, `role-template-view-members` 和 `role-template-manage-roles` 中的注释。
- 修复 `cluster-admin` 不能查看和管理 configmap、secret 和 service 账户的问题。
- 删除角色 `workspace-manager`。
- 增加角色 `platform-self-provisioner`。
- 删除角色 `users-manager`。
- 屏蔽`role-template-manage-groups`。

## DMP

### 新特性

#### DMP 框架

- 新增应用监控信息重构监控。

#### ClickHouse

- 支持 ClickHouse 内核版本 v21.1.3.32。
- 支持更多 ClickHouse 指标。
- 支持水平和垂直扩容。
- 支持基于 SVC 的集群负载平衡。
- 支持 ClickHouse 高可用。
- 支持展示更多的集群状态。
- 支持使用 QingCloud CSI 调整磁盘大小。
- 支持自动配置和管理 ZooKeeper 集群。

#### MySQL

- 支持统一设置 S3 和 NFS 的备份时间表。
- 新增 MySQL sidecar 镜像的版本验证。
- 支持以 **ip:/directory** 格式备份到 NFS 地址。
- 支持创建集群时根据 MySQL 版本验证 MySQL 镜像。
- 支持必要时切换到单节点模式。
- 在 E2E 测试中支持 Chaos Mesh。
- 使用 nfsbcp 简化集群 NFS 备份。
- 支持 MySQL 配置模板。
- 支持自定义 MySQL 版本。
- 支持在备份到 NFS 时检查容量。
- 在备份 CRD 中增加更多状态字段。
- 升级 Go 的版本至 v1.17。
- 支持安装 mysql-operator。
    
#### ECK

- 支持热-温-冷架构。
- 支持在控制台部署 Kibana。
- 新增 Elasticsearch Metrics Exporter。
    
#### Kafka

- 支持 Kafka v3.1 和 v3.2。
- 支持在控制台安装和管理 Kafka 和 ZooKeeper 节点。
- 支持集群自动故障切换和恢复。
- 支持集群容量和存储扩容。
- 增加 Kafka Metrics Exporter。
- 支持使用 TLS 实现安全内部访问。
- 支持在控制台管理用户、主题和 ACL。
- 支持在控制台平衡集群。
    
#### MongoDB

- 支持对 MongoDB 集群进行服务监控。
- 加强数据库账户管理。
- 支持动态磁盘扩容。
- 优化优雅启停逻辑。
- 支持显示更多集群状态。
    
#### OpenSearch

- 支持安装和管理 OpenSearch、Dashboard 和 Logstash。
- 支持 OpenSearch v2.3.0。
- 支持集群计算和存储资源的垂直扩容。
- 支持调整集群节点的数量。
- 支持配置变化时滚动更新。
- 支持 keystore 功能。
- 增加 OpenSearch Metrics Exporter。
- 支持使用 TLS 实现安全访问。
    
#### PostgreSQL
- 支持 PostgreSQL 内核版本 v12.12, v13.8, v14.5, 及 v15.0。
- 支持 PostGIS 和 Citus 插件。
- 支持水平和垂直扩缩容。
- 支持半同步流复制。
- 在控制台中支持更多的指标。
    
#### Redis
- 为 Redis 集群新增代理。
- 支持 Redis 集群故障转移和自动恢复。
- 支持资源监控。
- 新增资源请求和限制。
- 支持 Redis 集群的密码和无密码设置。
- 支持 Redis 配置变化时动态更新配置。

## 应用商店

### 新特性

- 支持使用原生 Helm 命令 管理创建的 Helm 版本。
- OpenPitrix 支持更多选项。

### 问题修复

- 修复 Helm Controller NPE 错误引起的 ks-controller-manager 崩溃。
- 修复应用程序流量监控页面上更新流量策略时出错的问题。

## 网络

### 增强和更新

- 将 OpenELB 与 KubeSphere 集成以暴露 LoadBalancer 服务。

### 问题修复

- 修复项目删除后，项目网关未被删除的问题。
- 修复网关日志查询完成后，日志查询连接没有终止的问题。
- 修复用户在 IPv6 和 IPv4 双栈环境下无法创建路由规则的问题。
- 更新 OpenELB 的检查 URL。

## 服务网格

### 问题修复

- 解决使用多种协议的虚拟服务的端口冲突问题。

## KubeEdge 集成

### 新特性

- 支持节点终端，可以直接在 UI 上登陆集群节点，包括边缘节点。

### 增强与升级

- 将 KubeEdge 从 v1.7.2 升级至 v1.9.2。
- 移除 EdgeWatcher。

### 问题修复
- 将集群模块的密钥从 `kubeedge` 改为`edgeruntime`。

## 许可证

### 新特性

- 在许可证控制机制中增加集群 ID。
- 为可观测中心增加许可证。
- 增加 Spring Cloud 许可证。
- 为 KubeSphere 许可证新增指标和告警规则。如果 KubeSphere 许可证在 30 天内即将过期，系统将发送通知。
- 支持在许可证页面上显示许可证 ID。

## 安全

### 新特性

- 引入 Ingress 以支持 HTTPS。

### 增强与更新

- 强制要求密码长度至少为8个字符。
- 新增逻辑以检查用户名和密码是否相同。
- 禁用密码自动填充。
- 支持一键启用 TLS。
- 对部分容器镜像进行安全加固。
- 支持配置密码安全策略，如第一次登录需要强制修改密码。


## 用户体验

### 新特性

- 显示异常容器组的事件。
- 在原有的 Redis 缓存之外，增加内存缓存。
- 将产品名称和标识更新为 KubeSphere Enterprise。
- 新增终端用户许可协议。
- 在 KubeSphere Web 控制台中支持更多语言。
- 支持容器生命周期管理功能。
- 支持从 secret 和 configmaps 中批量创建容器环境变量。
- 在**审计日志搜索**对话框中增加信息以提示用户启用审计日志功能。
- 在**创建存储类**对话框中新增数据单元。
- 当用户添加集群时，为用户新增集群查看权限。
- 在**流量监控**标签页上增加时间范围选择器。
- 在用户构建图像时，增加提示以提醒用户选择语言或工件类型。
- 支持修改每页表格显示的项目数量。
- 支持批量停止工作负载。
- 增加创建者注释以确保容器组详情页显示的信息与其他详情页一致。
- 支持在工作负载类型为`statefulsets` 或 `daemonsets` 时显示修订记录。
- 增加支持页面。
- 支持验证容器和服务名称的重名。

### 增强和更新

- 支持设置默认容器镜像库。
- 支持容器组相关事件的快捷下拉菜单。
- 支持快速重定向到目标页面和设置页面上显示的行数。
- 支持在控制台隐藏外部链接。
- 删除 HPA 的 cpu-percent 限制为 100 的规定。
- 优化**服务拓扑**页面上的服务细节区域。
- 支持密码合规性检查。
- 优化了部分页面文案描述。
- 新增在 webhook 设置页面将访问令牌设置为必填项的功能。
- 改善成员集群控制台的用户体验。
- 优化服务列表中的**服务类型**和**外部访问**列。
- 改进注册表验证 API，解决注册表验证失败的问题。


### 问题修复

- 修复存储卷挂载到 init 容器时 statefulset 创建失败的问题。
- 修复用户点击按钮过快造成的应用安装失败问题。
- 修复创建工作负载时提示的资源请求已经超过了限制报错。
- 修复在多集群项目中，**流量管理**和**链路追踪**标签页上不显示数据的问题。
- 修复**服务拓扑**页面的服务详情区域数据未自动更新的问题。
- 修复编辑有状态服务时不显示现有设置的问题。
- 修复容器探针被删除后仍显示的问题。
- 修复**服务拓扑**页面上的服务详情区域显示不正确的容器名称问题。
- 修复**集群节点**页面上的工作节点数量不正确的问题。
- 修复由无效的集群角色引起的工作区 API 错误。
- 修复 kubeconfig 二次更新时信息显示错误问题。
- 修复 kubeconfig 信息中不正确的私钥类型。
- 修复 LoadBalancer 中不显示密钥的问题。
- 修正在 LoadBalancer 访问模式下，用户不填写密钥和值时，系统未进行提示的问题。
- 修复详细页中服务的更新时间不正确的问题。
- 修复用户在添加 init 容器时提示不准确的问题。
- 修复用户在 Secret 中输入汉字时报错的问题。
- 修复总页数显示不正确的问题。
- 修复应用程序更新时间不准确的问题。
- 修复文档中的 404 问题。
- 修复当集群未能加入联邦时，集群的状态仍然为 `true` 的问题。
- 修复在金丝雀发布模式下，流量分配失败的问题。
- 修复当用户将容器组请求设置为 0 时，配置不生效的问题。
- 修复当选择多个操作系统时，金丝雀发布出错的问题。
- 修复用户在创建工作负载时无法保存 configmap 配置的问题。

## API

- 将告警 API 升级到 v2beta1，v2alpha1 的告警 API 已停用。
- 将主集群的 kube-apiserver 暴露为 LoadBalancer 服务，供成员集群访问。
- 为 ClusterTemplate 提供 RESTful APIs。
- 提供模板相关的 API。
- 将 KubeEdge 代理服务改为 `http://edgeservice.kubeedge.svc/api/`。
- 将 `PatchWorkspaceTemplate` 的补丁类型从 `MergePatchType` 改为 `JSONPatchType`。

v3.3.1 版本说明

KubeSphere Enterprise v3.3.1 版本说明

版本说明

KubeSphere Enterprise 版本说明

KubeSphere 企业版（ KubeSphere Enterprise），是基于 Kubernetes 内核的分布式多租户商用云原生操作系统。在开源能力的基础上，在多云集群管理、微服务治理、应用管理等多个核心业务场景进行功能延伸。