v4.1.0 版本说明

KubeSphere Enterprise v4.1.0 版本说明


## 主要特性

### 轻量化

- 裁剪不必要的组件。
- 通过 helm 快速部署与卸载。

### 扩展组件

- 采用全新的微内核架构 LuBan，支持功能扩展。
- 提供在线的扩展组件商店，以及部分免费订阅的扩展组件。

### 新的 UI

- 全新的工作台。
- 提供全局的扩展组件注入点。

### 多集群

- 简化 member 集群中部署的 agent。
- 支持通过 kubeconfig 一键导入 member 集群。


### 项目管理

- 支持 Deployment、DaemonSet、StatefulSet 、Job、CronJob 等工作负载的管理。
- 支持 Secret、ConfigMap、ServiceAccount 等资源的管理。
- 支持 Service、Ingress 等资源的管理。
- 支持 PVC 等资源的管理。
- 支持 Quota、LimitRange 等项目配置。

### 企业空间管理

- 支持跨集群项目管理。

### 集群管理

- 支持节点管理：节点驱逐、污点管理等。
- 支持集群项目管理。
- 支持 Deployment、DaemonSet、StatefulSet 、Job、CronJob、Secret、ConfigMap、ServiceAccount 等集群资源的管理。
- 支持 StorageClass、PresistentVolumeClaim 的管理。

### DevOps

- 独立的 DevOps 项目，提供访问可控的 CI/CD 流水线。
- 开箱即用的 DevOps 功能，无需复杂的 Jenkins 配置。
- 基于 Jenkinsfile 的流水线，提供一致的用户体验，支持多个代码仓库。
- 图形编辑面板，用于创建流水线，学习成本低。
- 强大的工具集成机制，例如 SonarQube，用于代码质量检查。

  
## 限制和局限

暂不支持从 3.x 版本升级到 4.x，将在后续版本中支持 3.x 版本的升级。

以下功能暂不可用，将通过扩展组件的方式提供：

- 监控
- 告警
- 通知
- Istio
- Spring Cloud
- 项目网关、集群网关
- 存储卷快照
- 网络隔离
- Whizard 可观测中心
- RadonDB DMP

以下功能暂不可用，将在后续的版本中支持：

- 用户组管理
- 应用管理 (OpenPitrix) 组件
- 在 DevOps 项目中通过 S2I / B2I 功能构建镜像


v4.0.0 版本说明

KubeSphere Enterprise v4.0.0 版本说明



## DevOps

### 优化增强

- 支持在 Installer 配置中自定义 jenkins service 类型，同时优化 ArgoCD 相关服务的探针超时时间。
- 合并 DevOps 相关告警规则到一个 group 中。
- 升级 Jenkins 版本到 2.346.3 并升级部分插件。
- Jenkins 中增加获取构建用户信息的插件并添加该 step 到图形化流水线面板中。
- 重构 DevOps 接口，避免从 jenkins 直接获取数据。

### 问题修复

- 修复 DevOps 单分支流水线请求分支接口 bug。
- 修复多分支流水线 git 类型 discover branches 默认值。
- 修复图形化编辑流水线时 shell 面板保存无效的问题。
- 修复流水线运行日志过大无法在线查看的问题。
- 修复回放流水线时的报错提示问题。
- 修复 DevOps 运行日志页面布局。
- 修复 DevOps 项目在最近访问菜单中的显示问题。


## 多集群

### 优化增强

- 添加集群时校验集群角色。


### 问题修复

- 修复针对新集群的 webhook 校验问题。
- 仅在集群就绪时清理集群。
- 修复删除集群后未移除企业空间授权的问题。
- 修复添加集群时，设置的标签没有生效。


## 可观测性

### 新特性

#### 监控

- 增加 calico-exporter 组件，为 Calico 提供监控指标，包括 BGP、IPPool 和 IPAM。

#### 告警

- 支持按照关键字过滤告警消息。
- 添加/更新规则时支持设置 labels。

#### 日志

- 支持用户以正序/倒序的方式导出日志。

#### 通知

- 更新 notification manager 版本以支持用户使用正则表达式来过滤通知。
- 支持多个接收者 & 配置通知过滤/静默可以支持正则表达式。


### 优化增强

#### 监控

- Whizard 部署支持更多参数配置。
- 优化 process-exporter 配置提高其响应速度。
- 更新 blackbox-exporter 至 v0.24.0 版本。
- 更新内置的部分无告警级别规则为提示(info)级别。
- Whizard 升级至 v0.9.0 版本。
- 可观测中心选择要监控的集群时，至少要选中一个集群。
- 集群概览页面的”集群配额统计“移除用量信息。

#### 告警

- 增加 default-http-backend 的 CPU limits 以避免 CPUThrottlingHigh 告警。
- 增加一个 NodeExporterDown 内置告警规则，调整 kube-state-metrics 默认导出 kube_node_info 指标。
- 更新部分监控组件 cpu limit 避免 CPUThrottlingHigh告警。
- 支持配置提示(Info)级别的告警规则。
- 增加 calico 相关的告警规则。
- 显示监控目标全名。

#### 日志

- 优化 fluentbit 的各项参数，提高日志采集效率。
- 用户使用外置 Elasticsearch/OpenSearch 集群时可以自动更新账户名与密码。
- 用户可以控制 Elasticsearch/OpenSearch curator 插件开启或者关闭。
- 添加开关以便用户可以禁用 output 从而停止向 elasticsearch/opensearch 输出日志。

#### 通知

- 升级 notification manager 到 v2.4.0。

#### 审计

- 升级 kube-auditing 到 v0.3.0 版本。


### 问题修复

#### 监控

- 修复企业空间存储统计问题。
- 修复全局告警的模板规则生效范围过大的问题。
- 修复部分 target down 规则在多集群模式下不能按预期告警的问题。
- 优化 pvc 监控提示文案。

#### 告警

- 修复 member 集群解绑后，仍能在可观测中心看到来自该 member 集群的告警信息。
- 修复当集群被移除后，基于该集群创建的告警规则依然存在。
- 修复多集群场景下通知渠道中配置了集群过滤条件时收到重复通知的问题。
- 修复创建自定义规则组时，获取不到集群下的企业空间 system-workspace。
- 修复了在创建自定义规则组时，不设置标签，保存按钮无法点击的问题。
- 修复了「集群」和「项目」的「告警」中规则名称不显示的问题。
- 在告警规则的监控目标中，项目名称没有回填。

#### 通知

- 修复了通知历史在 containerd 环境下的适配问题。



## 存储

### 新特性

- 支持存储用量按照存储类型分类统计。

### 优化增强

- 创建存储类时，移除 GlusterFS 和 Ceph RBD 的选项。

### 问题修复

- 修复了在某些情况下存储类授权规则失效的问题。
- 修复了存储类授权规则的 webhookrules。


## 网关

### 问题修复

- 修复没有指定网关安装位置时，更新企业空间网关的错误。
- 修复普通账户设置企业空间的 regular 或 self-provisioner 权限后，查看企业空间网关报权限错误。
- 修复普通账户设置企业空间的 regular 或 self-provisioner 权限后，查看企业空间网关监控报权限错误。

## DMP

### 增强和升级
 
- OpenSearch 中新增 Logstash 角色参数配置和独立监控告警功能。
- OpenSearch 支持版本从 2.3.0 升级到 OpenSearch 2.8.0。
- Kafka 支持针对用户的限流限速功能，并增加权限规则描述提示。
- Kafka 默认证书有效期调整为 10 年。
- Kafka 支持增加已创建 topic 的 partition 数量。
- Kafka 新增 Jmx 参数，支持开启 Jmx 端口对接 cmak。
- 升级 Kafka Operator 为 0.2.0 版本，升级 OpenSearch Operator 为 2.0.25 版本，下架 ECK、ClickHouse 应用，下架 Redis Cluster & Standalone 6.2.5 版本。
- OpenSearch、Kafka、Redis 支持预置集群告警。

### 问题修复   

- OpenSearch 修正部分监控指标的 PromQL。
- OpenSearch 将 Logstash 角色修改为 Statefulset 以保证重建 pod 仍然可以获取到监控信息。


## 用户体验

### 新特性

- 增加了通过模糊搜索 pod ip 对 pod 进行筛选。
- 通过 url 配置 ldap 的登陆页面登录。
- Pod 列表支持通过 ip 查询。

### 优化增强

- 修改 Informer 的默认同步周期为 10 小时。
- License 失效后，通知历史与用户视角的通知配置页面的功能不再被锁定。

### 问题修复

- 修复了「可观测中心」首页的样式问题。
- 修复在创建工作负载时，不选择镜像tag，添加的容器镜像有误 。
- 修复编辑工作负载时容器镜像无法搜索。
- 修复在编辑 crd 时显示其 status 数据。
- 修复从应用模板中部署时没有 values.yaml 导致 loading 状态异常。
- 修复为项目分配企业空间，清除企业空间信息时不会同步清除管理员信息。

## 认证和授权

### 优化增强

- 为 redis、openldap、metrics-server 添加资源配置。

## 网络

### 优化增强

- 支持项目空间网络策略自定义端口范围（后端）。


v3.5.0 版本说明

KubeSphere Enterprise v3.5.0 版本说明


## DevOps

### 优化增强

- 支持在流水线创建和编辑页面复用已创建的代码仓库。
- 优化流水线运行日志详情页面布局。
- 优化 devops-jenkins JVM 内存配置。
- 增加流水线运行回放功能的文字提示。
- 流水线中增加 email extension 插件支持。

### 问题修复

- 修复已被删除的分支流水线仍然能够被触发的问题。
- 修复关联不存在项目的 ArgoCD 列表页报错。
- 将持续部署的 ArgoCD 加入系统项目中。
- 修复删除持续部署应用时未自动删除部署资源的问题。
- 修复下载多分支流水线制品失败的问题。

## 可观测性

### 优化增强

- 优化节点告警信息，去掉不必要的 pod 和 namespace 标签。
- 增强内置的 KubePersistentVlumeErrors 规则，产生的告警消息将包含与 PV 关联的 PVC 信息。
- 升级 Whizard 版本至 v0.7.0。
- 优化多集群 PrometheusRule 同步逻辑，避免主集群在成员集群解绑后规则同步状态未清理问题。
- alerting 及  observability 模块增强httpClient配置。
- 支持设置导出日志的最大数量。
- 支持通过状态查询通知历史。

### 问题修复

- 修复 ETCD 监控配置问题，ETCD 未启用安全设置时不再配置 kube-etcd-client-certs 到 Prometheus。
- 修复 Infohibitor 规则。
- 修复 node_timex_sync_status 未采集问题。
- 修复部分内置告警规则使用的指标不存在的问题。
## 应用商店

### 问题修复

- 修复应用商店中部分应用无法安装的问题。


## 多租户和多集群

### 问题修复

- 修复企业空间授权集群存在重复条目的问题。

## 网络

### 问题修复

- 修复 ippool block 字段验证。


## 安全

### 优化增强

- 支持 Pod Security Standards 配置自动注入。

## 验证和授权

### 问题修复

- 修复配置文件重载后 IdentityProvider 冲突的问题。
- 修复 enableMultiLogin 配置不生效的问题。

## DMP
### OpenSearch
#### 优化增强

- 增加 JVM 自适应，若未定义，设置 JVM 为容器内存的一半。
- 增加救援模式功能，允许用户在集群为非 green 状态下重启集群。
- 支持通过配置对接第三方身份认证 OIDC。
- 提升最大磁盘规格为 15T。

#### 问题修复

- 当存储类型不支持扩容时，前端提示用户无法做扩容操作。
- 修复 pod IP 变更后，监控数据不全的问题。
### Redis Cluster 和 Redis Sentinel
#### 优化增强

- 增加 maxmemory 参数自适应，若未定义，设置为容器内存的 95%。
- 支持调整日志级别，并优化日志内容。
- 提升安全性，针对密码做加密。
#### 问题修复

- 修复升级后，集群状态在 "更新中" 和 "运行中" 反复切换的问题。
- 修复修改密码后无法获取监控数据的问题。
## 用户体验

- 统一工作负载和服务的删除逻辑，删除时同步删除关联资源。
- 工作空间列表去掉已删除的集群标签。
- 修复了 Harbor 镜像根据 project 和 repo 名称查询的问题。
- 修复自定义伸缩（hap）里的开始时间和结束时间的 cron 校验错误问题。
- 修复项目配额限制不能更改问题。
- 修复镜像服务地址设置为 **https://docker.io**，在搜索镜像时，接口报错。
- 新增搜索镜像时列出标签列表并确认选择标签。

### API 更新

- 新增 checkDevopsName 和 checkPipelineName 两个 API 用于校验 DevOps 项目和流水线名称是否重复。

- 增加验证 PromQL 合法性的 API。

- 废弃集群状态中的 Configz 字段（将在下个大版本中移除）。

v3.4.1 版本说明

KubeSphere Enterprise v3.4.1 版本说明


## DevOps

### 新特性

- 支持通过 CRD 定义流水线 Step。
- 将 PipelineRun 的结果保存到 configmap 中。

### 优化增强

- 优化编辑流水线流程，支持异步调用 Jenkins 的 toJson 和 toJenkinsfile API。
- 支持在 git provider 中显示 CI 的进度。
- 支持按照类别过滤流水线和多分支流水线。
- 升级 Jenkins 中 Subversion 相关插件。

### 问题修复

- 修复用户修改并保存流水线配置后 Webhook 配置丢失的问题。
- 修复 PipelineRun 从“取消”状态变成“未运行”状态的问题。
- 修复 DevOps 流水线 controller 从 Jenkins 中单次无法获取运行 job 的信息时触发获取失败的问题。
- 修复由于密钥不匹配导致的新用户运行流水线失败的问题。
- 修复编辑流水线中保留期限和构建记录最大数量表单验证未限定数字的问题。

## 存储

### 新特性

- 添加存储资源配额设置。
- 支持存储配额管理功能。

### 问题修复

- 通过存储配额限制扩容操作。
- 更新存储配额相关的 Webhook。
- 修复持久卷列表中绑定状态不正确的问题。

## 服务网格

### 新特性

- 升级 Istio 版本到 v1.14.6，Kiali 版本升级到 v1.50，Jaeger 版本升级到 1.29。

### 问题修复

- 修复使用默认内置 Elasticsearch 配置创建 jaeger-secret 错误导致 Jaeger 组件启用失败的问题。

## 可观测性

### 新特性

- 支持通过 KubeSphere Whizard 可观测中心配置 Whizard 参数。
- 新增自定义伸缩功能，支持基于各种自定义指标自动伸缩工作负载，支持的伸缩器包括 Cron, Promethus, Kafka 等。
- 集成 processor exporter。
- 集成 blackbox-exporter。

### 优化增强

- 优化可观测中心页面中告警规则的显示。
- 优化无数据展示时的监控页面。
- 内置日志存储从 Elasticsearch 切换为 OpenSearch, 内置 Elasticsearch 已被移除。
- 升级 logsidecar-injector 到 v1.2.0。
- 升级 Notification Manager 到 v2.3.0。
- 升级 kube-events 到 v0.6.0。
- 升级 Whizard 到 v0.6.0。
- 支持 Prometheus 认证配置。
- 升级 OpenSearch 以及 OpenSearch Dashboard 到 v2.6.0。

### 问题修复

- 修复资源用量排行页面操作排序时导致系统页面卡死的问题。
- 修复内置告警规则不能修改应用集群的问题。
- 修复告警目标显示不准确的问题。
- 修复告警规则超过一定数量后未正常触发告警的问题。
- 修复告警模块启用问题。

## KubeEdge 集成

### 优化增强

- 升级 KubeEdge 至 v1.13.0。

## 网络

### 优化增强

- 优化 IP 池配置参数。

### 问题修复

- 修复 IP 池 locales 文件。
- 修改禁用 IP 池时，迁移该 IP 池下的容器组到其他的 IP 池的迁移规则。
- 修改创建 IP 池时 Overlay 的规则。

## 微服务

### 新特性

- 网关新增 affinity, tolerations 参数配置。
- 支持企业空间网关。
- 增加网关设置 worker-processes 的默认值。

### 优化增强

- 升级 nginx-ingress 至 v1.3.1。

### 问题修复

- 修复集群网关数据重复的问题。
- 修复获取集群网关数据中没有集群信息的问题。

## App Store

### 优化增强

- 为 Password 类型的 Identity Provider 增加独立的认证接口。
- 新增 IAM v1beta1 API。

### 问题修复

- 修复应用安装失败后变更配置无法重新安装的问题。
- 移除在 KSE v3.0.0 版本中标记为弃用的认证 API。
- 将 IAM v1alpha2 API 标记为弃用。

## 认证与授权

### 新特性

- 在许可证页面增加授权状态提示。
- 支持在许可证页面隐藏未授权组件。
- 增加最终用户许可协议查看页面。

### 优化增强

- 更新最短密码长度到 8 位。

## 安全

### 优化增强

- ks-core 使用非 root 用户运行并替换更安全的基础镜像。
- 修复 kubesphere/spring-cloud-gateway 中潜在的堆转储文件泄露漏洞。
- 用户首次登录强制修改初始密码。
- 提供更完善的安全材料：基于 SPDX 标准的 SBOM、开源软件清单。

## DMP

### OpenSearch

#### 优化增强

- operator 版本号升级为 v2.0.19 ， chart 版本号升级为 v2.0.21。
- 部署时 Service 类型支持修改为 NodePort。
- 增加日志输出格式配置。

#### 问题修复

- 修复磁盘单位校验、转换的问题。
- 增加 kubesphere 标签，特定监控场景下可以正确展示数据。
- 修复多集群场景下监控无法展示的问题。
- 修复日志时间戳问题。

### MongoDB

#### 优化增强

- chart 版本号升级为 v2.0.8。

#### 问题修复

- 修复磁盘单位校验、转换的问题。
- 增加 kubesphere 标签，特定监控场景下可以正确展示数据。

### Redis

#### 优化增强

- chart 版本号升级为 v2.0.8。
- 增强 Sentinel 高可用能力。

#### 问题修复

- 修复了安装配置中 namespaceOverride 参数不生效的问题。
- 修改了镜像的拉取策略（Aways 修改为 IfNotPresent）。
- 增加 kubesphere 标签，特定监控场景下可以正确展示数据。

### MySQL

#### 问题修复

- 修复 helm chart 中 imageNamespaceOverride 不能正确替换镜像的问题。
- 修复了 MySQL 8.0 版本中，配置文件的权限错误问题。

### PostgreSQL

#### 优化增强

- chart 版本号升级为 v1.2.0。
- 新增了创建备份、定时备份和按备份还原的功能。
- 更新 crd 字段设计。

#### 问题修复

- 增加 kubesphere 标签，特定监控场景下可以正确展示数据。

### Kafka

#### 优化增强

- 更新 chart 版本到 0.1.1，移除无用的 metric 统计 yaml。
- 新增 num.partition 配置参数。
- topic 名称增强，支持字符， 并增加支持长度。

#### 问题修复

- 默认不启用网络策略配置。
- 修复部署 Kafka 立即打开无法获取 secret 报错的问题。

## 用户体验

- 支持集群、项目、企业空间、DevOps 项目改名。
- 优化部分词条和描述信息。
- 修复页面缺失别名搜索。
- 修复创建服务和创建应用表单里容器设置中没有 GPU 限制的问题。
- 修复项目灰度发布详情页跳转到容器详情后返回 URL 错误。
- 修复集群名称过长的问题。
- 修复集群可见性列表和弹窗样式。
- 修复 system-workspace 没有显示所在集群的问题。
- 修复修改集群名称后，集群详情页面接口报错的问题。
- 修改别名匹配正则。
- 修复 Webhook URL 字段表单样式。
- 支持设置容器组优雅退出时间。
- 优化 LDAP 登录页面。
- 增加别名展示权重。

## API 变更

### API 弃用

随着 API 的发展，旧的 API 会被弃用并最终被移除。以下 API 已被标记为弃用，并将在下一个主要版本中被移除。

- 所有 `iam.kubesphere.io` 这个 APIGroup 下 alpha 版本的资源型 API(**iam.kubesphere.io/v1alpha2**)。
- Alpha 版本的 `登录` API (**/kapis/iam.kubesphere.io/v1alpha2/login**)。
- 所有 alpha 版本的资源型 API (resources.kubesphere.io/v1alpha2)。
- 所有 alpha 版本的资源型 API (resources.kubesphere.io/v1alpha3)。

### API 移除

v3.4 版本将停止提供以下 API。取而代之的是更新、更稳定的 API。

- alpha 版本的 `tojenkinsfile` API (**/kapis/devops.kubesphere.io/v1alpha2/tojenkinsfile**)。
- alpha 版本的 `tojson` API (**/kapis/devops.kubesphere.io/v1alpha2/tojson**)。
- alpha 版本的 `Authentication` API (**/kapis/iam.kubesphere.io/v1alpha2/login**)。


v3.4.0 版本说明

KubeSphere Enterprise v3.4.0 版本说明


从 v3.3.1 开始， QingCloud KubeSphere Container Platform （QKCP）更名为 KubeSphere 企业版（KubeSphere Enterprise）。

## 可观测性

### 新特性

- 新增 Whizard v0.5.0 作为 Prometheus 长期存储，用于多集群监控和告警。
- 增加可观测中心，支持多集群监控和告警。
- 引入三个新的 CRD `GlobalRuleGroups`、`ClusterRuleGroups` 和 `RuleGroups`，分别用于多集群、集群和项目告警。现在可以在`GlobalRuleGroups`、`ClusterRuleGroups` 和`RuleGroups` 中定义告警规则，这些规则将转换成 `PrometheusRules` 中的组。
- 新增控制器将 `PrometheusRules` 同步到主集群。
- 为`RuleGroups`、`ClusterRuleGroups` 和 `GlobalRuleGroups` 新增准入 Webhook 和控制器。
- 支持修改、启用、禁用或重置内置告警规则。
- 增加对 KubeSphere 核心组件的告警支持。
- 支持在删除集群时清理该集群的通知设置。
- 新增飞书通知渠道。
- 支持静默通知。
- 支持更改通知语言。
- 支持在用户的通知设置中添加该用户账号关联的电子邮件地址。
- 使用 OpenSearch 代替 Elasticsearch 作为内置的日志存储。
- 新增 OpenSearch Curator。
- 新增 OpenSearch 仪表盘。
- 新增 OpenSearch 作为日志接收器。
- 支持在 KubeSphere 控制台中搜索 OpenSearch 日志。
- 为容器新增进程和线程监控指标。
- 新增支持导入 Grafana 模板实现自定义监控看板。
- 支持为容器日志、Kubernetes 事件日志和审计日志分别定义数据保留期限。

### 增强与更新

- 完善集群概览页面。
- 完善企业空间和项目的监控。
- Prometheus 升级至 v2.39.1，Thanos 升级至 v0.29.5（自定义），kube-state-metrics 升级至 v2.6.0。
- fluentbit-operator 升级至 v0.14.0。
- Notification Manager 升级至 v2.1.0。
- Alertmanager 从 v0.21.0 升级至 v0.23.0。
- Grafana 从 v7.4.3 升级至 v8.3.3。
- node-exporter 从 v0.18.1 升级至 v1.3.1。
- Prometheus Operator 从 v0.43.2 升级至 v0.55.1。
- kube-rbac-proxy 从 v0.8.0 升级至 v0.11.0。
- configmap-reload 从 v0.3.0 升级至 v0.5.0。
- kube-events 从 v0.3.0 升级至 v0.4.0。
- Fluent Bit 从 v1.8.3 升级至 v1.9.4。

### 问题修复

- 修复工具箱中日志细节样式。
- 修复监控指标时间单位不准确的问题。
- 修复日志搜索过程中的“无可用集群”问题。

## DevOps

### 新特性

- 提供了基于 GitOps 的持续部署方案，底层支持 Argo CD。
- 优化使用 API 加载的流水线模板。
- 在 DevOps 项目的**基本信息**页上增加白名单功能。
- 在流水线运行记录页上新增**事件**标签页。

### 增强与更新

- 支持在流水线 UI 上编辑 kubeconfig 绑定模式。
- 增加提示说明 S2I 和 B2I 功能目前不支持 containerd 运行时。

### 问题修复

- 修复 Jenkins 更新不能实时同步的问题。
- 修复 Jenkins 的 cron 表达式检查失败的问题。
- 修复**导入代码库**对话框中仓库和组织不能完全显示的问题。
- 修复用户无法查看 CI/CD 模板的问题。
- 删除 CI/CD 模板中的`Deprecated` 标签，在部署阶段用`kubeconfig binding`替换`kubernetesDeploy`。
- 修复流水线参数未及时更新的问题。
- 修复 NoSCMPipeline 自动清理行为，保持与 Jenkins 清理配置一致。

## 多租户和多集群

### 新特性

- 支持按标签分组集群。
- 支持限制添加到集群中的标签数量。
- 支持自动更新集群的 kubeconfig。
- 增加集群证书过期的指标。当 kubeconfig 在 7 天或 24 小时内即将过期时，用户将收到通知。
- 支持移除集群告警。
- controller-manager 现在会添加当前集群的名称到 kubesphere-config 的 configmap 中。
- 支持集群成员管理和集群角色管理。

### 问题修复

- 当集群未能加入联邦控制平面时，将就绪状态设置为 `false`。

## 微服务

### 新特性

- 支持 Spring Cloud 并新增 Spring Cloud Operator。
- 在 Spring Cloud Operator 中支持 Spring Cloud 配置和 Spring Cloud Microservice。
- 在 Spring Cloud Operator 中支持 Spring Cloud Gateway。
- 在 Spring Cloud Operator 中支持 Microservice Aggregated API。
- 在 Spring Cloud Operator 中新增 GatewayRouteConfig。
- 新增 springcloud-controller helm chart。
- 新增 kubespher-spring-cloud-starter。

## 存储

### 新特性

- 支持 PVC 扩容，当剩余容量不足时，可以自动扩展 PVC。
- 支持卷快照内容管理和卷快照类管理。
- 允许用户为存储类设置授权规则，使存储类只能在特定项目中使用。
- 提供每个磁盘的使用数据。

### 问题修复

- 当用户挂载卷时，将 `hostpath` 设置为必选项。
- 更新 storageClass-accessor，删除存储资源时不再需要 accessor 的验证。

## 认证和授权

### 新特性

- 支持手动禁用和启用用户。

### 增强和更新

- 在创建或更新企业空间模板时检查用户的集群权限。

### 问题修复

- 支持使用 LabelSelector 筛选企业空间角色。
- 支持自定义或随机设置初始管理员密码。
- 删除 `role-template-manage-users`, `role-template-view-members` 和 `role-template-manage-roles` 中的注释。
- 修复 `cluster-admin` 不能查看和管理 configmap、secret 和 service 账户的问题。
- 删除角色 `workspace-manager`。
- 增加角色 `platform-self-provisioner`。
- 删除角色 `users-manager`。
- 屏蔽`role-template-manage-groups`。

## DMP

### 新特性

#### DMP 框架

- 新增应用监控信息重构监控。

#### ClickHouse

- 支持 ClickHouse 内核版本 v21.1.3.32。
- 支持更多 ClickHouse 指标。
- 支持水平和垂直扩容。
- 支持基于 SVC 的集群负载平衡。
- 支持 ClickHouse 高可用。
- 支持展示更多的集群状态。
- 支持使用 QingCloud CSI 调整磁盘大小。
- 支持自动配置和管理 ZooKeeper 集群。

#### MySQL

- 支持统一设置 S3 和 NFS 的备份时间表。
- 新增 MySQL sidecar 镜像的版本验证。
- 支持以 **ip:/directory** 格式备份到 NFS 地址。
- 支持创建集群时根据 MySQL 版本验证 MySQL 镜像。
- 支持必要时切换到单节点模式。
- 在 E2E 测试中支持 Chaos Mesh。
- 使用 nfsbcp 简化集群 NFS 备份。
- 支持 MySQL 配置模板。
- 支持自定义 MySQL 版本。
- 支持在备份到 NFS 时检查容量。
- 在备份 CRD 中增加更多状态字段。
- 升级 Go 的版本至 v1.17。
- 支持安装 mysql-operator。

#### ECK

- 支持热-温-冷架构。
- 支持在控制台部署 Kibana。
- 新增 Elasticsearch Metrics Exporter。

#### Kafka

- 支持 Kafka v3.1 和 v3.2。
- 支持在控制台安装和管理 Kafka 和 ZooKeeper 节点。
- 支持集群自动故障切换和恢复。
- 支持集群容量和存储扩容。
- 增加 Kafka Metrics Exporter。
- 支持使用 TLS 实现安全内部访问。
- 支持在控制台管理用户、主题和 ACL。
- 支持在控制台平衡集群。

#### MongoDB

- 支持对 MongoDB 集群进行服务监控。
- 加强数据库账户管理。
- 支持动态磁盘扩容。
- 优化优雅启停逻辑。
- 支持显示更多集群状态。

#### OpenSearch

- 支持安装和管理 OpenSearch、Dashboard 和 Logstash。
- 支持 OpenSearch v2.3.0。
- 支持集群计算和存储资源的垂直扩容。
- 支持调整集群节点的数量。
- 支持配置变化时滚动更新。
- 支持 keystore 功能。
- 增加 OpenSearch Metrics Exporter。
- 支持使用 TLS 实现安全访问。

#### PostgreSQL

- 支持 PostgreSQL 内核版本 v12.12, v13.8, v14.5, 及 v15.0。
- 支持 PostGIS 和 Citus 插件。
- 支持水平和垂直扩缩容。
- 支持半同步流复制。
- 在控制台中支持更多的指标。

#### Redis

- 为 Redis 集群新增代理。
- 支持 Redis 集群故障转移和自动恢复。
- 支持资源监控。
- 新增资源请求和限制。
- 支持 Redis 集群的密码和无密码设置。
- 支持 Redis 配置变化时动态更新配置。

## 应用商店

### 新特性

- 支持使用原生 Helm 命令 管理创建的 Helm 版本。
- OpenPitrix 支持更多选项。

### 问题修复

- 修复 Helm Controller NPE 错误引起的 ks-controller-manager 崩溃。
- 修复应用程序流量监控页面上更新流量策略时出错的问题。

## 网络

### 增强和更新

- 将 OpenELB 与 KubeSphere 集成以暴露 LoadBalancer 服务。

### 问题修复

- 修复项目删除后，项目网关未被删除的问题。
- 修复网关日志查询完成后，日志查询连接没有终止的问题。
- 修复用户在 IPv6 和 IPv4 双栈环境下无法创建路由规则的问题。
- 更新 OpenELB 的检查 URL。

## 服务网格

### 问题修复

- 解决使用多种协议的虚拟服务的端口冲突问题。

## KubeEdge 集成

### 新特性

- 支持节点终端，可以直接在 UI 上登陆集群节点，包括边缘节点。

### 增强与升级

- 将 KubeEdge 从 v1.7.2 升级至 v1.9.2。
- 移除 EdgeWatcher。

### 问题修复

- 将集群模块的密钥从 `kubeedge` 改为`edgeruntime`。

## 许可证

### 新特性

- 在许可证控制机制中增加集群 ID。
- 为可观测中心增加许可证。
- 增加 Spring Cloud 许可证。
- 为 KubeSphere 许可证新增指标和告警规则。如果 KubeSphere 许可证在 30 天内即将过期，系统将发送通知。
- 支持在许可证页面上显示许可证 ID。

## 安全

### 新特性

- 引入 Ingress 以支持 HTTPS。

### 增强与更新

- 强制要求密码长度至少为 8 个字符。
- 新增逻辑以检查用户名和密码是否相同。
- 禁用密码自动填充。
- 支持一键启用 TLS。
- 对部分容器镜像进行安全加固。
- 支持配置密码安全策略，如第一次登录需要强制修改密码。

## 用户体验

### 新特性

- 显示异常容器组的事件。
- 在原有的 Redis 缓存之外，增加内存缓存。
- 将产品名称和标识更新为 KubeSphere Enterprise。
- 新增终端用户许可协议。
- 在 KubeSphere Web 控制台中支持更多语言。
- 支持容器生命周期管理功能。
- 支持从 secret 和 configmaps 中批量创建容器环境变量。
- 在**审计日志搜索**对话框中增加信息以提示用户启用审计日志功能。
- 在**创建存储类**对话框中新增数据单元。
- 当用户添加集群时，为用户新增集群查看权限。
- 在**流量监控**标签页上增加时间范围选择器。
- 在用户构建图像时，增加提示以提醒用户选择语言或工件类型。
- 支持修改每页表格显示的项目数量。
- 支持批量停止工作负载。
- 增加创建者注释以确保容器组详情页显示的信息与其他详情页一致。
- 支持在工作负载类型为`statefulsets` 或 `daemonsets` 时显示修订记录。
- 增加支持页面。
- 支持验证容器和服务名称的重名。

### 增强和更新

- 支持设置默认容器镜像库。
- 支持容器组相关事件的快捷下拉菜单。
- 支持快速重定向到目标页面和设置页面上显示的行数。
- 支持在控制台隐藏外部链接。
- 删除 HPA 的 cpu-percent 限制为 100 的规定。
- 优化**服务拓扑**页面上的服务细节区域。
- 支持密码合规性检查。
- 优化了部分页面文案描述。
- 新增在 webhook 设置页面将访问令牌设置为必填项的功能。
- 改善成员集群控制台的用户体验。
- 优化服务列表中的**服务类型**和**外部访问**列。
- 改进注册表验证 API，解决注册表验证失败的问题。

### 问题修复

- 修复存储卷挂载到 init 容器时 statefulset 创建失败的问题。
- 修复用户点击按钮过快造成的应用安装失败问题。
- 修复创建工作负载时提示的资源请求已经超过了限制报错。
- 修复在多集群项目中，**流量管理**和**链路追踪**标签页上不显示数据的问题。
- 修复**服务拓扑**页面的服务详情区域数据未自动更新的问题。
- 修复编辑有状态服务时不显示现有设置的问题。
- 修复容器探针被删除后仍显示的问题。
- 修复**服务拓扑**页面上的服务详情区域显示不正确的容器名称问题。
- 修复**集群节点**页面上的工作节点数量不正确的问题。
- 修复由无效的集群角色引起的工作区 API 错误。
- 修复 kubeconfig 二次更新时信息显示错误问题。
- 修复 kubeconfig 信息中不正确的私钥类型。
- 修复 LoadBalancer 中不显示密钥的问题。
- 修正在 LoadBalancer 访问模式下，用户不填写密钥和值时，系统未进行提示的问题。
- 修复详细页中服务的更新时间不正确的问题。
- 修复用户在添加 init 容器时提示不准确的问题。
- 修复用户在 Secret 中输入汉字时报错的问题。
- 修复总页数显示不正确的问题。
- 修复应用程序更新时间不准确的问题。
- 修复文档中的 404 问题。
- 修复当集群未能加入联邦时，集群的状态仍然为 `true` 的问题。
- 修复在金丝雀发布模式下，流量分配失败的问题。
- 修复当用户将容器组请求设置为 0 时，配置不生效的问题。
- 修复当选择多个操作系统时，金丝雀发布出错的问题。
- 修复用户在创建工作负载时无法保存 configmap 配置的问题。

## API

- 将告警 API 升级到 v2beta1，v2alpha1 的告警 API 已停用。
- 将主集群的 kube-apiserver 暴露为 LoadBalancer 服务，供成员集群访问。
- 为 ClusterTemplate 提供 RESTful APIs。
- 提供模板相关的 API。
- 将 KubeEdge 代理服务改为 `http://edgeservice.kubeedge.svc/api/`。
- 将 `PatchWorkspaceTemplate` 的补丁类型从 `MergePatchType` 改为 `JSONPatchType`。


v3.3.1 版本说明

KubeSphere Enterprise v3.3.1 版本说明

版本说明

KubeSphere Enterprise 版本说明

KubeSphere 企业版（ KubeSphere Enterprise），是基于 Kubernetes 内核的分布式多租户商用云原生操作系统。在开源能力的基础上，在多云集群管理、微服务治理、应用管理等多个核心业务场景进行功能延伸。