文档信息
- 文档名称:CLup 6.x Apache Doris 存算一体集群部署与运维指南
- 适用版本:CLup 数据库管理系统 6.0.8beta1 企业版
- 适用人群:数据库运维工程师、云平台管理员、大数据集群运维人员
- 文档用途:指导外部用户在 CLup 平台完成存量 Doris 存算一体集群导入、全新 Doris 集群创建、集群全生命周期运维等操作,明确操作规范、参数释义与高危风险点。
- 关联组件:Apache Doris(存算一体架构)、clup-agent、CLup PaaS 模块、VIP 网络池
一、功能概述
CLup 6.x 版本新增Apache Doris 存算一体集群专项管理能力,依托平台可视化 Web 界面,实现 Doris 集群一站式管控,核心能力分为三大模块:
- 集群导入:将线下已部署完成的 Apache Doris 存算一体集群接入 CLup,实现多集群统一纳管、集中监控;
- 集群创建:支持两种部署模式从零搭建 Doris 集群,兼容存量物理主机与全新虚拟机环境,自动化完成 FE/BE 节点配置、目录初始化、服务部署;
- 集群运维:提供集群信息管理、主备节点管控、机房配置、节点状态监控、拓扑视图、节点扩容等全流程运维能力,同时支持主备复制状态检测。
该功能架构逻辑与 CLup 中 StarRocks 存算一体集群管理模块相近,针对 Apache Doris 的服务端口、目录规范、节点角色做了专属适配,大幅降低 Doris 集群运维复杂度。
二、前置环境与资源准备
在执行集群导入、创建操作前,需提前完成环境校验与资源配置,所有前置条件缺一不可。
2.1 基础软件与服务
- CLup 平台正常运行,Web 管理端可正常访问;
- 若使用存量物理主机部署集群:目标主机已安装并启动
clup-agent代理服务(CLup 与主机通信的核心组件); - 目标主机 / 虚拟机预装对应版本 Apache Doris 安装包、匹配版本的 JDK(JAVA_HOME 需提前配置)。
2.2 网络资源配置
- 提前在 CLup 平台
网络管理 → VIP池管理中创建 VIP 池,并预留未被占用的 VIP 地址(集群对外访问依赖 VIP); - 主机 / 虚拟机防火墙放行默认端口:FE 对外端口
9030、BE 端口9060;若自定义端口,需同步放行对应端口。
2.3 虚拟机模板准备(仅虚拟机部署模式需要)
若选择 “创建新虚拟机承载集群”,需提前在 CLup 中配置 PaaS 模板,模板的 PaaS 类型必须设置为 Yashan,模板内预设虚拟机操作系统、硬件规格、软件路径等基础配置。
2.4 账号与权限
- Apache Doris 数据库提前创建超级管理员账号(默认推荐
root),该账号需拥有数据库最高权限,用于 CLup 后台管理; - 记录管理员账号、密码,后续导入 / 创建集群时必填。
2.5 通用硬性约束
- 单集群 FE 节点、BE 节点部署数量最少为 2 台,平台默认将第一个添加的节点作为主库;
- 数据库元数据目录、数据目录要求为空目录,目录不存在时 CLup 会自动创建。
三、存量 Doris 存算一体集群导入
当线下已存在运行中的 Apache Doris 存算一体集群,可通过「导入集群」功能将其接入 CLup 统一管理。
3.1 操作入口
登录 CLup Web 管理端 → 顶部导航栏进入PaaS平台→ 点击导入集群→ 选择导入Doris存算一体集群,弹出配置表单。
3.2 表单参数详解(带 * 为必填项)
表格
| 参数名称 | 填写规则与说明 | 格式约束 |
|---|---|---|
| * 集群名称 | 自定义集群标识,同时作为 CLup 内部集群名称 | 字符无特殊限制,建议与线下集群名称保持一致 |
| *vip 池 | 选择提前配置好的 VIP 池 ID | 下拉选择,取自「网络管理→VIP 池管理」 |
| * 集群 VIP | 集群对外虚拟 IP | 点击「选择 VIP」,仅可选择 VIP 池内空闲 VIP |
| *fe 节点 ip 列表 | 线下所有 FE 节点物理 IP | 多 IP 使用英文逗号分隔 |
| *fe 节点复制 ip 列表 | FE 节点数据同步专用 IP | IP 数量必须与fe节点ip列表完全一致,英文逗号分隔 |
| *fe 节点对外端口 | Doris FE 服务访问端口 | 线下集群实际端口,默认 9030 |
| *be 节点 ip 列表 | 线下所有 BE 节点物理 IP | 多 IP 英文逗号分隔 |
| *be 节点复制 ip 列表 | BE 节点数据同步专用 IP | IP 数量必须与be节点ip列表完全一致,英文逗号分隔 |
| *be 节点端口 | Doris BE 服务访问端口 | 线下集群实际端口,默认 9060 |
| *DB 中的用户 | Doris 超级管理账号(HA 后台使用) | 必须具备超级权限,默认 root |
| *DB 中的密码 | 上述管理员账号密码 | 与数据库实际密码一致 |
| * 数据库软件 | Apache Doris 安装根目录 | 示例:/opt/apache-doris-3.1.3 |
| 备注 | 集群补充描述、环境说明 | 选填,可留空 |
3.3 操作步骤
- 按照集群实际信息逐项填写表单,重点核对 IP 列表、复制 IP 数量、软件路径、账号密码;
- 确认 VIP 为未使用状态、端口与线下集群匹配;
- 点击
提交,完成集群导入; - 导入成功后,集群会展示在 CLup 数据库集群列表中。
3.4 注意事项
- FE/BE 节点 IP 与对应复制 IP数量必须一一对应,否则导入直接失败;
- 数据库软件路径需填写绝对路径,保证 CLup 可正常读取 Doris 程序文件;
- 导入失败可查看
PaaS平台 → 日志管理排查网络、权限、IP 配置问题。
四、全新 Doris 存算一体集群创建
CLup 支持两种集群创建模式,用户可根据自身基础设施现状选择,统一入口为:PaaS平台 → 创建集群 → 创建Doris存算一体集群。
4.1 模式一:在已有主机中创建集群
适用场景:企业已有物理服务器,且服务器已部署clup-agent,直接基于存量主机部署 Doris 集群,部署效率高、资源利用率优。整体流程分为三大阶段:FE 节点部署 → BE 节点部署 → 集群基础信息提交。
阶段 1:FE 节点部署
- 进入创建页面后,选择「在已有主机中创建数据库集群」,点击
下一步进入 FE 配置页; - 主机选择:至少选择 2 台运行
clup-agent的主机,首个主机自动设为 FE 主库; - 逐行填写节点配置,核心参数说明:
- 复制 ip:与主机 IP 一一对应,用于节点数据同步;
- 操作系统用户 / UID:Doris 运行系统用户(示例:
doris,UID 默认 901),用户存在时平台自动识别 UID; - 数据库软件目录:选择主机上的 Doris 安装目录,选中后自动识别软件版本;可在
系统管理→CLUP参数设置中通过yashan_bin_path_string批量配置软件检索路径(支持英文逗号分隔、通配符*); - 数据目录:FE 元数据存储目录,必须为空;
- JAVA_HOME:选择与当前 Doris 版本匹配的 JDK 路径;
- FE 节点类型:二选一,
FOLLOWER(跟随节点)、OBSERVER(观察者节点); - 优先级:节点权重,自定义数值;
- 复制配置:一键将主节点配置同步至当前从节点,简化重复配置工作。
- 所有节点配置完成后,点击
下一步。
阶段 2:BE 节点部署
- 进入 BE 配置页,规则与 FE 节点基本一致:至少选择 2 台主机,首个主机为 BE 主库;
- 核心差异:BE 节点无节点类型选项,数据目录为 Doris 实际业务数据存储目录(要求空目录);
- 可使用「复制配置」功能同步主节点参数,填写完成后点击
下一步。
阶段 3:集群基础信息提交(最终步骤)
- 填写集群全局配置(均为必填项,备注除外):
表格
参数 配置说明 默认值 集群名称 CLup 内集群唯一名称 自定义 vip 池 / 集群 vip 选择 VIP 池及空闲 VIP 必选 fe 节点对外端口 FE 服务端口 9030 be 节点端口 BE 服务端口 9060 DB 中的用户 Doris 超级管理员 root DB 中的密码 管理员账号密码 自定义 备注 集群说明 选填 - 核对所有参数无误后,点击
提交。
补充说明
- 集群创建为后台异步任务,不会即时完成;
- 实时进度、报错日志查询路径:
PaaS平台 → 日志管理。
4.2 模式二:创建新虚拟机承载集群
适用场景:全新虚拟化环境,无存量可用物理主机,CLup 可一站式完成「虚拟机创建 + Doris 集群部署」。前置要求:已配置Yashan 类型的 PaaS 虚拟机模板。整体流程分为四大阶段:虚拟机部署 → FE 节点部署 → BE 节点部署 → 集群信息提交。
阶段 1:虚拟机部署配置
- 选择「创建新虚拟机以容纳此数据库集群」,进入虚拟机配置页;
- 表格操作:点击右上角
+新增虚拟机行、-删除末尾虚拟机行,至少创建 2 台虚拟机; - 虚拟机参数配置:
- 模板:选择提前配置的 Yashan 类型 PaaS 模板(核心约束,非 Yashan 模板无法部署);
- 所在宿主机:虚拟机挂靠的物理宿主机;
- IP:虚拟机 IP,多网卡场景下第一个 IP 为主 IP(用于安装 clup-agent);
- 内存大小 (MB)、CPU 核数:按需分配虚拟机硬件资源;
- 数据库软件 bin 目录 / 版本:选择 Doris 安装目录与对应版本;
- JAVA_HOME:匹配 Doris 版本的 JDK 路径;
- 复制配置:同步主虚拟机配置至其他虚拟机。
- 配置完成后点击
下一步。
阶段 2:FE 节点部署
以新建虚拟机作为集群主机,配置规则、参数项、约束条件与「存量主机模式」的 FE 部署完全一致:主机数量≥2、数据目录为空、支持节点类型选择与配置复制。完成后点击下一步。
阶段 3:BE 节点部署
基于新建虚拟机配置 BE 节点,规则同存量主机模式,重点保证数据目录为空,配置完成后点击下一步。
阶段 4:集群基础信息提交
表单内容、默认端口、账号规则、异步任务规则完全等同于存量主机创建模式,填写完成提交即可。
五、Doris 存算一体集群日常运维管理
集群导入 / 创建完成后,在 CLup数据库集群列表中,点击目标集群右侧详情,进入集群运维详情页。详情页包含7 个功能标签页,覆盖信息查看、配置修改、节点管控、监控、扩容等全运维场景。
5.1 集群信息
- 核心功能:展示集群全局基础配置(集群 ID、VIP、端口、账号等);
- 配置修改:支持修改 Doris 数据库管理员账号与密码,修改后全局同步至集群所有节点;
- ⚠️ 高危警告(重点):禁止修改 VIP、数据库目录、软件路径等核心底层配置。此类操作仅会更新 CLup 平台本地配置,不会同步到真实 Doris 集群,会直接导致集群失联、服务异常、数据损坏等严重故障;
- 普通配置修改后点击
保存修改生效。
5.2 主备数据库(核心运维页面)
- 列表展示:数据库 ID、上级主库、HA 状态、节点角色(FE Master/FE Follower/BE)、所在机器、机房、流复制 IP、数据目录、运行状态等核心信息;
- 单节点操作:对单个节点执行
启动、停止、移除操作; - 集群扩容(顶部专属功能):支持三大扩容场景,满足业务增长需求:
- 已有节点纳入集群:将线下闲置主机 / 虚拟机加入当前 Doris 集群;
- FE 节点扩容:新增 FE 节点,提升集群元数据管理能力与高可用能力;
- BE 节点扩容:新增 BE 节点,扩展集群存储与计算能力。
5.3 复制状态
专属 Doris 主备集群监控页面,用于查看主库与备库之间的数据复制延迟、同步状态,快速判断主从链路是否正常、是否存在同步卡顿。
5.4 机房配置
- 展示内容:机房 ID、机房名称、集群绑定 VIP、只读 VIP、资源使用状态、均衡器列表;
- 支持操作:对已有机房配置执行
修改、移除,适用于多机房集群架构调整。
5.5 节点状态(实时监控)
分为两大独立列表,实时监控节点运行状态,是日常巡检核心页面:
- FE 节点列表:展示主机 IP、端口、节点角色、已重放日志 ID、是否为主节点、运行状态(
UP代表节点正常运行); - BE 节点列表:展示主机名、端口、数据容量使用率、运行任务数、存储表数量、运行状态,直观查看节点负载与存储情况。
5.6 数据库拓扑图
以图形化视图展示集群整体架构、节点级联关系、主备层级,便于运维人员梳理集群架构、定位故障节点。
六、通用规范、约束与风险汇总
结合全流程操作,整理硬性规范、配置约束与高危操作红线,作为日常操作准则:
- IP 配置规范FE/BE 节点 IP 列表与对应复制 IP 列表,必须使用英文逗号分隔,IP 数量严格保持一致,否则导入、创建均会失败。
- 节点数量约束FE、BE 部署阶段,主机 / 虚拟机数量最低为 2 台,平台自动将首个节点设为主库,生产环境建议部署奇数节点提升高可用。
- 目录约束FE 元数据目录、BE 业务数据目录必须为空;目录不存在时 CLup 自动创建,禁止使用已有数据目录部署集群。
- 账号权限约束Doris 管理账号必须具备超级用户权限,推荐使用默认账号
root,权限不足会导致集群管控失败。 - 虚拟机模板约束虚拟机部署模式下,PaaS 模板的 PaaS 类型必须为
Yashan,这是前置硬性要求。 - 任务与日志约束集群创建、导入、扩容均为后台异步任务,故障排查、进度查询统一查看
PaaS平台 → 日志管理。 - 高危操作红线(重中之重)严禁修改集群 VIP、数据目录、Doris 软件路径等底层核心配置,该操作仅修改 CLup 配置,不同步真实集群,极易引发生产事故。
- 端口规范默认端口:FE 9030、BE 9060;自定义端口需提前放行防火墙,并保证全集群端口统一。
七、典型使用场景与操作建议
结合企业不同基础设施现状,给出场景化操作选型建议:
- 场景 1:存量线上 Doris 集群,分散运维选型:使用「导入 Doris 存算一体集群」,将多套 Doris 集群统一接入 CLup,依托平台集中监控、主备管理能力,简化运维。
- 场景 2:企业存量物理服务器,已部署 clup-agent选型:选择「在已有主机中创建集群」,无需额外创建虚拟机,部署速度快、硬件资源利用率最高,推荐生产环境使用。
- 场景 3:全新虚拟化数据中心,无存量物理主机选型:选择「创建新虚拟机承载集群」,利用 CLup 虚拟机编排能力,一站式完成虚拟机创建、集群部署,适配云化架构。
- 场景 4:Doris 集群业务量上涨,存储 / 计算不足选型:进入「主备数据库」页面,执行 FE/BE 节点扩容,横向扩展集群能力。
八、常见故障排查指引
针对实操中高频问题,提供快速排查思路:
- 问题 1:集群创建长时间卡在后台,无完成提示排查:进入
PaaS平台 → 日志管理,查看异步任务日志。常见原因:clup-agent 服务异常、主机网络不通、JDK/Doris 版本不匹配、目录权限不足。 - 问题 2:集群导入失败排查:核对 IP 与复制 IP 数量、VIP 是否被占用、Doris 软件绝对路径是否正确、管理员账号权限是否为超级权限。
- 问题 3:节点状态页面显示非
UP排查:检查主机网络连通性、防火墙端口是否放行、Doris FE/BE 进程是否正常启动。 - 问题 4:主备复制延迟过高、同步异常排查:进入「复制状态」页面查看延迟数据,检查节点复制 IP 连通性、Doris 主备同步配置。
- 问题 5:虚拟机创建 / 部署失败排查:核对 PaaS 模板 PaaS 类型是否为 Yashan、宿主机资源是否充足、虚拟机 IP 是否网段冲突。
九、总结
CLup 6.x 对 Apache Doris 存算一体集群的全生命周期管理能力,覆盖集群导入、自动化部署、实时监控、节点扩容、主备管控等核心场景,同时提供两种部署模式,完美适配物理机、虚拟化等不同基础设施环境。
对于外部运维团队而言,该可视化平台替代了传统手动部署、逐节点运维的模式,大幅降低 Apache Doris 集群的运维门槛。在日常操作中,需严格遵守 IP、目录、权限等硬性规范,坚决规避修改 VIP、数据目录等高危操作;遇到异常优先通过平台日志定位问题,保障 Doris 集群稳定运行。
CLup6.x产品手册:CLup简介CLup软件是专为PostgreSQL、PolarDB等数据库实现了高可用(包括读写分离)集群功能和基础监控管理以及备份恢复平台软件,本章介绍:CLup简介https://www.csudata.com/clup/manual