第 17 章 · 故障排查速查
适用对象：运维、值班人员 · 阅读约 16 分钟 · 对应产品界面版本 v1.2.0
这一章按「现象 → 可能原因 → 怎么确认 → 怎么处理」组织，用来在值班现场快速定位问题落在哪一段链路上。它不替代产品侧的错误码字典，也不替代报障：定位不到根因时，按第 21 章的口径提交材料，比继续猜快得多。
读完这一章你会做：
- 在动手之前先把发生时间、对象、入口和提示原文收齐，用统一时间范围把日志关联起来
- 按现象表把问题定位到登录、接入、备份、存储、恢复、通知中的某一段
- 区分「计划没触发」和「执行失败」这两类完全不同的问题
- 拿到作业 ID 和请求 ID，把控制台上的一条记录对上后端的日志行
先收信息，再动手
排查从记录开始，不是从重启开始。每次故障先记下：发生时间、平台版本、对象名称、操作入口、任务名称、页面提示原文。
统一时间范围
操作日志、登录日志和历史任务都带时间。用相近的时间范围把三者关联起来，先判断异常发生在哪个阶段：
| 阶段 | 用什么判断 |
|---|---|
| 登录阶段 | 登录日志中的用户、来源地址、访问状态与提示 |
| 接入阶段 | 被保护资源列表的状态；保护组成员与代理安装／在线情况 |
| 提交策略阶段 | 操作日志中的配置动作记录 |
| 执行任务阶段 | 历史任务中是否产生执行记录及其结果 |
材料里不要带敏感内容
排查材料只放必要的字段、状态和日志片段。密码、密钥、完整的敏感配置不进材料包。截图和日志对外共享之前先检查一遍。脱敏与打包要求见第 21 章。
不要把服务器 root 密码当成控制台密码去试；不要因为一次登录失败就去改账号策略；不要在原因未明的情况下反复重装代理。这三件事都会让后续定位更难。
按现象查
登录与接入
| 现象 | 可能原因 | 怎么确认 | 怎么处理 |
|---|---|---|---|
| 控制台打不开 | 服务未运行；网络或路由不通；域名解析失败；访问策略拦截；根分区写满；底层数据库异常 | 确认管理端口连通性与服务状态；检查根分区剩余空间与数据库状态。IP 能通但管理界面打不开也属于这一类 | 恢复连通后重新验证登录，记录影响范围与发生时间 |
| 登录失败 | 账号被锁定；密码错误；系统时间偏差；验证码错误或过期；密码已过期 | 看登录日志中的账号、时间、来源地址、访问状态与提示 | 按批准流程核验账号，或由管理员解锁。不要连续重试 |
| 密码正确也登不进，提示未知错误 | 密码有效期到期；账号被锁定 | 由管理员核对账号状态与密码有效期 | 按流程重置或解锁，并复盘是否需要保留应急账号（见第 18 章） |
| 资源连接失败 | 目标地址或端口错误；凭证失效；SSH 或共享端口未开放；接入前置条件未满足 | 先测到目标主机的端口连通性（SSH 默认 22/TCP）与凭证有效性 | 修正配置后先验证一台主机，再推广 |
| 代理离线 | 主机宕机或重启；网络中断；代理服务停止；安全软件拦截；管理端口未放行 | 检查主机运行状态、代理服务状态与端口放行情况 | 恢复连接后，检查离线期间错过的备份窗口并补跑 |
| 代理安装失败 | 操作系统或内核不在兼容范围；依赖包缺失；权限不足；磁盘空间不足；杀毒软件拦截 | 看安装日志与安装路径；核对兼容性列表 | 补齐依赖（如 zip、unzip、psmisc），退出杀毒软件后重装 |
| 代理升级失败 | 升级路径错误；安装包校验失败；依赖冲突；剩余空间不足；升级后未重启加载驱动 | 校验安装包的 MD5 或签名；核对升级路径 | 暂停该批次，按第 16 章评估已批准的回退方案 |
备份与存储
| 现象 | 可能原因 | 怎么确认 | 怎么处理 |
|---|---|---|---|
| 计划没有运行 | 计划未启用；系统时间或时区错误；前置任务失败；执行窗口被其他任务占用 | 核对计划启用状态与系统时间。历史任务里没有执行记录说明计划根本没触发 | 修正后在确认的窗口内受控补跑一次 |
| 备份失败 | 失败发生在扫描、快照、传输或写入的某一阶段；网络不稳；存储空间不足；源端 I/O 过高 | 按任务详情定位失败阶段与具体主机 | 处理原因后重试，并核对是否产生了可用还原点 |
| 备份长期排队 | 并发任务数达上限；数据服务繁忙；维护窗口冲突；限速策略限制 | 查看并发占用与等待队列，查明等待原因 | 错峰调整排期。不要在没有依据的情况下直接扩大并发 |
| 备份速度下降 | 变化数据量增大；源端或目标端 I/O 瓶颈；链路拥塞；并发过高；NAS 网络抖动 | 与同条件下的基线比较；检查存储性能与限速策略 | NAS 存储受网络影响大，优先排查网络稳定性 |
| Windows 快照失败 | 卷影副本空间受限；磁盘空间不足；第三方软件占用卷影副本；文件系统损坏 | 在 Windows 事件查看器的应用程序日志中查失败时间点的 vss / volsnapshot 记录，常见提示是「因为限制，卷影副本无法增长」 | 调大卷影副本大小限制后重跑。不要擅自清除系统快照 |
| Linux 快照失败 | 内核版本不在兼容列表；快照驱动未加载；磁盘空间不足；文件系统损坏；存在 biosboot 分区 | 核对兼容性范围；执行 lsmod | grep vol 确认快照驱动；df -h 检查各分区 | 见下文「Linux 快照专项」 |
| 数据获取器不可用 | 服务停止；凭证失效；网络或端口不通；版本不匹配 | 检查服务状态、凭证与端口 35000 / 35001 的连通性 | 恢复后验证全部受影响作业，确认没有遗漏还原点 |
| 存储库不可用 | 挂载丢失；权限变更；网络中断；存储写满；存储性能不足 | 检查挂载状态与权限，进入存储目录做一次写文件测试；端口为 36000 / 36001 | 恢复访问后验证备份写入与数据读取 |
| 容量持续不足 | 保留策略过长；全备窗口集中；临时空间与缓存未回收 | 检查容量增长趋势、保留策略与缓存目录占用 | 评估扩容或调整保留策略。严禁删除未知备份链 |
| 策略提交失败 | 必填项缺失；存储或挂载服务器不可用；命名冲突；授权范围不含该模块 | 逐项校正表单并核对汇总页；确认目标存储状态与授权模块 | 修正后重新提交 |
控制台走的是管理面，备份数据走的是数据面。数据获取器对应 35000 / 35001，存储库对应 36000 / 36001，这些端口要单独验证。完整端口清单见附录 B。
恢复与介质
| 现象 | 可能原因 | 怎么确认 | 怎么处理 |
|---|---|---|---|
| 找不到还原点 | 对象选错；已超出保留期被清理；任务实际没成功；存储不可达；备份链缺少完备点 | 核对任务历史与保留策略，确认存储可达、链结构完整 | 按实际结论处理。不得直接修改元数据或数据库记录 |
| 文件恢复冲突 | 目标路径存在同名文件；目标目录权限不足；覆盖选项选错 | 核对恢复向导里的目标与覆盖选项 | 先恢复到临时路径验证内容，再按审批执行覆盖；覆盖前对目标文件做备份或改名 |
| 走错了恢复流程 | 把整机恢复和文件级恢复混为一谈 | 整机恢复要先做恢复介质；文件细粒度还原需要还原点、目标与文件映射 | 先区分两种流程再排查，见第 12 章与第 14 章 |
| ISO 制作失败 | 制作主机空间或依赖不足；缺少所需驱动；制作进程被中断 | 检查制作主机剩余空间与依赖，看制作进度日志定位失败点 | 修正前置条件后重新制作，并记录校验值 |
| 介质无法启动，或启动后没有网卡／磁盘 | 启动模式与原机不一致（UEFI／Legacy）；架构不匹配；缺网卡或 RAID／HBA 驱动 | 核对原机引导模式与架构 | 补齐匹配的驱动，在隔离环境验证后再用于生产；保留上一版可用介质 |
| 恢复完成但机器起不来 | 恢复机与原机的 BIOS／引导模式不一致 | 对比原机与目标机的启动模式和分区形式（GPT／MBR） | 在固件或虚拟化平台上调整为一致后重新启动验证 |
通知与许可
| 现象 | 可能原因 | 怎么确认 | 怎么处理 |
|---|---|---|---|
| 邮件通知收不到 | 收件范围配置错误；SMTP 地址或端口不通；认证或加密方式不匹配；邮件网关拦截 | 先核对全局邮件开关、服务地址、端口、发件与收件信息、通知条件，再核对作业级通知设置 | 发送测试邮件验证投递，核对网关记录；必要时为管理节点配置 DNS 以访问外部邮箱 |
| 许可加载异常、客户端未授权 | 指纹文件与申请时不一致；更换网卡或主板；系统时间被修改；授权范围不含该模块 | 核对指纹文件、授权范围与系统时间 | 保留完整提示信息后联系产品支持重新授权。不要反复上传授权文件 |
全局的「测试邮件服务」只验证了 SMTP 通道可达。作业成功、警告、失败三类通知和日报要分别验证一次，不能用一次连通测试代替。
错误码对照
下表整理自源文档引用的通用错误代码表，用于快速判断问题类型。SupDRC 现场的实际错误码与提示原文以界面显示为准；表中命令里的路径与端口必须按现场替换。
| 错误码 / 提示 | 含义 | 处理方向 |
|---|---|---|
| 1139 无法连接服务器 | 客户端与服务端之间连接不可用 | 确认客户端在线；检查管理端口与传输端口放行情况；检查安全软件拦截；核对传输策略中的网段设置 |
| 3522 网络连接错误 | 工作机或灾备机网络不通，或一端断开了网络 | 两端同时查日志；用 ping、telnet <目标IP> <端口> 验证链路；修复网络后重跑作业 |
| 3573 创建快照失败 | 源端无法完成快照，备份无法启动 | 检查磁盘剩余空间与文件系统；Windows 查事件日志中的 vss 记录；Linux 执行 lsmod | grep vol 确认快照驱动 |
| 3580 CDP 数据库或快照数据损坏或不完整 | 描述／索引文件被非法删除，或磁盘写满 | 检查磁盘空间与文件系统。清空并重建 CDP 必须按产品指引执行，禁止手工删除索引文件 |
| 3583 挂载快照失败 | 快照已创建但无法挂载 | 检查快照驱动与挂载点；确认没有安全软件阻止创建挂载点设备 |
| 3599 任务等待超时 | 任务长时间未获得执行条件 | 查看并发占用与前置任务状态，错峰后重试 |
| 4201 peer 连接失败 / 4202 建立连接失败 / 6078 无法连接灾备机 | 节点之间的点对点连接建立失败 | 核对两端 IP、端口与时间同步；检查防火墙与会话数限制后重试 |
常见提示信息（非编号类）：
| 提示 | 含义 | 处理方向 |
|---|---|---|
| 连接服务器失败，请确认服务器安装了 openSSH 并且开放了 22 端口 | 接入或远程部署时无法与目标主机建立 SSH 会话 | 目标机 systemctl status sshd 确认服务运行；ss -lntp | grep :22 确认监听；源端 ssh -v <用户>@<目标IP> 定位握手阶段；放行 22/TCP |
| Too many open files | 进程文件句柄数超限 | 在数据库服务器的 /root/.bashrc 末行加 ulimit -n 65535，source /root/.bashrc 后用 ulimit -n 验证 |
| MySQL query 'LOCK INSTANCE FOR BACKUP': 1227, Access denied | MySQL 8.0.x 备份账号缺少 BACKUP_ADMIN 权限 | 执行 grant BACKUP_ADMIN on *.* to <用户> with grant option; 后 flush privileges; |
| 备份报错检查数据库失败（SQL Server） | DBCC CHECKDB 一致性检查未通过 | 由 DBA 执行 DBCC CHECKDB('<数据库名>'); 自检；确无问题且急需备份时，按产品指引在高级配置中关闭「检查数据库」 |
| NT AUTHORITY\SYSTEM 无法在当前安全上下文访问数据库 | SQL Server 实例认证失败 | 将 SYSTEM 登录名的服务器角色与用户映射配置完整后重跑备份 |
| 初始化驱动管理代理失败 | 安装代理时未退出杀毒软件 | 退出杀毒软件后重新安装代理，再重跑作业 |
| 写操作异常：Java heap space | 组件 JVM 可用内存不足 | 把海量大目录拆成多个小目录分别备份；按产品指引调整堆内存参数 |
| 恢复报错 mds 连接失败，mds 报错码 -3001 | 元数据服务连接超时 | 检查元数据服务状态与网络时延；按产品指引调整客户端连接超时配置 |
| 挂载 mds 失败：无法创建挂载点设备 | 安全软件阻止创建挂载点 | 卸载冲突的安全软件后重新执行挂载 |
| 删除时间点失败、备份链无完备点、恢复失败 | 备份存储空间不足或存储连接异常，链结构受损 | 检查存储剩余空间与连接状态；恢复后核对链结构完整性。禁止手工删除链中数据 |
| 3502 数据库不存在 / 数据库恢复 FAILED | 恢复时目标数据库缺失或配置不一致 | 在目标实例创建同名库；把两台机器的归档路径设为一致后重新提交恢复 |
| RAC 恢复报错：节点正在使用 | 目标 RAC 节点未关闭 | 关闭目标节点后重新提交恢复，恢复完成后按规范启动数据库 |
| 存在 biosboot 分区，备份失败 | 属于产品限制性条件 | 改用文件级或数据库级保护，或按要求调整分区方案 |
| 不支持版本 | 数据库或操作系统版本不在兼容性列表内 | 对照兼容性列表确认；不在范围内时申请适配，不要强装 |
| SMTP 服务器连接失败 | 地址、端口、认证或加密方式不正确 | 检查邮件服务器配置与网络可达性；必要时为管理节点配置 DNS |
影响分级
| 等级 | 口径 |
|---|---|
| 高 | 核心业务无法恢复、数据完整性受损，或管理入口不可用 |
| 中 | 单个作业或单类对象保护失败，可重试或可绕行 |
| 低 | 通道或体验类问题，不影响数据保护结果 |
先控制影响并保全证据，恢复后通过一次备份和一次恢复验证来关闭事件。响应时限按已签署的服务约定执行，见第 21 章。
专项：整机恢复介质与 Linux 快照
这两块是整机保护链路上最容易卡住的地方，单独列出来。
WinPE / LiveCD 介质
整机恢复时目标机必须从 WinPE 或 LiveCD 引导，系统盘默认勾选且只能恢复到这类主机。LiveCD 镜像约 300 MB，引导后以命令行方式接入备份系统执行恢复。这类介质自带的驱动有限，能不能识别目标机的磁盘和网卡，是整机恢复成功的关键前置条件。
| 现象 | 可能原因 | 怎么确认 | 怎么处理 |
|---|---|---|---|
| 启动后看不到目标磁盘 | 缺 RAID 卡／HBA／NVMe 存储驱动；硬件 RAID 未配置逻辑盘 | 在 WinPE 中执行 diskpart 的 list disk | 按服务器型号取对应存储驱动注入介质后重新制作；同时在阵列卡中确认逻辑盘状态正常 |
| 获取不到网络地址，连不上备份系统 | 缺网卡驱动；万兆或融合网卡需专用驱动；未配置 IP | 用 ipconfig 看适配器是否被识别 | 手工配置静态 IP 后 ping 备份系统地址；仍不通则注入网卡驱动 |
| 启动后直接进命令行，或报驱动签名错误 | 驱动与 WinPE 版本不匹配；驱动未签名 | 核对驱动与介质版本 | 使用版本匹配的签名驱动，并先在测试机上验证启动 |
| 恢复后无法引导 | 介质引导模式与原机不一致（UEFI / Legacy） | 对照原机固件设置与磁盘分区形式（GPT / MBR） | 切换为与原机一致的引导模式后重新执行 |
| 恢复过程报分区或写入失败 | 目标磁盘容量小于源机；目标磁盘已有分区未清理；跨架构恢复 | 核对容量、架构，看恢复日志中的具体分区号 | 清理目标分区后重试；架构不一致不能恢复 |
介质台账要做起来：按客户实际服务器型号与网卡／RAID 型号提前制作带驱动的介质，在同类机型上完成一次启动与识别验证；保留上一版可用介质直到新介质验证通过；记录镜像版本号与校验值。制作步骤见第 13 章。
Linux 快照与内核
排查顺序固定：先兼容性，再驱动，再空间，再卷与文件系统，最后分区方案。每一步都留下命令输出作为证据，不要在原因未明时反复重装代理。
| 现象 | 可能原因 | 怎么确认 | 怎么处理 |
|---|---|---|---|
| 备份报快照创建失败 | 内核版本不在兼容列表；快照驱动未加载或与内核不匹配 | uname -r 与兼容性列表比对；lsmod | grep vol 看驱动是否存在 | 无输出说明驱动未加载，按产品指引重装或加载；必要时在维护窗口重启 |
| 驱动存在但加载失败 | 内核升级后模块未随新内核重编译 | dmesg | tail 看模块加载错误 | 确认内核与驱动版本匹配；锁定内核版本，或按官方流程重编译模块后再升级内核 |
| 快照或备份报空间不足 | 源端分区剩余空间不足；快照缓存落在系统盘 | df -h 检查各分区 | 释放空间或把缓存目录调到空间充足的磁盘，缓存目录不应指向系统盘 |
| 整机备份直接失败并提示分区方案不支持 | 存在 biosboot 分区等限制性条件 | 核对分区方案 | 当前版本不支持带 biosboot 分区的系统做整机备份，改用文件级或数据库级保护 |
| LVM 卷组／逻辑卷识别失败 | 卷组未激活；多路径或集群卷未正确挂载 | vgs、lvs 确认卷结构 | vgchange -ay 激活卷组，确认多路径状态后重跑备份 |
| 快照成功但数据不完整或恢复异常 | 文件系统存在错误；业务 I/O 过高，快照不在一致点 | 检查文件系统状态与备份时段的业务负载 | 在维护窗口做文件系统检查修复；把备份安排在业务空闲期；数据库类对象改用前置／后置脚本做应用一致性 |
| 内核升级后代理无法工作 | 内核模块失效，代理与服务端版本不匹配 | 核对内核版本与代理版本 | 升级前先评估模块兼容性并锁定内核；升级后重装代理或重编译模块，再验证快照可用 |
节点安装类型中的「Ent-Backup」表示该节点不含内核模块，只适用于定时备份场景。有没有内核模块直接决定了这台主机能用哪些保护方式，接入前就要确认。
日志在哪里
系统日志页面可以查看并下载服务日志文件。下载入口已在界面上核查过，但导出内容与日志包结构未做过实测，第一次取日志时预留一点时间。
| 用途 | 去哪里看 |
|---|---|
| 服务运行情况 | 系统日志页面的 sys-info.log、sys-error.log、sys-user.log 等，按发生时间选对应文件 |
| 谁改了配置 | 操作日志 |
| 谁登录过 | 登录日志 |
| 任务结果 | 历史任务；失败任务可下载任务日志 |
修复之后要回到原故障对象重新检查一遍，并按批准的方案验证业务结果，不要只看到「任务变绿」就关闭问题。
常用诊断命令
# 磁盘空间
df -h
du -sh /var/log/* | sort -h
# 端口监听
ss -lntp
netstat -lntp
# 服务状态
systemctl status <服务名>
systemctl list-units --failed
# 快照驱动
lsmod | grep vol
# 连通性
ping <目标IP>
telnet <目标IP> <端口>
ssh -v <用户>@<目标IP>
# 系统日志
tail -n 200 /var/log/messages
journalctl -u <服务名> --since "2 hours ago"
# 文件句柄限制
ulimit -n
cat /proc/<PID>/limits
作业 ID 与请求 ID
这两个标识的作用是把控制台页面上的一条记录和后端日志里的某一行精确对应起来。缺少作业 ID 的报障通常要反复补材料，会显著拖长处理时间。
| 标识 | 在哪里出现 | 怎么用 |
|---|---|---|
| 作业 ID（任务 ID） | 历史任务的详情页；告警详情；任务日志文件名 | 在任务详情里复制 ID，再到日志中按该 ID 检索，把一次失败与后端执行记录对应起来 |
| 请求 ID（trace ID） | 接口返回体；错误提示弹窗；后端服务日志的单行字段 | 用它跨组件检索同一条请求链路，定位是在控制台、数据服务还是存储这一跳失败 |
| 还原点／时间点 ID | 备份数据列表；恢复向导的时间点选择页 | 核对还原点是否存在、是否已被保留策略清理 |
| 主机／代理标识 | 被保护资源列表；保护组成员列表 | 按主机名或地址检索该主机的全部作业与告警，判断问题是个别的还是批量的 |
# 按作业 ID 检索该次执行的完整日志
grep -rn "<作业ID>" <日志目录>
# 按请求 ID 跨目录检索调用链
grep -rn "<请求ID>" <日志目录>
# 按时间窗口查看服务日志
journalctl -u <服务名> --since "2026-09-17 09:00:00" --until "2026-09-17 11:00:00"
# 按关键字过滤并保留上下文
grep -n -A5 -B5 -E "error|failed|timeout" <日志目录>/sys-error.log
上面命令里的 <日志目录> 需要按产品侧给出的路径填写。只通过已批准的路径采集日志，不要凭经验去猜服务的日志目录，更不要在生产机上全盘 grep。
常见问题
任务列表里什么都没有，是失败了还是没跑？ 这是两个问题。历史任务里没有执行记录说明计划根本没触发，去查计划启用状态、系统时间与时区、前置任务；有记录但结果是失败，才按备份失败那一行排查。
控制台能登录，为什么备份还是失败？ 控制台走管理面，备份数据走数据面。数据获取器和存储库各有自己的端口，要分别验证连通性和服务状态，还要看存储剩余容量。
能不能直接删掉一些旧的备份数据腾空间？ 不能删未知的备份链。手工删除链中数据会造成「备份链无完备点」，后果是这条链上的数据全部不可恢复。容量问题按保留策略和扩容来解决。
同一个问题一周之内反复出现三次，还按普通故障处理吗？ 不。这属于需要升级处理的情形，按第 21 章的升级路径提交，并要求根因分析，而不是每次都重跑一遍任务。
报障前我至少要准备什么？ 作业 ID、请求 ID、发生时间（含时区）、对象名称、操作入口、完整的提示原文，以及对应时间段的日志片段。日志包按约定命名并脱敏后再提交，详见第 21 章。