DevOps与SRE面试深挖 15 题

③ 深挖后可量化的高分示范

SRE 拒绝把 CPU 当 SLI。我们围绕关键用户旅程设计服务等级指标：比如支付网关以「成功下单 HTTP 2xx 且延迟低于 500ms 的请求占比」为 SLI，设定月度 SLO 为 99.95%，对应每月 21.6 分钟的不可用错误预算。监控层配置多窗口多燃烧率告警（如 1 小时消耗 5% 预算触发 P1 寻呼，6 小时消耗 10% 触发工单）；当月度错误预算消耗超过 80%，自动化门禁冻结非紧急业务发布，强制转入稳定性治理迭代。

③ 深挖后可量化的高分示范

全量采集是典型的反模式。我们在 OpenTelemetry Collector 层推行两阶段采样策略：在客户端做 1% 的基础头部概率采样（Head-based Sampling）以建立吞吐基线；在 Collector 网关集群部署尾部采样（Tail-based Sampling），在内存中缓冲完整 Trace，一旦判定请求包含 HTTP 5xx 错误、慢调用超过 1.5 秒或命中白名单用户标签，则强制 100% 持久化落库。结合 ClickHouse 列式存储替代传统 ES，存储成本降低 75% 且保留了全量异常溯源能力。

③ 深挖后可量化的高分示范

现代金丝雀发布依赖自动化度量闭环。我们基于 Argo Rollouts 或 Flagger 编排发布：首批引导 5% 生产真实流量进入 Canary 实例，并启动 10 分钟自动化指标比对；核心指标（如接口 5xx 错误率增量、P99 延迟跃升、日志异常堆栈数）通过 Prometheus 持续聚合分析；若错误率超过基线 0.5% 或指标波动触碰统计学显著性阈值，系统自动中断发布流程并在 30 秒内秒级切流回滚，同时在飞书群自动输出熔断报告。

③ 深挖后可量化的高分示范

IaC 与 GitOps 的核心是「声明式终态与防漂移闭环」。我们将全部网络 VPC、Kubernetes 集群与云资源通过 Terraform 模块化声明，状态文件统一加密存放在远程后端；在应用交付侧，采用 ArgoCD 践行 GitOps 原则，Git 仓库作为集群期望状态的唯一事实源。ArgoCD 持续对比线上实时状态与 Git 提交，一旦发生手动篡改自动触发 Self-Heal 覆盖纠偏；敏感凭证通过 Vault 与 External Secrets 动态注入，杜绝明文上库。

③ 深挖后可量化的高分示范

排查 NotReady 首先通过 kubectl describe node 查看 Conditions 状态块：检查是 DiskPressure、PIDPressure 还是 NetworkUnavailable。若出现磁盘压力，立即排查 /var/lib/containerd 镜像层与容器日志是否爆满并触发自动清理；若由于 kubelet 心跳丢失，登录主机检查 systemctl status kubelet 与 journalctl -u kubelet，排查 CNI 插件崩溃（如 Calico/Flannel 路由未同步）或底层 D 状态卡死；必要时先 cordon 隔离并 drain 驱逐工作负载，确保业务连续性。

③ 深挖后可量化的高分示范

过载保护必须具备「自适应吞吐维持能力」。静态阈值在瞬时波峰下极易过早误伤或过晚打崩，我们采用 CoDel 或借鉴 Envoy/BBR 的排载算法：网关层实时监控系统运行排队延迟与 CPU 水位，当延迟突增触发过载时，按照业务优先级权重自适应丢弃请求（先丢离线爬虫与推荐刷新，保核心交易支付）；下游服务间调用配置熔断器（如 Resilience4j / Sentinel），在错误率或慢调用比例突破阈值时秒级半开降级，依赖只读缓存返回预设兜底数据。

③ 深挖后可量化的高分示范

多活必须采用「单元化业务封闭与全局数据路由」架构。我们按用户 ID 做哈希切片分片到各机房单元，保证 95% 以上的核心写事务在本地机房内部单元闭环完成，规避跨地域网络时延；全局公共配置或元数据采用 Raft 分布式一致性协议或单向异步复制；发生机房级断网灾难时，通过全局流量控制平台联动 DNS 与边缘网关剔除故障可用区，重新计算分片权重将受损用户重定向至健康单元，并严格结合分布式排他锁防止双写脑裂。

③ 深挖后可量化的高分示范

我们构建「分布式采集加长周期集中存储」监控底座：边缘部署轻量 Prometheus Agent 专职抓取指标，后端统一通过 Remote Write 写入 VictoriaMetrics Cluster 或 Thanos 集群做降采样与分布式长期存储；在告警治理端，针对告警风暴推行三层收敛机制：在 Alertmanager 配置基于服务与环境标签的 Grouping 分组，利用 Inhibition 规则实现「机房挂了自动抑制上千个微服务不通告警」，并基于动态基线消除夜间静态阈值误报，将每日无效报警压降 80% 以上。

③ 深挖后可量化的高分示范

零信任原则是「持续验证，永不信任」。我们基于 Istio / Envoy 构建服务网格服务网格底座：借助 SPIRE 为集群内每一个工作负载动态签发唯一且短寿命的 X.509 身份凭证；网格数据面默认开启双向 mTLS，全面加密跨节点与跨机房流量；通过 AuthorizationPolicy 实施严格的最小权限白名单通信控制，阻断未授权的跨服务横向调用；所有管理运维通道废弃堡垒机静态密码，全面推行基于 OIDC 统一身份认证与临时按需授权（JIT Privilege）的访问体系。

③ 深挖后可量化的高分示范

混沌工程是「基于假说的受控韧性实验」。实验严格遵循标准闭环：首先定义稳态指标（如支付成功率、P99 响应延迟）；提出明确假设：「当下游风控节点网络丢包 30% 时，上游降级逻辑应平稳触发且主流程不受影响」；借助 Chaos Mesh 逐步注入故障并严格限制爆炸半径至金丝雀流量；全程配置自动化急停开关（Kill Switch），一旦业务稳态指标越线，系统在 10 秒内强制回滚注入。通过常态化演练成功提前发现多起隐性死锁与超时配置反模式。

③ 深挖后可量化的高分示范

作为事故指挥官（IC），我的职责是「控制节奏、阻断噪音、全力止血」。启动战情室后建立严格纪律：IC 负责统筹决策，分派专人（Scribe）负责对内对外每 15 分钟同步客观通报，指定 1 到 2 名核心攻坚人员专心排查，阻断管理层的直接催问干扰；应急优先级坚决贯彻「止血第一，归因第二」：优先通过流量切权、降级非核心功能或一键回滚恢复服务，杜绝在生产环境当场写代码调 Bug。服务恢复后，才转入保留日志和根因排查。

③ 深挖后可量化的高分示范

无指责复盘的信条是：「我们假设每个人在当时的信息条件下都做出了其认为最合理的决定」。复盘的核心不是「追究谁干的」，而是问「系统为什么允许这个动作发生且造成如此大破坏」。我们通过五个为什么（5 Whys）深挖根因：为什么没有自动化检查拦截？为什么告警延迟了 10 分钟才响？为什么单点故障没有容灾？最终产出具备清晰验收标准与到期责任人的行动项（Action Items），把事故变成不可多得的系统加固契机。

③ 深挖后可量化的高分示范

SRE 的角色是「铺设安全的高速公路，而不是设置关卡路障」。面对紧急上线，我首先与业务负责人厘清核心商业预期与流量波峰时间；随后不搞一刀切卡死，而是与研发共同制定「风险前置折中预案」：对核心接口开展轻量级自动化关键链路压测，暂时禁用高风险后台旁路模块，并在网关层为新接口预置针对性限流降级开关；同时与业务负责人签署明确的风险备忘与上线应急预案，在满足业务时效性的同时守住底线。

③ 深挖后可量化的高分示范

SRE 宪条明确规定：苦工（Toil）时间必须严格控制在 50% 以内。我的消除苦工策略分三步：第一，为琐碎工单建立结构化标签体系，统计每周重复率最高的前 5 类人工请求（如权限申请、配置变更、日志捞取）；第二，秉承「凡手工重复超过三次的操作必须自动化」原则，将高频诉求抽象并沉淀至统一运维自服务平台（IDP），开放给研发团队自主执行；第三，将释放出来的精力投入到弹性伸缩、混沌演练等高杠杆工程项目，让系统具备自主运维能力。