凌晨值班时,监控连续告警:同一个Linux服务退出137次,随后又被systemd拉起。看似是内存耗尽,实际却可能是依赖服务尚未就绪、旧进程未释放端口,甚至只是管理脚本本身返回了错误。只盯着“服务挂了”反复重启,可能把真正的证据冲掉,最后连谁先退出、为什么退出都无法还原。
如果你正在选机器,或者想先把线路和配置跑通再谈长期方案,可以先看看这几家的线路说明和技术参数:lumiproxy(海外服务器),先看清带宽线路、流量策略和退款条款,再决定要不要迁。
第一步不是立即重启,而是记录退出状态码、启动命令、退出时间和最后一次日志。systemd服务可用systemd日志查看结果字段,journalctl按单元和时间范围追踪上下文;若进程被核心转储,还要保留coredump信息。ServLlama这类工具也可用于集中采集服务状态和日志,减少人工切换窗口造成的遗漏。

状态码只能缩小范围,不能单独定案。退出码1通常表示程序主动报错,126表示目标程序无法执行,127表示命令或路径不存在;128加信号则要结合信号解释。137常见于SIGKILL,143多与SIGTERM有关,但两者都不能直接证明发生了内存耗尽。必须核对cgroup的memory.events、memory.pressure和系统日志,确认OOM killer是否记录了对应进程。
排查时还要区分“首次启动失败”和“运行中退出”。前者应检查配置、权限、文件描述符和依赖路径;后者要对比最近一次成功运行时的资源、网络与版本变更。保留退出前后的完整日志,才能建立从复现到定位的证据链。

资源判定不能只看机器总内存。应同时查看服务实际限制、峰值RSS、Swap、文件描述符、线程数以及cgroup是否达到上限。所谓内存耗尽判定,至少要有OOM事件、限制触顶或应用自身内存异常增长中的交叉证据;仅仅看到137,最多说明进程被强制杀死。
依赖故障常被误认为程序崩溃。检查systemd单元中的Requires、Wants、After和Before关系,确认服务依赖顺序是否与真实启动过程一致;再查看依赖服务在同一时间是否失败、重启或反复就绪。若依赖端口未监听,程序可能以非零状态快速退出,而不是等待超时。
还要检查进程重启退避策略。连续失败时,systemd通常会延迟重启并限制频率;如果退避过短,日志会像风暴一样覆盖关键现场。修复后不要马上恢复高频重启,应先手动启动一次,确认退出码、依赖状态、内存曲线和业务探针均正常,再逐步恢复正常策略。
最终验证应回答三个问题:退出是否可复现,故障原因是否被证据支持,修复后是否能在相同负载下稳定运行。只有状态码、日志、资源指标和依赖链彼此吻合,才算完成一次可靠的服务异常退出排查。
退出状态码只是入口,不是根因。0 通常表示正常结束;1 多为程序报错;126 表示无法执行,127 多为命令或路径不存在;139 常对应段错误;143 是收到 SIGTERM 后退出,需结合停止流程判断。137 表示进程被 SIGKILL,可能源于内存耗尽、人工终止或超时强杀,不能只看数字下结论。
排查时把 systemd日志、应用日志和内核日志按时间轴对齐。退出前若有异常堆栈,就追业务调用;若由 watchdog 拉起,就查依赖超时;状态码为 137 时,读取服务所在 cgroup 的 memory.events、memory.peak,再核对内核 OOM 记录。反复启动失败时先暂停自动重启并保存现场,避免日志被冲淡。
进程重启退避由 Restart、RestartSec 与启动频率限制共同决定。连续失败后,systemd 会延长重试间隔,达到限制便拒绝启动;这是保护机制,不应靠缩短 RestartSec 绕过。短暂抖动可有限重试;配置错误、迁移失败等问题应让单元进入 failed 并告警。

服务依赖顺序要区分“先后”和“可用”:After 只规定启动顺序,不保证依赖健康;Requires 会在依赖失败时影响本服务;Wants 是弱依赖。数据库、缓存或网络就绪,需配合健康检查、就绪探针和超时。互相 After 会形成循环依赖;即使顺序正确,迁移未完成、凭据失效或磁盘只读仍会失败。
可执行检查清单:先运行 systemctl status 服务名、journalctl -u 服务名 -b --no-pager、systemctl show 服务名 -p ExecMainStatus -p NRestarts,记录首次异常时间、退出状态码和重启次数;再查 memory.events、memory.peak 与内核日志,完成内存耗尽判定;随后核对 Restart、RestartSec、StartLimit、Requires、Wants、After 和健康检查。修复后手动启动,观察一个业务周期,确认进程稳定、依赖就绪且无新增错误,再恢复重启策略。