
凌晨两点,同事发来一句话:接口从 23:40 开始报错。服务器上有一个 2.1 GB 的日志文件,你要在这份文件里找出第一条错误,并且说清它之前发生了什么。
工具选错,这一步会花掉四十分钟;选对,三分钟。差别不在熟练度,在于知不知道自己手上的工具在哪一步会卡住。
先把四个工具放在同一张表上
下面说的是四个具体的东西:less(含 tail -F)、ripgrep、lnav、jq。它们不是同一类工具,不能互相替代。把它们排在一起比较的唯一目的,是看清每一个在哪一步失效。
| 维度 | less / tail -F | ripgrep | lnav | jq |
|---|---|---|---|---|
| 2 GB 文件能否打开 | 瞬时打开,按需读取 | 2 到 8 秒扫完 | 首次索引 20 到 90 秒 | 不支持行文本,只处理 JSON |
| 内存占用 | 几 MB | 与文件大小无关 | 索引后 200 MB 起 | 流式处理时低,一次性读入时等于文件大小 |
| 能否跨文件按时间合并 | 不能 | 不能 | 核心能力,原生支持 | 不能 |
| 结构化字段查询 | 不能 | 正则,可提取分组 | 可按字段过滤与 SQL 查询 | 原生,按路径取值 |
| 写回与清洗 | 不能 | 不能 | 不能 | 能生成新文件 |
这张表里最容易被忽略的是第三列和第五列。排障真正费时间的不是搜索,是把三台机器、五个文件的日志按时间对齐。
less:它不是搜索工具,是定位工具
less 打开 2 GB 文件几乎不耗时,因为它只读屏上需要的那一段。这让它成为唯一能在超大文件上「先看一眼」的工具。但它不建索引,搜索是从当前位置往后线性扫,2 GB 扫一遍要十几秒。
真正好用的是两个键:按 G 跳到文件末尾,按 ? 反向搜索。日志的故障通常从末尾往前找最快,因为最新的写在最后。
less +G /var/log/app/api.log
# 进入后按 ? 输入 error,回车,再按 n 向上找上一条
tail -F 解决的是另一个问题:文件还在写。less 看的是打开那一刻的快照,tail -F 看的是正在发生的事,这两件事经常被混为一谈。
边界很清楚:less 不能跨文件,不能统计,不能按字段过滤。它擅长「我知道大概在哪,帮我翻过去」。
ripgrep:一次性问一个明确的问题
ripgrep(命令名 rg)在 2 GB 文件上扫一遍通常在 2 到 8 秒,取决于磁盘。它默认跳过 .gitignore 里的文件,忽略二进制,多线程。它不是更快的 grep,它是默认假设你在源码目录里工作,这个假设在日志目录里会带来麻烦。
rg -n --no-heading 'ERROR|FATAL' api.log | head -50
加 -n 显示行号,加 –no-heading 去掉文件名前缀。想同时看上下文,用 -C 3;想把时间窗口切出来,用两条正则夹住。
rg -n '23:3[5-9]|23:4[0-5]' api.log
这条命令的作用是把 23:35 到 23:45 的日志切出来。它比「搜 error」有用得多,因为第一条错误往往不是原因,是结果。
rg 的边界是它只回答一次问题。你要问第二个问题,就得再扫一遍,五次搜索就是五倍时间。
lnav:把多台机器的时间轴对齐
lnav 是这四个里唯一为「多个日志文件」设计的。打开一个目录,它按时间戳把不同文件的日志合并成一条时间线,还能识别常见格式,自动分出时间、级别、正文三列。它的价值不在搜索快,在于你终于能看见 A 机器的报错和 B 机器的超时是不是同一秒。
lnav /var/log/app/*.log
进入后按 i 看统计,按 / 搜索,按 \ 过滤,按 ; 执行 SQL 查询。它内置一个 SQLite,可以直接对日志行做聚合。可以这样问:
;SELECT log_level, count(*) FROM all_logs GROUP BY log_level
代价是首次打开要建索引。2 GB 的文件大约 20 到 90 秒,索引缓存在 ~/.lnav 下,第二次打开才快。如果你的问题是「临时看一眼」,这 90 秒就是纯损失;如果问题是「搞清楚为什么」,这 90 秒是省下四十分钟的前提。
jq:只在日志本身是 JSON 时成立
很多服务已经把日志改成一行一个 JSON。这时候正则搜索是笨办法,因为字段名本身就在文本里,容易误匹配。
jq -r 'if .level == "error" then .msg else empty end' api.jsonl | head -20
-r 表示裸输出,去掉外层的引号。if 条件做过滤,then 分支只保留 msg 一个字段。这一步的意义是降噪:一条 JSON 日志可能有 40 个字段,你真正要看的只有三个。
jq 的边界很硬:输入必须是合法 JSON,一行一条或整个文件一个数组。如果文件是「时间戳 + 空格 + JSON」的混合格式,jq 会直接报解析错误。它不能容错,这是设计选择,不是缺陷。
三套组合,和三种选错的信号
单独用任何一个都不够,实际排障是组合。
- 临时看一眼:less +G 打开末尾,? 反查第一个 error,记下行号,再用 rg 把这个行号前后 200 行切出来。全程不到一分钟,内存占用几 MB。
- 跨机器取证:lnav 打开整个目录,按时间轴找异常聚集的那一分钟,再用它内置 SQL 按 level 分组计数,最后用 rg 回到单文件取完整堆栈。先用时间轴定位,再用文本搜索取证,顺序不能倒。
- 结构化日志:jq 过滤加字段裁剪,输出到一个临时文件,再用 less 翻。不要试图用 jq 做聚合统计,那个活交给 sort 和 uniq 更省事。
第三套组合里有个细节:jq 的输出可以直接管道给 less,但如果结果只有几十行,直接看屏幕更快。把简单的事做复杂,是排障时最常见的自我消耗。
组合选对之后,还会犯另一种错:用对了工具,用错了场景。下面三个信号出现任意一个,说明手上的工具和问题不匹配。
信号一:你在 less 里反复按 / 搜索同一个词,每次等十几秒。这说明你要的不是翻页,是一次带上下文的检索,该换 rg。同一个动作重复三次以上,就是工具选错了。
信号二:你开了三个终端,分别 tail 三台机器,靠肉眼对时间。这时候你已经在手工做 lnav 的工作,而且会看错。凡是要靠眼睛对齐时间戳,就一定会有一次看错。
信号三:你对着一行 JSON 写正则,转义了七八个引号。这说明日志是结构化的,而你把它当文本处理了。日志的生产者已经给了你结构,用正则去拆是在丢掉这个信息。
写在最后
这四个工具真正的差别不是速度,是它们各自假设了什么样的问题。less 假设你知道大概位置,rg 假设你有一个明确的关键词,lnav 假设你要跨源对齐,jq 假设输入是结构化的。工具选错,本质是你对自己要问的问题还没想清楚。
那天凌晨的最后结论是:23:41 数据库连接池耗尽,根因是 23:38 一次批量任务把连接占满。第一条 error 出现在 23:41,但它不是起点。如果只在日志里搜 error,你会从 23:41 开始查,永远查不到 23:38。
你上一次翻日志,是先搜关键词,还是先看时间轴?

评论 (0)