
一台跑了十一个月的接口机,根分区只剩百分之八。进去一看,/var/log 占了三十八G,而业务日志本身每天不到两百兆。
这不是日志太大,是没有任何人在管上限。journald 默认按磁盘的百分之十封顶,logrotate 默认只管它认识的那几个文件,剩下的全靠天意。
下面这套配置在 Ubuntu 24.04(systemd 255、logrotate 3.21.0、rsyslog 8.2312.0)上跑通,一台机器、一个自定义服务、一个 Docker 容器。全部改动都可以回滚,但顺序不能错。
一、先量,不要先改
运维里最常见的错误是看到一个大的目录就动手删。删掉不等于不再涨,先量清楚是谁在写,比清空更省事。
sudo journalctl --disk-usage
sudo du -sh /var/log/* 2>/dev/null | sort -h | tail -8
sudo find /var/log -type f -size +200M -printf '%s %p\n' | sort -n
三条命令分别回答三个问题:journal 占多少、目录下谁最大、有没有单个文件失控。如果某个文件几百兆且还在涨,那多半是没配轮转,而不是 journal 的问题。
还要确认 journal 是存在内存还是磁盘。默认的 Storage=auto 在 /var/log/journal 不存在时只写内存,重启即丢,有些机器因此看起来「日志很小」。
二、journald 的五项配置
不要直接改 /etc/systemd/journald.conf。新建一个 drop-in,把改动集中在一个文件里,方便日后审计和回滚。改主文件的人多了,三个月后没人说得清哪一行是谁加的。
sudo mkdir -p /etc/systemd/journald.conf.d
sudo tee /etc/systemd/journald.conf.d/99-size.conf >/dev/null <<'EOF'
[Journal]
Storage=persistent
SystemMaxUse=2G
SystemMaxFileSize=200M
MaxRetentionSec=30day
Compress=yes
RateLimitIntervalSec=30s
RateLimitBurst=10000
EOF
五项里最重要的是 SystemMaxUse 和 MaxRetentionSec。前者管总量,后者管时间,两个都要写,否则删谁不删谁由实现自己决定。
SystemMaxFileSize 决定单个归档文件的大小,它影响的是「删的时候一次删多少」。设得太大,一次回收会突然空出几个G;设得太小,文件数会多到 ls 都嫌烦。
RateLimitBurst 默认是 10000 条每 30 秒。如果服务在崩溃循环里刷日志,这个默认值会让后面的日志被直接丢弃,排障时看到的是残缺现场。
三、让配置真正生效
写完文件必须重启 journald,然后立刻做一次 vacuum。只重启不回收,旧归档会一直躺在那里,直到下一次写入触发上限检查。
sudo systemd-analyze cat-config systemd/journald.conf
sudo systemctl restart systemd-journald
sudo journalctl --vacuum-size=2G
sudo journalctl --vacuum-time=30d
journalctl --disk-usage
第一条命令是把主文件和所有 drop-in 合并后的结果打印出来,用它确认你的值没有被覆盖。这一步比 restart 重要,因为覆盖往往发生在这里而不是运行时。
vacuum-size 和 vacuum-time 是两个独立条件,先跑哪个,后跑哪个,结果不一样。两个都跑一遍,取更严的那个结果。
四、logrotate 的六行关键参数
业务自己写在 /var/log/myapp 下的日志,journald 管不着,需要单独配一份。下面这份配置适合「应用不会自己重开文件句柄」的情况。
/var/log/myapp/*.log {
daily
rotate 14
size 100M
missingok
notifempty
compress
delaycompress
copytruncate
}
copytruncate 的意思是:先复制一份,再把原文件截断为零,应用继续往同一个 inode 写。它的代价是复制那一瞬间的几行可能丢,收益是应用不用重启。
delaycompress 让最近一份保持未压缩,方便直接 tail。这两个参数一起用,是「不想动应用、又想省空间」的标准组合。
先 dry-run 再真跑。logrotate 的 -d 只打印不执行,可以看清它到底会动哪些文件。在生产上直接跑一次真的,是很多事故的起点。
sudo logrotate -d /etc/logrotate.d/myapp
sudo logrotate -f /etc/logrotate.d/myapp
五、容器日志不在管辖内
Docker 默认用 json-file 驱动,日志落在 /var/lib/docker/containers 下,logrotate 完全看不到。一台跑十个容器的机器,日志能涨到几十G而不触发任何告警。
sudo tee /etc/docker/daemon.json >/dev/null <<'EOF'
{
"log-driver": "json-file",
"log-opts": { "max-size": "50m", "max-file": "3" }
}
EOF
sudo systemctl reload docker
这两个参数只对新建容器生效,已有容器不会自动改变。改完 daemon.json 就以为全站生效,是这套配置里最常见的误判。
六、五个必然踩到的坑
- 改了主文件却被 drop-in 覆盖:/usr/lib 和 /etc 下的 conf.d 目录会按文件名排序合并,99- 开头的文件优先级最高。用 systemd-analyze cat-config 确认最终值。
- 只设上限不回收:SystemMaxUse 在写入时才检查,不改文件就不会触发。第一次上线必须手动 vacuum 一次。
- copytruncate 和 create 同时写:两个都写,应用可能继续持有已被替换的旧 inode,日志写进一个看不见的文件,df 不降反升。
- daily 和 size 同时写,以为 daily 优先:实际是任一条件满足就轮转。想要「满一百兆才转」,就只留 size。
- 忘了 rsyslog 还在写 /var/log/syslog:journald 限到 2G,syslog 照样能涨到 10G。要么配 rsyslog 自己的轮转,要么把 forward 关掉。
还有一个不那么像坑的坑:logrotate.timer 带随机延迟,轮转通常不在零点整发生。观察日志时看到「昨天没转」,很可能只是延迟了几十分钟。
七、rsyslog 与内核日志也得管
journald 限到 2G 之后,很多人发现磁盘还在涨。因为 rsyslog 仍在把同一批消息再写一份到 /var/log/syslog。
Ubuntu 24.04 默认装了 rsyslog,它和 journald 是并行关系,不是替代关系。两套都在写,等于同一条消息被执行了两遍,磁盘也付了两遍钱。
配置在 /etc/rsyslog.d/50-default.conf,改之前先备份。这个目录按文件名顺序加载,顺序错了,规则会被后面的文件覆盖。
sudo cp /etc/rsyslog.d/50-default.conf /root/50-default.conf.bak
sudo rsyslogd -N1
rsyslogd -N1 只做语法检查,不启动服务。改完不检查就重启,是让整套日志系统静默最快的方式。
要不要保留 syslog,只需要问一句:过去半年你有没有真的去 grep 过它。如果答案是没有,那它唯一的作用就是占磁盘。
真要留,就在 50-default.conf 里把不需要的分类注释掉。认证、邮件、定时任务这三类通常值得留,其余可以只进 journal。规则越少,出问题时越容易定位。
保留策略按数量比按天数更好用:留最近三个,超出的直接删。核转储的价值在「最近一次」,不在历史。
还有一类最容易被漏掉:内核崩溃转储。crash kernel 的文件动辄几个 G,落在 /var/crash 下,前面那条 du /var/log 的命令根本扫不到它。
sudo du -sh /var/crash /var/lib/systemd/coredump 2>/dev/null
这两个目录的存在感极低,直到某天一个进程反复崩溃,一晚上写出十几个核转储文件。它们的清理策略不能靠轮转,只能靠定时任务按数量保留。
八、三天后再看一次
配置当天看数字是看不出问题的,因为还没写满。给它三天,再回来看三个数:总量、单文件最大、增长率。
df -h /
journalctl --disk-usage
sudo du -sh /var/log /var/lib/docker/containers
总量应该稳定在 2G 附近加当前活跃文件,单文件不超过 200M。如果总量还在缓慢上涨,说明有第三方在写你没配置的路径。
顺手把这个检查写成一条定时任务,每周跑一次并把结果写进监控。日志占满磁盘这类事故,永远是在周末发生的。
写在最后
日志的价值随时间衰减得很快:一小时内的日志是证据,一周内的是线索,一个月后的多半只是合规材料。按这个衰减曲线设保留期,比按磁盘容量设更合理。
而清理日志这件事,真正的难点不在命令,在于没人愿意为「什么都没发生」负责。运维的成果几乎全是没发生的事,它的绩效只能靠别人看不见的东西证明。
磁盘没满,从来不是因为运气好。是因为有人提前做了这些无聊的配置。
你那台机器上,现在 /var/log 占了多少?你知道是谁在写吗?

评论 (0)