未来星球 未来星球
  • 首页
  • 新闻资讯
  • 技术教程
  • 软件工具
  • 知识百科
  • 生活实用
  • 个人随笔
  • 生命外星人
首页 › 技术教程 › journald与logrotate:5份配置,和5个必然踩到的坑
  • 0
  • 0

journald与logrotate:5份配置,和5个必然踩到的坑

admin
22 小时前
6 views
journald与logrotate:5份配置,和5个必然踩到的坑-未来星球

一台跑了十一个月的接口机,根分区只剩百分之八。进去一看,/var/log 占了三十八G,而业务日志本身每天不到两百兆。

这不是日志太大,是没有任何人在管上限。journald 默认按磁盘的百分之十封顶,logrotate 默认只管它认识的那几个文件,剩下的全靠天意。

下面这套配置在 Ubuntu 24.04(systemd 255、logrotate 3.21.0、rsyslog 8.2312.0)上跑通,一台机器、一个自定义服务、一个 Docker 容器。全部改动都可以回滚,但顺序不能错。

一、先量,不要先改

运维里最常见的错误是看到一个大的目录就动手删。删掉不等于不再涨,先量清楚是谁在写,比清空更省事。

sudo journalctl --disk-usage
sudo du -sh /var/log/* 2>/dev/null | sort -h | tail -8
sudo find /var/log -type f -size +200M -printf '%s %p\n' | sort -n

三条命令分别回答三个问题:journal 占多少、目录下谁最大、有没有单个文件失控。如果某个文件几百兆且还在涨,那多半是没配轮转,而不是 journal 的问题。

还要确认 journal 是存在内存还是磁盘。默认的 Storage=auto 在 /var/log/journal 不存在时只写内存,重启即丢,有些机器因此看起来「日志很小」。

二、journald 的五项配置

不要直接改 /etc/systemd/journald.conf。新建一个 drop-in,把改动集中在一个文件里,方便日后审计和回滚。改主文件的人多了,三个月后没人说得清哪一行是谁加的。

sudo mkdir -p /etc/systemd/journald.conf.d
sudo tee /etc/systemd/journald.conf.d/99-size.conf >/dev/null <<'EOF'
[Journal]
Storage=persistent
SystemMaxUse=2G
SystemMaxFileSize=200M
MaxRetentionSec=30day
Compress=yes
RateLimitIntervalSec=30s
RateLimitBurst=10000
EOF

五项里最重要的是 SystemMaxUse 和 MaxRetentionSec。前者管总量,后者管时间,两个都要写,否则删谁不删谁由实现自己决定。

SystemMaxFileSize 决定单个归档文件的大小,它影响的是「删的时候一次删多少」。设得太大,一次回收会突然空出几个G;设得太小,文件数会多到 ls 都嫌烦。

RateLimitBurst 默认是 10000 条每 30 秒。如果服务在崩溃循环里刷日志,这个默认值会让后面的日志被直接丢弃,排障时看到的是残缺现场。

三、让配置真正生效

写完文件必须重启 journald,然后立刻做一次 vacuum。只重启不回收,旧归档会一直躺在那里,直到下一次写入触发上限检查。

sudo systemd-analyze cat-config systemd/journald.conf
sudo systemctl restart systemd-journald
sudo journalctl --vacuum-size=2G
sudo journalctl --vacuum-time=30d
journalctl --disk-usage

第一条命令是把主文件和所有 drop-in 合并后的结果打印出来,用它确认你的值没有被覆盖。这一步比 restart 重要,因为覆盖往往发生在这里而不是运行时。

vacuum-size 和 vacuum-time 是两个独立条件,先跑哪个,后跑哪个,结果不一样。两个都跑一遍,取更严的那个结果。

四、logrotate 的六行关键参数

业务自己写在 /var/log/myapp 下的日志,journald 管不着,需要单独配一份。下面这份配置适合「应用不会自己重开文件句柄」的情况。

/var/log/myapp/*.log {
    daily
    rotate 14
    size 100M
    missingok
    notifempty
    compress
    delaycompress
    copytruncate
}

copytruncate 的意思是:先复制一份,再把原文件截断为零,应用继续往同一个 inode 写。它的代价是复制那一瞬间的几行可能丢,收益是应用不用重启。

delaycompress 让最近一份保持未压缩,方便直接 tail。这两个参数一起用,是「不想动应用、又想省空间」的标准组合。

先 dry-run 再真跑。logrotate 的 -d 只打印不执行,可以看清它到底会动哪些文件。在生产上直接跑一次真的,是很多事故的起点。

sudo logrotate -d /etc/logrotate.d/myapp
sudo logrotate -f /etc/logrotate.d/myapp

五、容器日志不在管辖内

Docker 默认用 json-file 驱动,日志落在 /var/lib/docker/containers 下,logrotate 完全看不到。一台跑十个容器的机器,日志能涨到几十G而不触发任何告警。

sudo tee /etc/docker/daemon.json >/dev/null <<'EOF'
{
  "log-driver": "json-file",
  "log-opts": { "max-size": "50m", "max-file": "3" }
}
EOF
sudo systemctl reload docker

这两个参数只对新建容器生效,已有容器不会自动改变。改完 daemon.json 就以为全站生效,是这套配置里最常见的误判。

六、五个必然踩到的坑

  1. 改了主文件却被 drop-in 覆盖:/usr/lib 和 /etc 下的 conf.d 目录会按文件名排序合并,99- 开头的文件优先级最高。用 systemd-analyze cat-config 确认最终值。
  2. 只设上限不回收:SystemMaxUse 在写入时才检查,不改文件就不会触发。第一次上线必须手动 vacuum 一次。
  3. copytruncate 和 create 同时写:两个都写,应用可能继续持有已被替换的旧 inode,日志写进一个看不见的文件,df 不降反升。
  4. daily 和 size 同时写,以为 daily 优先:实际是任一条件满足就轮转。想要「满一百兆才转」,就只留 size。
  5. 忘了 rsyslog 还在写 /var/log/syslog:journald 限到 2G,syslog 照样能涨到 10G。要么配 rsyslog 自己的轮转,要么把 forward 关掉。

还有一个不那么像坑的坑:logrotate.timer 带随机延迟,轮转通常不在零点整发生。观察日志时看到「昨天没转」,很可能只是延迟了几十分钟。

七、rsyslog 与内核日志也得管

journald 限到 2G 之后,很多人发现磁盘还在涨。因为 rsyslog 仍在把同一批消息再写一份到 /var/log/syslog。

Ubuntu 24.04 默认装了 rsyslog,它和 journald 是并行关系,不是替代关系。两套都在写,等于同一条消息被执行了两遍,磁盘也付了两遍钱。

配置在 /etc/rsyslog.d/50-default.conf,改之前先备份。这个目录按文件名顺序加载,顺序错了,规则会被后面的文件覆盖。

sudo cp /etc/rsyslog.d/50-default.conf /root/50-default.conf.bak
sudo rsyslogd -N1

rsyslogd -N1 只做语法检查,不启动服务。改完不检查就重启,是让整套日志系统静默最快的方式。

要不要保留 syslog,只需要问一句:过去半年你有没有真的去 grep 过它。如果答案是没有,那它唯一的作用就是占磁盘。

真要留,就在 50-default.conf 里把不需要的分类注释掉。认证、邮件、定时任务这三类通常值得留,其余可以只进 journal。规则越少,出问题时越容易定位。

保留策略按数量比按天数更好用:留最近三个,超出的直接删。核转储的价值在「最近一次」,不在历史。

还有一类最容易被漏掉:内核崩溃转储。crash kernel 的文件动辄几个 G,落在 /var/crash 下,前面那条 du /var/log 的命令根本扫不到它。

sudo du -sh /var/crash /var/lib/systemd/coredump 2>/dev/null

这两个目录的存在感极低,直到某天一个进程反复崩溃,一晚上写出十几个核转储文件。它们的清理策略不能靠轮转,只能靠定时任务按数量保留。

八、三天后再看一次

配置当天看数字是看不出问题的,因为还没写满。给它三天,再回来看三个数:总量、单文件最大、增长率。

df -h /
journalctl --disk-usage
sudo du -sh /var/log /var/lib/docker/containers

总量应该稳定在 2G 附近加当前活跃文件,单文件不超过 200M。如果总量还在缓慢上涨,说明有第三方在写你没配置的路径。

顺手把这个检查写成一条定时任务,每周跑一次并把结果写进监控。日志占满磁盘这类事故,永远是在周末发生的。

写在最后

日志的价值随时间衰减得很快:一小时内的日志是证据,一周内的是线索,一个月后的多半只是合规材料。按这个衰减曲线设保留期,比按磁盘容量设更合理。

而清理日志这件事,真正的难点不在命令,在于没人愿意为「什么都没发生」负责。运维的成果几乎全是没发生的事,它的绩效只能靠别人看不见的东西证明。

磁盘没满,从来不是因为运气好。是因为有人提前做了这些无聊的配置。


你那台机器上,现在 /var/log 占了多少?你知道是谁在写吗?

0

防火门为什么总是朝外开:1903年,602条命换来的一条规矩

上一篇

截一张图并标注:4个工具的边界,和3种选错的信号

下一篇

评论 (0)

登录后可发布~
立即登录
暂无评论

admin

当生活给你的全是不如意,那你一定要相信自己的兴趣!
265
文章
0
评论
-11
喜欢
2026 年 11 月
一 二 三 四 五 六 日
 1
2345678
9101112131415
16171819202122
23242526272829
30  
« 10 月    

近期评论

聚合文章

当门禁从刷卡换成刷脸:三代人的代价,和一个不太好接受的推论
土卫八的阴阳脸:0.05的反照率,和十五年没算完的账
一条鲈鱼,摊主问了三遍:去鳞、去鳃、要不要鱼头
AI新闻日报–2026年11月17日:80次失控,和904亿美元
冬天一碰门把手就被电:6项措施,按投入时间排的一份清单
截一张图并标注:4个工具的边界,和3种选错的信号
journald与logrotate:5份配置,和5个必然踩到的坑
防火门为什么总是朝外开:1903年,602条命换来的一条规矩

猜你喜欢

用 systemd 定时器替代 cron:3 份配置,4 个必踩的坑

用 systemd 定时器替代 cron:3 份配置,4 个必踩的坑

admin
25 0 0
用nginx 1.24挡住刷接口的爬虫:3段配置,和4个必然踩到的坑

用nginx 1.24挡住刷接口的爬虫:3段配置,和4个必然踩到的坑

admin
19 0 0
用WireGuard打一条两机房内网:3份配置,和4个必然踩到的坑

用WireGuard打一条两机房内网:3份配置,和4个必然踩到的坑

admin
21 0 0
用chrony给五台机器对时:4份配置,和5个必然踩到的坑

用chrony给五台机器对时:4份配置,和5个必然踩到的坑

admin
14 0 0

关于我们

你是否对浩瀚的宇宙充满好奇?你是否渴望掌握未来科技的力量?现在,机会来了!“未来星球”将带你进入奇妙世界,开启你的科技探险之旅! 这是一个充满想象和创造力的博客!

分类导航

首页 新闻资讯 技术教程 软件工具 知识百科 生活实用 个人随笔 生命外星人

友情链接

未来星球AI工具【网络版】 未来星球 pycharm官方站【中国】
Copyright © 2026 未来星球. Designed by nicetheme. 蒙ICP备2026002569号-1
  • 请到 [后台->外观->菜单] 中设置菜单
  • AI未来
  • 生活百科
  • 档案
  • 外星人
  • 未来星球

admin

当生活给你的全是不如意,那你一定要相信自己的兴趣!
265
文章
0
评论
-11
喜欢