磁盘空间与 inode 管理：从 df 到 lsof 的生产排障全攻略

# 查看文件系统类型
df -T

# 查看 ext4 的 inode 配置
tune2fs -l /dev/sda1 | grep -i "inode\|block count\|block size"

# 查看 xfs 的 inode 信息
xfs_info /dev/sda1 | grep -i "imax\|inodes"

$ df -h /
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1        50G   20G   30G  40% /

$ df -i /
Filesystem     Inodes  IUsed IFree IUse% Mounted on
/dev/sda1     3276800 3276800    0  100% /

# 查看磁盘空间使用情况
df -h

# 查看 inode 使用情况（关键！）
df -ih

Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1       100G   95G  5.0G  95% /
/dev/sdb1       500G  120G  380G  24% /data
tmpfs           7.8G  1.2M  7.8G   1% /run

Filesystem     Inodes IUsed IFree IUse% Mounted on
/dev/sda1      6.5M   6.5M     0  100% /
/dev/sdb1      3.2M   125K  3.1M    1% /data
tmpfs          512K   105   512K    1% /run

# 从根目录逐级排查
du -h --max-depth=1 / 2>/dev/null | sort -rh | head -20

# 针对特定目录深入排查
du -h --max-depth=1 /var 2>/dev/null | sort -rh | head -20

# 统计各目录下的文件数量
find / -xdev -type f 2>/dev/null | \
  awk -F/ '{print "/"$2}' | \
  sort | uniq -c | sort -rn | head -20

# 查看根目录下每个一级目录的文件数
for d in /*; do
  [ -d "$d" ] && echo "$(find "$d" -xdev 2>/dev/null | wc -l) $d"
done | sort -rn | head -10

# 列出已删除但仍被进程占用的文件
lsof +L1 2>/dev/null

# 或者用更精确的方式
lsof -nP | grep -i "(deleted)"

COMMAND   PID  USER   FD   TYPE  DEVICE  SIZE/OFF  NODE NAME
nginx    1234  root   8w   REG   8,1     10G      12345 /var/log/nginx/access.log (deleted)
java     5678  app   42w   REG   8,1     5G       12346 /opt/app/logs/gc.log (deleted)

# 平滑重启 nginx
nginx -s reload

# 重启 java 应用
systemctl restart app

# 通过 /proc 文件系统清空文件
cat /dev/null > /proc/1234/fd/8

# 通过 /proc 截断文件
truncate -s 0 /proc/1234/fd/8

# 查看预留块比例
tune2fs -l /dev/sda1 | grep "Reserved block count"

# 输出示例：
# Reserved block count:     2621440
# Block size:               4096
# 预留空间 = 2621440 * 4096 / 1024 / 1024 / 1024 ≈ 10GB

# 将预留比例设为 1%（数据盘推荐）
tune2fs -m 1 /dev/sdb1

# 完全取消预留（仅用于临时盘或测试盘）
tune2fs -m 0 /dev/sdb1

# 指定预留块数（精确控制）
tune2fs -r 0 /dev/sdb1

# 清空日志文件（保留文件本身，只清内容）
cat /dev/null > /var/log/nginx/access.log

# 删除 7 天前的日志文件
find /var/log -name "*.log" -mtime +7 -delete

# 删除超过 100MB 的日志文件
find /var/log -name "*.log" -size +100M -delete

# 压缩 3 天前的日志
find /var/log -name "*.log" -mtime +3 -exec gzip {} \;

# /etc/logrotate.d/nginx
/var/log/nginx/*.log {
    daily              # 每天轮转
    rotate 14          # 保留 14 天
    compress           # 压缩旧日志
    delaycompress      # 延迟一天压缩（防止和当前写入冲突）
    missingok          # 文件不存在不报错
    notifempty         # 空文件不轮转
    create 644 nginx adm  # 轮转后创建新文件
    sharedscripts      # 多个文件匹配时脚本只执行一次
    postrotate
        if [ -f /var/run/nginx.pid ]; then
            kill -USR1 $(cat /var/run/nginx.pid)
        fi
    endscript
}

# /etc/logrotate.d/myapp
/opt/app/logs/*.log {
    daily
    rotate 30
    compress
    delaycompress
    missingok
    notifempty
    copytruncate
    size 500M
}

# 调试模式（不实际执行，只显示会做什么）
logrotate -d /etc/logrotate.d/nginx

# 强制执行
logrotate -f /etc/logrotate.d/nginx

# 查看 Docker 整体磁盘使用
docker system df

# 查看详细信息
docker system df -v

TYPE            TOTAL   ACTIVE  SIZE      RECLAIMABLE
Images          45      12      52.3GB    38.1GB (72%)
Containers      23      8       1.2GB     800MB (66%)
Local Volumes   15      10      8.5GB     2.3GB (27%)
Build Cache     0       0       0B        0B

# 一键清理：停止的容器 + 无用网络 + 悬空镜像 + 构建缓存
docker system prune

# 更彻底：包括未被容器引用的镜像
docker system prune -a

# 清理未被使用的 Volume（谨慎！确认没有需要保留的数据）
docker volume prune

# 清理构建缓存
docker builder prune

# 只清理悬空镜像（<none> 标签的）
docker image prune

// /etc/docker/daemon.json
{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m",
    "max-file": "3"
  }
}

systemctl restart docker

#!/bin/bash
# disk-check.sh - 磁盘空间与 inode 巡检脚本
# 用法: ./disk-check.sh [阈值百分比，默认85]

THRESHOLD=${1:-85}
HOSTNAME=$(hostname)
ALERT_LIST=""

# 检查磁盘空间
while read -r line; do
    USAGE=$(echo "$line" | awk '{print $5}' | tr -d '%')
    MOUNT=$(echo "$line" | awk '{print $6}')
    if [ "$USAGE" -ge "$THRESHOLD" ] 2>/dev/null; then
        ALERT_LIST="${ALERT_LIST}磁盘空间: ${MOUNT} 使用率 ${USAGE}%\n"
    fi
done < <(df -h | grep -v "^Filesystem" | grep -v "tmpfs")

# 检查 inode 使用率
while read -r line; do
    USAGE=$(echo "$line" | awk '{print $5}' | tr -d '%')
    MOUNT=$(echo "$line" | awk '{print $6}')
    if [ "$USAGE" -ge "$THRESHOLD" ] 2>/dev/null; then
        ALERT_LIST="${ALERT_LIST}inode: ${MOUNT} 使用率 ${USAGE}%\n"
    fi
done < <(df -ih | grep -v "^Filesystem" | grep -v "tmpfs")

# 检查已删除未释放的大文件
DELETED_FILES=$(lsof +L1 2>/dev/null | awk 'NR>1 && $7+0 > 104857600 {print $1, $2, $7/1024/1024 "MB", $NF}')
if [ -n "$DELETED_FILES" ]; then
    ALERT_LIST="${ALERT_LIST}已删除未释放文件:\n${DELETED_FILES}\n"
fi

# 输出告警
if [ -n "$ALERT_LIST" ]; then
    echo -e "[磁盘巡检告警] ${HOSTNAME}\n"
    echo -e "$ALERT_LIST"
    # 这里接入告警通道（企业微信/钉钉/邮件等）
    # send_alert "$ALERT_LIST"
    exit 1
else
    echo "[磁盘巡检] ${HOSTNAME} 正常"
    exit 0
fi

# 每天上午 9 点巡检
0 9 * * * /opt/scripts/disk-check.sh 85 >> /var/log/disk-check.log 2>&1

# 每小时检查一次（适合磁盘增长快的环境）
0 * * * * /opt/scripts/disk-check.sh 90 >> /var/log/disk-check.log 2>&1

# 第一步：找出文件最多的目录
for d in /*; do
  [ -d "$d" ] && echo "$(find "$d" -xdev 2>/dev/null | wc -l) $d"
done | sort -rn | head -10

# 第二步：深入到子目录，逐级定位
# 假设 /var 文件最多，继续往下查
for d in /var/*; do
  [ -d "$d" ] && echo "$(find "$d" -xdev 2>/dev/null | wc -l) $d"
done | sort -rn | head -10

# 第三步：批量删除小文件
# 先确认文件数量和类型
find /var/log/app -type f -name "*.tmp" | wc -l

# 删除（先用 -print 确认，再换 -delete）
find /var/log/app -type f -name "*.tmp" -delete

# 方法一：find -delete（推荐，最快）
find /path/to/dir -type f -delete

# 方法二：find + xargs（适合需要额外处理时）
find /path/to/dir -type f -print0 | xargs -0 rm -f

# 方法三：rsync 清空目录（性能极好）
mkdir /tmp/empty_dir
rsync -a --delete /tmp/empty_dir/ /path/to/dir/

# ext4：每 4KB 空间分配一个 inode（默认 16KB）
mkfs.ext4 -i 4096 /dev/sdb1

# 或者指定每 2KB 一个 inode（更激进）
mkfs.ext4 -i 2048 /dev/sdb1

# 查看调整效果
tune2fs -l /dev/sdb1 | grep "Inode count"

# disk-alerts.yml
groups:
  - name: disk_alerts
    rules:
      # 磁盘空间使用率 > 85%
      - alert: DiskSpaceHigh
        expr: |
          100 - (node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} 
          / node_filesystem_size_bytes{fstype!~"tmpfs|overlay"} * 100) > 85          
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "磁盘空间使用率高: {{ $labels.mountpoint }}"
          description: "{{ $labels.instance }} 的 {{ $labels.mountpoint }} 使用率 {{ $value }}%"

      # 磁盘空间使用率 > 95%（紧急）
      - alert: DiskSpaceCritical
        expr: |
          100 - (node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} 
          / node_filesystem_size_bytes{fstype!~"tmpfs|overlay"} * 100) > 95          
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "磁盘空间严重不足: {{ $labels.mountpoint }}"
          description: "{{ $labels.instance }} 的 {{ $labels.mountpoint }} 使用率 {{ $value }}%"

      # inode 使用率 > 85%
      - alert: InodeUsageHigh
        expr: |
          100 - (node_filesystem_files_free{fstype!~"tmpfs|overlay"} 
          / node_filesystem_files{fstype!~"tmpfs|overlay"} * 100) > 85          
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "inode 使用率高: {{ $labels.mountpoint }}"
          description: "{{ $labels.instance }} 的 {{ $labels.mountpoint }} inode 使用率 {{ $value }}%"