Linux 性能分析与故障排查面试题

系统慢 → top/vmstat/mpstat/iostat/sar  → 找到瓶颈维度
  ├─ CPU 热点 → perf top / bpftrace
  ├─ IO 等待 → iostat / blktrace / bpftrace biolatency
  ├─ 网络丢包 → sar -n / nicstat / tcpdump
  └─ 进程卡顿 → strace / perf trace

// 容器进程伪代码
unshare(CLONE_NEWNS | CLONE_NEWPID | CLONE_NEWNET | CLONE_NEWUTS);
mount("proc", "/proc", "proc", 0, NULL);
write_cgroup("memory.max", "536870912");
execvp(argv[0], argv);

**core dump（核心转储）—— 进程崩溃快照：**

- 进程崩溃（SIGSEGV、SIGABRT、SIGBUS）时将**内存、寄存器、栈**写入文件，便于事后分析。
- 配置 `coredumpctl`（systemd-coredump）集中管理。

  ```bash
  echo '/tmp/core.%e.%p' > /proc/sys/kernel/core_pattern
  ulimit -c unlimited
  # 启用 systemd-coredump
  systemctl enable systemd-coredump.socket

1. 现象确认 → 监控/告警/用户反馈
2. 时间点定位 → 关联监控指标（Prometheus）、日志时间戳
3. dmesg 优先 → 硬件/内核问题（OOM、disk error、mce、kernel panic）
4. journalctl 服务日志 → 应用层异常（启动失败、配置错误）
5. 进程状态 → strace / gdb / /proc/<pid>/status
6. 资源使用 → vmstat / iostat / mpstat / perf / bpftrace
7. 网络层 → ss / netstat / tcpdump / nicstat
8. 根因定位 → 横向对比（正常 vs 异常）、纵向时间线（何时开始变化）
9. 修复 → 规避 → 复盘 → 文档

ss -s              # 套接字统计
lsof -p <pid>      # 进程打开文件
strace -p <pid>    # 进程系统调用
perf top -g        # 实时热点函数
bpftrace -e 'tracepoint:syscalls:sys_enter_* { @[comm] = count(); }'

# 现象：屏幕显示 "grub rescue>"
# 原因：GRUB 找不到正常启动项

# 进入 GRUB 命令行手动启动
grub rescue> set root=(hd0,msdos1)      # 引导分区
grub rescue> linux /vmlinuz-<ver> root=/dev/sda2 ro
grub rescue> initrd /initramfs-<ver>.img
grub rescue> boot

# 现象："You are now being dropped into an emergency shell"
# 原因：根文件系统找不到（驱动缺失、LVM 未激活、UUID 错）

# 在 emergency shell 中排查
ls /dev/sd* /dev/vd* /dev/nvme*        # 看可用设备
blkid                                   # 看文件系统 UUID
ls /lib/modules/$(uname -r)            # 看已加载模块
cat /proc/modules                       # 确认驱动加载情况
dmesg | tail -30                        # 内核日志

# 修复：手动挂载根 + 修复 fstab
mount /dev/sda2 /sysroot
mount -o bind /dev /sysroot/dev
chroot /sysroot
vi /etc/fstab

# 在 GRUB 启动参数加 systemd.unit=rescue.target
# 编辑 /etc/default/grub
GRUB_CMDLINE_LINUX="... systemd.unit=rescue.target"
grub2-mkconfig -o /boot/grub2/grub.cfg

# rescue.target 启动后
systemctl list-jobs                    # 看卡在哪个 job
systemctl status                       # 看失败 unit
journalctl -xb                         # 看本次启动日志
systemctl reset-failed                 # 重置失败状态

# 内核日志（启动过程）
dmesg | less

# 启动耗时分解
systemd-analyze
# Startup finished in 2.456s (kernel) + 8.123s (userspace) = 10.579s
# graphical.target reached after 9.876s in userspace

# 启动耗时排序
systemd-analyze blame | head -20

# 关键路径
systemd-analyze critical-chain multi-user.target

# === 1. 缓冲区 ===
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

# === 2. 拥塞控制 ===
net.ipv4.tcp_congestion_control = bbr
net.core.default_qdisc = fq

# === 3. 连接队列 ===
net.core.somaxconn = 32768              # 监听 backlog 上限
net.ipv4.tcp_max_syn_backlog = 65535    # SYN 队列
net.core.netdev_max_backlog = 5000      # 网卡接收队列

# === 4. TIME_WAIT 优化 ===
net.ipv4.tcp_tw_reuse = 1               # 允许 TIME_WAIT 重用
net.ipv4.tcp_fin_timeout = 15           # 默认 60s → 15s

# === 5. SYN 防护 ===
net.ipv4.tcp_syncookies = 1             # 开启 SYN Cookie
net.ipv4.tcp_synack_retries = 2         # SYN+ACK 重试 2 次
net.ipv4.tcp_max_syn_backlog = 65535

# === 6. Keepalive ===
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3

# === 7. 安全 ===
net.ipv4.tcp_rfc1337 = 1                # 防御 TIME_WAIT 攻击
net.ipv4.conf.all.rp_filter = 1         # 反向路径过滤
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.icmp_echo_ignore_broadcasts = 1

# === 8. IP 转发（如需 NAT/路由） ===
net.ipv4.ip_forward = 1
net.ipv6.conf.all.forwarding = 1

# === 9. TCP Fast Open ===
net.ipv4.tcp_fastopen = 3

# === 10. 端口范围 ===
net.ipv4.ip_local_port_range = 10000 65535

# === 1. 脏页回写 ===
vm.dirty_background_ratio = 10         # 内存 10% 脏页时后台回写
vm.dirty_ratio = 20                    # 内存 20% 脏页时同步阻塞
vm.dirty_expire_centisecs = 3000       # 30s
vm.dirty_writeback_centisecs = 500     # 5s 唤醒一次回写

# === 2. Swap 倾向 ===
vm.swappiness = 60                     # 默认 60
# 数据库：vm.swappiness = 1（优先用内存）

# === 3. 缓存压力 ===
vm.vfs_cache_pressure = 100            # 默认 100
# 文件服务器可调高（>100）优先回收 dentry

# === 4. 大页（数据库） ===
vm.nr_hugepages = 1024                 # 2GB

# === 5. 透明大页（生产数据库关闭） ===
# echo never > /sys/kernel/mm/transparent_hugepage/enabled

# === 6. OOM 行为 ===
vm.overcommit_memory = 0               # 0=启发式 1=总允许 2=严格
vm.overcommit_ratio = 50
vm.oom_kill_allocating_task = 0        # 默认杀占用最高，可改 1 杀触发者

# === 1. 进程数限制 ===
kernel.pid_max = 4194304
kernel.threads-max = 4194304

# === 2. 文件句柄 ===
fs.file-max = 2097152                  # 系统级
# 进程级：ulimit -n / /etc/security/limits.conf

# === 3. 信号队列 ===
kernel.sem = 250 32000 32 128

# === 4. 共享内存 ===
kernel.shmmax = 68719476736            # 64GB
kernel.shmall = 4294967296

# === 5. 消息队列 ===
kernel.msgmax = 65536
kernel.msgmnb = 65536

# === 6. NUMA（数据库可关） ===
kernel.numa_balancing = 0              # 0=关闭 1=启用

# === 7. 软死锁检测 ===
# hung_task_timeout_secs 默认 120，调小可更快发现卡死
# echo 30 > /proc/sys/kernel/hung_task_timeout_secs

# === 1. inotify 限制（影响 K8s/IDE/agent） ===
fs.inotify.max_user_watches = 524288    # 默认 8192，K8s 节点需调大
fs.inotify.max_user_instances = 512
fs.inotify.max_queued_events = 16384

# === 2. file-max 已在 kernel. 中

# === 3. 目录项缓存 ===
fs.dir-notify-enable = 1

# /etc/sysctl.d/99-web.conf
net.core.somaxconn = 32768
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_congestion_control = bbr
net.core.default_qdisc = fq
fs.file-max = 2097152
fs.inotify.max_user_watches = 524288

# /etc/sysctl.d/99-k8s.conf
fs.inotify.max_user_watches = 524288
fs.inotify.max_user_instances = 8192
fs.file-max = 2097152
kernel.pid_max = 4194304
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 1                       # 容器节点推荐 1（kubeadm 默认），避免 OOM 时完全无 swap 缓冲

# /etc/sysctl.d/99-db.conf
vm.swappiness = 1
vm.dirty_background_ratio = 3
vm.dirty_ratio = 10
vm.nr_hugepages = 16384                 # 32GB 大页
kernel.numa_balancing = 0
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
net.ipv4.tcp_rmem = 4096 87380 134217728
net.ipv4.tcp_wmem = 4096 65536 134217728

# 1. 直接生效
sysctl -w net.core.somaxconn=32768

# 2. 从文件加载
sysctl -p /etc/sysctl.d/99-k8s.conf

# 3. 持久化（写入 /etc/sysctl.d/）
echo "net.core.somaxconn = 32768" > /etc/sysctl.d/99-k8s.conf
sysctl --system

# 4. 验证
sysctl net.core.somaxconn

# === 内存信息 ===
/proc/meminfo                  # 全局内存统计
# MemTotal: 67108864 kB
# MemFree: 12345678 kB
# MemAvailable: 45678901 kB     # 真正可用（MemFree + 可回收缓存）
# Buffers: 234567 kB
# Cached: 12345678 kB
# SwapTotal/Cached/Available

# === CPU 信息 ===
/proc/cpuinfo                  # CPU 型号、频率、cache、flags
/proc/loadavg                  # 负载（1/5/15 分钟）+ running/total 进程数
# 0.50 0.45 0.40 1/1234 12345

/proc/stat                     # 全局 CPU 统计（user/nice/system/idle/iowait/irq/softirq/steal）
# cpu  1234567 0 234567 89012345 12345 0 6789 0 0 0
# 计算 CPU 使用率：100 - (idle4 - idle0) / (total4 - total0) * 100

# === 启动信息 ===
/proc/uptime                   # 启动秒数 + idle 秒数
/proc/version                  # 内核版本 + GCC 版本
/proc/cmdline                  # 内核启动参数
/proc/filesystems             # 支持的文件系统类型

# === 中断信息 ===
/proc/interrupts               # 硬件中断统计
/proc/softirqs                 # 软中断统计
# 看哪个 CPU 软中断高 → 网络瓶颈或调度问题

# === IO 信息 ===
/proc/diskstats                # 块设备 IO 统计（iostat 数据源）
/proc/partitions               # 分区信息

# === 网络信息 ===
/proc/net/dev                  # 网卡统计（bytes/packets/errors/drops）
/proc/net/tcp                  # TCP 连接表（netstat 数据源）
/proc/net/tcp6                 # IPv6 TCP
/proc/net/udp                  # UDP
/proc/net/arp                  # ARP 表
/proc/net/route                # 路由表
/proc/net/sockstat             # socket 统计

# === 模块与符号 ===
/proc/modules                  # 已加载内核模块
/proc/kallsyms                 # 内核符号表（需 root）

# === cgroup 挂载点 ===
/proc/cgroups                  # cgroup 控制器信息
/proc/self/cgroup              # 当前进程 cgroup 归属
/proc/<pid>/cgroup             # 指定进程 cgroup

# === 挂载点 ===
/proc/mounts                   # 当前挂载（mount 命令数据源）
/proc/self/mountinfo           # 详细挂载信息

# === 基础信息 ===
/proc/<pid>/cmdline            # 启动命令行（\0 分隔）
/proc/<pid>/comm               # 进程名
/proc/<pid>/status             # 易读进程状态（vs stat）
# Name: nginx
# State: S (sleeping)
# Pid: 1234
# PPid: 1
# Threads: 8
# VmRSS: 123456 kB
# VmSize: 234567 kB

/proc/<pid>/stat               # 详细状态（52 字段，空格分隔）
/proc/<pid>/statm              # 简化 stat（size/resident/shared/text/lib/data）

# === 内存信息 ===
/proc/<pid>/maps               # 虚拟内存映射（VMA 段）
/proc/<pid>/smaps              # 每段详细 RSS/Pss 统计
/proc/<pid>/numa_maps          # NUMA 内存分布
/proc/<pid>/oom_score          # 0-1000
/proc/<pid>/oom_score_adj      # -1000 ~ +1000
/proc/<pid>/oom_adj            # 旧版

# === IO 信息 ===
/proc/<pid>/io                 # 进程 IO 统计（rchar/wchar/syscr/syscw/...)
# rchar: 123456789  读字节
# wchar: 987654321  写字节
# syscr: 12345      读系统调用
# syscw: 6789       写系统调用
# read_bytes: 23456789  真实磁盘读
# write_bytes: 9876543  真实磁盘写

# === 文件描述符 ===
/proc/<pid>/fd/                # fd 符号链接（0,1,2 是 stdin/stdout/stderr）
/proc/<pid>/fdinfo/            # fd 详细信息
/proc/<pid>/limits             # 资源限制
# Max open files: 65535

# === 调度信息 ===
/proc/<pid>/sched              # 调度统计（runtime/waittime/...）
/proc/<pid>/schedstat          # 调度器统计
/proc/<pid>/cpuset             # CPU 亲和性
/proc/<pid>/task/<tid>/        # 线程级（与进程级类似）

# === 网络 ===
/proc/<pid>/net/               # 进程 namespace 网络视图
/proc/<pid>/ns/                # namespace 引用

# 1. 查进程命令行（绕过 ps 解析问题）
cat /proc/1234/cmdline | tr '\0' ' '

# 2. 查进程打开的文件（lsof 备选）
ls -la /proc/1234/fd/ | head

# 3. 查进程 IO 统计
cat /proc/1234/io
# watch -n 1 'cat /proc/1234/io'  # 持续观测

# 4. 查进程实际内存
cat /proc/1234/status | grep -E "VmRSS|VmSize|Threads"

# 5. 查谁在使用某端口
ls -la /proc/*/fd/ 2>/dev/null | grep socket | head

# 6. 系统内存可用量
awk '/MemAvailable/ {print $2 " kB"}' /proc/meminfo

# 7. 系统负载 + 内存 + 进程数
echo "load: $(cat /proc/loadavg | awk '{print $1,$2,$3}')"
echo "mem: $(awk '/MemAvailable/{a=$2}/MemTotal/{t=$2}END{printf "%.1f%% used", (t-a)/t*100}' /proc/meminfo)"

# 8. 找 CPU 占用最高的进程（无 ps/top）
for pid in /proc/[0-9]*; do
    pid_num=$(basename $pid)
    cpu=$(awk '{print "cpu "$2+$3+$4+$5+$6+$7+$8}' /proc/$pid_num/stat 2>/dev/null)
    echo $pid_num $cpu
done | sort -k2 -rn | head -10

# 安装（Ubuntu）
apt install bpftrace
# 或 RHEL
yum install bpftrace

# 1. Hello World（追踪 open 系统调用）
bpftrace -e 'kprobe:do_sys_open { printf("%s [%d]\n", comm, pid); }'

# 2. 看谁在读 /etc/passwd
bpftrace -e 'tracepoint:syscalls:sys_enter_openat /str(args->filename) == "/etc/passwd"/ { printf("%s\n", comm); }'

# 3. 统计进程系统调用次数（top 10）
bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }'
# Ctrl-C 后输出 @comm[nginx]: 12345
#         @comm[mysqld]: 6789

# 4. 跟踪进程系统调用（strace 增强版）
bpftrace -e 'tracepoint:syscalls:sys_enter_read /pid == 1234/ { printf("read %d bytes\n", args->count); }'

# 5. 统计进程退出时间
bpftrace -e 'tracepoint:sched:sched_process_exit { printf("%s exit code %d duration %d\n", comm, args->code, args->timestamp_ns - $self->start); }'

# 6. 看 TCP 重传统计
bpftrace -e 'tracepoint:tcp:tcp_retransmit_skb { @[args->sport] = count(); }'

#!/usr/bin/env bpftrace
/* biolatency.bt - 块设备 IO 延迟分布直方图 */

#include <linux/blkdev.h>

BEGIN {
    printf("Tracing block device I/O... Hit Ctrl-C to end.\n");
}

kprobe:blk_mq_start_request {
    @start[tid] = nsecs;
}

kretprobe:blk_mq_end_request /@start[tid]/ {
    @usecs = hist((nsecs - @start[tid]) / 1000);
    delete(@start[tid]);
}

END {
    printf("\nBlock IO latency (us):\n");
    print(@usecs);
}

# 跑脚本
bpftrace biolatency.bt
# 1  -> 2                 : 5 |
# 2  -> 4                 : 15 ||
# 4  -> 8                 : 156 ||||||||
# ...
# 512 -> 1024             : 3 |
# 1024 -> 2048            : 1 |
# @usecs:
# [1]                  5 |@@@@|
# [2]                 15 |@@@@@@@@@@@|
# [16]                156 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|
# ...

# 安装
apt install linux-tools-common linux-tools-generic

# 1. 实时 CPU 热点（按函数）
perf top
# 5.0%  [kernel]  [k] __schedule
# 3.0%  mysqld    [.] buf_calc_page_new_checksum
# ...

# 2. 记录 30 秒 profile
perf record -F 99 -a -g -- sleep 30
perf report --sort=comm,symbol

# 3. 看调用栈
perf record -F 99 -p 1234 -g -- sleep 10
perf script | stackcollapse-perf.pl | flamegraph.pl > flame.svg

# 4. 跟踪系统调用（类似 strace）
perf trace -p 1234
perf trace -e open,read,write -- your-command

# 5. 性能计数器（PMC）查询
perf stat -e cache-misses,cache-references,L1-dcache-load-misses -p 1234

# 6. 内存分配热点
perf mem record -t load -p 1234 -- sleep 10
perf mem report

# 7. 调度延迟分析
perf sched record -- sleep 10
perf sched latency

# 8. 锁竞争分析
perf lock contention -a -- sleep 10

# 1. 找进程
top -bn1 | head
# PID 1234 mysqld 100% CPU

# 2. 采样（不需要停服务）
perf top -p 1234
# 或
perf record -F 99 -p 1234 -g -- sleep 30
perf report

# 跟踪读/写系统调用
bpftrace -e '
kprobe:__x64_sys_read /pid == 1234/ {
    @start[tid] = nsecs;
    @fd[tid] = args->fd;
}
kretprobe:__x64_sys_read /@start[tid]/ {
    $lat_us = (nsecs - @start[tid]) / 1000;
    @usecs = hist($lat_us);
    if ($lat_us > 10000) {  # > 10ms 记录
        printf("slow read: fd=%d lat=%d us\n", @fd[tid], $lat_us);
    }
    delete(@start[tid]); delete(@fd[tid]);
}'

# 看内核丢包位置
perf trace -e skb:kfree_skb -a
# 看到大量 skb:kfree_skb 来自 tcp_v4_rcv → TCP 校验和错

# 或用 bpftrace
bpftrace -e '
kprobe:__kfree_skb /args->reason == SKB_DROP_REASON_TCP_CSUM/ { 
    printf("TCP CSUM drop: skb=%p reason=%d\n", args->skb, args->reason); 
}'

# 跑预先写好的脚本
bpftrace /usr/share/bpftrace/tools/biolatency.bt
# 看 IO 延迟直方图
# 99% IO 在 100μs 内 → NVMe 健康
# 99% IO > 10ms → 慢盘或队列深

ls /usr/share/bpftrace/tools/
# bashreadline.bt     - bash 击键统计
# biolatency.bt       - 块 IO 延迟
# biosnoop.bt         - 块 IO 跟踪
# capable.bt          - 能力检查
# cpudist.bt          - 进程 on-CPU 延迟
# dcsnoop.bt          - 目录项缓存
# execsnoop.bt        - 进程 exec 跟踪
# gethostlatency.bt   - getaddrinfo 延迟
# killsnoop.bt        - 进程 kill 跟踪
# mdflush.bt          - 元数据 fsync
# naptime.bt          - 进程 off-CPU 时间
# oomkill.bt          - OOM Kill 事件
# opensnoop.bt        - 进程 open 跟踪
# pidpersec.bt        - 进程创建速率
# runqlat.bt          - CPU 运行队列延迟
# syscount.bt         - 系统调用计数
# tcpaccept.bt        - TCP accept 跟踪
# tcpconnect.bt       - TCP connect 跟踪
# tcpretrans.bt       - TCP 重传
# vfsstat.bt          - VFS 统计

# CPU
cat /proc/pressure/cpu
# some avg10=0.00 avg60=0.05 avg300=0.10 total=123456
# full avg10=0.00 avg60=0.00 avg300=0.00 total=0

# 内存
cat /proc/pressure/memory
# some avg10=2.30 avg60=1.50 avg300=0.80 total=987654321
# full avg10=0.00 avg60=0.00 avg300=0.00 total=0

# IO
cat /proc/pressure/io
# some avg10=5.20 avg60=3.10 avg300=2.40 total=1234567890
# full avg10=0.00 avg60=0.00 avg300=0.00 total=0

# Pod 的 PSI（K8s 1.20+）
cat /sys/fs/cgroup/kubepods/burstable/pod<uid>/cpu.pressure
cat /sys/fs/cgroup/kubepods/burstable/pod<uid>/memory.pressure
cat /sys/fs/cgroup/kubepods/burstable/pod<uid>/io.pressure

# 单个容器
cat /sys/fs/cgroup/kubepods.slice/.../memory.pressure

# node-exporter 默认暴露 PSI 指标
node_pressure_cpu_waiting_seconds_total
node_pressure_memory_stalled_seconds_total
node_pressure_io_stalled_seconds_total
node_pressure_memory_full_seconds_total

# 告警规则示例
- alert: HighCPIPressure
  expr: |
    rate(node_pressure_cpu_waiting_seconds_total[1m]) > 0.2
  for: 5m
  labels:
    severity: warning
  annotations:
    summary: "CPU 压力高"

- alert: CriticalMemoryPressure
  expr: |
    rate(node_pressure_memory_full_seconds_total[1m]) > 0.01
  for: 2m
  labels:
    severity: critical
  annotations:
    summary: "内存严重不足"

# 现象：top 显示 CPU 100%，但应用延迟高
# 诊断
cat /proc/pressure/cpu
# some avg10=45.00 → 45% 时间有任务等 CPU（CPU 不足）
# full avg10=2.00  → 2% 时间所有任务都等 CPU（CPU 饱和）
# 结论：CPU 真的不够，不是别的问题

# vs 如果是
# some avg10=45.00
# full avg10=0.00  → 0% 时间全等（虽然利用率高但还有余量）
# 结论：CPU 接近满载但还没瓶颈，应该查别的原因（IO？锁？）

# 监控 memory/some 趋势
watch -n 5 'cat /proc/pressure/memory'
# memory/some 持续上升 → 内存压力越来越大 → 可能是泄漏

# K8s Pod 级
kubectl exec -it <pod> -- cat /sys/fs/cgroup/memory.pressure

# 数据库延迟高
# 1. 看 IO PSI
cat /proc/pressure/io
# some avg10=15.20 → 15% 时间有任务等 IO

# 2. 看具体设备
iostat -dx 1

# 3. 关联监控
# 若 PSI 高 + iostat 看到 svctm 高 → 盘慢
# 若 PSI 高 + iostat 看到高 await → 队列深
# 若 PSI 高 + aqu-sz 低 → NVMe 设备自身慢

# 总体分布
top -b -n 1 | head -20
# %Cpu(s): 45.0 us, 30.0 sy,  0.0 ni, 20.0 id,  5.0 wa,  0.0 hi,  0.0 si,  0.0 st
#           ^     ^                ^     ^     ^     ^
#           |     |                |     |     |     虚拟化偷取（宿主机过载）
#           |     |                |     |     软中断（网络包处理）
#           |     |                |     硬中断（网卡/磁盘）
#           |     |                idle
#           |     内核态
#           用户态

# vmstat 持续观察
vmstat 1 5
# 看 sy 高 = 系统调用/内核开销大
# 看 us 高 = 应用层热点
# 看 wa 高 = IO 等待
# 看 hi/si 高 = 软硬中断（网络包/IO 频繁）

# 进程级 CPU 占用
ps -eo pid,ppid,user,pcpu,pmem,etime,comm --sort=-pcpu | head -20

# 看是哪个用户的进程（区分业务/系统）
ps -eo user,pcpu --sort=-pcpu | awk 'NR>1 {sum[$1]+=$2} END {for (u in sum) print u, sum[u]}'

# 看是哪个线程
top -H -p <pid>
# 按 CPU 排序，记录最高 tid

# perf 采样
perf record -F 99 -p <pid> -g -- sleep 30
perf report --sort=comm,symbol  # 看热点函数
perf script | stackcollapse-perf.pl | flamegraph.pl > cpu.svg

# 简化版：用 perf top 实时看
perf top -p <pid>
# 看到 hot 函数名后去代码查

# 找到 CPU 高的线程
top -H -p <pid>
# tid 转 16 进制
printf '%x\n' <tid>
# jstack 找对应线程栈
jstack <pid> | grep -A 30 "nid=0x<hex>"

# 用 async-profiler 取火焰图
./profiler.sh -d 30 -e cpu -f /tmp/cpu.html <pid>

# 业务进程 CPU 突增
rate(container_cpu_usage_seconds_total{pod=~"myapp-.*"}[5m]) > 0.9

# 整体节点 CPU 接近饱和
1 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) > 0.8

[应用层]  应用响应慢
    ↓ 排查
[运行时]  GC / 锁 / 线程池
    ↓ 排查
[OS 资源] CPU / 内存 / IO / 网络
    ↓ 排查
[依赖]    数据库 / 缓存 / 第三方 API
    ↓ 排查
[外部]    网络 / DNS / 运营商

# 业务侧：RT 是不是真涨了
# 看 APM / 监控 / 业务日志

# 应用层拆解 RT
curl -w "DNS: %{time_namelookup}\nConnect: %{time_connect}\nTLS: %{time_appconnect}\nTTFB: %{time_starttransfer}\nTotal: %{time_total}\n" \
     -o /dev/null -s <url>
# DNS 慢 → 解析问题
# Connect 慢 → 网络/防火墙
# TLS 慢 → 证书/算法
# TTFB 慢 → 服务端处理
# Total-TTFB 慢 → 响应体下载

# 应用服务状态
systemctl status myapp
journalctl -u myapp -n 100 --no-pager

# 线程数（线程池满 = 排队）
jstack <pid> | grep "java.lang.Thread.State" | sort | uniq -c | sort -rn
# BLOCKED 多 → 锁竞争
# WAITING 多 → 等待资源（数据库连接池、IO）
# RUNNABLE 多 → 真的在跑

# GC 频率
jstat -gcutil <pid> 1s 5
# YGC 列：每秒几次？老年代 Full GC 时间？

# 数据库连接池
# 看 active / idle / waiting

# 30 秒快速诊断脚本
{ 
  echo "=== uptime ==="; uptime
  echo "=== top ==="; top -b -n 1 | head -20
  echo "=== free ==="; free -h
  echo "=== iostat ==="; iostat -dx 1 3
  echo "=== vmstat ==="; vmstat 1 3
  echo "=== ss ==="; ss -s
  echo "=== D 态进程 ==="; ps -eo pid,ppid,stat,comm | awk '$3 ~ /D/'
  echo "=== dmesg 错误 ==="; dmesg | tail -20
  echo "=== PSI ==="; for f in cpu memory io; do echo "--- $f ---"; cat /proc/pressure/$f; done
} | tee /tmp/perf-$(date +%s).log

# 数据库慢
# 看数据库监控：QPS、慢查询、连接数、InnoDB 行锁、buffer pool 命中率
# 看慢查询日志
mysql -e "SHOW FULL PROCESSLIST" | head
# 看 lock 等待
mysql -e "SELECT * FROM information_schema.innodb_trx" 
# 看主从延迟
mysql -e "SHOW SLAVE STATUS\G" | grep Seconds_Behind_Master

# 缓存
redis-cli --latency          # 持续测延迟
redis-cli INFO stats | grep instantaneous

# 外部 API：业务代码看对方响应时间，或抓包

# 用 atop 持续记录，每 10 分钟采样（默认 10min 历史）
atop -a -w /var/log/atop.log 60

# 回放历史（看问题发生时间点的状态）
atop -r /var/log/atop.log -b 14:30 -e 14:35

# TCP 重传率高 = 网络丢包
ss -s           # 看 retrans
netstat -s | grep -i retrans
# 抓包看是否 RST / 重传
tcpdump -i eth0 -nn -w /tmp/cap.pcap 'port 80'
# Wireshark: Statistics → Conversations → 看每个流的 RTT

# 1. 临时扩容（云上）
# 加 pod 副本 / 加机器
# 2. 限流
nginx: limit_req / limit_conn
应用: Sentinel / Envoy
# 3. 降级
关非核心功能，返回缓存
# 4. 重启
# 5. 回滚

# 看重启时间 + 时长
last reboot
# reboot   system boot  2.6.32  Mon Jun  8 09:00 - 14:00  (05:00)
#                                   ^^^^^ 启动时间
# 频繁时间点 = 找出规律

# 看 wtmp 完整登录历史
last -f /var/log/wtmp

# 看 runlevel 切换
cat /var/log/wtmp | last -x

# 找出最后一次启动之前的日志（关键）
journalctl --list-boots
# 0 = 当前
# -1 = 上一次
journalctl -b -1 -n 200        # 上一次启动的最后 200 行
journalctl -b -1 -p err        # 只看错误
journalctl -k -b -1            # 只看内核

# 看重启前是否有 OOM
journalctl -k | grep -iE "oom|killed process|out of memory"
dmesg | grep -iE "oom|panic|lockup|bug|trace"

# systemd 主动重启？
journalctl -u myapp.service --since "2 hours ago"
# 看 Restart= 触发记录

# 启用 kdump（开机预留内存给 kdump kernel）
systemctl enable kdump
systemctl start kdump
# 配置文件 /etc/kdump.conf
# crashkernel=256M 或 auto

# panic 后会自动生成 vmcore
ls -la /var/crash/
# drwxr-xr-x 2 root root  2024-06-08 14:00 127.0.0.1-2024-06-08-14:00:21/
#   vmcore      ← 核心转储
#   vmcore-dmesg.txt

# 分析 vmcore
crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /var/crash/.../vmcore
# crash> bt -a         # 所有 CPU 调用栈
# crash> ps            # 进程列表
# crash> kmem -i       # 内存信息

# 或用 makedumpfile 提取关键信息（不需完整 crash）
makedumpfile --dump-dmesg /var/crash/.../vmcore /tmp/dmesg.txt

# CPU 温度
sensors              # lm-sensors
# coretemp-isa-0000
# Core 0:       +45.0°C  (high = +80.0°C, crit = +100.0°C)

# 硬盘 SMART
smartctl -a /dev/sda
# 看 Reallocated_Sector_Ct（重映射）、Current_Pending_Sector（待重映射）

# 内存 ECC 错误
mcelog               # 老式
# 现代在 dmesg / RAS daemon
journalctl -k | grep -iE "mce|machine check"

# IPMI/BMC
ipmitool sel list    # 系统事件日志
ipmitool sdr list    # 传感器读数

# 电源稳定
ipmitool sensor get "PSU1 Status"

# OOM 记录
journalctl -k | grep -i oom
dmesg | grep -i oom
# "Out of memory: Killed process 1234 (myapp) ..."
# "total-vm:..., anon-rss:..., file-rss:..., shmem-rss:..."

# cgroup 内存限制触发
journalctl -k | grep -i "memory cgroup"
# "memory cgroup out of memory: Killed process 1234 (myapp) ..."
# "memory cgroup: charge failed"

# cgroup 触发的 OOM Killer
cat /sys/fs/cgroup/memory/events
# low 0
# high 0
# max 5          ← 触发 max 5 次
# oom 3          ← OOM Kill 3 次
# oom_kill 3

# 节点重启告警
node_boot_time_seconds    # 当前时间 - 启动时间 < 600s = 刚启动
# 触发: time() - node_boot_time_seconds < 600

# 内核 panic
node_vmstat_panic         # 如果能拿到

# OOM 事件
rate(node_vmstat_oom_kill[5m]) > 0

应用层 wait
  ↓
[线程状态] BLOCKED / WAITING / TIMED_WAITING 多 = 等锁 / 等连接 / 等 IO
  ↓
[系统调用] 阻塞 IO read/write / connect / accept
  ↓
[内核等待] D 态进程 / iowait / netstat 大量 TIME_WAIT / SYN_SENT
  ↓
[外部依赖] 数据库 RT 高 / Redis 慢 / 第三方 API 超时

jstack <pid> > /tmp/jstack.log

# 状态统计
grep "java.lang.Thread.State" /tmp/jstack.log | sort | uniq -c | sort -rn
# 234 BLOCKED           ← 锁竞争
# 1234 WAITING          ← 等资源（连接池 / 队列）
# 567 TIMED_WAITING     ← 等超时（sleep / IO 超时）
# 89 RUNNABLE           ← 真正在跑

# 找 BLOCKED 线程
grep -A 5 "BLOCKED" /tmp/jstack.log | head -30
# 通常显示：waiting to lock <0x000000076bf12345>
# 找持有这把锁的线程
grep "locked <0x000000076bf12345>" /tmp/jstack.log

# 找 WAITING 的具体等待目标
grep -B 1 -A 10 "WAITING" /tmp/jstack.log | grep "at "
# 常见：at java.lang.Object.wait、at java.util.concurrent.locks.AbstractQueuedSynchronizer
# 进一步看是哪个类的 wait

# 看进程在哪些系统调用上阻塞
strace -p <pid> -c -f
# Ctrl+C 后看汇总
# 看 read/write/connect/accept 各多少

# 看具体调用栈
strace -p <pid> -k
# TID 1234: futex(0x7f1234, FUTEX_WAIT, ...
#             __lll_lock_wait+0x16 (libpthread)
#             __GI___pthread_mutex_lock+0x6e (libpthread)
#             Java_java_util_concurrent_locks_ReentrantLock_lock+0x1a (libjvm)
#             → 在等 Java ReentrantLock

# 网络 IO 阻塞
strace -e trace=read,write,recv,send,connect -p <pid>
# 看是不是 read() 一直不出

# 看磁盘 IO
iostat -dx 1 5
# 看 await 高不高，aqu-sz 大不大

# 看具体进程 IO
iotop -oP

# 看网络连接状态
ss -tan | awk 'NR>1 {print $1}' | sort | uniq -c | sort -rn
# 看 ESTABLISHED、SYN_SENT、CLOSE_WAIT 比例
# 大量 SYN_SENT → 目标端口不通
# 大量 CLOSE_WAIT → 本端没关连接
# 大量 TIME_WAIT → 高频短连接

# 数据库慢
mysql -e "SHOW ENGINE INNODB STATUS\G" | head -100
# 看 LATEST DETECTED DEADLOCK、最近事务

# 抓包看 RTT
tcpdump -i eth0 -nn -w /tmp/cap.pcap host <db_ip> and port 3306
# Wireshark: Statistics → Conversations → TCP → RTT

# DNS 解析慢（每次请求解析 1-2s）
# 看 glibc nscd / systemd-resolved 缓存
strace -e trace=connect curl <url> 2>&1 | head
# 看有没有 connect 之前先调 getaddrinfo

# Nagle 算法 + 延迟 ACK 冲突（小包场景 RT 飙 40ms）
sysctl net.ipv4.tcp_nodelay=1    # 业务代码 setsockopt(IPPROTO_TCP, TCP_NODELAY, 1)

# 文件描述符耗尽（应用日志报 Too many open files）
ulimit -n
# 调大 /etc/security/limits.conf

# TCP backlog 满（accept queue 满，新连接丢弃）
ss -ltn
# Recv-Q 接近 Send-Q → 满了
# 应用层调 listen(backlog) 加大 + sysctl net.core.somaxconn

# 调度器
sysctl -w kernel.sched_migration_cost_ns=5000000   # 减少跨核迁移
sysctl -w kernel.sched_min_granularity_ns=1000000 # 1ms 最小粒度

# 透明大页（数据库建议关闭 THP）
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

# 频率调节
cpupower frequency-set -g performance    # 服务器关节能
# 验证：cpupower frequency-info

# swappiness（数据库/延迟敏感 → 1-10）
sysctl -w vm.swappiness=10

# 脏页比例
sysctl -w vm.dirty_ratio=10              # 物理内存 10%
sysctl -w vm.dirty_background_ratio=5    # 5% 后开始后台回写
sysctl -w vm.dirty_expire_centisecs=3000 # 30s 过期
sysctl -w vm.dirty_writeback_centisecs=500  # 5s 触发回写

# 内核缓存压力
sysctl -w vm.vfs_cache_pressure=100      # 默认 100，200 = 更激进回收 dentry/inode

# 透明大页（如未关）
# 见 CPU 部分

# OOM 行为
sysctl -w vm.panic_on_oom=0              # 0=触发 OOM Killer，1=panic
sysctl -w vm.overcommit_memory=1         # 0=严格，1=总允许，2=比例

# IO 调度器（按设备选）
# NVMe：none（设备自身够快）
# SATA SSD / 虚拟化透传：none 或 kyber
# HDD / SATA SSD 普通：mq-deadline
echo mq-deadline > /sys/block/sda/queue/scheduler

# 队列深度
echo 1024 > /sys/block/sda/queue/nr_requests
echo 256 > /sys/block/nvme0n1/queue/nr_requests

# 预读（顺序读多则加大）
blockdev --setra 4096 /dev/sda      # 4MB 预读
# 验证：blockdev --getra /dev/sda

# 文件系统 mount 选项
# /etc/fstab
# UUID=... /data xfs defaults,noatime,nodiratime,allocsize=64m 0 0
# noatime：禁用访问时间更新（IO 减少 30%+）
# xfs / ext4 都推荐

# 通用
sysctl -w net.core.somaxconn=32768            # accept 队列
sysctl -w net.core.netdev_max_backlog=16384   # 网卡 backlog
sysctl -w net.core.rmem_max=16777216          # 16MB 接收缓冲
sysctl -w net.core.wmem_max=16777216          # 16MB 发送缓冲
sysctl -w net.ipv4.tcp_rmem="4096 87380 16777216"
sysctl -w net.ipv4.tcp_wmem="4096 65536 16777216"

# TIME_WAIT
sysctl -w net.ipv4.tcp_tw_reuse=1             # 出向连接复用（安全）
sysctl -w net.ipv4.ip_local_port_range="1024 65535"
sysctl -w net.ipv4.tcp_fin_timeout=15         # 缩短

# 连接跟踪（用 iptables/nft 时调大）
sysctl -w net.netfilter.nf_conntrack_max=1048576

# TCP 优化
sysctl -w net.ipv4.tcp_fastopen=3
sysctl -w net.ipv4.tcp_slow_start_after_idle=0  # 长连接带宽探测
sysctl -w net.ipv4.tcp_mtu_probing=1            # PMTUD 黑洞探测
sysctl -w net.core.default_qdisc=fq            # BBR 友好
sysctl -w net.ipv4.tcp_congestion_control=bbr   # BBR 拥塞控制

# 文件描述符
echo "* soft nofile 1048576" >> /etc/security/limits.conf
echo "* hard nofile 1048576" >> /etc/security/limits.conf
ulimit -n 1048576

# kubelet 推荐
--cgroup-driver=systemd
--cpu-manager-policy=static
--topology-manager-policy=single-numa-node
--max-pods=110

# K8s 1.22+ 启用 swap（可选）
--feature-gates=NodeSwap=true
--fail-swap-on=false

# cgroup v2（K8s 1.25+ 默认）
# 配合 systemd cgroup_driver