Linux运维故障排查速查命令清单一、系统基础状态第一时间执行核心概览命令# 运行时长、平均负载uptime# 系统整体资源实时监控tophtop# 需安装可视化更强交互更友好# 内存、swap使用情况人类可读格式free-h# 磁盘分区空间占用df-h# inode占用排查小文件爆满问题df-i# 磁盘整体IO负载1秒刷新一次iostat-x1# 内核硬件、崩溃报错带时间戳dmesg-T# 系统全局日志实时追踪tail-f/var/log/messages# CentOS7/RHEL7系统日志详细报错journalctl-xe二、CPU高负载排查定位高CPU进程/线程# 按CPU使用率降序排序进程psaux--sort-%cpu# 单个进程CPU线程详情1秒刷新pidstat-u1# 定位高CPU线程Java等多线程程序常用top-H-p进程ID# 查看定时任务是否异常cat/etc/crontabcrontab-l三、内存OOM、内存溢出排查内存占用与OOM排查# 按内存使用率降序排序进程psaux--sort-%mem# 进程内存详细统计1秒刷新pidstat-r1# 查看被删除但未释放的大日志文件句柄残留lsof|grepdeleted# 临时清理缓存生产环境谨慎执行sync;echo3/proc/sys/vm/drop_caches# 查看OOM杀死进程记录grep-ioom /var/log/messagesdmesg|grep-ikill# swap使用详情cat/proc/swaps# 查看系统swappiness参数内存使用策略cat/proc/sys/vm/swappiness四、磁盘空间 IO故障4.1 空间查找# 逐层查找大目录du-sh/*du-sh/data/*# 查找系统中大于1G的文件find/-typef-size1G-execls-lh{}\;4.2 IO卡死、磁盘慢# 实时IO统计1秒刷新iostat-x1# 进程级IO占用监控iotop# 进程IO详细统计1秒刷新pidstat-d1# 磁盘坏道检测需安装smartmontoolssmartctl-a/dev/sda# 文件系统检查必须先卸载分区umount/dev/sdb1 fsck.ext4 /dev/sdb1# 只读模式查看磁盘挂载参数mount五、网络连通、端口、延迟排查5.1 网卡基础# 查看网卡IP、状态ipa# 查看路由表iproute# 查看主机名对应IPhostname-i# 网卡流量实时统计1秒刷新sar-nDEV15.2 连通性、丢包延迟# 测试与网关/目标IP连通性ping网关/IP# 路由逐跳丢包检测最强网络排错工具mtr目标IP# DNS解析测试nslookupbaidu.comdigbaidu.com# 临时修改DNS重启网络后失效echonameserver 114.114.114.114/etc/resolv.conf5.3 端口占用、监听# 全量端口监听状态推荐比netstat高效ss-tulnp# 老式端口监听查看兼容旧系统netstat-tulnp# 查指定端口占用进程ss-tulnp|grep8080# 端口连通测试telnet IP 端口curl-vIP:端口# 防火墙状态与规则firewall-cmd --list-all systemctl status firewalld5.4 SSH专属故障# 查看ssh服务状态systemctl status sshd# 关闭DNS反向解析解决ssh登录卡顿grepUseDNS /etc/ssh/sshd_config# 密钥权限校验.ssh目录需700密钥文件需600ls-l~/.ssh/六、服务启停、崩溃排查# 查看服务运行状态systemctl status nginx mysqld redis# 查看所有服务开机自启状态systemctl list-unit-files--typeservice# 查看服务启动详细报错日志journalctl-unginx-xe# 手动前台启动服务直接看报错nginx-c/etc/nginx/nginx.conf# Nginx配置文件语法校验nginx-t# MySQL配置文件安全检测mysqld --validate-config七、权限、SELinux、sudo问题# 查看SELinux状态getenforce# 临时关闭SELinux重启后失效setenforce0# 查看文件安全上下文SELinux相关ls-Z文件名# 检查sudo配置文件语法visudo-c# 查看用户归属组idrootid普通用户名# 查看当前用户打开文件数限制ulimit-n# 系统全局文件句柄限制配置cat/etc/security/limits.conf# 使用绝对路径执行脚本调试脚本执行过程sh-x/path/to/script.sh八、高频故障场景排查现象原因方案8.1 僵尸进程过多defunct故障现象ps查看大量defunct进程占用系统进程资源核心原因子进程退出后父进程未回收、程序异常退出解决方案重启对应业务服务、重启服务器彻底清理优化程序进程回收机制8.2 Permission denied 权限拒绝故障现象无法读写文件、脚本执行失败、服务启动报错权限不足核心原因文件属主属组错误、权限不足、SELinux拦截、挂载参数限制解决方案# 修改文件/目录权限chmod755文件/目录# 修改文件/目录属主属组递归chown-R用户:组 文件/目录# 临时关闭SELinuxsetenforce0# 永久关闭SELinux修改配置文件vi/etc/selinux/config# 将SELINUXenforcing改为SELINUXdisabled8.3 文件系统只读Read-only file system故障现象所有写入操作报错只读无法修改任何文件核心原因磁盘文件系统损坏、fstab配置错误、磁盘异常触发内核保护解决方案# 重新挂载根目录为读写模式mount-oremount,rw /# 修复文件系统需先卸载分区umount/dev/分区名fsck/dev/分区名# 检查并修正/etc/fstab错误配置vi/etc/fstab8.4 SSH无法连接服务器故障现象连接超时、连接被拒绝、密码正确无法登录核心原因sshd服务未启动、22端口不通、ssh配置错误、密钥文件权限异常、用户锁定解决方案# 确保SSH服务正常运行systemctl status sshd systemctl start sshd# 客户端测试22端口连通性nc-zv服务器IP22# 修复.ssh目录及密钥权限chmod700~/.sshchmod600~/.ssh/id_rsa# 解锁用户passwd-u用户名8.5 Sudo提权失败故障现象普通用户sudo命令报错无法获取root权限核心原因用户未加入wheel组、sudoers文件语法错误、文件权限异常解决方案# 添加用户到wheel组sudo权限组usermod-aGwheel 用户名# 修复sudoers文件语法必须用visudo编辑visudo# 确保sudoers文件权限为440chmod440/etc/sudoers8.6 开机进入emergency紧急模式故障原因fstab挂载错误、磁盘分区损坏、根文件系统挂载失败解决方案# 紧急模式下重新挂载根目录为读写mount-oremount,rw /# 注释/etc/fstab中错误的挂载条目vi/etc/fstab# 测试挂载配置mount-a# 修复磁盘文件系统后重启fsck/dev/分区名reboot8.7 打开文件数过多too many open files故障原因系统/进程最大文件句柄数配置过低、长连接未释放解决方案# 修改系统全局文件句柄限制vi/etc/security/limits.conf# 添加以下配置*代表所有用户* soft nofile65535* hard nofile65535# 重启服务生效systemctl restart 服务名8.8 系统时间/时区异常故障影响证书失效、定时任务错乱、日志时间错误解决方案# 同步时区为上海timedatectl set-timezone Asia/Shanghai# 开启NTP时间同步systemctl start ntpd systemctlenablentpd九、运维常备排查命令速查表排查维度核心命令用途系统状态uptime、free -h、df -h、df -i快速查看系统负载、内存、磁盘空间进程资源top、iotop、mpstat、perf top定位高CPU/IO/内存进程网络排查ip a、ip r、ss -tulnp、ping、mtr网卡、路由、端口、连通性排查日志排查journalctl -xe、tail -f /var/log/messages系统、服务报错日志查看文件磁盘du -sh、lsof、fsck、mount大文件查找、句柄残留、文件系统修复 Linux运维故障排查速查命令清单
Linux运维故障排查速查命令清单一、系统基础状态第一时间执行核心概览命令# 运行时长、平均负载uptime# 系统整体资源实时监控tophtop# 需安装可视化更强交互更友好# 内存、swap使用情况人类可读格式free-h# 磁盘分区空间占用df-h# inode占用排查小文件爆满问题df-i# 磁盘整体IO负载1秒刷新一次iostat-x1# 内核硬件、崩溃报错带时间戳dmesg-T# 系统全局日志实时追踪tail-f/var/log/messages# CentOS7/RHEL7系统日志详细报错journalctl-xe二、CPU高负载排查定位高CPU进程/线程# 按CPU使用率降序排序进程psaux--sort-%cpu# 单个进程CPU线程详情1秒刷新pidstat-u1# 定位高CPU线程Java等多线程程序常用top-H-p进程ID# 查看定时任务是否异常cat/etc/crontabcrontab-l三、内存OOM、内存溢出排查内存占用与OOM排查# 按内存使用率降序排序进程psaux--sort-%mem# 进程内存详细统计1秒刷新pidstat-r1# 查看被删除但未释放的大日志文件句柄残留lsof|grepdeleted# 临时清理缓存生产环境谨慎执行sync;echo3/proc/sys/vm/drop_caches# 查看OOM杀死进程记录grep-ioom /var/log/messagesdmesg|grep-ikill# swap使用详情cat/proc/swaps# 查看系统swappiness参数内存使用策略cat/proc/sys/vm/swappiness四、磁盘空间 IO故障4.1 空间查找# 逐层查找大目录du-sh/*du-sh/data/*# 查找系统中大于1G的文件find/-typef-size1G-execls-lh{}\;4.2 IO卡死、磁盘慢# 实时IO统计1秒刷新iostat-x1# 进程级IO占用监控iotop# 进程IO详细统计1秒刷新pidstat-d1# 磁盘坏道检测需安装smartmontoolssmartctl-a/dev/sda# 文件系统检查必须先卸载分区umount/dev/sdb1 fsck.ext4 /dev/sdb1# 只读模式查看磁盘挂载参数mount五、网络连通、端口、延迟排查5.1 网卡基础# 查看网卡IP、状态ipa# 查看路由表iproute# 查看主机名对应IPhostname-i# 网卡流量实时统计1秒刷新sar-nDEV15.2 连通性、丢包延迟# 测试与网关/目标IP连通性ping网关/IP# 路由逐跳丢包检测最强网络排错工具mtr目标IP# DNS解析测试nslookupbaidu.comdigbaidu.com# 临时修改DNS重启网络后失效echonameserver 114.114.114.114/etc/resolv.conf5.3 端口占用、监听# 全量端口监听状态推荐比netstat高效ss-tulnp# 老式端口监听查看兼容旧系统netstat-tulnp# 查指定端口占用进程ss-tulnp|grep8080# 端口连通测试telnet IP 端口curl-vIP:端口# 防火墙状态与规则firewall-cmd --list-all systemctl status firewalld5.4 SSH专属故障# 查看ssh服务状态systemctl status sshd# 关闭DNS反向解析解决ssh登录卡顿grepUseDNS /etc/ssh/sshd_config# 密钥权限校验.ssh目录需700密钥文件需600ls-l~/.ssh/六、服务启停、崩溃排查# 查看服务运行状态systemctl status nginx mysqld redis# 查看所有服务开机自启状态systemctl list-unit-files--typeservice# 查看服务启动详细报错日志journalctl-unginx-xe# 手动前台启动服务直接看报错nginx-c/etc/nginx/nginx.conf# Nginx配置文件语法校验nginx-t# MySQL配置文件安全检测mysqld --validate-config七、权限、SELinux、sudo问题# 查看SELinux状态getenforce# 临时关闭SELinux重启后失效setenforce0# 查看文件安全上下文SELinux相关ls-Z文件名# 检查sudo配置文件语法visudo-c# 查看用户归属组idrootid普通用户名# 查看当前用户打开文件数限制ulimit-n# 系统全局文件句柄限制配置cat/etc/security/limits.conf# 使用绝对路径执行脚本调试脚本执行过程sh-x/path/to/script.sh八、高频故障场景排查现象原因方案8.1 僵尸进程过多defunct故障现象ps查看大量defunct进程占用系统进程资源核心原因子进程退出后父进程未回收、程序异常退出解决方案重启对应业务服务、重启服务器彻底清理优化程序进程回收机制8.2 Permission denied 权限拒绝故障现象无法读写文件、脚本执行失败、服务启动报错权限不足核心原因文件属主属组错误、权限不足、SELinux拦截、挂载参数限制解决方案# 修改文件/目录权限chmod755文件/目录# 修改文件/目录属主属组递归chown-R用户:组 文件/目录# 临时关闭SELinuxsetenforce0# 永久关闭SELinux修改配置文件vi/etc/selinux/config# 将SELINUXenforcing改为SELINUXdisabled8.3 文件系统只读Read-only file system故障现象所有写入操作报错只读无法修改任何文件核心原因磁盘文件系统损坏、fstab配置错误、磁盘异常触发内核保护解决方案# 重新挂载根目录为读写模式mount-oremount,rw /# 修复文件系统需先卸载分区umount/dev/分区名fsck/dev/分区名# 检查并修正/etc/fstab错误配置vi/etc/fstab8.4 SSH无法连接服务器故障现象连接超时、连接被拒绝、密码正确无法登录核心原因sshd服务未启动、22端口不通、ssh配置错误、密钥文件权限异常、用户锁定解决方案# 确保SSH服务正常运行systemctl status sshd systemctl start sshd# 客户端测试22端口连通性nc-zv服务器IP22# 修复.ssh目录及密钥权限chmod700~/.sshchmod600~/.ssh/id_rsa# 解锁用户passwd-u用户名8.5 Sudo提权失败故障现象普通用户sudo命令报错无法获取root权限核心原因用户未加入wheel组、sudoers文件语法错误、文件权限异常解决方案# 添加用户到wheel组sudo权限组usermod-aGwheel 用户名# 修复sudoers文件语法必须用visudo编辑visudo# 确保sudoers文件权限为440chmod440/etc/sudoers8.6 开机进入emergency紧急模式故障原因fstab挂载错误、磁盘分区损坏、根文件系统挂载失败解决方案# 紧急模式下重新挂载根目录为读写mount-oremount,rw /# 注释/etc/fstab中错误的挂载条目vi/etc/fstab# 测试挂载配置mount-a# 修复磁盘文件系统后重启fsck/dev/分区名reboot8.7 打开文件数过多too many open files故障原因系统/进程最大文件句柄数配置过低、长连接未释放解决方案# 修改系统全局文件句柄限制vi/etc/security/limits.conf# 添加以下配置*代表所有用户* soft nofile65535* hard nofile65535# 重启服务生效systemctl restart 服务名8.8 系统时间/时区异常故障影响证书失效、定时任务错乱、日志时间错误解决方案# 同步时区为上海timedatectl set-timezone Asia/Shanghai# 开启NTP时间同步systemctl start ntpd systemctlenablentpd九、运维常备排查命令速查表排查维度核心命令用途系统状态uptime、free -h、df -h、df -i快速查看系统负载、内存、磁盘空间进程资源top、iotop、mpstat、perf top定位高CPU/IO/内存进程网络排查ip a、ip r、ss -tulnp、ping、mtr网卡、路由、端口、连通性排查日志排查journalctl -xe、tail -f /var/log/messages系统、服务报错日志查看文件磁盘du -sh、lsof、fsck、mount大文件查找、句柄残留、文件系统修复