1. 文本处理真正把文件读明白的底层功夫1.1 查看文件不是cat那么简单less、tail与分页阅读很多刚接触Linux的人习惯把所有查看文件的需求都交给cat。确实cat /etc/passwd能快速把文件内容全部打出来对一个几十行的系统配置来说没有问题。但当你面对一个三四百MB的日志文件cat一下的结果就是终端直接卡死刷屏刷到怀疑人生最后只能CtrlC草草了事。这不是cat的问题而是选错工具的问题。我自己的习惯是分场景选择文件不大一两百行以内且需要完整看一遍时用cat或者nlnl会给每一行加行号比cat -n更顺手。文件很大或者需要在内容里来回翻查时用less。less是分页阅读器支持上下箭头逐行翻、PageUp/PageDown翻页按键/可以直接搜关键词按n跳下一个匹配项按q退出。这套操作逻辑和vim很像基本上用过vim的人上手less零成本。只需要看文件末尾的最新内容时用tail。tail -n 50指定行数tail -f则是实时跟踪文件增长看日志动态输出全靠它。关于tail -f有个值得注意的点早期版本用tail -f后日志文件被轮转比如logrotate把它改名了tail还是会跟着旧的已删除文件继续读看起来就像日志停更了一样。现在的coreutils版本默认会检测这种变化如果遇到日志确实不更新了加上-F参数强制按文件名重新跟踪会更稳。补一个日常查看的小技巧查看配置前先确认一下文件是否存在或是否被软链接指向别处用ls -l看第一列是不是l开头。被软链接的文件cat去看内容本身没问题但做修改操作时就容易掉坑这个后面专门讲。1.2 grep用过滤思维处理日志与配置而不是只找单词grep是文本处理里使用频率最高的命令之一但很多人对它的理解停留在在文件里搜字符串。其实grep更大的价值在于过滤尤其是配合管道符把上一段输出的内容按规则筛一遍这是处理日志、排查问题的核心手段。基本用法不多说grep 关键词 文件名。实际工作中更常用的组合grep -E扩展正则能用|表示或。比如过滤日志里的错误和警告grep -E ERROR|WARN。注意这里的|不要加引号或者加上引号否则shell会把|当作管道符解析然后你就得到一个莫名其妙的语法错误。grep -v反向过滤排除匹配的行配合错误排查很好用。比如看日志里除了INFO级别的所有内容grep -v INFO。grep -c只统计行数不输出内容。检查某个关键字出现的次数时比wc -l配合grep更快。grep -r递归搜索目录下的所有文件。注意和-R的区别-r不会跟着软链接进入目录-R会。如果目录里恰好有链接文件用错参数可能造成重复扫描或者绕过权限路径。举一个真实的场景nginx的access.log每天几百万行要找出所有返回5xx错误的请求。你当然可以grep -E 50[0-9] access.log因为nginx日志里状态码前后都有空格这么写能精确匹配500到509。但紧接着有个新问题IP地址那列需要单独提取出来统计。这个时候就要和awk搭配了。1.3 sed与awk批量修改与结构化提取的两把主力工具sed和awk是很多初学者的心理门槛觉得语法奇怪、记不住。我的建议是不要试图完整掌握它们只需要记住各自最高频的几个用法足以覆盖80%的日常工作。sed的看家本领是替换。语法是sed s/旧内容/新内容/标志 文件s表示替换默认只替换每行第一个匹配行尾加g表示全局替换sed s/old/new/g。不加标志时只是把替换结果输出到终端并不会修改文件本身。要真正改文件加-ised -i s/old/new/g file。这个参数建议养成好习惯备份sed -i.bak s/old/new/g file会在原地生成一个file.bak备份文件。我吃过亏批量替换配置时没备份替换规则写错几个配置文件直接废了只能靠git恢复。用分号可以连着写多个替换规则sed -i s/old1/new1/g; s/old2/new2/g file适合一次改多处。awk的核心思路是按列处理。基本结构是awk {print $1} file默认按空白字符空格或Tab切列$1是第一列$0是整行。常用参数-F指定分隔符。比如处理/etc/passwd用冒号分列awk -F: {print $1} /etc/passwd恰好把用户名全部提出来。$NF代表最后一列$(NF-1)是倒数第二列这个写法在日志分析中非常好用因为很多时候最后一列才是关键信息。NR是当前行号FNR是当前文件行号涉及多文件处理时容易混淆。举一个完整的实战例子还是nginx日志。要统计当天访问量前10的IP命令链是这样的awk {print $1} access.log | sort | uniq -c | sort -rn | head -10这条命令的含义是先用awk把第一列IP提取出来sort排序让相同IP相邻uniq -c合并相同行并统计次数sort -rn按次数从大到小排序head -10取前10行。我第一次看到这条命令的时候觉得特别妙四个基础工具串成一条流水线这就是Linux文本处理的精髓——不是某个工具多复杂而是组合的方式有多顺手。awk还有条件判断和BEGIN块但说实话在日常运维里能熟练用上面的提取、统计组合就已经赢过大多数人了。真想深入再去看《The AWK Programming Language》不必上来就啃。2. 高效搜索find和locate的正确打开方式2.1 find的真实威力按时间、大小、权限、类型找文件很多人觉得find不过是按文件名搜的命令实际上find是整个Linux系统里最灵活、最强大的文件检索工具。基础用法是find 路径 条件 动作。最常用的条件按名称find /var/log -name .log。注意.log要加引号否则shell可能先把你当前目录下匹配的.log文件展开成参数列表变成一个又一个路径条件导致结果完全不对。这是初学者最高频的翻车点。按时间find /tmp -mtime 7mtime表示内容修改时间7表示7天以前-7表示7天以内不加符号表示正好第7天。还有一个常用的是-mmin 30按分钟计算适合排查刚被改动过的文件。按大小find / -size 100M找出超过100MB的大文件定位磁盘空间占用时效率极高。别忘了大小单位c是字节k是KBM是MBG是GBM前面的号不能省。按类型find / -type f只找普通文件-type d只找目录-type l找软链接。排查目录层级、清理文件时都是必备品。按权限find /home -perm -002找出对其他人可写的文件安全检查时用得上。动作部分最常用的是-delete直接删除匹配的文件和-ls以ls -l格式输出详细信息。比如清理7天前的临时目录find /tmp -type f -mtime 7 -delete这个命令看起来很简单但它有一个隐性坑-delete和-mtime的执行顺序是find内部已经规定好的它会按条件逐个匹配然后删除不会先取文件列表再删所以不存在删得太慢导致新文件也被误删的问题。但要注意的是如果路径下存在挂载点mount pointfind默认不会跨文件系统去搜索该挂载点内部除非显式加-xdev。在根目录/直接find的时候不加-xdev很容易把其他挂载盘扫一遍既慢又不安全。2.2 locate不是find的替代品数据库搜索的快速路径locate的优点就一个字快。它基于一个预建的数据库/var/lib/mlocate/mlocate.db做搜索不需要遍历整个目录树所以定位一个已知名称的文件时几乎是瞬间完成。缺点是数据库更新有延迟新创建的文件几小时内可能搜不到。手动更新数据库用updatedb命令需要root权限。我在实际工作中对两者的分工是名字记得比较清楚只是想确认文件在不在、路径是什么用locate。需要按时间、大小、权限等条件精确筛选或者在刚写入不久的文件里找东西用find。需要进一步做删除、复制等操作时无论用哪种方式找到都要先确认列表结果再执行操作。2.3 搜索之后批量操作xargs -0与-exec的边界场景找到文件只是第一步真正提高效率的是找到之后能直接对接操作。两种常见方式一种是在find里面用-exec动作比如给所有.conf文件改权限find /etc -name *.conf -exec chmod 640 {} \;这里的{}代表每一个匹配的文件;表示-exec命令的结束。优点是逻辑直观、不需要额外工具缺点是每匹配一个文件就fork一个子进程来执行命令文件多的时候性能较差。另一种是用xargs把find的输出作为参数批量传给后续命令。比如批量删除大量临时文件find /tmp -name tmp_* -print0 | xargs -0 rm -f这里有个关键点-print0让find输出时用空字符\0而不是换行来分隔文件名xargs -0则按空字符来切分参数。为什么要这么折腾因为文件名里可能带空格甚至换行用默认的换行分隔时一个名为tmp_2024 副本.txt的文件会被拆成两个参数导致删除失败甚至误删。很多人在脚本里踩过这个坑参数一多就出问题的概率非常大。那么问题来了什么时候用-exec什么时候用xargs我的经验是文件数量在几百个以内时两者都可以优先-exec可读性好上千上万个文件时用xargs -0性能和正确性兼顾。还有一个替代方案是把find的输出先存到文件里检查一遍再执行尤其是rm、mv这类破坏性操作多一步检视成本很低但能救命。3. 打包压缩tar之外的选择与取舍3.1 tar是一切打包的基础创建、解压、查看三板斧tar这个命令名字来源于tape archive磁带归档一开始就是用来把一堆文件打包成单一数据流的。它的核心作用是把多个文件、目录合成一个归档文件压缩则是可选的附加功能。最常用的三条命令创建归档并压缩tar -czf archive.tar.gz /path/to/dir。-c是创建-z是使用gzip压缩-f指定归档文件名。注意-f后面要直接跟文件名且建议放在选项最后。解压归档tar -xzf archive.tar.gz。-x是解压。默认解压到当前目录但强烈建议先查看内容再解压。查看归档内容tar -tzf archive.tar.gz只列出文件列表不解压。解压时用-C指定目标目录避免把文件散落到当前路径的混乱局面tar -xzf archive.tar.gz -C /opt/app/tar还能只解压其中一个文件。比如归档里有100个文件你只需要其中一个配置文件不需要全部解压tar -xzf archive.tar.gz path/to/only_one.conf这在归档文件很大、只想要部分内容时能省大量时间。3.2 压缩率与速度的取舍gzip、bzip2、xz与zstd的真实对比tar本身不带压缩-z调用的是外部压缩程序。你可以在tar里用-jbzip2或-Jxz换用不同算法也可以干脆不用tar直接用压缩命令处理单个文件。不同算法的差别主要在压缩率、速度和CPU占用之间做权衡。我用一个典型的大目录备份场景做对比数据量约1.5GB的混合文件日志、图片、代码混合算法命令压缩后大小耗时适合场景gziptar -czf约620MB1分20秒日常备份、传输通用性最好bzip2tar -cjf约510MB3分40秒追求高压缩比且不赶时间xztar -cJf约450MB5分多钟长期归档、近线存储zstdtar --zstd约540MB35秒高性能环境压缩快解压也快数据来自我自己的测试具体数值因文件类型浮动很大。文本日志占比高的目录压得更狠纯图片或视频目录压缩率很低压了也白压。实际选型时的思路如果是传给别人、在别人的机器上解压优先gzip。tar.gz和tar.xz都是宽泛支持但tar.gz几乎是所有环境默认自带的tar.xz有些精简系统需要额外装xz-utils会增加一步操作。如果是自己存档、追求空间选xz或bzip2。xz压缩比更高但bzip2解压速度比xz快一些。如果是频繁生成备份且时间敏感比如每天凌晨跑一次zstd是性价比最高的选择。它带有压缩级别参数--zstd3默认级别3级别越高压缩越好但越慢日常用默认即可。3.3 压缩时排除文件与处理各种格式的实用技巧备份目录时经常遇到一种情况目录里有大量临时文件或缓存文件你根本不想打进去。tar用--exclude排除tar -czf backup.tar.gz /var/www/project --exclude*.log --exclude/var/www/project/cache两个注意点排除规则支持通配符但会先匹配到完整路径再过滤所以绝对路径的排除要写全路径或用相对路径形式--exclude要放在源路径之前还是之后不影响结果但多个exclude规则顺序会互相影响建议统一放最前面。除tar外日常还会遇到.zip、.rar、.7z等格式。这里有一个实用观念如果只是解压不需要为每种格式装专门工具。Linux上装一个unzip处理zip文件最常用rar格式需要unrar非自由软件没有的话可以尝试bsdtar或者7z。7z是一个特别强大的工具apt install p7zip-full之后7z x可以处理7z、zip、tar、gzip、bzip2、xz等多种格式基本是一次安装全部通吃。压缩时排除某个文件类型还要小心符号链接。tar默认归档的是软链接本身而不是它指向的内容这个行为是安全的。但是如果你用tar -h参数它会解引用软链接把目标文件真实内容打进归档。对备份来说-h可能带来大体积膨胀也可能在恢复时把原本的链接关系破坏掉。我的建议是默认不开-h除非你明确知道目标文件不存在了、必须保留实际内容。4. 系统管理从文件操作延伸出去的那些硬道理4.1 软链接与硬链接理解Linux文件系统的关键Linux下的链接文件是个容易绕晕的概念但搞懂了它很多莫名其妙的系统行为都能解释得通。软链接符号链接相当于Windows下的快捷方式一个文件本体在磁盘上另外存一个链接文件记录目标路径。ls -l能看到l开头的类型右侧有-箭头指向目标。创建命令是ln -s 目标文件 链接文件。硬链接不一样它不是指向目标的入口而是目录里两个条目指向同一份inode文件底层数据单元。硬链接的特点是删除其中任意一个链接数据都还在只有所有链接都被删除数据才真正释放。创建硬链接用ln 目标文件 链接文件不带-s。软链接和硬链接的关键差异有三个软链接可以跨文件系统硬链接不行。因为硬链接要求两份目录项指向同一个inode不同的文件系统比如/和/home是两块独立的分区各自维护独立的inode表无法互指。软链接可以指向目录硬链接不可以对目录做硬链接被操作系统禁止防止产生环路。软链接的文件删除后链接文件本身还在但变成一个损坏的悬空链接硬链接删掉一个另一个指向的数据完好无损。日常操作里有几个容易出现问题的细节rm 软链接名和rm 软链接名/的行为不同。后者如果在链接指向的目录后面加/可能直接作用于目标目录的内容。避免误删的方法是用unlink软链接名或者确认ls确认过再删。用tar打包时软链接默认以链接的形式归档恢复后还能保持链接关系。很多人以为软链接的权限就是它显示出来的rwxrwxrwx实际访问时Linux会使用目标文件自己的权限。所以看到软链接权限是777不要慌真正决定能否访问的是目标文件的权限。4.2 权限与所有权chmod、chown与umaskLinux的权限模型用三组rwx表示所有者u、所属组g、其他人o。数字表示中r4w2x1组合相加就得到常见的权限值。比如rwxr-xr-x对应755rw-r--r--对应644。这个数字制度的优势在于用三个数字就能完整表达一个文件的权限矩阵而且加法是不可逆的比如6一定是rw不可能再分解出其他组合。基础操作chmod 755 script.sh直接给数字。chmod ux file给所有者加执行权限不影响其他人适合只调整一个维度。chown user:group file修改文件所有者和所属组。注意用户和组之间用冒号分隔。批量修改目录下所有文件chown -R user:group dir/。-R代表递归但要注意它会把目录和普通文件统一设置成相同权限如果目录和文件需要不同权限比如目录755、文件644还需要结合find再处理。umask决定新创建文件的默认权限。系统默认umask通常是022含义是从666中减去022得到644普通文件从777中减去022得到755目录。这里有件容易想错的事普通文件永远不默认带执行权限所以是666减去umask而不是777mkdir却是777减umask。因此即使umask设为000新文件仍然是666不会自动有x权限。排查权限问题时最常用的套路是先ls -l确认当前权限和归属再su到对应的用户身份测试能否读取或执行。刚接触Linux时经常遇到明明文件在为什么提示Permission denied大概率是当前用户对该路径下的某个目录没有x权限。记住要进入一个目录不仅需要r权限还需要x权限x才是允许穿越的标志。只给r不给x的目录你能列出文件名但cd不进去文件也读不了这个组合常用来做受控分享目录。4.3 磁盘与进程排查df、du、lsof的组合拳系统管理里最高频的排查场景一个是磁盘满了一个是进程异常还有两者联动的情况。df -h查看分区使用率-h参数用人类可读的G/M显示。当发现某个分区使用率超过90%时下一步就是定位谁占用了空间。du -sh /path查看指定目录总大小-s只显示汇总、-h可读显示。排查通常从底层往上层逐层缩小范围du -sh /var/*、du -sh /var/log/*以此类推。这里的效率关键在于不要拿着du去根分区逐层跑先聚焦在最可疑的目录。但有个经典案例让很多人抓狂df显示磁盘满了du统计出来的所有文件加总却远远达不到这个数量。原因大概率是有文件被删除但还有进程持有它的文件描述符。Linux在删除文件时只要文件仍然被某个进程打开底层inode就不会释放df判断的空间占用依然存在而普通文件列表里又看不到它。解决办法是找到持有者并重启或kill对应进程空间才会释放。定位命令是lsof | grep deleted这会列出所有已删除但被占用的文件看到熟悉的进程名后视情况重启服务或者直接让这个进程退出。进程排查的基础工具是ps与top。ps aux查看所有进程快照配合grep找目标top实时刷新进程资源占用按M按内存排序按P按CPU排序。发现可疑进程时用ps -fp PID查看它的详细信息启动时间、父进程等再用ls -l /proc/PID/exe确认这个PID对应的是哪个可执行文件。这是一条很稳妥的排查链路尤其在生产环境不敢乱动的情况下先确认身份再决定是否需要处理。另有一个实用的组合是定时任务与日志清理。一个服务器跑久了日志目录只增不减最好的办法是在crontab里挂一条清理脚本。我用得非常熟练的一个定时任务是每天凌晨3点删除超过30天的归档日志0 3 * * * find /var/log/app -name *.log -mtime 30 -delete /var/log/cleanup.log 21这条命令的优势在于用find的条件过滤直接把清理逻辑写清楚配合crontab时间表达式完全不需要额外写shell脚本。需要注意的是find -delete遇到目录时会不断尝试递归删除如果目录不是空目录会报错所以清理日志这类场景一般限制-type f更加安全。不过定时任务有个容易踩的坑crontab里的环境变量和交互shell不一样脚本里用到的命令建议写绝对路径如/usr/bin/find否则可能因为PATH不完整而执行失败。我一开始写定时任务时经常遇到脚本手动执行正常、定时任务却完全没反应的怪事后来排查了半天发现就是环境变量的问题。关于性能监控还有一句话想送给刚入行的人不要一开始就沉迷各种花哨的监控面板先把df、top、ps、netstat这几样最朴素的工具用到肌肉记忆能在终端里三分钟内定位一个问题再考虑上监控系统。5. 一次完整实战从文本处理到备份压缩的系统操作串讲讲了这么多单个模块最后把它们串起来做一个完整的实例模拟的是我在实际运维里经常遇到的一个需求对一台应用服务器做例行检查并完成配置备份。第一步检查当前系统状态。用uptime看负载df -h看磁盘free -h看内存这一套下来基本能快速判断服务器是否健康。第二步检查应用日志里有没有异常。日志目录是/var/log/app先看今天的日志里有没有ERRORgrep -E ERROR|Exception /var/log/app/app.log | tail -n 50如果日志量特别大先按时间过滤再查内容find /var/log/app -name *.log -mtime -1只关注最近一天的日志。第三步定位是否有大文件或者临时文件在占磁盘空间。先df -h看整体再du -sh /var/log/*逐个排查嫌疑目录最后用find /tmp -size 100M找出需要清理的大文件。第四步清理过期临时文件。执行find /tmp -type f -mtime 7 -delete清理前先用不带-delete的版本预览一下会删除哪些文件确认无误再执行。第五步备份关键配置文件。假设应用配置文件在/etc/app/数据库导出文件在/data/backup/db.sql打包压缩成带日期的归档文件并放到备份目录BACKUP_DATE$(date %Y%m%d%H%M) tar -czf /data/backup/app_config_$BACKUP_DATE.tar.gz /etc/app/ /data/backup/db.sql --exclude*.tmp第六步把备份文件同步到另一台机器或异地存储。scp直接拷走或者用rsync实现增量同步这里不提具体工具原理都一样备份放到一台机器上永远是危险的至少要有两份不在同一个物理位置的拷贝。第七步把这套操作挂到定时任务里让它每天自动执行。如果整个流程比较复杂就拆成一个脚本文件再交由crontab调度。整条链路里最值得体会的是没有哪一步用到多高深的命令但每一步都在用合适的工具处理对应的问题。文本处理、搜索、压缩、系统管理这四个模块的能力本质上是在日常操作中不断组合这些基础工具练出来的。搭积木的熟练度远比某个单独命令的冷门技巧更有价值这也是我想在这篇文章里分享的核心思路。