Linux内核学习轨迹第六部：特殊文件系统：proc/sysfs/debugfs/tracefs（第六节）

6. 特殊文件系统proc/sysfs/debugfs/tracefs全解析特殊文件系统也叫伪文件系统是Linux「一切皆文件」哲学的极致体现它们没有对应的物理磁盘存储所有文件的内容都是内核动态生成的是用户态与内核交互的核心接口广泛应用于系统监控、内核参数配置、驱动调试、性能跟踪等场景。本章节基于Linux 6.6 LTS内核拆解4个最常用的特殊文件系统proc、sysfs、debugfs、tracefs的设计目标、核心实现、常用场景与工程实践。6.1 proc文件系统proc文件系统process filesystem是Linux最基础、最常用的伪文件系统默认挂载在/proc目录核心目标是向用户态暴露内核的运行状态信息、进程的详细信息同时提供内核参数的配置接口。proc文件系统的所有文件都不占用磁盘空间文件的内容是内核在用户读取时动态生成的写入文件时会触发内核的回调函数修改内核参数或状态。6.1.1 proc文件系统的核心架构proc文件系统的核心设计是「动态inode生成」每个文件/目录对应一个proc_dir_entry结构定义了文件的名称、权限、读写回调函数。当用户读取/写入proc文件时内核会调用对应的回调函数动态生成内容或执行配置逻辑。proc文件系统分为两大核心部分1.进程相关目录/proc/[pid]每个运行的进程对应一个目录目录名是进程的PID里面存储了该进程的所有详细信息是ps、top、lsof等工具的核心数据来源。常用的进程相关文件文件路径核心内容/proc/[pid]/status进程的状态信息PID、PPID、UID、GID、内存占用、CPU占用、文件句柄数/proc/[pid]/maps进程的虚拟地址空间布局代码段、数据段、堆、栈、共享库、mmap映射/proc/[pid]/smaps虚拟内存区域的详细统计物理内存占用、共享内存、脏页、swap占用/proc/[pid]/fd进程打开的文件描述符目录每个fd对应一个软链接指向打开的文件/proc/[pid]/exe软链接指向进程的可执行文件/proc/[pid]/cwd软链接指向进程的当前工作目录/proc/[pid]/cmdline进程的启动命令行参数/proc/[pid]/environ进程的环境变量/proc/[pid]/stat进程的统计信息top、ps工具的核心数据源2.系统全局信息目录/proc下的非数字目录和文件存储系统全局的内核状态、配置参数。常用的全局文件文件路径核心内容/proc/cpuinfoCPU的详细信息型号、核心数、频率、缓存、特性标志/proc/meminfo系统内存的详细统计总内存、空闲内存、可用内存、页缓存、swap、Slab、大页/proc/version内核版本、编译信息、编译器版本/proc/uptime系统运行时间、空闲时间/proc/loadavg系统1分钟、5分钟、15分钟的平均负载运行的进程数总进程数最近的PID/proc/modules内核已加载的模块列表lsmod工具的数据源/proc/mounts系统当前的挂载列表mount工具的数据源/proc/swapsswap分区的详细信息/proc/diskstats磁盘设备的IO统计信息iostat工具的数据源/proc/vmstat虚拟内存的详细统计信息内存回收、缺页异常、swap的统计/proc/sys内核参数配置目录sysctl工具的核心数据源6.1.2 /proc/sys 内核参数配置接口/proc/sys目录是内核参数的核心配置接口对应sysctl工具里面的每个文件对应一个内核参数读取文件可以获取参数值写入文件可以修改参数值立即生效。常用的子目录/proc/sys/vm内存管理相关参数比如swappiness、min_free_kbytes、dirty_ratio/proc/sys/fs文件系统相关参数比如file-max、nr_open、inode-max/proc/sys/kernel内核核心参数比如hostname、panic_on_oom、sysrq、numa_balancing/proc/sys/net网络栈相关参数比如TCP/IP的配置、连接跟踪、缓冲区大小。永久配置通过/proc/sys修改的参数是临时的重启后失效。永久配置需要编辑/etc/sysctl.conf或/etc/sysctl.d/目录下的配置文件执行sysctl -p生效。6.1.3 工程实践与避坑指南1.proc文件系统的权限安全/proc目录默认挂载权限为hidepid2普通用户只能看到自己的进程目录看不到其他用户的进程提升安全性。生产环境必须开启这个挂载选项mount -o remount,rw,hidepid2 /proc永久配置在/etc/fstab中/proc/sys下的敏感参数必须限制root用户才能写入普通用户只能读取防止非授权用户修改内核参数容器中必须限制proc的挂载权限禁止挂载宿主机的/proc目录防止容器逃逸。2.进程信息排查的常用技巧排查进程内存泄漏cat /proc/[pid]/smaps | grep -i rss查看每个虚拟内存区域的物理内存占用定位泄漏的位置排查文件句柄泄漏ls -l /proc/[pid]/fd | wc -l查看进程打开的fd数量lsof -p [pid]查看每个fd对应的文件排查进程的启动命令行cat /proc/[pid]/cmdline | tr \0 查看完整的启动参数排查进程的当前工作目录readlink /proc/[pid]/cwd定位umount EBUSY的原因。3.避坑指南proc文件的内容是动态生成的读取大文件比如/proc/kcore会消耗大量CPU资源不要频繁读取写入/proc/sys的参数时必须确认参数的合法范围错误的参数值会导致系统崩溃、性能下降不要在生产环境修改不熟悉的内核参数可能会导致系统不稳定/proc/[pid]/mem文件可以直接访问进程的虚拟内存必须严格限制权限防止内存泄露和攻击。6.2 sysfs文件系统sysfs文件系统是基于kobject内核对象模型的伪文件系统默认挂载在/sys目录核心目标是向用户态暴露内核设备、驱动、总线、子系统的层次化信息是Linux设备模型的用户态接口也是udev、systemd、容器设备管理的核心依赖。和proc文件系统相比sysfs的设计更规范、层次更清晰每个文件只暴露一个属性每个目录对应一个内核对象形成了完整的设备树结构。6.2.1 sysfs的核心架构kobject与ksetsysfs的底层是Linux内核的设备模型核心是两个结构体struct kobject内核对象对应sysfs中的一个目录每个kobject有一个名称、父对象、属性集合形成了层次化的目录树struct ksetkobject的集合对应sysfs中的一个目录管理一组相同类型的kobject比如所有的块设备、所有的网络设备struct attribute属性对应sysfs中的一个文件每个属性有show和store两个回调函数读取文件时调用show函数生成内容写入文件时调用store函数执行配置逻辑。sysfs的目录结构严格对应内核的设备模型层次化结构如下/sys ├── block # 块设备目录每个块设备对应一个子目录比如sda、sda1、nvme0n1 ├── bus # 总线目录每个总线类型对应一个子目录比如pci、usb、scsi、virtio │ ├── pci │ │ ├── devices # 该总线上的所有设备 │ │ └── drivers # 该总线上的所有驱动 ├── class # 设备类目录按功能分类的设备比如net、input、gpio、leds │ ├── net # 网络设备每个网卡对应一个子目录比如eth0、lo │ └── block # 块设备和/sys/block软链接 ├── devices # 全局设备树所有设备的完整层次结构是sysfs的核心 ├── module # 内核模块目录每个加载的模块对应一个子目录暴露模块的参数、符号、状态 ├── firmware # 固件相关目录 ├── fs # 文件系统相关目录比如ext4、xfs、btrfs的配置 ├── kernel # 内核相关目录比如cgroup、mm、debug、tracing └── power # 电源管理相关目录6.2.2 常用的sysfs目录与场景块设备管理/sys/block/[dev]目录存储块设备的详细信息是lsblk、blkid工具的数据源/sys/block/sda/size块设备的总扇区数/sys/block/sda/queue/schedulerIO调度器可写入修改/sys/block/sda/queue/rotational是否是机械硬盘1为机械0为SSD/sys/block/sda/queue/nr_requestsIO队列深度/sys/block/sda/queue/ioschedIO调度器的调优参数。网络设备管理/sys/class/net/[dev]目录存储网卡的详细信息/sys/class/net/eth0/address网卡的MAC地址/sys/class/net/eth0/mtu网卡的MTU值可写入修改/sys/class/net/eth0/operstate网卡的链路状态up/down/sys/class/net/eth0/statistics/网卡的收发包统计信息ifconfig、ip工具的数据源。内核模块参数管理/sys/module/[modname]/parameters/目录每个文件对应模块的一个参数读取可以获取参数值写入可以修改参数支持运行时修改的参数。cgroup v2接口/sys/fs/cgroup目录cgroup v2的默认挂载点是容器资源限制的核心接口。6.2.3 工程实践与避坑指南1.sysfs的权限安全sysfs中的绝大多数文件只有root用户可以写入普通用户只能读取生产环境不要修改sysfs文件的默认权限防止非授权用户修改设备、驱动的配置容器中必须限制sysfs的挂载权限禁止挂载宿主机的/sys目录只挂载需要的子目录防止容器逃逸。2.设备管理的常用技巧查看磁盘的类型cat /sys/block/sda/queue/rotational0为SSD1为机械硬盘修改IO调度器echo kyber /sys/block/nvme0n1/queue/schedulerSSD推荐kyber/none机械硬盘推荐mq-deadline查看PCI设备的详细信息ls -l /sys/bus/pci/devices/查看设备的驱动、vendor ID、device ID查看网卡的统计信息cat /sys/class/net/eth0/statistics/rx_packets查看收包数量。3.避坑指南sysfs中的文件大小都是4096字节但实际内容是动态生成的不要用文件大小判断内容长度写入sysfs的属性时必须严格按照格式要求写入错误的值会导致写入失败甚至设备异常不要在生产环境修改不熟悉的设备属性可能会导致设备崩溃、数据丢失sysfs的目录结构和内核版本强相关不同内核版本的目录、文件可能会有差异编写脚本时要注意兼容性。6.3 debugfs文件系统debugfs文件系统是专门用于内核调试的伪文件系统默认挂载在/sys/kernel/debug目录核心目标是为内核开发者提供一个简单、灵活的接口把内核的调试信息、内部状态、调试开关暴露到用户态不需要复杂的系统调用或内核模块开发。和proc/sysfs不同debugfs没有严格的规范和稳定性保证内核版本之间的接口可能会变化仅用于调试不适合生产环境的业务逻辑依赖。6.3.1 debugfs的核心实现debugfs的设计极其简单内核提供了一套极简的API开发者可以用几行代码创建目录、文件定义读写回调函数debugfs_create_dir()创建一个目录debugfs_create_file()创建一个文件定义读写回调函数debugfs_create_u32()/debugfs_create_bool()/debugfs_create_string()创建简单的数值、布尔、字符串类型的文件不需要自定义回调函数内核自动处理读写。debugfs的文件完全由内核模块或子系统定义不同的内核配置、开启的调试选项debugfs的内容会有很大差异。常见的子目录/sys/kernel/debug/ext4ext4文件系统的调试信息/sys/kernel/debug/xfsxfs文件系统的调试信息/sys/kernel/debug/btrfsbtrfs文件系统的调试信息/sys/kernel/debug/mm内存管理的调试信息/sys/kernel/debug/sched进程调度的调试信息/sys/kernel/debug/usbUSB子系统的调试信息/sys/kernel/debug/kprobeskprobe调试探针的信息/sys/kernel/debug/epollepoll的调试信息。6.3.2 工程实践与避坑指南1.debugfs的常用调试场景内核驱动开发调试驱动的内部状态、寄存器值、数据流文件系统调试查看文件系统的内部结构、元数据、日志状态内核子系统调试查看内存管理、进程调度、网络栈的内部状态BPF程序调试BPF程序的map、程序的调试信息。2.生产环境的使用规范生产环境默认不挂载debugfs或者仅root用户可以访问防止敏感的内核信息泄露生产环境不要依赖debugfs的接口debugfs的接口没有稳定性保证内核升级后可能会变化导致业务逻辑失效调试完成后立即卸载debugfs减少攻击面。3.避坑指南debugfs的挂载需要root权限默认挂载选项为mode700只有root用户可以访问不要修改默认权限写入debugfs的调试开关可能会导致内核panic、性能下降仅在调试环境使用debugfs的内容会消耗内存不要频繁读取大的调试文件避免内存占用过高。6.4 tracefs文件系统tracefs文件系统是Linux内核ftrace跟踪框架的用户态接口默认挂载在/sys/kernel/tracing目录核心目标是提供一套完整的内核跟踪、调试、性能分析接口不需要额外的工具就可以跟踪内核函数的执行、系统调用、中断、IO路径等。ftrace是Linux内核内置的跟踪框架tracefs是ftrace的用户态操作接口所有的跟踪配置、数据读取都通过tracefs的文件完成是perf、bpftrace等工具的底层基础。6.4.1 tracefs的核心结构与常用接口tracefs的核心文件分为配置类和数据类常用的核心文件1.跟踪器配置available_tracers内核支持的跟踪器列表比如function、function_graph、wakeup、irqsoffcurrent_tracer当前使用的跟踪器写入跟踪器名称即可启用tracing_on跟踪开关写入1开启跟踪写入0暂停跟踪trace跟踪结果的读取接口读取该文件可以获取跟踪数据trace_pipe跟踪结果的流式读取接口持续读取可以实时获取跟踪数据适合实时监控。2.函数跟踪配置available_filter_functions可以跟踪的内核函数列表set_ftrace_filter函数跟踪的白名单写入函数名仅跟踪指定的函数set_ftrace_notrace函数跟踪的黑名单写入函数名不跟踪指定的函数set_graph_functionfunction_graph跟踪器的函数白名单指定要绘制调用图的函数。3.事件跟踪配置available_events内核支持的跟踪事件列表按子系统分类比如sched、syscalls、block、vfsset_event启用的跟踪事件写入事件名称即可启用events/目录每个跟踪事件的详细配置目录每个事件对应一个子目录可以启用/禁用事件、设置过滤条件、查看事件格式。4.过滤与触发配置set_event_pid仅跟踪指定PID的进程trace_options跟踪选项比如时间戳、PID、CPU编号的显示buffer_size_kb每个CPU的跟踪缓冲区大小单位KB。6.4.2 常用的跟踪场景示例1.跟踪内核函数的执行# 启用function跟踪器跟踪vfs_read和vfs_write函数 echo function /sys/kernel/tracing/current_tracer echo vfs_read vfs_write /sys/kernel/tracing/set_ftrace_filter echo 1 /sys/kernel/tracing/tracing_on # 读取跟踪结果 cat /sys/kernel/tracing/trace # 关闭跟踪 echo 0 /sys/kernel/tracing/tracing_on echo nop /sys/kernel/tracing/current_tracer2.跟踪内核函数的调用图# 启用function_graph跟踪器跟踪sys_open函数的调用图 echo function_graph /sys/kernel/tracing/current_tracer echo sys_open /sys/kernel/tracing/set_graph_function echo 1 /sys/kernel/tracing/tracing_on # 读取调用图 cat /sys/kernel/tracing/trace3.跟踪块设备的IO事件# 启用块设备的IO完成事件 echo block:block_rq_complete /sys/kernel/tracing/set_event echo 1 /sys/kernel/tracing/tracing_on # 实时读取IO事件 cat /sys/kernel/tracing/trace_pipe6.4.3 工程实践与避坑指南1.tracefs的性能影响启用跟踪会对系统性能产生影响尤其是function跟踪器跟踪所有内核函数时性能下降可达30%以上生产环境仅在排查问题时临时启用排查完成后立即关闭跟踪缓冲区大小要合理设置太大占用内存太小会导致跟踪数据丢失默认每个CPU的缓冲区是1MB适合大多数场景。2.生产环境的使用规范生产环境默认不挂载tracefs或者仅root用户可以访问防止非授权用户跟踪内核获取敏感信息生产环境不要长期启用跟踪仅在排查问题时临时使用排查完成后立即关闭清空跟踪缓冲区不要在生产环境启用高开销的跟踪器比如irqsoff、wakeup_rt会导致系统性能严重下降。3.避坑指南跟踪大量函数或事件时跟踪数据会快速填满缓冲区导致旧数据被覆盖建议设置过滤条件仅跟踪需要的函数或事件跟踪器启用后即使tracing_on设置为0也会有少量的性能开销排查完成后必须把current_tracer设置为nop完全关闭跟踪不同内核版本的跟踪事件、函数名称可能会有差异编写跟踪脚本时要注意兼容性不要在tracefs的文件中写入非法的内容可能会导致内核panic。