简介在现代 Linux 系统中随着容器、虚拟化、云服务器、多租户业务架构的普及单纯针对单个进程的调度策略已经无法满足资源隔离、带宽限制、优先级分组管控的诉求。传统 CFS 完全公平调度器、RT 实时调度器仅能对独立任务做调度控制当一台主机同时运行数十个容器、多组业务进程时极易出现单组进程抢占全部 CPU 资源、低优先级业务饿死、实时任务带宽被挤占等问题。为解决这一问题Linux 内核引入组调度Group Scheduling机制而struct task_group就是整套组调度体系的核心数据载体。内核利用该结构体将一批关联进程 / 线程划分为同一个调度组以组为单位分配 CPU 权重、限制 CPU 带宽、管理运行队列与调度实体实现组级别的资源隔离、配额限制与优先级管控。task_group贯穿 CFS 普通进程调度、RT 实时进程调度、Deadline 硬实时调度三大子系统同时也是 Linux Cgroups CPU 子系统、容器资源限制、整机业务分区调度的底层依赖。对于嵌入式 Linux 工程师、云原生运维、内核开发人员、操作系统调优工程师而言吃透task_group的结构体成员、字段含义、关联逻辑与运行机制是理解 Cgroups CPU 限流、容器 CPU 配额、多业务调度隔离、定制分组调度策略的必备能力。本文结合内核源码、实操案例、调试命令从概念、环境、源码拆解、代码实践、问题排查、工程规范全维度讲解task_group内容可直接用于技术报告、论文撰写与线上线下问题排查。一、核心概念与术语解析1.1 进程组调度基本定义Linux 组调度的核心思想不再以单个 task 为最小调度单元而是将一组逻辑关联的任务视作一个整体调度单元。内核会先在多个task_group之间完成 CPU 资源分配再在组内部的任务之间做二次调度。这种两层调度模型天然适配云租户隔离、容器资源限制、业务分区部署等场景。组调度分为两大主流使用形态原生内核组调度手动创建调度组对指定进程做分组管理Cgroups CPU 组调度用户态通过 cgroup 文件系统创建分组内核自动生成对应task_group是目前容器、云主机最常用的方案。1.2 task_group 核心关联组件task_group并非独立结构体内部聚合了 CFS、RT、Deadline 三大调度器的专属调度实体、运行队列、带宽控制结构先梳理配套基础术语调度实体 sched_entityCFS 调度单元记录权重、虚拟运行时间、队列挂载节点rt_sched_entityRT 实时任务调度实体用于实时组调度管理cfs_rqCFS 运行队列每个 CPU、每个调度组都拥有独立 CFS 就绪队列rt_rqRT 实时运行队列组级别实时任务队列带宽控制Bandwidth限制调度组最大 CPU 使用率防止资源耗尽调度权重sharesCFS 组调度权重决定组之间 CPU 分配比例。1.3 全局根调度组系统启动后内核会默认创建根 task_group系统内所有未手动分组的进程、内核线程全部归属根调度组。所有新建的调度组均以根组为父节点形成树形层级结构支持多级嵌套分组。1.4 Cgroups 与 task_group 的映射关系用户态操作/sys/fs/cgroup/cpu目录下的配置文件cpu.shares、cpu.cfs_quota_us、cpu.cfs_period_us本质上就是修改对应task_group内部的权重、带宽、周期等字段二者一一绑定。二、环境准备2.1 软硬件与版本要求分类版本 / 配置说明操作系统Ubuntu 20.04 / 22.04 64bit主流发行版均可内核版本Linux 5.4、5.15、6.1 LTS长期支持版task_group 结构无大幅变更硬件x86_64 多核 CPU4 核及以上内存 4G支持多进程压测、cgroup 实验编译工具gcc、make、binutils、libncurses-dev、bison、flex调试工具gdb、strace、perf、trace-cmd、ftrace、cgroup-tools依赖组件cgroupfs 已启用默认现代 Linux 均已内置2.2 基础环境安装配置1. 安装编译与调试工具# 更新软件源并安装全套依赖 sudo apt update sudo apt install build-essential libncurses-dev bison flex \ libssl-dev libelf-dev gdb cgroup-tools strace perf -y2. 确认 Cgroups 状态组调度依赖 Cgroups CPU 子系统执行以下命令校验# 查看已挂载的cgroup文件系统 mount | grep cgroup # 查看CPU子系统是否启用 ls /sys/fs/cgroup/cpu/正常输出会包含cpu.shares、cpu.cfs_quota_us等文件代表环境就绪。3. 内核源码获取与路径定位task_group定义与实现集中在以下源码路径建议提前下载源码用于对照阅读# 下载 Linux 5.15 LTS 内核源码 wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.15.tar.xz tar -xf linux-5.15.tar.xz cd linux-5.15核心源码文件结构体定义kernel/sched/sched.hCFS 组调度实现kernel/sched/fair.cRT 组调度实现kernel/sched/rt.ctask_group 创建、销毁、字段修改逻辑kernel/sched/sched.c4. 内核编译可选源码调试使用如需 gdb/kgdb 调试内核结构体使用当前系统配置编译内核cp /boot/config-$(uname -r) .config make menuconfig开启以下调试选项CONFIG_SCHED_GROUPy # 启用组调度默认开启 CONFIG_CGROUP_CPUACCTy # CPU资源统计 CONFIG_CGROUP_SCHEDy # Cgroups调度支持 CONFIG_DEBUG_KERNELy # 内核调试 CONFIG_FTRACEy # 函数跟踪执行编译多核并行编译make -j$(nproc)三、应用场景task_group 驱动的 Linux 组调度是服务器、云计算、嵌入式实时系统的核心底层能力。在容器集群场景中运维通过 Cgroups 创建独立调度组为每个容器配置 CPU 权重与带宽上限避免单个容器异常占用整机 CPU实现多租户资源隔离。在后台业务服务器上可将核心交易服务、日志采集、监控脚本划分为不同调度组通过调整组权重保障核心业务优先获取算力。工业嵌入式 Linux 设备中将实时控制任务、后台运维任务分组借助 RT 组调度隔离普通进程干扰提升实时性。此外云主机、虚拟化 KVM 虚拟机、大数据计算集群均依靠 task_group 实现 CPU 资源按需分配、限额管控与优先级划分保障整机业务稳定运行。四、实际案例与步骤结构体拆解 代码实操 命令演练4.1 完整拆解 task_group 结构体内核源码 逐行注释以下截取kernel/sched/sched.h中Linux 5.15 标准 task_group源码剔除冗余分支保留核心业务字段附带工程化注释可直接用于论文、报告参考。/* * 进程调度组核心结构体 * 每个cgroup CPU分组、原生内核调度组都会对应一个task_group实例 */ struct task_group { /* 树形结构父子分组关系 */ struct task_group *parent; // 父调度组根组该字段为NULL struct list_head siblings; // 同一父组下的兄弟分组链表 struct list_head children; // 下属子分组链表 /* CFS 完全公平调度 核心字段 */ /* 每个CPU对应的CFS调度实体组级别调度实体 */ struct sched_entity **se; /* 每个CPU对应的CFS运行队列组内普通进程就绪队列 */ struct cfs_rq **cfs_rq; /* CFS组调度权重对应cgroup中 cpu.shares */ unsigned long shares; /* 组内任务总权重用于动态计算调度比例 */ atomic_long_t load_avg; /* CFS带宽控制周期、配额对应 cpu.cfs_period_us / cpu.cfs_quota_us */ u64 cfs_bandwidth_period; // 带宽统计周期(微秒) s64 cfs_bandwidth_quota; // 单个周期内允许使用的最大CPU时间 /* CFS带宽限流定时器当配额耗尽时触发限流 */ struct timer_list cfs_bw_timer; /* 带宽控制状态标记 */ int cfs_bw_throttled; /* RT 实时调度 核心字段 */ /* 每个CPU对应的RT调度实体与实时运行队列 */ struct rt_sched_entity **rt_se; struct rt_rq **rt_rq; /* RT组带宽限制实时任务CPU配额防止实时任务独占CPU */ struct rt_bandwidth rt_bw; /* Deadline 硬实时调度字段 */ struct sched_dl_entity **dl_se; struct dl_rq **dl_rq; struct dl_bandwidth dl_bw; /* 统计与记账字段 */ struct cpuacct *cpuacct; // CPU使用统计结构体记录组总耗时 u64 cpuusage[NR_CPUS]; // 每个CPU的使用时长统计 /* 任务链表归属本组的所有进程 */ struct list_head tasks; // 挂载本组所有task_struct任务 /* 引用计数防止组被提前销毁 */ refcount_t refcount; };代码说明该结构体采用CPU 维度数组设计se、cfs_rq、rt_se等均为指针数组数组下标对应 CPU 编号实现多核下每组每个 CPU 独立队列CFS 权重、带宽、RT 带宽是工程中最常配置、排查问题的字段树形链表结构支撑多级嵌套 Cgroup 分组。4.2 关键字段功能细分讲解4.2.1 CFS 调度相关字段业务最常用shares组调度权重默认值 1024。多个同层级分组竞争 CPU 时CPU 占用比例 本组 shares / 所有兄弟组 shares 总和。对应文件/sys/fs/cgroup/cpu/cpu.shares。cfs_bandwidth_period / cfs_bandwidth_quotaCFS 带宽限流。period为统计周期quota为周期内最大可用 CPU 时间。例如 period100000 (100ms)quota50000 (50ms)代表该组 CPU 使用率上限 50%。cfs_rq组内 CFS 运行队列组内所有普通就绪进程都会挂载到此队列。4.2.2 RT/Deadline 实时调度字段rt_rq、dl_rq是组级别实时任务队列配合rt_bandwidth、dl_bandwidth限制实时任务整体 CPU 占用避免实时任务无限抢占 CPU。4.2.3 树形与任务管理字段parent/children/siblings构建分组树tasks链表遍历当前分组下所有进程refcount引用计数保证安全销毁。4.3 实操案例 1用户态创建 Cgroup 分组关联内核 task_group本案例手动创建 CPU 分组修改权重与带宽直观对应task_group字段变化命令可直接复制执行。步骤 1创建测试 Cgroup 分组# 进入cgroup cpu根目录 cd /sys/fs/cgroup/cpu # 创建名为test_group的调度组内核自动生成对应task_group sudo mkdir test_group cd test_group步骤 2修改 CFS 权重对应 task_group-shares# 查看默认权重默认1024 cat cpu.shares # 修改权重为2048权重翻倍 echo 2048 | sudo tee cpu.shares作用修改后该分组与默认分组竞争 CPU 时算力分配比例变为 2:1。步骤 3配置 CFS 带宽限制对应 quota period# 设置周期为100000微秒(100ms) echo 100000 | sudo tee cpu.cfs_period_us # 设置配额为30000微秒(30ms)限制该组CPU最大使用率 30% echo 30000 | sudo tee cpu.cfs_quota_us作用对应内核task_group-cfs_bandwidth_period和cfs_bandwidth_quota超出配额后组内任务被限流。步骤 4将当前 Shell 进程加入分组# 查看当前进程PID echo $$ # 将PID写入cgroup.procs进程归属该task_group echo $$ | sudo tee cgroup.procs4.4 实操案例 2编写测试程序验证组调度限流效果编写死循环压测程序绑定到分组后观察 CPU 占用验证task_group带宽控制生效。步骤 1编写压测代码cpu_stress.c#include stdio.h #include unistd.h /* 简单CPU密集型压测程序 */ int main(void) { printf(CPU stress task running... PID %d\n, getpid()); /* 死循环消耗CPU */ while(1) { ; } return 0; }步骤 2编译并后台运行gcc cpu_stress.c -o cpu_stress ./cpu_stress # 记录压测进程PID echo $!步骤 3将压测进程移入 test_group 分组# 替换为上一步获取的PID echo 你的PID | sudo tee /sys/fs/cgroup/cpu/test_group/cgroup.procs步骤 4使用 top 观察 CPU 占用新开终端执行top开启 CPU 排序top # 按下 P 按CPU使用率排序现象说明整机单核满负荷为 100%该进程 CPU 占用会稳定卡在30% 左右证明task_group的带宽限流字段生效。4.5 实操案例 3使用 ftrace 跟踪 task_group 相关内核函数通过内核跟踪工具观测分组创建、带宽修改、任务迁移时内核函数调用验证task_group运行逻辑。# 挂载debugfs部分系统已默认挂载 sudo mount -t debugfs none /sys/kernel/debug # 清空跟踪缓存 sudo echo /sys/kernel/debug/tracing/trace # 设置跟踪函数task_group创建、带宽更新、任务移入分组 sudo echo sched_create_group /sys/kernel/debug/tracing/set_ftrace_filter sudo echo tg_set_cfs_bandwidth /sys/kernel/debug/tracing/set_ftrace_filter sudo echo move_task_to_group /sys/kernel/debug/tracing/set_ftrace_filter # 开启跟踪 sudo echo function /sys/kernel/debug/tracing/current_tracer sudo echo 1 /sys/kernel/debug/tracing/tracing_on重新执行创建 cgroup、移动进程、修改带宽操作然后停止跟踪并查看日志sudo echo 0 /sys/kernel/debug/tracing/tracing_on sudo cat /sys/kernel/debug/tracing/trace作用日志中可清晰看到task_group的创建、字段修改、任务迁移对应的内核调用栈串联用户态操作与内核数据结构。4.6 代码案例内核态简易遍历 task_group 链表模块示例编写简易内核模块遍历系统所有task_group分组打印分组层级与 shares 权重适合内核二次开发学习。模块代码tg_list.c#include linux/init.h #include linux/module.h #include linux/kernel.h #include linux/sched.h #include linux/list.h MODULE_LICENSE(GPL); MODULE_AUTHOR(Linux Engineer); MODULE_DESCRIPTION(Traverse all task_group); /* 递归遍历调度组树形结构 */ static void traverse_task_group(struct task_group *tg, int level) { struct task_group *child; struct list_head *pos; /* 缩进区分层级打印分组权重 */ printk(%*s task_group: shares %lu\n, level*4, , tg-shares); /* 遍历所有子分组 */ list_for_each(pos, tg-children) { child list_entry(pos, struct task_group, siblings); traverse_task_group(child, level 1); } } static int __init tg_list_init(void) { printk( Start Traverse All task_group \n); /* 从根调度组开始递归遍历 */ traverse_task_group(root_task_group, 0); printk( Traverse End \n); return 0; } static void __exit tg_list_exit(void) { printk(task_group traverse module unload\n); } module_init(tg_list_init); module_exit(tg_list_exit);模块编译文件Makefileobj-m tg_list.o KERNELDIR ? /lib/modules/$(shell uname -r)/build PWD : $(shell pwd) all: $(MAKE) -C $(KERNELDIR) M$(PWD) modules clean: $(MAKE) -C $(KERNELDIR) M$(PWD) clean编译、加载、查看日志命令make # 加载内核模块 sudo insmod tg_list.ko # 查看内核打印日志 dmesg | tail -50 # 卸载模块 sudo rmmod tg_list代码说明代码从全局根组root_task_group出发递归遍历所有子task_group打印每组shares权重直观展示内核分组树形结构。五、常见问题与解答Q1修改 cpu.shares 之后CPU 分配比例没有立即变化解答shares是相对权重仅在多个分组同时存在就绪任务、竞争 CPU 时才生效。如果只有单个分组运行进程无论 shares 多大都会占满 CPU。同时 CFS 是渐进式调度权重变更会逐步体现不会瞬时切换比例。Q2设置 cpu.cfs_quota_us 为 -1 代表什么解答对应task_group-cfs_bandwidth_quota -1表示关闭带宽限流该分组不做 CPU 使用率限制是系统默认状态。Q3进程移入新 cgroup 后为什么 CPU 队列、调度实体全部切换解答进程迁移分组时内核会执行move_task_to_group函数将进程从原task_group的cfs_rq队列摘除挂载到新分组的cfs_rq同时切换所属调度实体这也是task_group组调度的核心切换逻辑。Q4多核 CPU 下task_group 的 cfs_rq 为什么是数组形式解答Linux 调度是每 CPU 私有队列设计每个 CPU 拥有独立的运行队列。cfs_rq[]数组下标对应 CPU 编号保证多核场景下队列隔离、无全局锁竞争提升调度性能。Q5删除 cgroup 目录提示设备忙无法删除解答该task_group内仍有进程 / 线程未迁出或内核定时器cfs_bw_timer、引用计数refcount不为 0。先将组内所有进程迁移至根分组再执行删除。六、实践建议与最佳实践6.1 Cgroup 分组使用规范权重配置生产环境统一基准值推荐以 1024 为基础核心业务组调高 shares非核心组降低不要配置过大或过小的极值。带宽限流在线业务慎用严格带宽限制仅对离线任务、日志、备份类进程做配额限制避免核心业务被意外限流。分组层级尽量减少 Cgroup 嵌套层级层级越深task_group树形遍历、任务迁移开销越大建议层级不超过 3 层。6.2 性能调优技巧高并发场景下将业务进程绑定 CPU 内核 分组隔离结合使用既利用 CPU 亲和性减少切换又通过task_group做资源隔离。大量短时进程场景避免频繁创建、销毁 Cgroup频繁操作会反复创建 / 销毁task_group带来内核内存与链表操作开销。6.3 问题排查流程线上故障通用业务 CPU 占用异常先查看进程所属 cgroup检查quota是否限流、shares权重是否合理多业务互相抢占梳理task_group树形结构确认分组归属与权重配比调度卡顿、延迟升高使用ftrace跟踪move_task_to_group、tg_set_cfs_bandwidth排查是否存在频繁任务迁移、带宽反复修改。6.4 内核二次开发建议自定义调度策略时尽量复用原有task_group架构不要重构分组管理逻辑兼容性与稳定性更强新增组级别统计、控流功能在现有结构体基础上扩展字段遵循内核每 CPU 数组的设计思想。七、总结与应用延伸本文从概念、环境、结构体逐字段拆解、用户态 Cgroup 实操、内核测试代码、内核模块开发、问题排查、工程规范完整讲解了task_group结构体与 Linux 组调度原理。task_group作为组调度的基石整合了 CFS、RT、Deadline 三套调度器的队列、调度实体、带宽控制、权重管理能力依靠树形链表实现多级分组依靠每 CPU 数组实现多核高性能调度。从技术本质来看组调度解决了传统单进程调度无法实现的资源隔离、配额限制、分组优先级三大核心问题从工程落地来看它是容器 Docker/K8s、云服务器、虚拟化、嵌入式多业务分区、实时 Linux 系统的底层支撑。掌握task_group不仅能理解 Cgroups CPU 子系统的工作原理排查容器 CPU 限流、业务抢占等线上问题也能深入 Linux 调度架构为定制调度策略、内核裁剪、实时系统优化打下基础。建议读者结合文中代码、内核模块、ftrace 工具反复实操修改shares、quota观察调度变化结合内核源码跟踪调用流程把数据结构和运行逻辑融会贯通真正应用到服务器调优、嵌入式开发、云原生运维等实际项目中。
Linux task_group 结构体：组调度的核心数据结构
发布时间：2026/6/1 19:57:43
简介在现代 Linux 系统中随着容器、虚拟化、云服务器、多租户业务架构的普及单纯针对单个进程的调度策略已经无法满足资源隔离、带宽限制、优先级分组管控的诉求。传统 CFS 完全公平调度器、RT 实时调度器仅能对独立任务做调度控制当一台主机同时运行数十个容器、多组业务进程时极易出现单组进程抢占全部 CPU 资源、低优先级业务饿死、实时任务带宽被挤占等问题。为解决这一问题Linux 内核引入组调度Group Scheduling机制而struct task_group就是整套组调度体系的核心数据载体。内核利用该结构体将一批关联进程 / 线程划分为同一个调度组以组为单位分配 CPU 权重、限制 CPU 带宽、管理运行队列与调度实体实现组级别的资源隔离、配额限制与优先级管控。task_group贯穿 CFS 普通进程调度、RT 实时进程调度、Deadline 硬实时调度三大子系统同时也是 Linux Cgroups CPU 子系统、容器资源限制、整机业务分区调度的底层依赖。对于嵌入式 Linux 工程师、云原生运维、内核开发人员、操作系统调优工程师而言吃透task_group的结构体成员、字段含义、关联逻辑与运行机制是理解 Cgroups CPU 限流、容器 CPU 配额、多业务调度隔离、定制分组调度策略的必备能力。本文结合内核源码、实操案例、调试命令从概念、环境、源码拆解、代码实践、问题排查、工程规范全维度讲解task_group内容可直接用于技术报告、论文撰写与线上线下问题排查。一、核心概念与术语解析1.1 进程组调度基本定义Linux 组调度的核心思想不再以单个 task 为最小调度单元而是将一组逻辑关联的任务视作一个整体调度单元。内核会先在多个task_group之间完成 CPU 资源分配再在组内部的任务之间做二次调度。这种两层调度模型天然适配云租户隔离、容器资源限制、业务分区部署等场景。组调度分为两大主流使用形态原生内核组调度手动创建调度组对指定进程做分组管理Cgroups CPU 组调度用户态通过 cgroup 文件系统创建分组内核自动生成对应task_group是目前容器、云主机最常用的方案。1.2 task_group 核心关联组件task_group并非独立结构体内部聚合了 CFS、RT、Deadline 三大调度器的专属调度实体、运行队列、带宽控制结构先梳理配套基础术语调度实体 sched_entityCFS 调度单元记录权重、虚拟运行时间、队列挂载节点rt_sched_entityRT 实时任务调度实体用于实时组调度管理cfs_rqCFS 运行队列每个 CPU、每个调度组都拥有独立 CFS 就绪队列rt_rqRT 实时运行队列组级别实时任务队列带宽控制Bandwidth限制调度组最大 CPU 使用率防止资源耗尽调度权重sharesCFS 组调度权重决定组之间 CPU 分配比例。1.3 全局根调度组系统启动后内核会默认创建根 task_group系统内所有未手动分组的进程、内核线程全部归属根调度组。所有新建的调度组均以根组为父节点形成树形层级结构支持多级嵌套分组。1.4 Cgroups 与 task_group 的映射关系用户态操作/sys/fs/cgroup/cpu目录下的配置文件cpu.shares、cpu.cfs_quota_us、cpu.cfs_period_us本质上就是修改对应task_group内部的权重、带宽、周期等字段二者一一绑定。二、环境准备2.1 软硬件与版本要求分类版本 / 配置说明操作系统Ubuntu 20.04 / 22.04 64bit主流发行版均可内核版本Linux 5.4、5.15、6.1 LTS长期支持版task_group 结构无大幅变更硬件x86_64 多核 CPU4 核及以上内存 4G支持多进程压测、cgroup 实验编译工具gcc、make、binutils、libncurses-dev、bison、flex调试工具gdb、strace、perf、trace-cmd、ftrace、cgroup-tools依赖组件cgroupfs 已启用默认现代 Linux 均已内置2.2 基础环境安装配置1. 安装编译与调试工具# 更新软件源并安装全套依赖 sudo apt update sudo apt install build-essential libncurses-dev bison flex \ libssl-dev libelf-dev gdb cgroup-tools strace perf -y2. 确认 Cgroups 状态组调度依赖 Cgroups CPU 子系统执行以下命令校验# 查看已挂载的cgroup文件系统 mount | grep cgroup # 查看CPU子系统是否启用 ls /sys/fs/cgroup/cpu/正常输出会包含cpu.shares、cpu.cfs_quota_us等文件代表环境就绪。3. 内核源码获取与路径定位task_group定义与实现集中在以下源码路径建议提前下载源码用于对照阅读# 下载 Linux 5.15 LTS 内核源码 wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.15.tar.xz tar -xf linux-5.15.tar.xz cd linux-5.15核心源码文件结构体定义kernel/sched/sched.hCFS 组调度实现kernel/sched/fair.cRT 组调度实现kernel/sched/rt.ctask_group 创建、销毁、字段修改逻辑kernel/sched/sched.c4. 内核编译可选源码调试使用如需 gdb/kgdb 调试内核结构体使用当前系统配置编译内核cp /boot/config-$(uname -r) .config make menuconfig开启以下调试选项CONFIG_SCHED_GROUPy # 启用组调度默认开启 CONFIG_CGROUP_CPUACCTy # CPU资源统计 CONFIG_CGROUP_SCHEDy # Cgroups调度支持 CONFIG_DEBUG_KERNELy # 内核调试 CONFIG_FTRACEy # 函数跟踪执行编译多核并行编译make -j$(nproc)三、应用场景task_group 驱动的 Linux 组调度是服务器、云计算、嵌入式实时系统的核心底层能力。在容器集群场景中运维通过 Cgroups 创建独立调度组为每个容器配置 CPU 权重与带宽上限避免单个容器异常占用整机 CPU实现多租户资源隔离。在后台业务服务器上可将核心交易服务、日志采集、监控脚本划分为不同调度组通过调整组权重保障核心业务优先获取算力。工业嵌入式 Linux 设备中将实时控制任务、后台运维任务分组借助 RT 组调度隔离普通进程干扰提升实时性。此外云主机、虚拟化 KVM 虚拟机、大数据计算集群均依靠 task_group 实现 CPU 资源按需分配、限额管控与优先级划分保障整机业务稳定运行。四、实际案例与步骤结构体拆解 代码实操 命令演练4.1 完整拆解 task_group 结构体内核源码 逐行注释以下截取kernel/sched/sched.h中Linux 5.15 标准 task_group源码剔除冗余分支保留核心业务字段附带工程化注释可直接用于论文、报告参考。/* * 进程调度组核心结构体 * 每个cgroup CPU分组、原生内核调度组都会对应一个task_group实例 */ struct task_group { /* 树形结构父子分组关系 */ struct task_group *parent; // 父调度组根组该字段为NULL struct list_head siblings; // 同一父组下的兄弟分组链表 struct list_head children; // 下属子分组链表 /* CFS 完全公平调度 核心字段 */ /* 每个CPU对应的CFS调度实体组级别调度实体 */ struct sched_entity **se; /* 每个CPU对应的CFS运行队列组内普通进程就绪队列 */ struct cfs_rq **cfs_rq; /* CFS组调度权重对应cgroup中 cpu.shares */ unsigned long shares; /* 组内任务总权重用于动态计算调度比例 */ atomic_long_t load_avg; /* CFS带宽控制周期、配额对应 cpu.cfs_period_us / cpu.cfs_quota_us */ u64 cfs_bandwidth_period; // 带宽统计周期(微秒) s64 cfs_bandwidth_quota; // 单个周期内允许使用的最大CPU时间 /* CFS带宽限流定时器当配额耗尽时触发限流 */ struct timer_list cfs_bw_timer; /* 带宽控制状态标记 */ int cfs_bw_throttled; /* RT 实时调度 核心字段 */ /* 每个CPU对应的RT调度实体与实时运行队列 */ struct rt_sched_entity **rt_se; struct rt_rq **rt_rq; /* RT组带宽限制实时任务CPU配额防止实时任务独占CPU */ struct rt_bandwidth rt_bw; /* Deadline 硬实时调度字段 */ struct sched_dl_entity **dl_se; struct dl_rq **dl_rq; struct dl_bandwidth dl_bw; /* 统计与记账字段 */ struct cpuacct *cpuacct; // CPU使用统计结构体记录组总耗时 u64 cpuusage[NR_CPUS]; // 每个CPU的使用时长统计 /* 任务链表归属本组的所有进程 */ struct list_head tasks; // 挂载本组所有task_struct任务 /* 引用计数防止组被提前销毁 */ refcount_t refcount; };代码说明该结构体采用CPU 维度数组设计se、cfs_rq、rt_se等均为指针数组数组下标对应 CPU 编号实现多核下每组每个 CPU 独立队列CFS 权重、带宽、RT 带宽是工程中最常配置、排查问题的字段树形链表结构支撑多级嵌套 Cgroup 分组。4.2 关键字段功能细分讲解4.2.1 CFS 调度相关字段业务最常用shares组调度权重默认值 1024。多个同层级分组竞争 CPU 时CPU 占用比例 本组 shares / 所有兄弟组 shares 总和。对应文件/sys/fs/cgroup/cpu/cpu.shares。cfs_bandwidth_period / cfs_bandwidth_quotaCFS 带宽限流。period为统计周期quota为周期内最大可用 CPU 时间。例如 period100000 (100ms)quota50000 (50ms)代表该组 CPU 使用率上限 50%。cfs_rq组内 CFS 运行队列组内所有普通就绪进程都会挂载到此队列。4.2.2 RT/Deadline 实时调度字段rt_rq、dl_rq是组级别实时任务队列配合rt_bandwidth、dl_bandwidth限制实时任务整体 CPU 占用避免实时任务无限抢占 CPU。4.2.3 树形与任务管理字段parent/children/siblings构建分组树tasks链表遍历当前分组下所有进程refcount引用计数保证安全销毁。4.3 实操案例 1用户态创建 Cgroup 分组关联内核 task_group本案例手动创建 CPU 分组修改权重与带宽直观对应task_group字段变化命令可直接复制执行。步骤 1创建测试 Cgroup 分组# 进入cgroup cpu根目录 cd /sys/fs/cgroup/cpu # 创建名为test_group的调度组内核自动生成对应task_group sudo mkdir test_group cd test_group步骤 2修改 CFS 权重对应 task_group-shares# 查看默认权重默认1024 cat cpu.shares # 修改权重为2048权重翻倍 echo 2048 | sudo tee cpu.shares作用修改后该分组与默认分组竞争 CPU 时算力分配比例变为 2:1。步骤 3配置 CFS 带宽限制对应 quota period# 设置周期为100000微秒(100ms) echo 100000 | sudo tee cpu.cfs_period_us # 设置配额为30000微秒(30ms)限制该组CPU最大使用率 30% echo 30000 | sudo tee cpu.cfs_quota_us作用对应内核task_group-cfs_bandwidth_period和cfs_bandwidth_quota超出配额后组内任务被限流。步骤 4将当前 Shell 进程加入分组# 查看当前进程PID echo $$ # 将PID写入cgroup.procs进程归属该task_group echo $$ | sudo tee cgroup.procs4.4 实操案例 2编写测试程序验证组调度限流效果编写死循环压测程序绑定到分组后观察 CPU 占用验证task_group带宽控制生效。步骤 1编写压测代码cpu_stress.c#include stdio.h #include unistd.h /* 简单CPU密集型压测程序 */ int main(void) { printf(CPU stress task running... PID %d\n, getpid()); /* 死循环消耗CPU */ while(1) { ; } return 0; }步骤 2编译并后台运行gcc cpu_stress.c -o cpu_stress ./cpu_stress # 记录压测进程PID echo $!步骤 3将压测进程移入 test_group 分组# 替换为上一步获取的PID echo 你的PID | sudo tee /sys/fs/cgroup/cpu/test_group/cgroup.procs步骤 4使用 top 观察 CPU 占用新开终端执行top开启 CPU 排序top # 按下 P 按CPU使用率排序现象说明整机单核满负荷为 100%该进程 CPU 占用会稳定卡在30% 左右证明task_group的带宽限流字段生效。4.5 实操案例 3使用 ftrace 跟踪 task_group 相关内核函数通过内核跟踪工具观测分组创建、带宽修改、任务迁移时内核函数调用验证task_group运行逻辑。# 挂载debugfs部分系统已默认挂载 sudo mount -t debugfs none /sys/kernel/debug # 清空跟踪缓存 sudo echo /sys/kernel/debug/tracing/trace # 设置跟踪函数task_group创建、带宽更新、任务移入分组 sudo echo sched_create_group /sys/kernel/debug/tracing/set_ftrace_filter sudo echo tg_set_cfs_bandwidth /sys/kernel/debug/tracing/set_ftrace_filter sudo echo move_task_to_group /sys/kernel/debug/tracing/set_ftrace_filter # 开启跟踪 sudo echo function /sys/kernel/debug/tracing/current_tracer sudo echo 1 /sys/kernel/debug/tracing/tracing_on重新执行创建 cgroup、移动进程、修改带宽操作然后停止跟踪并查看日志sudo echo 0 /sys/kernel/debug/tracing/tracing_on sudo cat /sys/kernel/debug/tracing/trace作用日志中可清晰看到task_group的创建、字段修改、任务迁移对应的内核调用栈串联用户态操作与内核数据结构。4.6 代码案例内核态简易遍历 task_group 链表模块示例编写简易内核模块遍历系统所有task_group分组打印分组层级与 shares 权重适合内核二次开发学习。模块代码tg_list.c#include linux/init.h #include linux/module.h #include linux/kernel.h #include linux/sched.h #include linux/list.h MODULE_LICENSE(GPL); MODULE_AUTHOR(Linux Engineer); MODULE_DESCRIPTION(Traverse all task_group); /* 递归遍历调度组树形结构 */ static void traverse_task_group(struct task_group *tg, int level) { struct task_group *child; struct list_head *pos; /* 缩进区分层级打印分组权重 */ printk(%*s task_group: shares %lu\n, level*4, , tg-shares); /* 遍历所有子分组 */ list_for_each(pos, tg-children) { child list_entry(pos, struct task_group, siblings); traverse_task_group(child, level 1); } } static int __init tg_list_init(void) { printk( Start Traverse All task_group \n); /* 从根调度组开始递归遍历 */ traverse_task_group(root_task_group, 0); printk( Traverse End \n); return 0; } static void __exit tg_list_exit(void) { printk(task_group traverse module unload\n); } module_init(tg_list_init); module_exit(tg_list_exit);模块编译文件Makefileobj-m tg_list.o KERNELDIR ? /lib/modules/$(shell uname -r)/build PWD : $(shell pwd) all: $(MAKE) -C $(KERNELDIR) M$(PWD) modules clean: $(MAKE) -C $(KERNELDIR) M$(PWD) clean编译、加载、查看日志命令make # 加载内核模块 sudo insmod tg_list.ko # 查看内核打印日志 dmesg | tail -50 # 卸载模块 sudo rmmod tg_list代码说明代码从全局根组root_task_group出发递归遍历所有子task_group打印每组shares权重直观展示内核分组树形结构。五、常见问题与解答Q1修改 cpu.shares 之后CPU 分配比例没有立即变化解答shares是相对权重仅在多个分组同时存在就绪任务、竞争 CPU 时才生效。如果只有单个分组运行进程无论 shares 多大都会占满 CPU。同时 CFS 是渐进式调度权重变更会逐步体现不会瞬时切换比例。Q2设置 cpu.cfs_quota_us 为 -1 代表什么解答对应task_group-cfs_bandwidth_quota -1表示关闭带宽限流该分组不做 CPU 使用率限制是系统默认状态。Q3进程移入新 cgroup 后为什么 CPU 队列、调度实体全部切换解答进程迁移分组时内核会执行move_task_to_group函数将进程从原task_group的cfs_rq队列摘除挂载到新分组的cfs_rq同时切换所属调度实体这也是task_group组调度的核心切换逻辑。Q4多核 CPU 下task_group 的 cfs_rq 为什么是数组形式解答Linux 调度是每 CPU 私有队列设计每个 CPU 拥有独立的运行队列。cfs_rq[]数组下标对应 CPU 编号保证多核场景下队列隔离、无全局锁竞争提升调度性能。Q5删除 cgroup 目录提示设备忙无法删除解答该task_group内仍有进程 / 线程未迁出或内核定时器cfs_bw_timer、引用计数refcount不为 0。先将组内所有进程迁移至根分组再执行删除。六、实践建议与最佳实践6.1 Cgroup 分组使用规范权重配置生产环境统一基准值推荐以 1024 为基础核心业务组调高 shares非核心组降低不要配置过大或过小的极值。带宽限流在线业务慎用严格带宽限制仅对离线任务、日志、备份类进程做配额限制避免核心业务被意外限流。分组层级尽量减少 Cgroup 嵌套层级层级越深task_group树形遍历、任务迁移开销越大建议层级不超过 3 层。6.2 性能调优技巧高并发场景下将业务进程绑定 CPU 内核 分组隔离结合使用既利用 CPU 亲和性减少切换又通过task_group做资源隔离。大量短时进程场景避免频繁创建、销毁 Cgroup频繁操作会反复创建 / 销毁task_group带来内核内存与链表操作开销。6.3 问题排查流程线上故障通用业务 CPU 占用异常先查看进程所属 cgroup检查quota是否限流、shares权重是否合理多业务互相抢占梳理task_group树形结构确认分组归属与权重配比调度卡顿、延迟升高使用ftrace跟踪move_task_to_group、tg_set_cfs_bandwidth排查是否存在频繁任务迁移、带宽反复修改。6.4 内核二次开发建议自定义调度策略时尽量复用原有task_group架构不要重构分组管理逻辑兼容性与稳定性更强新增组级别统计、控流功能在现有结构体基础上扩展字段遵循内核每 CPU 数组的设计思想。七、总结与应用延伸本文从概念、环境、结构体逐字段拆解、用户态 Cgroup 实操、内核测试代码、内核模块开发、问题排查、工程规范完整讲解了task_group结构体与 Linux 组调度原理。task_group作为组调度的基石整合了 CFS、RT、Deadline 三套调度器的队列、调度实体、带宽控制、权重管理能力依靠树形链表实现多级分组依靠每 CPU 数组实现多核高性能调度。从技术本质来看组调度解决了传统单进程调度无法实现的资源隔离、配额限制、分组优先级三大核心问题从工程落地来看它是容器 Docker/K8s、云服务器、虚拟化、嵌入式多业务分区、实时 Linux 系统的底层支撑。掌握task_group不仅能理解 Cgroups CPU 子系统的工作原理排查容器 CPU 限流、业务抢占等线上问题也能深入 Linux 调度架构为定制调度策略、内核裁剪、实时系统优化打下基础。建议读者结合文中代码、内核模块、ftrace 工具反复实操修改shares、quota观察调度变化结合内核源码跟踪调用流程把数据结构和运行逻辑融会贯通真正应用到服务器调优、嵌入式开发、云原生运维等实际项目中。
