CFS调度器(完全公平调度器)在Linux内核中负责CPU资源的公平分配,但在多核场景下,单纯依赖CFS的公平性会导致某些进程组超额占用CPU,因此需要引入带宽控制机制来强制限制进程组的CPU使用上限。CFS带宽控制通过cgroup的cpu子系统实现,它允许管理员为每个进程组设定cpu.cfs_quota_us和cpu.cfs_period_us参数,从而精确控制其在每个周期内可使用的CPU时间。这一机制在多核系统中尤为关键,因为它能防止单个控制组(cgroup)中的任务在多核上并行运行导致总CPU消耗超过配额,从而保障整体系统的稳定性和服务等级协议(SLA)。
CFS调度器基于虚拟运行时间(vruntime)来调度任务,它以红黑树维护可运行任务队列,每次选择vruntime最小的任务运行,以实现所有任务的CPU时间公平分配。与早期O(1)调度器不同,CFS不再依赖固定时间片,而是根据任务优先级和权重计算虚拟运行时间的增量,从而动态调整调度决策。这种设计使其在交互式任务和批处理任务混合的场景下表现优异,但在多核上,多个CPU各自运行红黑树,导致公平性难以跨CPU全局保证。
| 调度器特性 | CFS调度器 | 传统O(1)调度器 |
|---|---|---|
| 时间片分配 | 基于vruntime动态计算 | 固定时间片 |
| 公平性 | 全局公平(权重调控) | 优先级调度为主 |
| 多核扩展 | 每CPU就绪队列,需负载均衡 | 全局队列,锁竞争大 |
| 带宽控制 | 支持cgroup带宽限制 | 无直接支持 |
然而,公平性并不等于限制用量。如果两个cgroup的权重相同,但其中一个包含大量多线程任务,它可能抢占多个CPU,导致另一个cgroup的CPU份额被压缩。这时,CFS带宽控制就显得必要,它能超越权重公平,提供硬性上限。
CFS带宽控制的核心是cpu.cfs_period_us和cpu.cfs_quota_us,前者定义周期长度(默认100000微秒即100ms),后者定义该周期内允许的CPU时间(微秒)。当quota小于period时,控制组内所有任务的总CPU时间被限制在quota内,如果quota为-1则不受限制。例如,设置cpu.cfs_quota_us=50000,cpu.cfs_period_us=100000,意味着该组最多使用0.5核CPU。
# 设置带宽限制 mkdir /sys/fs/cgroup/cpu/mygroup echo 100000 | sudo tee /sys/fs/cgroup/cpu/mygroup/cpu.cfs_period_us echo 50000 | sudo tee /sys/fs/cgroup/cpu/mygroup/cpu.cfs_quota_us # 将进程加入组 echo 1234 | sudo tee /sys/fs/cgroup/cpu/mygroup/tasks
在多核场景下,该机制通过全局的带宽结算(accounting)来防止超额。每个CPU运行队列上的任务都会累积runtime,当该组在本周期的累计runtime接近quota时,即使其他CPU空闲,该组的任务也会被强制休眠,直到下一个周期。这一行为确保了配额是全局生效的,而非每CPU独立。
多核平台上的主要挑战是负载均衡算法可能将任务迁移到不同CPU,而带宽控制必须追踪组在所有CPU上的总runtime,这增加了复杂性和锁竞争。内核通过在每个CPU上维护cfs_bandwidth结构,并定期更新全局累计时间,同时使用自旋锁保护关键路径。实践中,高并发场景下(例如大量cgroup频繁切换),可能导致开销增大。为了解决这个问题,内核社区已经优化了结算流程,从早期每次调度都更新改为按period分片更新,减少锁冲突。
另外,CFS带宽控制还引入了cpu.cfs_quota_us的自动调整策略,当组内任务数动态变化时,可以设置cpu.cfs_burst_us来允许短时间突发使用,这有助于应对突发流量而不牺牲长期限制。据[SUSE工程师Mel Gorman在LWN上的文章]《CFS Bandwidth Control》指出,突发机制的设计目的是允许在周期边界处使用未使用的配额,但仅在单个周期内有效,防止长期滥用。
最常见的应用场景是多租户云环境,云提供商需要确保每个虚拟机或容器获得承诺的CPU份额。通过为每个租户设置带宽上限,可以防止某个租户的CPU密集任务干扰邻居。实测数据表明,在一个8核系统上运行两个并发实验:一个限定额度为4核(quota=400000us, period=100000us),另一个不限,使用stress工具分别压测,受限组的CPU使用率被稳定控制在400%左右(即4核),而不限组可跑满800%。以下是一个测试脚本示例:
# 启动一个限速4核的任务 mkdir /sys/fs/cgroup/cpu/test && cd /sys/fs/cgroup/cpu/test echo 100000 | sudo tee cpu.cfs_period_us echo 400000 | sudo tee cpu.cfs_quota_us echo $$ | sudo tee tasks # 将当前shell加入组 stress --cpu 8 --timeout 10 & # 产生8个CPU忙进程
运行期间使用pidstat观察每个CPU的使用率,可以看到总的CPU时间被控制在4核之内。该机制也常用于混合工作负载,例如数据库和Web服务器共存时,确保关键业务获得足够CPU而不被后台任务抢占。
尽管CFS带宽控制有效,但它也有一些限制。首先,精度受限:由于内存结算粒度为微秒,在高频率的周期切换时可能产生误差。其次,对延迟敏感的任务不友好,因为当组内配额耗尽时,即使是低延迟任务也需等待下个周期,可能增加调度延迟。内核社区正在探索更灵活的机制,例如利用eBPF动态调整配额,以及基于实时需求的预测算法。据Google工程师David Rientjes在Kernel Summit上的发言,未来的CFS可能引入细粒度的带宽控制,支持每任务配额,但当前主流方案仍是基于cgroup的带宽控制。
CFS调度器在多核场景下通过带宽控制提供了公平性之外的硬性资源保障,这是现代云原生环境不可或缺的特性。理解并善用cpu.cfs_quota_us和cpu.cfs_period_us,运维人员可以有效防止资源争抢,确保服务等级。随着技术发展,CFS带宽控制将继续演进以适应更复杂的调度需求,但核心原则——限制与公平的平衡——始终不变。
评论
加载中...