[[405508]]

本文轉(zhuǎn)載自微信公眾號(hào)「人人都是極客」，作者布道師Peter 。轉(zhuǎn)載本文請(qǐng)聯(lián)系人人都是極客公眾號(hào)。

什么是進(jìn)程的 CPU 親和性?

在多核結(jié)構(gòu)中，每個(gè)核有各自的L1緩存，相同類型的核被劃分在同一個(gè)cluster中，而不同cluster之間又有共用的L2緩存。講負(fù)載均衡的時(shí)候我們講過一個(gè)進(jìn)程在核之間來回切換的時(shí)候，各個(gè)核之間的緩存命中率會(huì)降低，所以，將進(jìn)程與 CPU 進(jìn)行綁定可以提高 CPU 緩存的命中率，從而提高性能。這種綁定關(guān)系就叫做：進(jìn)程的 CPU 親和性。

如何設(shè)置進(jìn)程的 CPU 親和性?

Linux 系統(tǒng)提供了一個(gè)名為 sched_setaffinity 的系統(tǒng)調(diào)用，此系統(tǒng)調(diào)用可以設(shè)置進(jìn)程的 CPU 親和性。

sched_setaffinity(pid_t pid, size_t cpusetsize, const cpu_set_t *mask) 

• pid：進(jìn)行綁定 CPU 的進(jìn)程ID號(hào)
• cpusetsize：參數(shù) mask 指向的 CPU 集合的大小
• mask：與進(jìn)程綁定的 CPU 集合

cpu_set_t 類型是個(gè)位圖，可以理解為 CPU 集，通過宏來進(jìn)行清除、設(shè)置以及判斷：

//初始化，設(shè)為空 
void CPU_ZERO (cpu_set_t *set);  
//將某個(gè)cpu加入cpu集中  
void CPU_SET (int cpu, cpu_set_t *set);  
//將某個(gè)cpu從cpu集中移出  
void CPU_CLR (int cpu, cpu_set_t *set);  
//判斷某個(gè)cpu是否已在cpu集中設(shè)置了  
int CPU_ISSET (int cpu, const cpu_set_t *set); 

CPU 集可以認(rèn)為是一個(gè)掩碼，每個(gè)設(shè)置的位都對(duì)應(yīng)一個(gè)可以合法調(diào)度的 CPU，而未設(shè)置的位則對(duì)應(yīng)一個(gè)不可調(diào)度的 CPU。換言之，線程都被綁定了，只能在那些對(duì)應(yīng)位被設(shè)置了的處理器上運(yùn)行。通常，掩碼中的所有位都被置位了，也就是可以在所有的 CPU 中調(diào)度。

我們來看看 sched_setaffinity 系統(tǒng)調(diào)用的例子，將進(jìn)程綁定到 CPU2 上運(yùn)行：

#define _GNU_SOURCE 
#include <sched.h> 
#include <stdio.h> 
#include <string.h> 
#include <stdlib.h> 
#include <unistd.h> 
#include <errno.h> 
 
int main(int argc, char **argv) 
{ 
    int cpus = 0; 
    int  i = 0; 
    cpu_set_t mask; 
    cpu_set_t get; 
 
    cpus = sysconf(_SC_NPROCESSORS_ONLN); 
    printf("cpus: %d\n", cpus); 
 
    CPU_ZERO(&mask);    /* 初始化set集，將set置為空*/ 
    CPU_SET(2, &mask);  /*將本進(jìn)程綁定到CPU2上*/ 
    if (sched_setaffinity(0, sizeof(mask), &mask) == -1) { 
        printf("Set CPU affinity failue, ERROR:%s\n", strerror(errno)); 
        return -1;  
    }    
        
    return 0; 
} 

CPU 親和性的實(shí)現(xiàn)

我們知道每個(gè) CPU 都擁有一個(gè)獨(dú)立的可運(yùn)行進(jìn)程隊(duì)列，系統(tǒng)運(yùn)行的時(shí)候 CPU 只會(huì)從屬于自己的可運(yùn)行進(jìn)程隊(duì)列中按照 CFS 策略，選擇一個(gè)進(jìn)程來運(yùn)行。所以，把進(jìn)程放置在 CPU 對(duì)應(yīng)的可運(yùn)行進(jìn)程隊(duì)列上，也就可將進(jìn)程綁定到指定的 CPU 上。

下面我們追蹤函數(shù) sched_setaffinity 的調(diào)用順序，分析一下進(jìn)程如何與 CPU 進(jìn)行綁定的。

SYSCALL_DEFINE3(sched_setaffinity, pid_t, pid, unsigned int, len, unsigned long __user *, user_mask_ptr) 
-- sched_setaffinity(pid_t pid, const struct cpumask *in_mask) 
--- __set_cpus_allowed_ptr(struct task_struct *p, const struct cpumask *new_mask, bool check) 
---- stop_one_cpu(unsigned int cpu, cpu_stop_fn_t fn, void *arg) 
----- migration_cpu_stop(void *data) 
------ __migrate_task(struct rq *rq, struct task_struct *p, int dest_cpu) 
------- move_queued_task(struct rq *rq, struct task_struct *p, int new_cpu) 
-------- enqueue_task(struct rq *rq, struct task_struct *p, int flags) 
--------- returns the new run queue of destination CPU 

__set_cpus_allowed_ptr 函數(shù)主要分兩種情況來將進(jìn)程綁定到某個(gè) CPU 上：

1. stop_one_cpu(cpu_of(rq), migration_cpu_stop, &arg)：把還沒運(yùn)行且在源運(yùn)行隊(duì)列中進(jìn)程，放到指定的 CPU 可運(yùn)行隊(duì)列中
2. move_queued_task(rq, &rf, p, dest_cpu)：把已經(jīng)運(yùn)行的進(jìn)程遷移到指定的 CPU 可運(yùn)行隊(duì)列中

這兩種情況最終都會(huì)調(diào)用 move_queued_task：

static struct rq *move_queued_task(struct rq *rq, struct rq_flags *rf, 
       struct task_struct *p, int new_cpu) 
{ 
 lockdep_assert_held(&rq->lock); 
 
 p->on_rq = TASK_ON_RQ_MIGRATING; 
 dequeue_task(rq, p, DEQUEUE_NOCLOCK); 
 set_task_cpu(p, new_cpu); 
 rq_unlock(rq, rf); 
 
 rq = cpu_rq(new_cpu); 
 
 rq_lock(rq, rf); 
 BUG_ON(task_cpu(p) != new_cpu); 
 enqueue_task(rq, p, 0); 
 p->on_rq = TASK_ON_RQ_QUEUED; 
 check_preempt_curr(rq, p, 0); 
 
 return rq; 
} 

這里首先根據(jù)目標(biāo) CPU 找到對(duì)應(yīng)的工作隊(duì)列 rq，然后通過 enqueue_task 把任務(wù)遷移到目標(biāo) CPU 對(duì)應(yīng)的工作隊(duì)列中，CFS 調(diào)度器的話會(huì)調(diào)用到函數(shù) enqueue_task_fair。

enqueue_task_fair 的執(zhí)行流程如下：

1. 如果通過struct sched_entity 的 on_rq 成員判斷進(jìn)程已經(jīng)在就緒隊(duì)列上, 則無事可。

否則, 具體的工作委托給 enqueue_entity，將任務(wù)插入到 CFS 紅黑樹中合適的結(jié)點(diǎn)。