centos 下進程/線程綁定到特定cpu核上運行

概述

現在大家使用的基本上都是多核cpu，一般是4核的。平時應用程序在運行時都是由操作系統管理的。操作系統對應用進程進行調度，使其在不同的核上輪番運行。

對於普通的應用，操作系統的默認調度機制是沒有問題的。但是，當某個進程需要較高的運行效率時，就有必要考慮將其綁定到單獨的核上運行，以減小由於在不同的核上調度造成的開銷。

把某個進程/線程綁定到特定的cpu核上後，該進程就會一直在此核上運行，不會再被操作系統調度到其他核上。但綁定的這個核上還是可能會被調度運行其他應用程序的。

操作系統對多核cpu的調度
目前windows和linux都支持對多核cpu進行調度管理。

軟件開發在多核環境下的核心是多線程開發。這個多線程不僅代表了軟件實現上多線程，要求在硬件上也採用多線程技術。

多核操作系統的關注點在於進程的分配和調度。進程的分配將進程分配到合理的物理核上，因爲不同的核在共享性和歷史運行情況都是不同的。有的物理核能夠共享二級cache，而有的卻是獨立的。如果將有數據共享的進程分配給有共享二級cache的核上，將大大提升性能；反之，就有可能影響性能。

進程調度會涉及實時性、負載均衡等問題，目前研究的熱點問題主要集中在以下方面：

• 程序的並行開發設計
• 多進程的時間相關性
• 任務的分配和調度
• 緩存的錯誤共享
• 一致性訪問問題
• 進程間通信
• 多處理器核內部資源競爭

多進程和多線程在cpu核上運行時情況如下：

• 每個 CPU 核運行一個進程的時候，由於每個進程的資源都獨立，所以 CPU 核心之間切換的時候無需考慮上下文
• 每個 CPU 核運行一個線程的時候，有時線程之間需要共享資源，所以這些資源必須從 CPU 的一個核心被複制到另外一個核心，這會造成額外的開銷

綁定進程到cpu核上運行

• 查看cpu有幾個核

 使用cat /proc/cpuinfo查看cpu信息，如下兩個信息：

• processor，指明第幾個cpu處理器
• cpu cores，指明每個處理器的核心數

也可以使用系統調用sysconf獲取cpu核心數：

#include <unistd.h>

int sysconf(_SC_NPROCESSORS_CONF);/* 返回系統可以使用的核數，但是其值會包括系統中禁用的核的數目，因 此該值並不代表當前系統中可用的核數 */
int sysconf(_SC_NPROCESSORS_ONLN);/* 返回值真正的代表了系統當前可用的核數 */

/* 以下兩個函數與上述類似 */
#include <sys/sysinfo.h>

int get_nprocs_conf (void);/* 可用核數 */
int get_nprocs (void);/* 真正的反映了當前可用核數 */

我使用的是虛擬機，有2個處理器，每個處理器只有一個核，等同於一個處理器兩個核心。

使用taskset指令

• 獲取進程pid

-> % ps
  PID TTY          TIME CMD
 2683 pts/1    00:00:00 zsh
 2726 pts/1    00:00:00 dgram_servr
 2930 pts/1    00:00:00 ps

• 查看進程當前運行在哪個cpu上

-> % taskset -p 2726
pid 2726's current affinity mask: 3

顯示的十進制數字3轉換爲2進製爲最低兩個是1，每個1對應一個cpu，所以進程運行在2個cpu上。

指定進程運行在cpu1上

-> % taskset -pc 1 2726
pid 2726's current affinity list: 0,1
pid 2726's new affinity list: 1

注意，cpu的標號是從0開始的，所以cpu1表示第二個cpu（第一個cpu的標號是0）。

至此，就把應用程序綁定到了cpu1上運行，查看如下：

-> % taskset -p 2726
pid 2726's current affinity mask: 2

#啓動程序時綁定cpu
#啓動時綁定到第二個cpu
-> % taskset -c 1 ./dgram_servr&
[1] 3011

#查看確認綁定情況
-> % taskset -p 3011
pid 3011's current affinity mask: 2

使用sched_setaffinity系統調用

sched_setaffinity可以將某個進程綁定到一個特定的CPU。

#define _GNU_SOURCE             /* See feature_test_macros(7) */
#include <sched.h>

/* 設置進程號爲pid的進程運行在mask所設定的CPU上
 * 第二個參數cpusetsize是mask所指定的數的長度
 * 通常設定爲sizeof(cpu_set_t)

 * 如果pid的值爲0,則表示指定的是當前進程 
 */
int sched_setaffinity(pid_t pid, size_t cpusetsize, cpu_set_t *mask);

int sched_getaffinity(pid_t pid, size_t cpusetsize, cpu_set_t *mask);/* 獲得pid所指示的進程的CPU位掩碼,並將該掩碼返回到mask所指向的結構中 */

• 實例

#include<stdlib.h>
#include<stdio.h>
#include<sys/types.h>
#include<sys/sysinfo.h>
#include<unistd.h>

#define __USE_GNU
#include<sched.h>
#include<ctype.h>
#include<string.h>
#include<pthread.h>
#define THREAD_MAX_NUM 200  //1個CPU內的最多進程數

int num=0;  //cpu中核數
void* threadFun(void* arg)  //arg  傳遞線程標號（自己定義）
{
         cpu_set_t mask;  //CPU核的集合
         cpu_set_t get;   //獲取在集合中的CPU
         int *a = (int *)arg; 
         int i;

         printf("the thread is:%d\n",*a);  //顯示是第幾個線程
         CPU_ZERO(&mask);    //置空
         CPU_SET(*a,&mask);   //設置親和力值
         if (sched_setaffinity(0, sizeof(mask), &mask) == -1)//設置線程CPU親和力
         {
                   printf("warning: could not set CPU affinity, continuing...\n");
         }

           CPU_ZERO(&get);
           if (sched_getaffinity(0, sizeof(get), &get) == -1)//獲取線程CPU親和力
           {
                    printf("warning: cound not get thread affinity, continuing...\n");
           }
           for (i = 0; i < num; i++)
           {
                    if (CPU_ISSET(i, &get))//判斷線程與哪個CPU有親和力
                    {
                             printf("this thread %d is running processor : %d\n", i,i);
                    }
           }

         return NULL;
}

int main(int argc, char* argv[])
{
         int tid[THREAD_MAX_NUM];
         int i;
         pthread_t thread[THREAD_MAX_NUM];

         num = sysconf(_SC_NPROCESSORS_CONF);  //獲取核數
         if (num > THREAD_MAX_NUM) {
            printf("num of cores[%d] is bigger than THREAD_MAX_NUM[%d]!\n", num, THREAD_MAX_NUM);
            return -1;
         }
         printf("system has %i processor(s). \n", num);

         for(i=0;i<num;i++)
         {
                   tid[i] = i;  //每個線程必須有個tid[i]
                   pthread_create(&thread[i],NULL,threadFun,(void*)&tid[i]);
         }
         for(i=0; i< num; i++)
         {
                   pthread_join(thread[i],NULL);//等待所有的線程結束，線程爲死循環所以CTRL+C結束
         }
         return 0;
}

• 運行結果

-> % ./a.out
system has 2 processor(s). 
the thread is:0
the thread is:1
this thread 0 is running processor : 0
this thread 1 is running processor : 1

• 綁定線程到cpu核上運行

綁定線程到cpu核上使用pthread_setaffinity_np函數，其原型定義如下：

#define _GNU_SOURCE             /* See feature_test_macros(7) */
#include <pthread.h>

int pthread_setaffinity_np(pthread_t thread, size_t cpusetsize, const cpu_set_t *cpuset);
int pthread_getaffinity_np(pthread_t thread, size_t cpusetsize, cpu_set_t *cpuset);

Compile and link with -pthread.

 

• 各參數的意義與sched_setaffinity相似。
• 實例

#define _GNU_SOURCE
#include <pthread.h>
#include <stdio.h>
#include <stdlib.h>
#include <errno.h>

#define handle_error_en(en, msg) \
        do { errno = en; perror(msg); exit(EXIT_FAILURE); } while (0)

int
main(int argc, char *argv[])
{
    int s, j;
    cpu_set_t cpuset;
    pthread_t thread;

    thread = pthread_self();

    /* Set affinity mask to include CPUs 0 to 7 */

    CPU_ZERO(&cpuset);
    for (j = 0; j < 8; j++)
        CPU_SET(j, &cpuset);

    s = pthread_setaffinity_np(thread, sizeof(cpu_set_t), &cpuset);
    if (s != 0)
        handle_error_en(s, "pthread_setaffinity_np");

    /* Check the actual affinity mask assigned to the thread */

    s = pthread_getaffinity_np(thread, sizeof(cpu_set_t), &cpuset);
    if (s != 0)
        handle_error_en(s, "pthread_getaffinity_np");

    printf("Set returned by pthread_getaffinity_np() contained:\n");
    for (j = 0; j < CPU_SETSIZE; j++)
        if (CPU_ISSET(j, &cpuset))
            printf("    CPU %d\n", j);

    exit(EXIT_SUCCESS);
}

• 運行結果

-> % ./a.out 
Set returned by pthread_getaffinity_np() contained:
    CPU 0
    CPU 1

總結

可以使用多種方法把進程/線程指定到特定的cpu核上運行。

在具體使用中，要根據使用場景和需求決定使用何種方式。個人認爲，重要的一步還是要先確定是否要使用把線程綁定到核心的方式。