linux 多路IO轉接服務器之epoll（重點）

epoll是Linux下多路複用IO接口select/poll的增強版本，它能顯著提高程序在大量併發連接中只有少量活躍的情況下的系統CPU利用率，因爲它會複用文件描述符集合來傳遞結果而不用迫使開發者每次等待事件之前都必須重新準備要被偵聽的文件描述符集合，另一點原因就是獲取事件的時候，它無須遍歷整個被偵聽的描述符集，只要遍歷那些被內核IO事件異步喚醒而加入Ready隊列的描述符集合就行了。

目前epell是linux大規模併發網絡程序中的熱門首選模型。

epoll除了提供select/poll那種IO事件的電平觸發（Level Triggered）外，還提供了邊沿觸發（Edge Triggered），這就使得用戶空間程序有可能緩存IO狀態，減少epoll_wait/epoll_pwait的調用，提高應用程序效率。

可以使用cat命令查看一個進程可以打開的socket描述符上限。

cat /proc/sys/fs/file-max

如有需要，可以通過修改配置文件的方式修改該上限值。

sudo vi /etc/security/limits.conf

在文件尾部寫入以下配置,soft軟限制，hard硬限制。如下圖所示。

基礎API

1.創建一個epoll句柄，參數size用來告訴內核監聽的文件描述符的個數，跟內存大小有關。

#include <sys/epoll.h>
int epoll_create(int size) //size：監聽數目

2.控制某個epoll監控的文件描述符上的事件：註冊、修改、刪除。

#include <sys/epoll.h>
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)

epfd：爲epoll_create創建的句柄
op：表示動作，用3個宏來表示：
EPOLL_CTL_ADD (註冊新的fd到epfd)，
EPOLL_CTL_MOD (修改已經註冊的fd的監聽事件)，
EPOLL_CTL_DEL (從epfd刪除一個fd)；
event： 告訴內核需要監聽的事件（傳入參數）

struct epoll_event {
	uint32_t events; /* Epoll events */
	epoll_data_t data; /* User data variable */
};
typedef union epoll_data {
	void *ptr;
	int fd;
	uint32_t u32;
	uint64_t u64;
} epoll_data_t;

events：
EPOLLIN ： 表示對應的文件描述符可以讀（包括對端SOCKET正常關閉）
EPOLLOUT： 表示對應的文件描述符可以寫
EPOLLPRI： 表示對應的文件描述符有緊急的數據可讀（這裏應該表示有帶外數據到來）
EPOLLERR： 表示對應的文件描述符發生錯誤
EPOLLHUP： 表示對應的文件描述符被掛斷；
EPOLLET： 將EPOLL設爲邊緣觸發(Edge Triggered)模式，這是相對於水平觸發(Level Triggered)而言的
EPOLLONESHOT：只監聽一次事件，當監聽完這次事件之後，如果還需要繼續監聽這個socket的話，需要再次把這個socket加入到EPOLL隊列裏

3.等待所監控文件描述符上有事件的產生，類似於select()調用。

#include <sys/epoll.h>
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout)

events：結構體數組的首地址，用來存內核得到事件的集合（傳出參數）
maxevents： 告之內核這個events有多大，這個maxevents的值不能大於創建epoll_create()時的size，
timeout：
-1：阻塞
0： 立即返回，非阻塞
>0：指定毫秒
返回值：成功則返回有多少文件描述符就緒，時間到時返回0，出錯返回-1

例子：

#include <stdio.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <arpa/inet.h>
#include <sys/epoll.h>
#include <errno.h>
#include <ctype.h>

#include "wrap.h"

#define MAXLINE 8192
#define SERV_PORT 6666
#define OPEN_MAX 5000

int main(int argc, char *argv[])
{
    int i, listenfd, connfd, sockfd;
    int  n, num = 0;
    ssize_t nready, efd, res;
    char buf[MAXLINE], str[INET_ADDRSTRLEN];
    socklen_t clilen;

    struct sockaddr_in cliaddr, servaddr;
    struct epoll_event temp, ep[OPEN_MAX];       //temp: epoll_ctl參數  ep[] : epoll_wait參數

    listenfd = Socket(AF_INET, SOCK_STREAM, 0);

    int opt = 1;
    setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(opt));      //端口複用

    bzero(&servaddr, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
    servaddr.sin_port = htons(SERV_PORT);

    Bind(listenfd, (struct sockaddr *) &servaddr, sizeof(servaddr));

    Listen(listenfd, 20);

    efd = epoll_create(OPEN_MAX);               //創建epoll模型, efd指向紅黑樹根節點
    if (efd == -1)
        perr_exit("epoll_create error");

    temp.events = EPOLLIN; temp.data.fd = listenfd;           //指定lfd的監聽時間爲"讀"
    res = epoll_ctl(efd, EPOLL_CTL_ADD, listenfd, &temp);    //將lfd及對應的結構體設置到樹上,efd可找到該樹
    if (res == -1)
        perr_exit("epoll_ctl error");

    for ( ; ; ) {
        /*epoll爲server阻塞監聽事件, ep爲struct epoll_event類型數組, OPEN_MAX爲數組容量, -1表永久阻塞*/
        nready = epoll_wait(efd, ep, OPEN_MAX, -1); 
        if (nready == -1)
            perr_exit("epoll_wait error");

        for (i = 0; i < nready; i++) {
            if (!(ep[i].events & EPOLLIN))      //如果不是"讀"事件, 繼續循環
                continue;

            if (ep[i].data.fd == listenfd) {    //說明滿足事件的fd是lfd            
                clilen = sizeof(cliaddr);
                connfd = Accept(listenfd, (struct sockaddr *)&cliaddr, &clilen);    //接受鏈接，創建通信套接字

                printf("received from %s at PORT %d\n", 
                        inet_ntop(AF_INET, &cliaddr.sin_addr, str, sizeof(str)), 
                        ntohs(cliaddr.sin_port));
                printf("cfd %d---client %d\n", connfd, ++num);

                temp.events = EPOLLIN; temp.data.fd = connfd;
                res = epoll_ctl(efd, EPOLL_CTL_ADD, connfd, &temp);//把剛創建的通信套接字的文件描述符加入紅黑樹中
                if (res == -1)
                    perr_exit("epoll_ctl error");

            } else {                                //說明滿足事件的fd不是監聽套接字的fd，而是通信套接字的fd 
                sockfd = ep[i].data.fd;
                n = Read(sockfd, buf, MAXLINE);

                if (n == 0) {                       //讀到0,說明客戶端關閉鏈接
                    res = epoll_ctl(efd, EPOLL_CTL_DEL, sockfd, NULL);  //將該文件描述符從紅黑樹摘除
                    if (res == -1)
                        perr_exit("epoll_ctl error");
                    Close(sockfd);                  //關閉與該客戶端的鏈接
                    printf("client[%d] closed connection\n", sockfd);

                } else if (n < 0) {                 //出錯
                    perror("read n < 0 error: ");
                    res = epoll_ctl(efd, EPOLL_CTL_DEL, sockfd, NULL);
                    Close(sockfd);

                } else {                            //實際讀到了字節數
                    for (i = 0; i < n; i++)
                        buf[i] = toupper(buf[i]);   //轉大寫,寫回給客戶端

                    Write(STDOUT_FILENO, buf, n);
                    Writen(sockfd, buf, n);
                }
            }
        }
    }
    Close(listenfd);
    Close(efd);

    return 0;
}