linux epoll反應堆模型

epoll反應堆模型的流程：

epoll_create(); // 創建監聽紅黑樹
epoll_ctl(); // 向書上添加監聽fd
epoll_wait(); // 監聽
有客戶端連接上來--->lfd調用acceptconn()--->將新創建的通信套接字的文件描述符cfd掛載到紅黑樹上監聽讀事件--->
epoll_wait()返回--->cfd回調recvdata()--->將cfd摘下來監聽寫事件（TCP的滑動窗口機制，監聽一下是否能向客戶端寫數據過去）--->
epoll_wait()返回--->cfd回調senddata()--->將cfd摘下來監聽讀事件--->...--->

核心就是下面這張圖！！！！！，這是理解整個代碼的關鍵。
注意，掛到紅黑樹的每一個結點的類型都是struct epoll_event類型的。

server.c

/*
 *epoll基於非阻塞I/O事件驅動
 */
#include <stdio.h>
#include <sys/socket.h>
#include <sys/epoll.h>
#include <arpa/inet.h>
#include <fcntl.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#include <time.h>

#define MAX_EVENTS  1024                                    //監聽上限數
#define BUFLEN 4096
#define SERV_PORT   6666

void recvdata(int fd, void *arg);
void senddata(int fd, void *arg);

/* 描述就緒文件描述符相關信息 */

struct myevent_s {
    int fd;                                                 //要監聽的文件描述符
    int events;                                             //對應的監聽事件
    void *arg;                                              //泛型參數
    void (*call_back)(int fd,void *arg);       //回調函數
    int status;                                             //是否在監聽:1->在紅黑樹上(監聽), 0->不在(不監聽)
    char buf[BUFLEN];
    int len;
    long last_active;                                       //記錄每次加入紅黑樹 g_efd 的時間值
};

int g_efd;                                                  //全局變量, 保存epoll_create返回的文件描述符
struct myevent_s g_events[MAX_EVENTS+1];                    //自定義結構體類型數組. +1-->listen fd


/*將結構體 myevent_s 成員變量 初始化*/

void eventset(struct myevent_s *my_ev, int fd, void (*call_back)(int, int, void *), void *arg)
{
    my_ev->fd = fd;
    my_ev->call_back = call_back;
    my_ev->events = 0;
    my_ev->arg = arg;
    my_ev->status = 0;
    //memset(my_ev->buf, 0, sizeof(my_ev->buf));
    //my_ev->len = 0;
    my_ev->last_active = time(NULL);                       //調用eventset函數的時間

    return;
}

/* 向 epoll監聽的紅黑樹 添加一個文件描述符 */

void eventadd(int efd, int events, struct myevent_s *my_ev)
{
    struct epoll_event epv = {0, {0}};
    int op;
    epv.data.ptr = my_ev;
    epv.events = my_ev->events = events;       //EPOLLIN 或 EPOLLOUT

    if (my_ev->status == 1) {                                          //已經在紅黑樹 g_efd 裏
        op = EPOLL_CTL_MOD;                                         //修改其屬性
    } else {                                //不在紅黑樹裏
        op = EPOLL_CTL_ADD;                 //將其加入紅黑樹 g_efd, 並將status置1
        my_ev->status = 1;
    }

    if (epoll_ctl(efd, op, my_ev->fd, &epv) < 0)                       //實際添加/修改
        printf("event add failed [fd=%d], events[%d]\n", my_ev->fd, events);
    else
        printf("event add OK [fd=%d], op=%d, events[%0X]\n", my_ev->fd, op, events);

    return ;
}

/* 從epoll 監聽的 紅黑樹中刪除一個 文件描述符*/

void eventdel(int efd, struct myevent_s *my_ev)
{
    //struct epoll_event epv = {0, {0}};

    if (my_ev->status != 1)                                        //不在紅黑樹上
        return ;

    //epv.data.ptr = my_ev;
    my_ev->status = 0;                                             //修改狀態
    //epoll_ctl(efd, EPOLL_CTL_DEL, my_ev->fd, &epv);                //從紅黑樹 efd 上將 my_ev->fd 摘除
    epoll_ctl(efd, EPOLL_CTL_DEL, my_ev->fd, NULL); 
    return ;
}

/*  當有文件描述符就緒, epoll返回, 調用該函數 與客戶端建立鏈接 */

void acceptconn(int lfd,void *arg)
{
    struct sockaddr_in cin;
    socklen_t len = sizeof(cin);
    int cfd, i;

    if ((cfd = accept(lfd, (struct sockaddr *)&cin, &len)) == -1) {
        if (errno != EAGAIN && errno != EINTR) {
            /* 暫時不做出錯處理 */
        }
        printf("%s: accept, %s\n", __func__, strerror(errno));
        return ;
    }

    do {
        for (i = 0; i < MAX_EVENTS; i++)                                //從全局數組g_events中找一個空閒元素
            if (g_events[i].status == 0)                                //類似於select中找值爲-1的元素
                break;                                                  //跳出 for

        if (i == MAX_EVENTS) {
            printf("%s: max connect limit[%d]\n", __func__, MAX_EVENTS);
            break;                                                      //跳出do while(0) 不執行後續代碼
        }

        int flag = 0;
        if ((flag = fcntl(cfd, F_SETFL, O_NONBLOCK)) < 0) {             //將cfd也設置爲非阻塞
            printf("%s: fcntl nonblocking failed, %s\n", __func__, strerror(errno));
            break;
        }

        /* 給cfd設置一個 myevent_s 結構體, 回調函數 設置爲 recvdata */

        eventset(&g_events[i], cfd, recvdata, &g_events[i]);   
        eventadd(g_efd, EPOLLIN, &g_events[i]);                         //將cfd添加到紅黑樹g_efd中,監聽讀事件

    } while(0);

    printf("new connect [%s:%d][time:%ld], pos[%d]\n", 
            inet_ntoa(cin.sin_addr), ntohs(cin.sin_port), g_events[i].last_active, i);
    return ;
}

void recvdata(int fd,void *arg)
{
    struct myevent_s *my_ev = (struct myevent_s *)arg;
    int len;

    len = recv(fd, my_ev->buf, sizeof(my_ev->buf), 0);            //讀文件描述符, 數據存入myevent_s成員buf中

    eventdel(g_efd, my_ev);        //將該節點從紅黑樹上摘除

    if (len > 0) {

        my_ev->len = len;
        my_ev->buf[len] = '\0';                                //手動添加字符串結束標記
        printf("C[%d]:%s\n", fd, my_ev->buf);

        eventset(my_ev, fd, senddata, my_ev);                     //設置該 fd 對應的回調函數爲 senddata
        eventadd(g_efd, EPOLLOUT, my_ev);                      //將fd加入紅黑樹g_efd中,監聽其寫事件

    } else if (len == 0) {
        close(my_ev->fd);
        /* my_ev-g_events 地址相減得到偏移元素位置 */
        printf("[fd=%d] pos[%ld], closed\n", fd, my_ev-g_events);
    } else {
        close(my_ev->fd);
        printf("recv[fd=%d] error[%d]:%s\n", fd, errno, strerror(errno));
    }

    return;
}

void senddata(int fd,void *arg)
{
    struct myevent_s *my_ev = (struct myevent_s *)arg;
    int len;

    len = send(fd, my_ev->buf, my_ev->len, 0);                    //直接將數據 回寫給客戶端。未作處理
    /*
    printf("fd=%d\tev->buf=%s\ttev->len=%d\n", fd, my_ev->buf, my_ev->len);
    printf("send len = %d\n", len);
    */

    if (len > 0) {

        printf("send[fd=%d], [%d]%s\n", fd, len, my_ev->buf);
        eventdel(g_efd, my_ev);                                //從紅黑樹g_efd中移除
        eventset(my_ev, fd, recvdata, my_ev);                     //將該fd的 回調函數改爲 recvdata
        eventadd(g_efd, EPOLLIN, my_ev);                       //從新添加到紅黑樹上， 設爲監聽讀事件

    } else {
        close(my_ev->fd);                                      //關閉鏈接
        eventdel(g_efd, my_ev);                                //從紅黑樹g_efd中移除
        printf("send[fd=%d] error %s\n", fd, strerror(errno));
    }

    return ;
}

/*創建 socket, 初始化lfd */

void initlistensocket(int efd, short port)
{
    int lfd = socket(AF_INET, SOCK_STREAM, 0);
    fcntl(lfd, F_SETFL, O_NONBLOCK);                                            //將socket設爲非阻塞

    /* void eventset(struct myevent_s *my_ev, int fd, void (*call_back)(int, int, void *), void *arg);  */
    eventset(&g_events[MAX_EVENTS], lfd, acceptconn, &g_events[MAX_EVENTS]);//放到g_events數組的最後一個位置上

    /* void eventadd(int efd, int events, struct myevent_s *my_ev) */
    eventadd(efd, EPOLLIN, &g_events[MAX_EVENTS]);

    struct sockaddr_in sin;
	memset(&sin, 0, sizeof(sin));                                               //bzero(&sin, sizeof(sin))
	sin.sin_family = AF_INET;
	sin.sin_addr.s_addr = INADDR_ANY;
	sin.sin_port = htons(port);

	bind(lfd, (struct sockaddr *)&sin, sizeof(sin));

	listen(lfd, 20);

    return ;
}

int main(int argc, char *argv[])
{
    unsigned short port = SERV_PORT;

    if (argc == 2)
        port = atoi(argv[1]);                           //使用用戶指定端口.如未指定,用默認端口

    g_efd = epoll_create(MAX_EVENTS+1);                 //創建紅黑樹,返回給全局 g_efd 
    if (g_efd <= 0)
        printf("create efd in %s err %s\n", __func__, strerror(errno));

    initlistensocket(g_efd, port);                      //初始化監聽socket

    struct epoll_event events[MAX_EVENTS+1];            //保存已經滿足就緒事件的文件描述符數組 
	printf("server running:port[%d]\n", port);

    int checkpos = 0, i;
    while (1) {
        /* 超時驗證，每次測試100個鏈接，不測試listenfd 當客戶端60秒內沒有和服務器通信，則關閉此客戶端鏈接 */

        long now = time(NULL);                          //當前時間
        for (i = 0; i < 100; i++, checkpos++) {         //一次循環檢測100個。 使用checkpos控制檢測對象
            if (checkpos == MAX_EVENTS)
                checkpos = 0;
            if (g_events[checkpos].status != 1)         //不在紅黑樹 g_efd 上
                continue;

            long duration = now - g_events[checkpos].last_active;       //客戶端不活躍的時間

            if (duration >= 60) {
                close(g_events[checkpos].fd);                           //關閉與該客戶端鏈接
                printf("[fd=%d] timeout\n", g_events[checkpos].fd);
                eventdel(g_efd, &g_events[checkpos]);                   //將該客戶端 從紅黑樹 g_efd移除
            }
        }

        /*監聽紅黑樹g_efd, 將滿足的事件的文件描述符加至events數組中, 1秒沒有事件滿足, 返回 0*/
        int nfd = epoll_wait(g_efd, events, MAX_EVENTS+1, 1000);
        if (nfd < 0) {
            printf("epoll_wait error, exit\n");
            break;
        }

        for (i = 0; i < nfd; i++) {
            /*使用自定義結構體myevent_s類型指針, 接收 聯合體data的void *ptr成員*/
            struct myevent_s *my_ev = (struct myevent_s *)events[i].data.ptr;  

            if ((events[i].events & EPOLLIN) && (my_ev->events & EPOLLIN)) {           //讀就緒事件
                my_ev->call_back(my_ev->fd, my_ev->arg);
            }
            if ((events[i].events & EPOLLOUT) && (my_ev->events & EPOLLOUT)) {         //寫就緒事件
                my_ev->call_back(my_ev->fd, my_ev->arg);
            }
        }
    }

    /* 退出前釋放所有資源 */
    return 0;
}