epoll reactor 模型詳解

/*
 *epoll基於非阻塞I/O事件驅動
 * 反應堆模型 
 */
#include <stdio.h>
#include <sys/socket.h>
#include <sys/epoll.h>
#include <arpa/inet.h>
#include <fcntl.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#include <time.h>


#define MAX_EVENTS  1024                                    //監聽上限數
#define BUFLEN 4096                                          //從管道中讀取的最大字節數
#define SERV_PORT   8080                                    //默認端口


//讀管道
void recvdata(int fd, int events, void *arg);
//寫管道
void senddata(int fd, int events, void *arg);


/* 描述就緒文件描述符相關信息 */
struct myevent_s {
    int fd;                                                 //要監聽的文件描述符
    int events;                                             //對應的監聽事件
    void *arg;                                              //泛型參數
    void (*call_back)(int fd, int events, void *arg);       //回調函數
    int status;                                             //是否在監聽:1->在紅黑樹上(監聽), 0->不在(不監聽)
    char buf[BUFLEN]; //存放讀到的內容
    int len; //讀到的長度
    long last_active;                                       //記錄每次加入紅黑樹 g_efd 的時間值
};


int g_efd;                                                  //全局變量, 保存epoll_create返回的文件描述符
struct myevent_s g_events[MAX_EVENTS+1];                    //自定義結構體類型數組. +1-->listen fd(最後一個元素存放監聽套接字),方便管理套接字








/* -------------------------------------------*/
/**
* @brief  eventset 
* @function 數組元素的初始化
*
* @ev  數組元素地址
* @fd   要監聽的文件描述符
* @call_back 回調函數
* @arg 參數
*
 -------------------------------------------*/


void eventset(struct myevent_s *ev, int fd, void (*call_back)(int, int, void *), void *arg)
{
    ev->fd = fd; 
    ev->call_back = call_back;
    ev->events = 0;//對應的監聽事件
    ev->arg = arg; //自己指向自己
    ev->status = 0;//是否在監聽:1->在紅黑樹上(監聽), 0->不在(不監聽)
    //memset(ev->buf, 0, sizeof(ev->buf));
    //ev->len = 0;
    ev->last_active = time(NULL);                       //調用eventset函數的時間


    return;
}


/* -------------------------------------------*/
/**
* @brief  eventadd 
* @function 事件的添加或修改
*
* @efd  epoll句柄
* @events   要監聽或修改的事件
* @ev 數組元素地址
*
 -------------------------------------------*/
void eventadd(int efd, int events, struct myevent_s *ev)
{
    struct epoll_event epv = {0, {0}};//需要監聽事件的結構體
    int op; //EPOLL_CTL_MOD（修改樹中節點屬性），EPOLL_CTL_ADD（向樹中插入節點）
    epv.data.ptr = ev;     //指向一個 myevent_s結構體變量
    epv.events = ev->events = events;  //監聽事件賦值 ，EPOLLIN 或 EPOLLOUT


    if (ev->status == 1) {           //已經在紅黑樹 g_efd 裏
        op = EPOLL_CTL_MOD;            //修改其屬性
    } else {                            //不在紅黑樹裏
        op = EPOLL_CTL_ADD;              //將其加入紅黑樹 g_efd, 並將status置1
        ev->status = 1;
    }


    if (epoll_ctl(efd, op, ev->fd, &epv) < 0)                      
        printf("event add failed [fd=%d], events[%d]\n", ev->fd, events);
    else
        printf("event add OK [fd=%d], op=%d, events[%0X]\n", ev->fd, op, events);


    return ;
}




/* -------------------------------------------*/
/**
* @brief  eventdel 
* @function 將事件衝epoll中摘除
*
* @efd  epoll句柄
* @ev   數組元素指針
*
 -------------------------------------------*/
void eventdel(int efd, struct myevent_s *ev)
{
    struct epoll_event epv = {0, {0}};


    if (ev->status != 1)                                        //不在紅黑樹上
        return ;


    epv.data.ptr = ev;
    ev->status = 0;                                             //修改狀態
    epoll_ctl(efd, EPOLL_CTL_DEL, ev->fd, &epv);                //從紅黑樹 efd 上將 ev->fd 摘除


    return ;
}


/* -------------------------------------------*/
/**
* @brief  acceptconn 
* @function 獲取客戶端套接字,加入eopll樹和全局數組中
*
* @lfd  套接字
* @events   當前響應的事件類型
* @arg 指向數組元素的指針
*
 -------------------------------------------*/
void acceptconn(int lfd, int events, void *arg)
{
    struct sockaddr_in cin;
    socklen_t len = sizeof(cin);
    int cfd, i;
    //獲取客戶端套接字
    if ((cfd = accept(lfd, (struct sockaddr *)&cin, &len)) == -1) {
        if (errno != EAGAIN && errno != EINTR) {
            /* 暫時不做出錯處理 */
        }
        printf("%s: accept, %s\n", __func__, strerror(errno));
        return ;
    }


    do {
    //查找自定義數組中的空閒位置
        for (i = 0; i < MAX_EVENTS; i++)                                //從全局數組g_events中找一個空閒元素
            if (g_events[i].status == 0)                                //類似於select中找值爲-1的元素
                break;                                                  //跳出 for
        //超出數組的最大限制
        if (i == MAX_EVENTS) {
            printf("%s: max connect limit[%d]\n", __func__, MAX_EVENTS);
            break;                                                      //跳出do while(0) 不執行後續代碼
        }
       
        int flag = 0;
        if ((flag = fcntl(cfd, F_SETFL, O_NONBLOCK)) < 0) {             //將cfd也設置爲非阻塞
            printf("%s: fcntl nonblocking failed, %s\n", __func__, strerror(errno));
            break;
        }


        //將客戶端套接字放入全局數組
        eventset(&g_events[i], cfd, recvdata, &g_events[i]);   
         //將cfd添加到紅黑樹g_efd中,監聽讀事件
        eventadd(g_efd, EPOLLIN, &g_events[i]);                        


    } while(0);


    printf("new connect [%s:%d][time:%ld], pos[%d]\n", 
            inet_ntoa(cin.sin_addr), ntohs(cin.sin_port), g_events[i].last_active, i);
    return ;
}


/* -------------------------------------------*/
/**
* @brief  recvdata 
* @function 響應讀事件的回調函數,將客戶端描述符的監聽事件改變
*
* @fd  客戶端套接字
* @events   當前響應的事件類型
* @arg 指向數組元素的指針
*
 -------------------------------------------*/
void recvdata(int fd, int events, void *arg)
{
    struct myevent_s *ev = (struct myevent_s *)arg;
    int len;


    //讀文件描述符, 數據存入myevent_s成員buf中
    len = recv(fd, ev->buf, sizeof(ev->buf), 0);            


    eventdel(g_efd, ev);        //將該節點從紅黑樹上摘除


    if (len > 0) {


        ev->len = len;
        ev->buf[len] = '\0';                                //手動添加字符串結束標記
        printf("C[%d]:%s\n", fd, ev->buf);


        //設置該 fd 對應的回調函數爲 senddata
        eventset(ev, fd, senddata, ev);                    


        //將fd加入紅黑樹g_efd中,監聽其寫事件,當套接字可以寫的時候,觸發epoll_wait返回
        eventadd(g_efd, EPOLLOUT, ev);                      


    } else if (len == 0) {
        close(ev->fd);
        /* ev-g_events 地址相減得到偏移元素位置 */
        printf("[fd=%d] pos[%ld], closed\n", fd, ev-g_events);
    } else {
        close(ev->fd);
        printf("recv[fd=%d] error[%d]:%s\n", fd, errno, strerror(errno));
    }


    return;
}




/* -------------------------------------------*/
/**
* @brief  senddata 
* @function 向客戶端發送信息
*
* @fd  客戶端套接字
* @events   當前響應的事件類型
* @arg 指向數組元素的指針
*
 -------------------------------------------*/
void senddata(int fd, int events, void *arg)
{
    struct myevent_s *ev = (struct myevent_s *)arg;
    int len;


    len = send(fd, ev->buf, ev->len, 0);                    //直接將數據 回寫給客戶端。未作處理
  
    if (len > 0) {


        printf("send[fd=%d], [%d]%s\n", fd, len, ev->buf);
        eventdel(g_efd, ev);                                //從紅黑樹g_efd中移除
        eventset(ev, fd, recvdata, ev);                     //將該fd的 回調函數改爲 recvdata
        eventadd(g_efd, EPOLLIN, ev);                       //從新添加到紅黑樹上， 設爲監聽讀事件


    } else {
        close(ev->fd);                                      //關閉鏈接
        eventdel(g_efd, ev);                                //從紅黑樹g_efd中移除
        printf("send[fd=%d] error %s\n", fd, strerror(errno));
    }


    return ;
}




/* -------------------------------------------*/
/**
* @brief  initlistensocket 
* @function 服務端套接字初始化,將套接字加入epoll樹中
*
* @efd  epoll句柄
* @port 待綁定的端口號
*
 -------------------------------------------*/
void initlistensocket(int efd, short port)
{
//創建監聽套接字
    int lfd = socket(AF_INET, SOCK_STREAM, 0);
    //設置監聽套接字屬性爲套接字屬性爲非阻塞
    fcntl(lfd, F_SETFL, O_NONBLOCK);                            


    //結構體最後一個元素初始化,將listenfd信息存放
    eventset(&g_events[MAX_EVENTS], lfd, acceptconn, &g_events[MAX_EVENTS]);


    //將listenfd加入epoll數中
    eventadd(efd, EPOLLIN, &g_events[MAX_EVENTS]); 


    struct sockaddr_in sin;
memset(&sin, 0, sizeof(sin));                                               //bzero(&sin, sizeof(sin))
sin.sin_family = AF_INET; // ipv4 地址
sin.sin_addr.s_addr = htonl(INADDR_ANY); //任意ip
sin.sin_port = htons(port);
     //綁定ip和端口,將主動套接字變爲被動連接套接字
bind(lfd, (struct sockaddr *)&sin, sizeof(sin));
//監聽,最大等待隊列20,創建2個隊列,一個是已經完成3次握手的隊列,一個是正在等待3次握手完成的隊列
listen(lfd, 20);


    return ;
}


int main(int argc, char *argv[])
{
//使用用戶指定端口.如未指定,用默認端口
    unsigned short port = SERV_PORT;
    if (argc == 2)
        port = atoi(argv[1]);                         
   
   
    //創建epoll句柄
    g_efd = epoll_create(MAX_EVENTS+1);                 
    if (g_efd <= 0)
        printf("create efd in %s err %s\n", __func__, strerror(errno));


    //服務端套接字初始化,將套接字加入epoll樹中
    initlistensocket(g_efd, port);                      


    //創建已經滿足就緒事件的文件描述符數組 
  struct epoll_event events[MAX_EVENTS+1];            
printf("server running:port[%d]\n", port);


    int checkpos = 0, i;//一次循環檢測100個。 使用checkpos控制檢測對象
    while (1) {


        /* 超時驗證，每次測試100個鏈接，不測試listenfd 當客戶端60秒內沒有和服務器通信，則關閉此客戶端鏈接 */
        long now = time(NULL);                          //當前時間
        for (i = 0; i < 100; i++, checkpos++) {         //一次循環檢測100個。 使用checkpos控制檢測對象
            if (checkpos == MAX_EVENTS)//過濾listenfd
                checkpos = 0;
            if (g_events[checkpos].status != 1)         //不在紅黑樹 g_efd 上
                continue;
            long duration = now - g_events[checkpos].last_active;       //客戶端不活躍的世間


            if (duration >= 60) {
                close(g_events[checkpos].fd);                           //關閉與該客戶端鏈接
                printf("[fd=%d] timeout\n", g_events[checkpos].fd);
                //g_efd樹根  ,結構體地址
                eventdel(g_efd, &g_events[checkpos]);                   //將該客戶端 從紅黑樹 g_efd移除,並將自定義數組中的status置爲0
            }
        }
        //關閉連接結束


  


     /* -------------------------------------------*/
/*
* @brief  epoll_wait 
* @function 非阻塞等待1秒鐘監控事件的響應,響應成功,將事件結構體放入events中
* @return nfd 代表返回就緒的文件描述符
*
-------------------------------------------*/
        int nfd = epoll_wait(g_efd, events, MAX_EVENTS+1, 1000);
        if (nfd < 0) {
            printf("epoll_wait error, exit\n");
            break;
        }


        for (i = 0; i < nfd; i++) {
            /*使用自定義結構體myevent_s類型指針, 接收 聯合體data的void *ptr成員*/
            struct myevent_s *ev = (struct myevent_s *)events[i].data.ptr;  
           
            if ((events[i].events & EPOLLIN) && (ev->events & EPOLLIN)) {           //讀就緒事件
            //調用回調函數
                ev->call_back(ev->fd, events[i].events, ev->arg);
            }
            if ((events[i].events & EPOLLOUT) && (ev->events & EPOLLOUT)) {         //寫就緒事件
                ev->call_back(ev->fd, events[i].events, ev->arg);
            }
        }//end for


    }
    /* 退出前釋放所有資源 */
    return 0;
}