I/O复用可以使程序同时监听多个文件描述符,对提高程序的性能很重要;
使用I/O复用技术的五种情况:
1、客户端程序要同时处理多个socket;
2、客户端程序要同时处理用户输入和网络连接;
3、TCP服务器要同时处理监听socket和连接socket;
4、服务器要同时处理TCP请求和UDP请求;
5、服务器要同时监听多个端口、或者处理多种服务;
1、select()
select系统调用的用途:在指定的一段时间内,监听用户感兴趣的文件描述符上的可读、可写和异常等事件。
select系统调用的原型:
#include <sys/select.h>
int select( int nfds, fd_ set* readfds, fd_ set* writefds, fd_ set* exceptfds,struct timeval* timeout ) ;
/*
(1) nfds参数指定被监听的文件描述符的总数。它通常被设置为select监听的所有文件描述符中的最大值加1,因为文件描述符是从0开始计数的。
(2) readfds、writefds 和 exceptfds 参数分别指向可读、可写和异常等事件对应的文件描述符集合。应用程序调用select函数时,通过这3个参数传人自已感兴趣的文件描述符。sclect调用返回时,内核将修改它们来通知应用程序哪些文件描述符已经就绪。这3个参数是fd_ set 结构指针类型。
fd set结构体的定义如下:
#include <typesizes.h>
#define __FD_SETSIZE 1024
#include <sys/select. h>
#define FD_SETSIZE __FD_SETSIZE
typedef long int __fd_mask;
#undef __NFDBITS
#define __NFDBITS ( 8* (int) sizeof (__ fd_ mask ) )
typedef struct
{
#ifdef __USE_XOPEN
__fd_mask fds_bits[ __FD_SETSIZE / __NFDBITS ];
#define __FDS_BITS(set) ((set)->fds_bits)
#else
__fd_mask __fds_bits[ __FD_SETSIZE / __NFDBITS ];
#define __FDS_BITS(set) ((set)->__fds_bits)
#endif
} fd_set;
由以上定义可见,fd_ set结构体仅包含一个整型数组,该数组的每个元素的每一位 (bit)标记一个文件描述符。fd_set能容纳的文件描述符数量由__FD_SETSIZE指定,这就限制了select能同时处理的文件描述符的总量。
由于位操作过于烦琐,我们应该使用下面的一系列宏来访问fd set 结构体中的位:
#include <sys/select.h>
FD_ZERO( fd_ set *fdset ); //清除fdset的所有位
FD_SET( int fd, fd_ set *fdset ); //设置fdset的位fd
FD_CLR( int fd, fd_ set *fdset ); //清除fdset的位fd
int FD_ISSET(int fd, fd_ set *fdset) //测试fdset的位fd是否被设置
(3) timeout 参数用来设置select函数的超时时间。它是一个timeval结构类型的指针,采用指针参数是因为内核将修改它以告诉应用程序select等待了多久。不过我们不能完全信任select调用返回后的timeout值,比如调用失败时timeout值是不确定的。
timeval 结构体的定义如下:
struct timeval
{
long tv_sec; //秒数
long tv_usec; //微秒数
};
由以上定义可见,select给我们提供了一个微秒级的定时方式。如果给timeout变量的tv_sec成员和tv_usec成员都传递0,则select将立即返回。如果给timeout传递NULL,则select将一直阻塞, 直到某个文件描述符就绪。
*/
sclect成功时返回就绪(可读、可写和异常)文件描述符的总数。
如果在超时时间内没有任何文件描述符就绪,select 将返回0;
select 失败时返回-1,并设置erno;
如果在select等待期间,程序接收到信号,则select立即返回-1,并设置errno为EINTR.
文件描述符就绪条件:
哪些情况下文件描述符可以被认为是可读、可写或者出现异常,对于select的使用非常关键。
在网络编程中,下列情况下socket 可读:
(1).socket内核接收缓存区中的字节数大于或等于其低水位标记SO_ RCVLOWAT。此时我们可以无阻塞地读该socket,并且读操作返回的字节数大于0。
(2).socket通信的对方关闭连接。此时对该socket的读操作将返回0。
(3).监听socket.上有新的连接请求。
(4).socket上有未处理的错误。此时我们可以使用getsockopt来读取和清除该错误。
下列情况下socket 可写:
(1).socket内核发送缓存区中的可用字节数大于或等于其低水位标记SO_SNDLOWAT。此时我们可以无阻塞地写该socket,并且写操作返回的字节数大于0。
(2).socket的写操作被关闭。对写操作被关闭的socket执行写操作将触发一个 SIGPIPE信号。
(3).socket使用非阻塞connect连接成功或者失败(超时)之后。
(4)socket上有未处理的错误。此时我们可以使用getsockopt来读取和清除该错误。
网络程序中,select 能处理的异常情况只有一种: socket 上接收到带外数据。
select()在TCP通讯中的使用:
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <string.h>
#include <assert.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <sys/time.h>
#include <sys/socket.h>
#define MAXFD 10
void fds_init(int fds[])
{
int i = 0;
for( ; i< MAXFD; i++ )
{
fds[i] = -1;
}
}
void fds_add(int fds[], int fd)
{
int i = 0;
for( ;i < MAXFD; i++ )
{
if ( fds[i] == -1 )
{
fds[i] = fd;
break;
}
}
}
void fds_del(int fds[], int fd)
{
int i = 0;
for( ;i < MAXFD; i++ )
{
if ( fds[i] == fd )
{
fds[i] = -1;
break;
}
}
}
int main()
{
int sockfd = socket(AF_INET,SOCK_STREAM,0);
assert( sockfd != -1 );
struct sockaddr_in saddr,caddr;
memset(&saddr,0,sizeof(saddr));
saddr.sin_family = AF_INET;
saddr.sin_port = htons(6000);
saddr.sin_addr.s_addr = inet_addr("192.168.31.96");
int res = bind(sockfd,(struct sockaddr*)&saddr,sizeof(saddr));
assert( res != -1 );
listen(sockfd,5);
///////////////////////////////////////////////////////////////////////////
int fds[MAXFD];
fds_init(fds);
fds_add(fds,sockfd);
fd_set fdset; //文件描述符集合
while( 1 )
{
FD_ZERO(&fdset);
int maxfd = -1;
int i = 0;
for(; i < MAXFD; i++ )
{
if ( fds[i] == -1 )
{
continue;
}
FD_SET(fds[i],&fdset);
if ( maxfd < fds[i] )
{
maxfd = fds[i];
}
}
struct timeval tv = {5,0};
int n = select(maxfd + 1,&fdset,NULL,NULL,&tv);
if ( n == -1 )
{
perror("select error");
continue;
}
else if ( n == 0 )
{
printf("time out\n");
continue;
}
else
{
int i = 0;
for( ;i < MAXFD; i++ )
{
if ( fds[i] == -1 )
{
continue;
}
if ( FD_ISSET(fds[i],&fdset) )
{
if ( sockfd == fds[i] )
{
int len = sizeof(caddr);
int c = accept(sockfd,(struct sockaddr*)&caddr,&len);
if ( c < 0 )
{
continue;
}
fds_add(fds,c);
printf("accept c=%d\n",c);
}
else
{
char buff[128] = {0};
int num = recv(fds[i],buff,1,0);
if ( num <= 0 )
{
close(fds[i]);
fds_del(fds,fds[i]);
printf("one client over\n");
}
else
{
printf("recv(%d)=%s\n",fds[i],buff);
send(fds[i],"ok",2,0);
}
}
}
}
}
}
}
2.poll()
poll系统调用的用途:在指定时间内轮询一定数量的文件描述符,以测试其中是否有就绪者。
poll 的原型如下:
#include <pol1.h>
int poll( struct pollfd* fds, nfds_ t nfds, int timeout );
/*
(1) fds 参数是一个pollfd结构类型的数组,它指定所有我们感兴趣的文件描述符上发生的可读、可写和异常等事件。pollfd 结构体的定义如下:
struct pol1fd
{
int fd; //文件描述符
short events; //注册的事件
short revents; //实际发生的事件,由内核填充
};
其中,fd 成员指定文件描述符: events 成员告诉poll监听fd上的哪些事件,它是一系列事件的按位或: revents 成员则由内核修改,以通知应用程序fd上实际发生了哪些事件。
poll支持的事件类型如下表所示。
(2) nfds 参数指定被监听事件集合fds的大小。
其类型nfds_t 的定义如下:
typedef unsigned long int nfds_t;
(3) timcout 参数指定poll的超时值,单位是毫秒。当timeout为 -1 时, poll调用将永远阻塞,直到某个事件发生:当timcout为 0 时,poll 调用将立即返回。
poll系统调用的返回值的含义与select相同。
*/
表中,POLLRDNORM、POLLRDBAND、POLLWRNORM、 POLLWRBAND由XOPEN规范定义。它们实际上是将POLLIN事件和POLLouT事件分得更细致,以区别对待普通数据和优先数据。但Linux并不完全支持它们。
通常,应用程序需要根据reev调用的返回值来区分socket上接收到的是有效数据还是对方关闭连接的请求,并做相应的处理。不过,自Linux内核2.6.17开始,GNU为poll系统调用增加了-个POLLRDHUP事件,它在socket上接收到对方关闭连接的请求之后触发。这为我们区分上述两种情况提供了一种更简单的方式。但使用POLLRDHUP事件时,我们需要在代码最开始处定义_ GNU_SOURCE。
poll()在TCP通讯中的使用:
//I/O复用:poll()
#define _GNU_SOURCE
#include <stdio.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <assert.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <pthread.h>
#include <poll.h>
#define MAXFD 10
int create_socket();
int fds_init(struct pollfd fds[]) //清空结构体数组
{
int i = 0;
for(;i<MAXFD;i++)
{
fds[i].fd = -1;
fds[i].events = 0;
fds[i].revents = 0;
}
}
void fds_add(struct pollfd fds[],int fd) //添加
{
int i = 0;
for(;i<MAXFD;i++)
{
if(fds[i].fd == -1)
{
fds[i].fd = fd;
fds[i].events = POLLIN | POLLRDHUP;
fds[i].revents = 0;
break;
}
}
}
void fds_del(struct pollfd fds[],int fd)
{
int i = 0;
for(;i<MAXFD;i++)
{
if(fds[i].fd == fd)
{
fds[i].fd = -1;
fds[i].events = 0;
fds[i].revents = 0;
break;
}
}
}
int main()
{
int sockfd = create_socket();
assert(sockfd != -1);
struct pollfd fds[MAXFD];
fds_init(fds);
fds_add(fds,sockfd);
while(1)
{
int n = poll(fds,MAXFD,5000);
if(n == -1)
{
perror("poll error");
}
else if(n == 0)
{
printf("time out\n");
}
else
{
int i = 0;
for(;i<MAXFD;i++)
{
if(fds[i].fd == -1)
{
continue;
}
if(fds[i].revents & POLLRDHUP)
{
close(fds[i].fd);
fds_del(fds,fds[i].fd);
printf("one client hup!");
continue;
}
if(fds[i].revents & POLLIN)
{
if(fds[i].fd == sockfd)
{
struct sockaddr_in caddr;
int len = sizeof(caddr);
int c = accept(sockfd,(struct sockaddr*)&caddr,&len);
if ( c < 0 )
{
continue;
}
fds_add(fds,c);
printf("accept = %d\n",c);
}
else
{
char buff[128] = {0};
int num = recv(fds[i].fd,buff,127,0);
if( num <= 0)
{
close(fds[i].fd);
fds_del(fds,fds[i].fd);
printf("one client over\n");
}
else
{
printf("recv(%d):%s\n",fds[i].fd,buff);
send(fds[i].fd,"ok",2,0);
}
}
}
}
}
}
}
int create_socket()
{
int sockfd = socket(AF_INET,SOCK_STREAM,0);
if(sockfd == -1)
{
return -1;
}
struct sockaddr_in saddr;
memset(&saddr,0,sizeof(saddr));
saddr.sin_family = AF_INET;
saddr.sin_port = htons(6000);
saddr.sin_addr.s_addr = inet_addr("192.168.1.118");
int res = bind(sockfd,(struct sockaddr*)&saddr,sizeof(saddr));
assert(res != -1);
listen(sockfd,5);
return sockfd;
}
3.epoll()
poll系统调用的用途:
epoll是Linux特有的I/O复用函数。它在实现和使用上与select、poll 有很大差异。首先,epoll 使用一组函数来完成任务,而不是单个函数。其次,epoll 把用户关心的文件描述符上的事件放在内核里的一个事件表中,从而无须像select和poll那样每次调用都要重复传人文件描述符集或事件集。但epoll需要使用一个额外的文件描述符,来唯一标识内核中的这个事件表。这个文件描述符使用如下epoll_ create 函数来创建。
#include <sys/epoll.h>
int epoll_create( int size )
size参数现在并不起作用,只是给内核一个提示,告诉它事件表需要多大。该函数返回的文件描述符将用作其他所有epoll系统调用的第一个参数,以指定要访问的内核事件表。
下面的函数用来操作epoll的内核事件表:
#include <sys/epoll.h>
int epoll_ctl( int epfd, int op, int fd, struct epoll_event *event )
fd参数是要操作的文件描述符,op 参数则指定操作类型。 操作类型有如下3种:
(1) EPOLL_CTL_ADD,往事件表中注册fd上的事件。
(2) EPOLL_CTL_MOD,修改fd上的注册事件。
(3) EPOLL_CTL_DEL,删除fd.上的注册事件。
event参数指定事件,它是epoll event 结构指针类型。epoll_event 的定义如下:
struct epoll_event
{
__uint32_t events; /* epoll事件*/
epoll_data_t data; /*用户数据*/
};
其中events成员描述事件类型。epoll 支持的事件类型和poll基本相同。表示epoll事件类型的宏是在poll对应的宏前加上“E”,比如epoll的数据可读事件是EPOLLIN.但epoll有两个额外的事件类型一EPOLLET 和EPOLLONESHOT.它们对于epoll的高效运作非常关键,我们将在后面讨论它们。data 成员用于存储用户数据,其类型epoll_data_t 的定义如下:
typedef union epoll_data
{
void* ptr;int fd;
uint32_ t u32; uint64_ t u64;
} epoll_data_t;
epoll_data_t 是-一个联合体,其4个成员中使用最多的是fd,它指定事件所从属的目标文件描述符。ptr成员可用来指定与fd相关的用户数据。但由于epoll_data_t 是一个联合体,我们不能同时使用其ptr成员和fd成员,因此,如果要将文件描述符和用户数据关联起来, 以实现快速的数据访问,只能使用其他手段,比如放弃使用epoll_data_t的fd成员,而在ptr指向的用户数据中包含fd.
epoll_ ctl 成功时返回0,失败则返回-1并设置errno。
epoll系列系统调用的主要接口是epoll_wait 函数。它在一段超时时间内等待一组文件描述符上的事件,其原型如下:
include <sys/epoll.h>
int epoll_wait( int epfd, struct epoll_ event* events, int maxevents,int timeout ) ;
该函数成功时返回就绪的文件描述符的个数,失败时返回-1并设置erno。
关于该函数的参数,我们从后往前讨论。timeout参数的含义与poll接口的timeout参数相同。maxevents 参数指定最多监听多少个事件,它必须大于0。
epoll_wait函数如果检测到事件,就将所有就绪的事件从内核事件表(由epfd 参数指定)中复制到它的第二个参数events指向的数组中。这个数组只用于输出epoll wait检测到的就绪事件,而不像select和poll的数组参数那样既用于传人用户注册的事件,又用于输出内核检测到的就绪事件。这就极大地提高了应用程序索引就绪文件描述符的效率。
epoll()在TCP通讯中的使用:
//I/O复用:poll()
#define _GNU_SOURCE
#include <stdio.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <assert.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <pthread.h>
#include <sys/epoll.h>
#define MAXFD 10
int create_socket();
void epoll_add(int epfd,int fd)
{
struct epoll_event ev;
ev.events = EPOLLIN;
ev.data.fd = fd;
if( epoll_ctl(epfd,EPOLL_CTL_ADD,fd,&ev) == -1 )
{
perror("epoll_ctl error");
}
}
void epoll_del(int epfd,int fd)
{
if( epoll_ctl(epfd,EPOLL_CTL_DEL,fd,NULL) == -1 )
{
perror("epoll del erreo");
}
}
int main()
{
int sockfd = create_socket();
assert(sockfd != -1);
int epfd = epoll_create(MAXFD);
assert(epfd != -1);
epoll_add(epfd,sockfd);
struct epoll_event events[MAXFD];
while (1)
{
int n = epoll_wait(epfd,events,MAXFD,5000);
if( n == -1 )
{
perror("epoll error");
}
else if(n == 0)
{
printf("time out\n");
}
else
{
int i = 0;
for(;i<n;i++)
{
if(events[i].data.fd == sockfd)
{
struct sockaddr_in caddr;
int len = sizeof(caddr);
int c = accept(sockfd,(struct sockaddr*)&caddr,&len);
if ( c < 0 )
{
continue;
}
epoll_add(epfd,c);
printf("accept = %d\n",c);
}
else
{
char buff[128] = {0};
int num = recv(events[i].data.fd,buff,127,0);
if( num <= 0)
{
close(events[i].data.fd);
epoll_del(epfd,events[i].data.fd);
printf("one client over\n");
}
else
{
printf("recv(%d):%s\n",events[i].data.fd,buff);
send(events[i].data.fd,"ok",2,0);
}
}
}
}
}
}
int create_socket()
{
int sockfd = socket(AF_INET,SOCK_STREAM,0);
if(sockfd == -1)
{
return -1;
}
struct sockaddr_in saddr;
memset(&saddr,0,sizeof(saddr));
saddr.sin_family = AF_INET;
saddr.sin_port = htons(6000);
saddr.sin_addr.s_addr = inet_addr("192.168.43.163");
int res = bind(sockfd,(struct sockaddr*)&saddr,sizeof(saddr));
assert(res != -1);
listen(sockfd,5);
return sockfd;
}