一.5種I/O模型
一個I/O可以分爲兩個過程:等待和數據搬遷。
1.阻塞I/O
兩個過程都有自己來完成,其他什麼事也不做。
2.非阻塞I/O
在等的過程中可以幹一些其他的事,等到數據準備好再進行搬遷
3.信號驅動I/O
等數據準備好的過程由信號來觸發,在這期間自己可以幹一些別的事
4.I/O複用
同時阻塞多個I/O操作,誰數據準備好就對其進行數據搬遷。
5.異步I/O
將任務派發,不用自己來完成。完成之後通知自己就行。
二.高級I/O
非阻塞IO,紀錄鎖,系統V流機制,I/O多路轉接(select/poll),readv和writev函數以及存儲映射IO(mmap),這些統稱爲高級IO。
1.socketpair
pipe用來創建管道,但是單個管道只能單向通信,一端用於讀,而另一端用於寫。如果要實現進程雙向通信,必須創建一對管道。而socketpair則可以用來創建雙向通信的管道,具體實現如下:
#include <sys/types.h> /* See NOTES */
#include <sys/socket.h>
int socketpair(int domain, int type, int protocol, int sv[2]);
domain:域 type:傳輸類型 protocol:協議類型,
創建父子進程,讓子進程關閉讀,父關閉寫,然後雙方發送消息
1 #include<stdio.h> 2 #include<errno.h> 3 #include<unistd.h> 4 #include<stdlib.h> 5 #include<string.h> 6 #include<sys/socket.h> 7 #include<sys/types.h> 8 int main() 9 { 10 int sv[2]={0,0}; 11 int sock=socketpair(AF_LOCAL,SOCK_STREAM,0,sv); 12 if(sock<0) 13 { 14 perror("socketpair"); 15 exit(1); 16 } 17 pid_t id=fork(); 19 if(id<0) 20 { 21 perror("fork"); 22 exit(2); 23 } 24 else if(id==0) 25 { 26 close (sv[0]);//讀關閉 27 char buf[1024]; 28 while(1) 29 { 30 memset(buf,'\0',sizeof(buf)); 31 strcpy(buf,"hello bit"); 32 write(sv[1],buf,sizeof(buf)-1); 33 ssize_t size=read(sv[1],buf,sizeof(buf)-1); 34 buf[size]='\0'; 36 sleep(1); 37 38 printf("father->child: %s\n",buf); 39 } 40 } 41 else 42 { 43 close (sv[1]);//寫關閉 44 char buf[1024]; 45 while(1) 46 { 47 ssize_t size=read(sv[0],buf,sizeof(buf)-1); 48 buf[size]='\0'; 49 printf("child-> father: %s\n",buf); 50 strcpy(buf,"hello"); 51 write(sv[0],buf,sizeof(buf)); 52 //sleep(2); 53 } 54 } 55 56 return 0; 57 }
程序結果:
2.dup/dup2對輸入文件描述符重定向
dup將標準輸出重定向當前舊的且不用的最小文件描述符。
dup2將old文件描述符指向的內容複製到new,兩者指向同一文件
dup代碼:
1 #include<stdio.h> 2 //#define _OPEN_FILE_ "./log" 3 #include<unistd.h> 4 #include<sys/types.h> 5 #include<fcntl.h> 6 #include<sys/stat.h> 7 #include<unistd.h> 8 int main() 9 { 10 umask(0); 11 int fd=open("./log",O_CREAT|O_RDWR); 12 if(fd<0) 13 { 14 printf("open"); 15 exit(1); 16 17 } 18 close(1); 19 int new_fd=dup(fd); 20 close(fd); 23 int count=1; 24 while(count++<10) 25 { 26 27 printf("hello bit\n"); 28 fflush(stdout); 29 } 31 close(new_fd); 33 return 0; 34 }
程序結果:
dup2代碼:
8 int main() 9 { 10 umask(0); 11 int fd=open("./log",O_CREAT|O_RDWR); 12 if(fd<0) 13 { 14 printf("open"); 15 exit(1); 16 17 } 18 close(1); 19 int ret=dup2(fd,1); 20 23 int count=1; 24 while(count++<10) 25 { 26 27 printf("hello bit\n"); 28 fflush(stdout); 29 } 31 close(fd); 33 return 0; 34 }
3.I/O多路轉接之select
系統提供select函數來實現多路複用輸入/輸出模型。select系統調用來讓我們的程序監視
個句柄的狀態變化,0是標準輸入,1是標準輸出,2是標準錯誤輸出。0、1、2是整數表示的,對應的FILE *結構的表示就是stdin、stdout、stderr。
#include <sys/time.h>
#include <sys/types.h>
#include <unistd.h>
int select(int nfds, fd_set *readfds, fd_set *writefds,
fd_set *exceptfds, struct timeval *timeout);
參數nfds是需要監視的最大的文件描述符值+1;
rdset,wrset,exset分別對應於需要檢測的可讀文件描述符的集合,可寫文件描述符的集 合及異常文件描述符的集合。
struct timeval結構用於描述一段時間長度,如果在這個時間內,需要監視的描述符沒有事件發生則函數返回,返回值爲0。
下面的宏提供了處理這三種描述詞組的方式:
FD_CLR(inr fd,fd_set* set);用來清除描述詞組set中相關fd 的位
FD_ISSET(int fd,fd_set *set);用來測試描述詞組set中相關fd 的位是否爲真
FD_SET(int fd,fd_set*set);用來設置描述詞組set中相關fd的位
FD_ZERO(fd_set *set);用來清除描述詞組set的全部位
參數timeout爲結構timeval,用來設置select()的等待時間,其結構定義如下:
如果參數timeout設爲:
NULL:則表示select()沒有timeout,select將一直被阻塞,直到某個文件描述符上發生了
事件。
0:僅檢測描述符集合的狀態,然後立即返回,並不等待外部事件的發生。
特定的時間值:如果在指定的時間段裏沒有事件發生,select將超時返回。
理解select模型:
理解select模型的關鍵在於理解fd_set,爲說明方便,取fd_set長度爲1字節,fd_set中的每一bit可以對應一個文件描述符fd。則1字節長的fd_set最大可以對應8個fd。
(1)執行fd_set set; FD_ZERO(&set);則set用位表示是0000,0000。
(2)若fd=5,執行FD_SET(fd,&set);後set變爲0001,0000(第5位置爲1)
(3)若再加入fd=2,fd=1,則set變爲0001,0011
(4)執行select(6,&set,0,0,0)阻塞等待
(5)若fd=1,fd=2上都發生可讀事件,則select返回,此時set變爲0000,0011。注意:沒有事件發生的fd=5被清空。
基於上面的討論,可以輕鬆得出select模型的特點:
(1)可監控的文件描述符個數取決與sizeof(fd_set)的值。我這邊服務 器上sizeof(fd_set)=512,每bit表示一個文件描述符,則我服務器上支持的最大文件描述符是512*8=4096。據說可調,另有說雖 然可調,但調整上限受於編譯內核時的變量值。
(2)將fd加入select監控集的同時,還要再使用一個數據結構array保存放到select監控集中的fd,一是用於再select 返回後,array作爲源數據和fd_set進行FD_ISSET判斷。二是select返回後會把以前加入的但並無事件發生的fd清空,則每次開始 select前都要重新從array取得fd逐一加入(FD_ZERO最先),掃描array的同時取得fd最大值maxfd,用於select的第一個 參數。
(3)可見select模型必須在select前循環array(加fd,取maxfd),select返回後循環array
(FD_ISSET判斷是否有時間發生)。
1>select使用事例,檢測標準輸入輸出代碼:
1 #include<stdio.h>> 2 #include<unistd.h> 3 #include<errno.h> 4 #include<stdlib.h> 5 #include<string.h> 6 #include<sys/select.h> 7 8 int main() 9 { 10 int std_in=0;//標準輸入 11 //int std_out=1;//標準輸出 12 int max_fd=0; 13 struct timeval timeout={2,0};//超時 14 fd_set reads;//定義文件描述符集 15 //fd_set writes; 16 FD_ZERO(&reads); //初始化 17 //FD_ZERO(&writes); 18 FD_SET(std_in,&reads);//站在應用程序的角度來看關心什麼事件 19 //FD_SET(std_out,&writes); 20 while(1) 21 { 22 timeout.tv_sec=2; 23 timeout.tv_usec=0; 24 FD_ZERO(&reads); //重新設置 25 // FD_ZERO(&writes); 26 FD_SET(std_in,&reads); 27 //FD_SET(std_out,&writes); 28 switch(select((max_fd+1),&reads,NULL,NULL,&timeout)) 29 { 30 case -1://biaoshichucuo 31 perror("select"); 32 break; 33 case 0://chaoshi 34 printf("select timeout....\n"); 35 break; 36 default://zhengchang 37 {//panduanshuijiuxu 38 if(FD_ISSET(std_in,&reads)) 39 { 40 char buf[1024]; 41 memset(buf,'\0',sizeof(buf)); 42 ssize_t size=read(std_in,buf,strlen(buf)); 43 if(size>0)//duquchenggong 44 { 45 buf[size]='\0'; 46 printf("%s\n",buf); 47 } 48 } 49 // if(FD_ISSET(std_out,&writes)) 50 //{ 51 // printf("hello\n"); 52 53 // } 54 } 55 break; 56 57 } 58 } 59 return 0; 60 }
程序中剝離write的事件,程序結果會打印過上timeout時間之後打印select timeout,
若將write放開,則會一直打印消息。因爲寫一直就緒。
2>select使用事例select編寫網絡服務器代碼
//select_server.c 1 #include<stdio.h> 2 #include<sys/select.h> 3 #include<sys/socket.h> 4 #include<errno.h> 5 #include<string.h> 6 #include<arpa/inet.h> 7 #include<netinet/in.h> 8 #include<stdlib.h> 9 #include<sys/types.h> 10 int fds[64];//yongshuzubaocunwenjianmaioshufuji 11 static void usage(char* proc) 12 { 13 printf("usage: %s [ip] [port]",proc); 14 } 15 16 static int start(int port,char *ip) 17 { 18 int sock=socket(AF_INET,SOCK_STREAM,0); 19 if(sock<0) 20 { 21 perror("socket"); 22 exit(1); 23 } 24 struct sockaddr_in local; 25 local.sin_family=AF_INET; 26 local.sin_port=htons(port); 27 local.sin_addr.s_addr=inet_addr(ip); 28 if(bind(sock,(struct sockaddr*)&local,sizeof(local))<0) 29 { 30 perror("bind"); 31 exit(1); 32 } 33 if(listen(sock,5)<0) 34 { 35 perror("listen"); 36 exit(1); 37 } 38 return sock; 39 40 41 } 42 int main(int argc,char*argv[]) 43 { 44 if(argc!=3) 45 { 46 usage(argv[0]); 47 return 1; 48 } 49 int port=atoi(argv[2]); 50 char* ip=argv[1]; 51 int listen_sock=start(port,ip); 52 int new_sock=-1; 53 struct sockaddr_in client; 54 socklen_t len=sizeof(client); 55 int max_fd=0; 56 fd_set reads;//dingyiwenjianmiaoshufuji 57 fd_set writes; 58 FD_ZERO(&reads); 59 FD_ZERO(&writes); 60 FD_SET(listen_sock,&reads); 61 struct timeval timeout={15,0}; 62 int fds_num=sizeof(fds)/sizeof(fds[0]); 63 int i=0; 64 for(;i<fds_num;++i) 65 { 66 fds[i]=-1; 67 } 68 fds[0]=listen_sock; 69 max_fd=fds[0]; 70 while(1) 71 { 72 timeout.tv_sec=15; 73 timeout.tv_usec=0; 74 FD_ZERO(&reads); 75 FD_ZERO(&writes); 76 FD_SET(listen_sock,&reads); 77 78 for(i=1;i<fds_num;++i) 79 { 80 if(fds[i]>0) 81 { 82 FD_SET(fds[i],&reads); 83 if(fds[i]>max_fd) 84 { 85 max_fd=fds[i]; 86 } 87 } 88 } 89 switch(select(max_fd+1,&reads,NULL,NULL,&timeout)) 90 { 91 case -1:// 出錯 92 perror("select"); 93 break; 94 case 0://超時 95 printf("select timeout......\n"); 96 break; 97 default://正常 98 { 99 for(i=0;i<fds_num;++i) 100 {//當爲listen_sock 101 if(fds[i]==listen_sock&&FD_ISSET(fds[i],&reads)) 102 { //接收連接請求 103 new_sock=accept(listen_sock,(struct sockaddr*)&client,&l en); 104 if(new_sock<0) 105 { 106 perror("accept"); 107 continue; 108 } 109 printf("get connect........\n"); 110 for(i=0;i<fds_num;++i) 111 { 112 if(fds[i]==-1) 113 { 114 fds[i]=new_sock; 115 break; 116 } 117 } 118 if(i==fds_num) 119 { 120 close(new_sock); 121 } 122 } //break 123 else if(fds[i]>0&&FD_ISSET(fds[i],&reads)) 124 { 125 char buf[1024]; 126 memset(buf,'\0',sizeof(buf)); 127 ssize_t size=read(fds[i],buf,sizeof(buf)-1); 128 if(size>0) 129 { 130 buf[size]='\0'; 131 printf("client#: %s",buf); 132 write(fds[i],buf,size); 133 } 134 else if(size==0) 135 { 136 close(fds[i]); 137 fds[i]=-1;//取到文件描述符將其置爲無效 138 139 } 140 } 141 } 142 } 143 break; 144 145 } 146 } 147 return 0; 148 } //select_client.c 1 #include<stdio.h> 2 #include<sys/select.h> 3 #include<sys/socket.h> 4 #include<errno.h> 5 #include<string.h> 6 #include<arpa/inet.h> 7 #include<netinet/in.h> 8 #include<sys/types.h> 9 #include<stdlib.h> 10 11 //int fds[64];//yongshuzubaocunwenjianmaioshufuji 12 static void usage(char* proc) 13 { 14 printf("usage: %s [ip] [port]",proc); 15 } 16 17 int main(int argc,char *argv[]) 18 { 19 if(argc!=3) 20 { 21 usage(argv[0]); 22 return 1; 23 } 24 int port=atoi(argv[2]); 25 char* ip=argv[1]; 26 int sock=socket(AF_INET,SOCK_STREAM,0); 27 if(sock<0) 28 { 29 perror("socket"); 30 exit(1); 31 } 32 struct sockaddr_in remote; 33 remote.sin_family=AF_INET; 34 remote.sin_port=htons(port); 35 remote.sin_addr.s_addr=inet_addr(ip); 36 int ret=connect(sock,(struct sockaddr*)&remote,sizeof(remote)); 37 if(ret<0) 38 { 39 perror("connect"); 40 exit(2); 41 } 42 char buf[1024]; 43 while(1) 44 { 45 memset(buf,'\0',sizeof(buf)); 46 printf("please input: "); 47 fflush(stdout); 48 ssize_t s=read(0,buf,sizeof(buf)-1); 49 50 if(s>0) 51 { //回顯消息 52 write(sock,buf,strlen(buf)); 53 printf("server->client: %s\n",buf); 54 } 55 } 56 57 return 0; 58 }
程序結果:
select缺點:
(1)每次調用select,都需要把fd集合從用戶態拷貝到內核態,這個開銷在fd很多時會很大
(2)同時每次調用select都需要在內核遍歷傳遞進來的所有fd,這個開銷在fd很多時也很大
(3)select支持的文件描述符數量太小了,默認是1024