文章目錄
一、概述
二、進程間通信概念及方法
Linux環境下,進程地址空間相互獨立,每個進程各自有不同的用戶地址空間。任何一個進程的全局變量在另一個進程中都看不到,所以進程和進程之間不能相互訪問。
要交換數據必須通過內核,在內核中開闢一塊緩衝區,進程1把數據從用戶空間拷到內核緩衝區,進程2再從內核緩衝區把數據讀走,內核提供的這種機制稱爲 進程間通信(IPC,InterProcess Communication)。
在進程間完成數據傳遞需要藉助操作系統提供特殊的方法,如:文件、管道、信號、共享內存、消息隊列、套接字、命名管道等。隨着計算機的蓬勃發展,一些方法由於自身設計缺陷被淘汰或者棄用。
現今常用的進程間通信方式有:
1)管道 (使用最簡單)
2)信號 (開銷最小)
3)共享映射區 (無血緣關係)
4)本地套接字 (最穩定)
進程間通信方法介紹
1. 管道的概念
管道是一種最基本的IPC機制,作用於 有血緣關係的進程之間,完成數據傳遞。調用pipe系統函數即可創建一個管道。
有如下特質:
1) 其本質是一個僞文件(實爲內核緩衝區)
2)由兩個文件描述符引用,一個表示讀端,一個表示寫端。
3) 規定數據從管道的寫端流入管道,從讀端流出。
管道的原理: 管道實爲內核使用環形隊列機制,藉助內核緩衝區(4k)實現。
管道的侷限性:
1) 數據一旦被讀走,便不在管道中存在,不可反覆讀取。
2) 由於管道採用半雙工通信方式。因此,數據只能在一個方向上流動。
3) 只能在有公共祖先的進程間使用管道。
常見的通信方式有,單工通信、半雙工通信、全雙工通信。
2. pipe
創建管道 int pipe(int pipefd[2]); 成功:0;失敗:-1,設置errno
函數調用成功,返回r/w兩個文件描述符。無需open,但需手動close。
規定:fd[0] → r; fd[1] → w,就像0對應標準輸入,1對應標準輸出一樣。
向管道文件讀寫數據其實是在讀寫內核緩衝區。管道創建成功以後,創建該管道的進程(父進程)同時掌握着管道的讀端和寫端。
如何實現父子進程間通信呢?
通常可以採用如下步驟:
1)父進程調用pipe函數創建管道,得到兩個文件描述符fd[0]、fd[1]指向管道的讀端和寫端。
2)父進程調用fork創建子進程,那麼子進程也有兩個文件描述符指向同一管道。
3)父進程關閉管道讀端,子進程關閉管道寫端。父進程可以向管道中寫入數據,子進程將管道中的數據讀出。由於管道是利用環形隊列實現的,數據從寫端流入管道,從讀端流出,這樣就實現了進程間通信。
練習:父子進程使用管道通信,父寫入字符串,子進程讀出並打印到屏幕?
3. 管道的讀寫行爲
使用管道需要注意以下4種特殊情況(假設都是阻塞I/O操作,沒有設置O_NONBLOCK標誌):
1)如果所有指向管道寫端的文件描述符都關閉了(管道寫端引用計數爲0),而仍然有進程從管道的讀端讀數據,那麼管道中剩餘的數據都被讀取後,再次read會返回0,就像讀到文件末尾一樣。
2) 如果有指向管道寫端的文件描述符沒關閉(管道寫端引用計數大於0),而持有管道寫端的進程也沒有向管道中寫數據,這時有進程從管道讀端讀數據,那麼管道中剩餘的數據都被讀取後,再次read會阻塞,直到管道中有數據可讀了纔讀取數據並返回。
3)如果所有指向管道讀端的文件描述符都關閉了(管道讀端引用計數爲0),這時有進程向管道的寫端write,那麼該進程會收到信號SIGPIPE,通常會導致進程異常終止。當然也可以對SIGPIPE信號實施捕捉,不終止進程。具體方法信號章節詳細介紹。
4)如果有指向管道讀端的文件描述符沒關閉(管道讀端引用計數大於0),而持有管道讀端的進程也沒有從管道中讀數據,這時有進程向管道寫端寫數據,那麼在管道被寫滿時再次write會阻塞,直到管道中有空位置了才寫入數據並返回。
總結:
1)讀管道:
- 管道中有數據,read返回實際讀到的字節數。
- 管道中無數據:
(1) 管道寫端被全部關閉,read返回0 (好像讀到文件結尾)
(2) 寫端沒有全部被關閉,read阻塞等待(不久的將來可能有數據遞達,此時會讓出cpu)
2)寫管道:
- 管道讀端全部被關閉, 進程異常終止(也可使用捕捉SIGPIPE信號,使進程不終止)
- 管道讀端沒有全部關閉:
(1) 管道已滿,write阻塞。
(2) 管道未滿,write將數據寫入,並返回實際寫入的字節數。
練習1:使用管道實現父子進程間通信,完成:
ls | wc -l
。假定父進程實現ls,子進程實現wc?
注意:
- ls命令正常會將結果集寫出到stdout,但現在會寫入管道的寫端;
- wc -l 正常應該從stdin讀取數據,但此時會從管道的讀端讀。
實現父進程ls 子進程wc -l
父子進程實現ps aux | grep bash
練習2:使用管道實現兄弟進程間通信。 兄:ls 弟: wc -l 父:等待回收子進程?要求,使用“循環創建N個子進程”模型創建兄弟進程,使用循環因子i標示。
注意管道讀寫行爲。
實現思路:父進程關閉讀寫端,兩個子進程,一個關閉管道的讀端去寫,一個關閉管道的寫端去讀。
兄弟進程間實現ls | wc -l
兄弟進程實現ps aux | grep bash
測試:是否允許,一個pipe有一個寫端多個讀端呢?是否允許有一個讀端多個寫端呢?
- 一寫多讀
結論:一個讀多個寫會hang住。 - 多寫一讀
結論:一個寫多個讀會hang住。
4. 管道緩衝區大小
可以使用ulimit -a 命令來查看當前系統中創建管道文件所對應的內核緩衝區大小。
通常爲:
也可以使用fpathconf函數,藉助參數選項來查看。
5. 管道優劣
- 優點:簡單,相比信號,套接字實現進程間通信,簡單很多。
- 缺點:
- 只能單向通信,雙向通信需建立兩個管道。
- 只能用於父子、兄弟進程(有共同祖先)間通信,該問題後來使用fifo有名管道解決。
6. FIFO
FIFO常被稱爲有名管道,以區分管道(pipe)。
- 管道(pipe)只能用於“有血緣關係”的進程間。
- 但通過FIFO,不相關的進程也能交換數據。
FIFO是Linux基礎文件類型中的一種。但FIFO文件在磁盤上沒有數據塊,僅僅用來標識內核中一條通道。各進程可以打開這個文件進行read/write,實際上是在讀寫內核通道,這樣就實現了進程間通信。
創建方式:
- 命令:mkfifo 管道名
- 庫函數:
int mkfifo(const char *pathname, mode_t mode); 成功:0; 失敗:-1
一旦使用mkfifo創建了一個FIFO,就可以使用open打開它,常見的文件I/O函數都可用於fifo,如:close、read、write、unlink等。
fifo_w.c
fifo_r.c
注意:
Opening the read or write end of a FIFO blocks until the other end is also opened (by another process or thread). See fifo(7) for further details.
open注意事項,打開fifo文件的時候,read端會阻塞等待write端open,write端同理,也會阻塞等待另外一端打開。
7. 共享存儲映射
(1)文件進程間通信
使用文件也可以完成IPC,理論依據是,fork後,父子進程共享文件描述符,也就共享打開的文件。
(2)存儲映射IO
存儲映射I/O (Memory-mapped I/O) 使一個磁盤文件與存儲空間中的一個緩衝區相映射。於是當從緩衝區中取數據,就相當於讀文件中的相應字節。於此類似,將數據存入緩衝區,則相應的字節就自動寫入文件。這樣,就可在不適用read和write函數的情況下,使用地址(指針)完成I/O操作。
使用這種方法,首先應通知內核,將一個指定文件映射到存儲區域中。這個映射工作可以通過mmap函數來實現。
8. mmap函數
返回:
- 成功:返回創建的映射區首地址;
- 失敗:MAP_FAILED宏
參數:
- addr:建立映射區的首地址,由Linux內核指定。使用時,直接傳遞NULL
- length:欲創建映射區的大小
- prot: 映射區權限PROT_READ、PROT_WRITE、PROT_READ|PROT_WRITE
- flags:標誌位參數(常用於設定更新物理區域、設置共享、創建匿名映射區)
- MAP_SHARED: 會將映射區所做的操作反映到物理設備(磁盤)上。
- MAP_PRIVATE: 映射區所做的修改不會反映到物理設備。
- fd:用來建立映射區的文件描述符
- offset:映射文件的偏移(4k的整數倍)
9. munmap函數
同malloc函數申請內存空間類似的,mmap建立的映射區在使用結束後也應調用類似free的函數來釋放。
執行結果:
執行map.c之前,mem.txt大小爲30,代碼中 ftruncate(fd,8);
將文件截斷爲8個字節大小,共享映射爲20個字節,雖然文件大小(8) < 映射區大小(20),映射區可以存儲helloworld(10),同時修改文件mem.txt內容。
借鑑malloc和free函數原型,嘗試裝自定義函數smalloc,sfree來完成映射區的建立和釋放。思考函數接口該如何設計?
10. mmap九問
- 如果更改mem變量的地址,釋放的時候munmap,傳入mem還能成功嗎? 不能!!
- 如果對mem越界操作會怎麼樣? 文件的大小對映射區操作有影響,儘量避免。
- 如果文件偏移量隨便填個數會怎麼樣? offset必須是4k的整數倍。
- 如果文件描述符先關閉,對mmap映射有沒有影響?沒有影響。
- open的時候,可以新創建一個文件來創建映射區嗎?不可以用大小爲0的文件。
- open文件選擇O_WRONLY,可以嗎? 不可以: Permission denied。
- 當選擇MAP_SHARED的時候,open文件選擇O_RDONLY,prot可以選擇PROT_READ|PROT_WRITE嗎?Permission denied ,SHARED的時候,映射區的權限 <= open文件的權限。
- mmap什麼情況下會報錯?很多情況。
- 如果不判斷返回值會怎麼樣? 會死的很難堪!!
總結:使用mmap時務必注意以下事項:
- 創建映射區的過程中,隱含着一次對映射文件的讀操作。
- 當MAP_SHARED時,要求:映射區的權限應 <=文件打開的權限(出於對映射區的保護)。而MAP_PRIVATE則無所謂,因爲mmap中的權限是對內存的限制。
- 映射區的釋放與文件關閉無關。只要映射建立成功,文件可以立即關閉。
- 特別注意,當映射文件大小爲0時,不能創建映射區。所以:用於映射的文件必須要有實際大小!! mmap使用時常常會出現總線錯誤,通常是由於共享文件存儲空間大小引起的。
- munmap傳入的地址一定是mmap的返回地址。堅決杜絕指針++操作
- 文件偏移量必須爲4K的整數倍
- mmap創建映射區出錯概率非常高,一定要檢查返回值,確保映射區建立成功再進行後續操作。
11. mmap父子進程間通信
父子等有血緣關係的進程之間也可以通過mmap建立的映射區來完成數據通信。但相應的要在創建映射區的時候指定對應的標誌位參數flags:
- MAP_PRIVATE: (私有映射) 父子進程各自獨佔映射區;
- MAP_SHARED: (共享映射) 父子進程共享映射區;
練習:父進程創建映射區,然後fork子進程,子進程修改映射區內容,而後,父進程讀取映射區內容,查驗是否共享。
結論:
父子進程共享:1. 打開的文件 2. mmap建立的映射區(但必須要使用MAP_SHARED)
12. 匿名映射
通過使用我們發現,使用映射區來完成文件讀寫操作十分方便,父子進程間通信也較容易。但缺陷是,每次創建映射區一定要依賴一個文件才能實現。通常爲了建立映射區要open一個temp文件,創建好了再unlink、close掉,比較麻煩。
可以直接使用匿名映射來代替。其實Linux系統給我們提供了創建匿名映射區的方法,無需依賴一個文件即可創建映射區。同樣需要藉助標誌位參數flags來指定。
使用MAP_ANONYMOUS (或MAP_ANON), 如:
int *p = mmap(NULL, 4, PROT_READ|PROT_WRITE, MAP_SHARED|MAP_ANONYMOUS, -1, 0);
需注意的是,MAP_ANONYMOUS和MAP_ANON這兩個宏是Linux操作系統特有的宏。在類Unix系統中如無該宏定義,可使用如下兩步來完成匿名映射區的建立。
1)fd = open("/dev/zero", O_RDWR);
2)p = mmap(NULL, size, PROT_READ|PROT_WRITE, MMAP_SHARED, fd, 0);
13. mmap無血緣關係進程間通信
實質上mmap是內核藉助文件幫我們創建了一個映射區,多個進程之間利用該映射區完成數據傳遞。由於內核空間多進程共享,因此無血緣關係的進程間也可以使用mmap來完成通信。只要設置相應的標誌位參數flags即可。若想實現共享,當然應該使用MAP_SHARED了。
mmap_w.c
mmap_r.c
3. 練習
- 通過命名管道傳輸數據,進程A和進程B,進程A將一個文件發送給進程B?
file2fifo.c
fifo2file.c
- 實現多進程拷貝文件?
1 #include <stdio.h>
2 #include <unistd.h>
3 #include <sys/types.h>
4 #include <fcntl.h>
5 #include <sys/mman.h>
6 #include <stdlib.h>
7 #include <string.h>
8 #include <sys/stat.h>
9 #include <wait.h>
10 int main(int argc, char *argv[])
11 {
12 //拷貝文件起的進程數,通過參數輸入,默認是5個
13 int n = 5;
14 //輸入參數至少是3,第4個參數是進程個數
15 if (argc < 3)
16 {
17 printf("./a.out src dst [n]\n");
18 return -1;
19 }
20 if (argc == 4)
21 {
22 n = atoi(argv[3]);
23 }
24
25 //打開源文件
26 int srcfd = open(argv[1], O_RDONLY);
27 if (srcfd < 0)
28 {
29 perror("open src err:");
30 exit(1);
31 }
32
33 //打開目標文件
34 int dstfd = open(argv[2], O_RDWR|O_CREAT|O_TRUNC, 0644);
35 if (dstfd < 0)
36 {
37 perror("open dst err:");
38 exit(1);
39 }
40
41 //目標拓展,從源文件獲得文件大小,stat
42 struct stat sb;
43 stat(argv[1], &sb);
44 //將目標文件設置爲和源文件大小相同
45 int len = sb.st_size;
46 truncate(argv[2], len);
47
48 //將源文件映射到緩衝區
49 char *psrc = mmap(NULL, len, PROT_READ, MAP_SHARED, srcfd, 0);
50 if (psrc == MAP_FAILED)
51 {
52 perror("mmap src err:");
53 exit(1);
54 }
55
56 //將目標文件映射
57 char *pdst = mmap(NULL, len, PROT_READ|PROT_WRITE,
MAP_SHARED, dstfd, 0);
58 if (pdst == MAP_FAILED)
59 {
60 perror("mmap pdst err:");
61 exit(1);
62 }
63 //創建多個子進程
64 int i = 0;
65 for (i = 0; i < n; i++)
66 {
67 if (fork() == 0)
68 {
69 break;
70 }
71 }
72 //計算子進程需要拷貝的起點大小
73 int cpsize = len/n;
74 int mod = len%n;
75 //數據拷貝,memcpy
76 if (i < n)
77 {
78 //最後一個子進程
79 if (i == n-1)
80 {
81 memcpy(pdst+i*cpsize, psrc+i*cpsize, cpsize+mod);
82 }
83 else
84 {
85 memcpy(pdst+i*cpsize, psrc+i*cpsize, cpsize);
86 }
87 }
88 else
89 {
90 for (i = 0; i < n; i++)
91 {
92 //回收子線程
93 wait(NULL);
94 }
95 }
96 //釋放映射區
97 if (munmap(psrc, len) < 0)
98 {
99 perror("munmap src err:");
100 exit(1);
101 }
102
103 if (munmap(pdst, len) < 0)
104 {
105 perror("munmap dst err:");
106 exit(1);
107 }
108
109 //關閉文件
110 close(srcfd);
111 close(dstfd);
112
113 return 0;
114 }