1、fork/join並行執行模式的概念
OpenMP是一個編譯器指令和庫函數的集合，主要是爲共享式存儲計算機上的並行程序設計使用的。
前面一篇文章中已經試用了OpenMP的一個Parallel for指令。從上篇文章中我們也可以發現OpenMP並行執行的程序要全部結束後才能執行後面的非並行部分的代碼。這就是標準的並行模式fork/join式並行模式，共享存儲式並行程序就是使用fork/join式並行的。
標準並行模式執行代碼的基本思想是，程序開始時只有一個主線程，程序中的串行部分都由主線程執行，並行的部分是通過派生其他線程來執行，但是如果並行部分沒有結束時是不會執行串行部分的，如上一篇文章中的以下代碼：
int main(int argc, char* argv[])
{
clock_t t1 = clock();
#pragma omp parallel for num_threads(4)
for ( int j = 0; j < 2; j++ ){
test();
}
clock_t t2 = clock();
printf("Total time = %d\n", t2-t1);
test();
return 0;
}
在沒有執行完for循環中的代碼之前，後面的clock_t t2 = clock();這行代碼是不會執行的，如果和調用線程創建函數相比，它相當於先創建線程，並等待線程執行完，所以這種並行模式中在主線程裏創建的線程並沒有和主線程並行運行。
2、OpenMP指令和庫函數介紹
下面來介紹OpenMP的基本指令和常用指令的用法，
在C/C++中，OpenMP指令使用的格式爲
＃pragma omp 指令 [子句[子句]…]
前面提到的parallel for就是一條指令，有些書中也將OpenMP的“指令”叫做“編譯指導語句”，後面的子句是可選的。例如：
#pragma omp parallel private(i, j)
parallel 就是指令， private是子句
爲敘述方便把包含#pragma和OpenMP指令的一行叫做語句，如上面那行叫parallel語句。
OpenMP的指令有以下一些：
parallel，用在一個代碼段之前，表示這段代碼將被多個線程並行執行
for，用於for循環之前，將循環分配到多個線程中並行執行，必須保證每次循環之間無相關性。
parallel for， parallel 和 for語句的結合，也是用在一個for循環之前，表示for循環的代碼將被多個線程並行執行。
sections，用在可能會被並行執行的代碼段之前
parallel sections，parallel和sections兩個語句的結合
critical，用在一段代碼臨界區之前
single，用在一段只被單個線程執行的代碼段之前，表示後面的代碼段將被單線程執行。
flush，
barrier，用於並行區內代碼的線程同步，所有線程執行到barrier時要停止，直到所有線程都執行到barrier時才繼續往下執行。
atomic，用於指定一塊內存區域被制動更新
master，用於指定一段代碼塊由主線程執行
ordered， 用於指定並行區域的循環按順序執行
threadprivate, 用於指定一個變量是線程私有的。
OpenMP除上述指令外，還有一些庫函數，下面列出幾個常用的庫函數：
omp_get_num_procs, 返回運行本線程的多處理機的處理器個數。
omp_get_num_threads, 返回當前並行區域中的活動線程個數。
omp_get_thread_num, 返回線程號
omp_set_num_threads, 設置並行執行代碼時的線程個數
omp_init_lock, 初始化一個簡單鎖
omp_set_lock， 上鎖操作
omp_unset_lock， 解鎖操作，要和omp_set_lock函數配對使用。
omp_destroy_lock， omp_init_lock函數的配對操作函數，關閉一個鎖
OpenMP的子句有以下一些
private, 指定每個線程都有它自己的變量私有副本。
firstprivate，指定每個線程都有它自己的變量私有副本，並且變量要被繼承主線程中的初值。
lastprivate，主要是用來指定將線程中的私有變量的值在並行處理結束後複製回主線程中的對應變量。
reduce，用來指定一個或多個變量是私有的，並且在並行處理結束後這些變量要執行指定的運算。
nowait，忽略指定中暗含的等待
num_threads，指定線程的個數
schedule，指定如何調度for循環迭代
shared，指定一個或多個變量爲多個線程間的共享變量
ordered，用來指定for循環的執行要按順序執行
copyprivate，用於single指令中的指定變量爲多個線程的共享變量
copyin，用來指定一個threadprivate的變量的值要用主線程的值進行初始化。
default，用來指定並行處理區域內的變量的使用方式，缺省是shared
3、parallel 指令的用法
parallel 是用來構造一個並行塊的，也可以使用其他指令如for、sections等和它配合使用。
在C/C++中，parallel的使用方法如下：
#pragma omp parallel [for | sections] [子句[子句]…]
{
//代碼
}
parallel語句後面要跟一個大括號對將要並行執行的代碼括起來。
void main(int argc, char *argv[]) {
#pragma omp parallel num_threads(4)
{
printf(“Hello, World!\n”);
}
}
執行以上代碼將會打印出以下結果
Hello, World!
Hello, World!
Hello, World!
Hello, World!
可以看得出parallel語句中的代碼被執行了四次，說明總共創建了4個線程去執行parallel語句中的代碼。
也可以指定使用多少個線程來執行，需要使用num_threads子句：
void main(int argc, char *argv[]) {
#pragma omp parallel num_threads(8)
{
printf(“Hello, World!, ThreadId=%d\n”, omp_get_thread_num() );
}
}
執行以上代碼，將會打印出以下結果：
Hello, World!, ThreadId = 2
Hello, World!, ThreadId = 6
Hello, World!, ThreadId = 4
Hello, World!, ThreadId = 0
Hello, World!, ThreadId = 5
Hello, World!, ThreadId = 7
Hello, World!, ThreadId = 1
Hello, World!, ThreadId = 3
從ThreadId的不同可以看出創建了8個線程來執行以上代碼。所以parallel指令是用來爲一段代碼創建多個線程來執行它的。parallel塊中的每行代碼都被多個線程重複執行。
和傳統的創建線程函數比起來，相當於爲一個線程入口函數重複調用創建線程函數來創建線程並等待線程執行完。
4、for指令的使用方法
for指令則是用來將一個for循環分配到多個線程中執行。for指令一般可以和parallel指令合起來形成parallel for指令使用，也可以單獨用在parallel語句的並行塊中。
#pragma omp [parallel] for [子句]
for循環語句
先看看單獨使用for語句時是什麼效果：
int j = 0;
#pragma omp for
for ( j = 0; j < 4; j++ ){
printf(“j = %d, ThreadId = %d\n”, j, omp_get_thread_num());
}
執行以上代碼後打印出以下結果
j = 0, ThreadId = 0
j = 1, ThreadId = 0
j = 2, ThreadId = 0
j = 3, ThreadId = 0
從結果可以看出四次循環都在一個線程裏執行，可見for指令要和parallel指令結合起來使用纔有效果：
如以下代碼就是parallel 和for一起結合成parallel for的形式使用的：
int j = 0;
#pragma omp parallel for num_threads(4)
for ( j = 0; j < 4; j++ ){
printf(“j = %d, ThreadId = %d\n”, j, omp_get_thread_num());
}
執行後會打印出以下結果：
j = 0, ThreadId = 0
j = 2, ThreadId = 2
j = 1, ThreadId = 1
j = 3, ThreadId = 3
可見循環被分配到四個不同的線程中執行。
上面這段代碼也可以改寫成以下形式：
int j = 0;
#pragma omp parallel
{
#pragma omp for
for ( j = 0; j < 4; j++ ){
printf(“j = %d, ThreadId = %d\n”, j, omp_get_thread_num());
}
}
執行以上代碼會打印出以下結果：
j = 1, ThreadId = 1
j = 3, ThreadId = 3
j = 2, ThreadId = 2
j = 0, ThreadId = 0
在一個parallel 塊中也可以有多個for語句，如：
int j;
#pragma omp parallel
{
#pragma omp for
for ( j = 0; j < 100; j++ ){
…
}
#pragma omp for
for ( j = 0; j < 100; j++ ){
…
}
…
}
for 循環語句中，書寫是需要按照一定規範來寫纔可以的，即for循環小括號內的語句要按照一定的規範進行書寫，for語句小括號裏共有三條語句
for( i=start; i < end; i++)
i=start; 是for循環裏的第一條語句，必須寫成 “變量＝初值” 的方式。如 i＝0
i < end;是for循環裏的第二條語句，這個語句裏可以寫成以下4種形式之一：
變量 < 邊界值
變量 <= 邊界值
變量 > 邊界值
變量 >= 邊界值
如 i>10 i< 10 i>=10 i>10 等等
最後一條語句i++可以有以下9種寫法之一
i++
++i
i--
--i
i += inc
i -= inc
i = i + inc
i = inc + i
i = i –inc
例如i += 2; i -= 2；i = i + 2；i = i - 2；都是符合規範的寫法。
5 sections和section指令的用法
section語句是用在sections語句裏用來將sections語句裏的代碼劃分成幾個不同的段，每段都並行執行。用法如下：
#pragma omp [parallel] sections [子句]
{
#pragma omp section
{
代碼塊
}
}
先看一下以下的例子代碼：
void main(int argc, char *argv)
{
#pragma omp parallel sections num_threads(4){
#pragma omp section
printf(“section 1 ThreadId = %d\n”, omp_get_thread_num());
#pragma omp section
printf(“section 2 ThreadId = %d\n”, omp_get_thread_num());
#pragma omp section
printf(“section 3 ThreadId = %d\n”, omp_get_thread_num());
#pragma omp section
printf(“section 4 ThreadId = %d\n”, omp_get_thread_num());
}
執行後將打印出以下結果：
section 1 ThreadId = 0
section 2 ThreadId = 2
section 4 ThreadId = 3
section 3 ThreadId = 1
從結果中可以發現第4段代碼執行比第3段代碼早，說明各個section裏的代碼都是並行執行的，並且各個section被分配到不同的線程執行。
使用section語句時，需要注意的是這種方式需要保證各個section裏的代碼執行時間相差不大，否則某個section執行時間比其他section過長就達不到並行執行的效果了。
上面的代碼也可以改寫成以下形式：
void main(int argc, char *argv)
{
#pragma omp parallel num_threads(4) {
#pragma omp sections
{
#pragma omp section
printf(“section 1 ThreadId = %d\n”, omp_get_thread_num());
#pragma omp section
printf(“section 2 ThreadId = %d\n”, omp_get_thread_num());
}
#pragma omp sections
{
#pragma omp section
printf(“section 3 ThreadId = %d\n”, omp_get_thread_num());
#pragma omp section
printf(“section 4 ThreadId = %d\n”, omp_get_thread_num());
}
}
執行後將打印出以下結果：
section 1 ThreadId = 0
section 2 ThreadId = 3
section 3 ThreadId = 3
section 4 ThreadId = 1
這種方式和前面那種方式的區別是，兩個sections語句是串行執行的，即第二個sections語句裏的代碼要等第一個sections語句裏的代碼執行完後才能執行。
用for語句來分攤是由系統自動進行，只要每次循環間沒有時間上的差距，那麼分攤是很均勻的，使用section來劃分線程是一種手工劃分線程的方式，最終並行性的好壞得依賴於程序員。
6.總結：
本篇文章中講的幾個OpenMP指令parallel, for, sections, section實際上都是用來如何創建線程的，這種創建線程的方式比起傳統調用創建線程函數創建線程要更方便，並且更高效