Go語言併發機制初探

Go語言併發機制初探

 

Go 語言相比Java等一個很大的優勢就是可以方便地編寫併發程序。Go 語言內置了 goroutine 機制,使用goroutine可以快速地開發併發程序, 更好的利用多核處理器資源。這篇文章學習 goroutine 的應用及其調度實現。

 

一、Go語言對併發的支持

使用goroutine編程

使用 go 關鍵字用來創建 goroutine 。將go聲明放到一個需調用的函數之前,在相同地址空間調用運行這個函數,這樣該函數執行時便會作爲一個獨立的併發線程。這種線程在Go語言中稱作goroutine。

goroutine的用法如下:

1

2

3

4

5

6

7

8

9

10

11

//go 關鍵字放在方法調用前新建一個 goroutine 並執行方法體

go GetThingDone(param1, param2);

 

//新建一個匿名方法並執行

go func(param1, param2) {

}(val1, val2)

 

//直接新建一個 goroutine 並在 goroutine 中執行代碼塊

go {

    //do someting...

}

 

因爲 goroutine 在多核 cpu 環境下是並行的。如果代碼塊在多個 goroutine 中執行,我們就實現了代碼並行。

如果需要了解程序的執行情況,怎麼拿到並行的結果呢?需要配合使用channel進行。

使用Channel控制併發

Channels用來同步併發執行的函數並提供它們某種傳值交流的機制。

通過channel傳遞的元素類型、容器(或緩衝區)和傳遞的方向由“<-”操作符指定。

可以使用內置函數 make分配一個channel:

1

2

3

4

5

i := make(chan int)       // by default the capacity is 0

s := make(chan string, 3) // non-zero capacity

 

r := make(<-chan bool)          // can only read from

w := make(chan<- []os.FileInfo) // can only write to

 

配置runtime.GOMAXPROCS

使用下面的代碼可以顯式的設置是否使用多核來執行併發任務:

1

runtime.GOMAXPROCS()

 

GOMAXPROCS的數目根據任務量分配就可以,但是不要大於cpu核數。

配置並行執行比較適合適合於CPU密集型、並行度比較高的情景,如果是IO密集型使用多核的化會增加cpu切換帶來的性能損失。

瞭解了Go語言的併發機制,接下來看一下goroutine 機制的具體實現。

 

二、區別並行與併發

進程、線程與處理器

在現代操作系統中,線程是處理器調度和分配的基本單位,進程則作爲資源擁有的基本單位。每個進程是由私有的虛擬地址空間、代碼、數據和其它各種系統資源組成。線程是進程內部的一個執行單元。 每一個進程至少有一個主執行線程,它無需由用戶去主動創建,是由系統自動創建的。 用戶根據需要在應用程序中創建其它線程,多個線程併發地運行於同一個進程中。

並行與併發

並行與併發(Concurrency and Parallelism)是兩個不同的概念,理解它們對於理解多線程模型非常重要。

在描述程序的併發或者並行時,應該說明從進程或者線程的角度出發。

  • 併發:一個時間段內有很多的線程或進程在執行,但何時間點上都只有一個在執行,多個線程或進程爭搶時間片輪流執行

  • 並行:一個時間段和時間點上都有多個線程或進程在執行

非併發的程序只有一個垂直的控制邏輯,在任何時刻,程序只會處在這個控制邏輯的某個位置,也就是順序執行。如果一個程序在某一時刻被多個CPU流水線同時進行處理,那麼我們就說這個程序是以並行的形式在運行。

並行需要硬件支持,單核處理器只能是併發,多核處理器才能做到並行執行。

  • 併發是並行的必要條件,如果一個程序本身就不是併發的,也就是隻有一個邏輯執行順序,那麼我們不可能讓其被並行處理。

  • 併發不是並行的充分條件,一個併發的程序,如果只被一個CPU進行處理(通過分時),那麼它就不是並行的。

舉一個例子,編寫一個最簡單的順序結構程序輸出"Hello World",它就是非併發的,如果在程序中增加多線程,每個線程打印一個"Hello World",那麼這個程序就是併發的。如果運行時只給這個程序分配單個CPU,這個併發程序還不是並行的,需要部署在多核處理器上,才能實現程序的並行。

 

三、幾種不同的多線程模型

用戶線程與內核級線程

線程的實現可以分爲兩類:用戶級線程(User-LevelThread, ULT)和內核級線程(Kemel-LevelThread, KLT)。用戶線程由用戶代碼支持,內核線程由操作系統內核支持。

多線程模型

多線程模型即用戶級線程和內核級線程的不同連接方式。

(1)多對一模型(M : 1)

將多個用戶級線程映射到一個內核級線程,線程管理在用戶空間完成。 此模式中,用戶級線程對操作系統不可見(即透明)。

優點: 這種模型的好處是線程上下文切換都發生在用戶空間,避免的模態切換(mode switch),從而對於性能有積極的影響。

缺點:所有的線程基於一個內核調度實體即內核線程,這意味着只有一個處理器可以被利用,在多處理器環境下這是不能夠被接受的,本質上,用戶線程只解決了併發問題,但是沒有解決並行問題。如果線程因爲 I/O 操作陷入了內核態,內核態線程阻塞等待 I/O 數據,則所有的線程都將會被阻塞,用戶空間也可以使用非阻塞而 I/O,但是不能避免性能及複雜度問題。

(2) 一對一模型(1:1)

將每個用戶級線程映射到一個內核級線程。

每個線程由內核調度器獨立的調度,所以如果一個線程阻塞則不影響其他的線程。

優點:在多核處理器的硬件的支持下,內核空間線程模型支持了真正的並行,當一個線程被阻塞後,允許另一個線程繼續執行,所以併發能力較強。

缺點:每創建一個用戶級線程都需要創建一個內核級線程與其對應,這樣創建線程的開銷比較大,會影響到應用程序的性能。

(3)多對多模型(M : N)

內核線程和用戶線程的數量比爲 M : N,內核用戶空間綜合了前兩種的優點。 

這種模型需要內核線程調度器和用戶空間線程調度器相互操作,本質上是多個線程被綁定到了多個內核線程上,這使得大部分的線程上下文切換都發生在用戶空間,而多個內核線程又可以充分利用處理器資源。

 

四、goroutine機制的調度實現

goroutine機制實現了M : N的線程模型,goroutine機制是協程(coroutine)的一種實現,golang內置的調度器,可以讓多核CPU中每個CPU執行一個協程。

理解goroutine機制的原理,關鍵是理解Go語言scheduler的實現。

調度器是如何工作的

Go語言中支撐整個scheduler實現的主要有4個重要結構,分別是M、G、P、Sched, 前三個定義在runtime.h中,Sched定義在proc.c中。

  • Sched結構就是調度器,它維護有存儲M和G的隊列以及調度器的一些狀態信息等。

  • M結構是Machine,系統線程,它由操作系統管理的,goroutine就是跑在M之上的;M是一個很大的結構,裏面維護小對象內存cache(mcache)、當前執行的goroutine、隨機數發生器等等非常多的信息。

  • P結構是Processor,處理器,它的主要用途就是用來執行goroutine的,它維護了一個goroutine隊列,即runqueue。Processor是讓我們從N:1調度到M:N調度的重要部分。

  • G是goroutine實現的核心結構,它包含了棧,指令指針,以及其他對調度goroutine很重要的信息,例如其阻塞的channel。

Processor的數量是在啓動時被設置爲環境變量GOMAXPROCS的值,或者通過運行時調用函數GOMAXPROCS()進行設置。Processor數量固定意味着任意時刻只有GOMAXPROCS個線程在運行go代碼。

參考這篇傳播很廣的博客:http://morsmachine.dk/go-scheduler

我們分別用三角形,矩形和圓形表示Machine Processor和Goroutine。

 

 

在單核處理器的場景下,所有goroutine運行在同一個M系統線程中,每一個M系統線程維護一個Processor,任何時刻,一個Processor中只有一個goroutine,其他goroutine在runqueue中等待。一個goroutine運行完自己的時間片後,讓出上下文,回到runqueue中。 多核處理器的場景下,爲了運行goroutines,每個M系統線程會持有一個Processor。

在正常情況下,scheduler會按照上面的流程進行調度,但是線程會發生阻塞等情況,看一下goroutine對線程阻塞等的處理。

線程阻塞

當正在運行的goroutine阻塞的時候,例如進行系統調用,會再創建一個系統線程(M1),當前的M線程放棄了它的Processor,P轉到新的線程中去運行。

runqueue執行完成

當其中一個Processor的runqueue爲空,沒有goroutine可以調度。它會從另外一個上下文偷取一半的goroutine。

 

五、對併發實現的進一步思考

Go語言的併發機制還有很多值得探討的,比如Go語言和Scala併發實現的不同,Golang CSP 和Actor模型的對比等。

瞭解併發機制的這些實現,可以幫助我們更好的進行併發程序的開發,實現性能的最優化。

關於三種多線程模型,可以關注一下Java語言的實現。

我們知道Java通過JVM封裝了底層操作系統的差異,而不同的操作系統可能使用不同的線程模型,例如Linux和windows可能使用了一對一模型,solaris和unix某些版本可能使用多對多模型。JVM規範裏沒有規定多線程模型的具體實現,1:1(內核線程)、N:1(用戶態線程)、M:N(混合)模型的任何一種都可以。談到Java語言的多線程模型,需要針對具體JVM實現,比如Oracle/Sun的HotSpot VM,默認使用1:1線程模型。

 

參考鏈接

http://www.infoq.com/cn/articles/knowledge-behind-goroutine

http://jolestar.com/parallel-programming-model-thread-goroutine-actor/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章