k8s-client-go源碼剖析(一)

簡介：雲原生社區活動---Kubernetes源碼剖析第一期

 

有幸參與雲原生社區舉辦的Kubernetes源碼剖析活動，活動主要以書籍《Kubernetes源碼剖析》爲主要思路進行展開，提出在看書過程中遇到的問題，和社區成員一起討論，最後會將結果總結到雲原生社區的知識星球或Github。

 

第一期活動主要以書本第五章<Client-go編程式交互>爲主題進行學習，計劃共三週半。

 

計劃如下：

 

1. client-go客戶端學習

2. Infoermer機制學習

3. WorkQueue學習

4. 整體結構回顧、邏輯回顧、優秀代碼回顧

 

 

 

學習總得有個重要的優先級，我個人的優先級是這樣的，僅供參考：

 

1. Informer機制原理

2. WorkerQueue原理

3. 幾種Client-go客戶端的使用、優劣

 

學習環境相關：

 

1. Kubernetes 1.14版本

2. 對應版本的client-go

 

本文主題

 

本文是第一週，課題有兩個：

 

• Client-go源碼結構

• 幾種Client客戶端對象學習

 

 

 

Client-go源碼目錄結構

 

Plain Text

1

[root@normal11 k8s-client-go]# tree . -L 1

2

.

3

├── CHANGELOG.md

4

├── code-of-conduct.md

5

├── CONTRIBUTING.md

6

├── discovery

7

├── dynamic

8

├── examples

9

├── Godeps

10

├── go.mod

11

├── go.sum

12

├── informers

13

├── INSTALL.md

14

├── kubernetes

15

├── kubernetes_test

16

├── LICENSE

17

├── listers

18

├── metadata

19

├── OWNERS

20

├── pkg

21

├── plugin

22

├── README.md

23

├── rest

24

├── restmapper

25

├── scale

26

├── SECURITY_CONTACTS

27

├── testing

28

├── third_party

29

├── tools

30

├── transport

31

└── util

32

​

33

​

 

 

 

client-go代碼庫已經集成到了Kubernetes源碼中，所以書本中展示的內容是在Kubernetes源碼中源碼結構，而這裏展示的是Client-go代碼庫中原始的內容，所以多了一些源碼之外的內容，例如README、example、go.mod等。下面講一下各個目錄的作用，內容引自書本：

 

 

 

 

編輯

刪除

 

 

 

 

 

 

幾種Client-go客戶端

 

下圖是一個簡單的總結,其中ClientSet、DynamicClient、DiscoveryClient都是基於RESTClient封裝的。

 

 

RESTClient

 

最基礎的客戶端，對HTTP Request進行了封裝，實現了RESTFul風格的API。

 

案例代碼：

 

Plain Text

1

package main

2

​

3

import (

4

"fmt"

5

​

6

corev1 "k8s.io/api/core/v1"

7

metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"

8

"k8s.io/client-go/kubernetes/scheme"

9

"k8s.io/client-go/rest"

10

"k8s.io/client-go/tools/clientcmd"

11

)

12

​

13

func main() {

14

config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")

15

if err != nil {

16

panic(err.Error())

17

}

18

​

19

config.APIPath = "api"

20

config.GroupVersion = &corev1.SchemeGroupVersion

21

config.NegotiatedSerializer = scheme.Codecs

22

​

23

restClient, err := rest.RESTClientFor(config)

24

if err != nil {

25

panic(err.Error())

26

}

27

​

28

result := &corev1.NodeList{}

29

err = restClient.Get().Namespace("").Resource("nodes").VersionedParams(&metav1.ListOptions{Limit: 100}, scheme.ParameterCodec).Do().Into(result)

30

if err != nil {

31

panic(err)

32

}

33

​

34

for _, d := range result.Items {

35

fmt.Printf("Node Name %v \n", d.Name)

36

}

37

}

38

​

39

​

 

預期運行結果將會打印K8S集羣中的node

 

 

 

ClientSet

 

對RESTClient進行了對象分類方式的封裝，可以實例化特定資源的客戶端，

 

以Resource和Version的方式暴露。例如實例化一個只操作appsv1版本的Deploy客戶端,

 

ClientSet可以認爲是一系列資源的集合客戶端。缺點是不能直接訪問CRD。

 

通過client-gen代碼生成器生成帶有CRD資源的ClientSet後可以訪問CRD資源。(未測試)

 

 

 

案例代碼：

 

Plain Text

1

package main

2

​

3

import (

4

apiv1 "k8s.io/api/core/v1"

5

metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"

6

"k8s.io/client-go/kubernetes"

7

"k8s.io/client-go/tools/clientcmd"

8

)

9

​

10

func main() {

11

config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")

12

if err != nil {

13

panic(err)

14

}

15

clientset, err := kubernetes.NewForConfig(config)

16

if err != nil {

17

panic(err)

18

}

19

​

20

podClient := clientset.CoreV1().Pods(apiv1.NamespaceDefault)

21

​

22

list, err := podClient.List(metav1.ListOptions{Limit: 500})

23

if err != nil {

24

panic(err)

25

}

26

for _, d := range list.Items {

27

if d.Name == "" {

28

}

29

// fmt.Printf("NAME:%v \t NAME:%v \t STATUS: %+v\n ", d.Namespace, d.Name, d.Status)

30

}

31

​

32

//請求namespace爲default下的deploy

33

deploymentClient := clientset.AppsV1().Deployments(apiv1.NamespaceDefault)

34

deployList, err2 := deploymentClient.List(metav1.ListOptions{Limit: 500})

35

if err2 != nil {

36

panic(err2)

37

}

38

for _, d := range deployList.Items {

39

if d.Name == "" {

40

​

41

}

42

// fmt.Printf("NAME:%v \t NAME:%v \t STATUS: %+v\n ", d.Namespace, d.Name, d.Status)

43

}

44

​

45

// 請求ds資源 todo  有興趣可以嘗試下

46

// clientset.AppsV1().DaemonSets()

47

​

48

}

49

​

50

​

 

 

 

代碼中分別打印了獲取到K8S集羣中的500個Pod和500個deploy，目前打印語句是註釋了，如果要看效果需要先刪掉註釋。

 

案例代碼中還留了一個小內容，請求獲取daemonset資源，感興趣的可以試一試。

 

DynamicClient

 

這是一種動態客戶端，對K8S任意資源進行操作，包括CRD。

 

請求返回的結果是map[string]interface{}

 

 

 

代碼案例：

 

Plain Text

1

package main

2

​

3

import (

4

"fmt"

5

​

6

apiv1 "k8s.io/api/core/v1"

7

corev1 "k8s.io/api/core/v1"

8

metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"

9

"k8s.io/apimachinery/pkg/runtime"

10

"k8s.io/apimachinery/pkg/runtime/schema"

11

"k8s.io/client-go/dynamic"

12

"k8s.io/client-go/tools/clientcmd"

13

)

14

​

15

func main() {

16

config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")

17

if err != nil {

18

panic(err)

19

}

20

​

21

dymaicClient, err := dynamic.NewForConfig(config)

22

checkErr(err)

23

//map[string]interface{}

24

​

25

//TODO 獲取CRD資源 這裏是獲取了TIDB的CRD資源

26

// gvr := schema.GroupVersionResource{Version: "v1alpha1", Resource: "tidbclusters", Group: "pingcap.com"}

27

// unstructObj, err := dymaicClient.Resource(gvr).Namespace("tidb-cluster").List(metav1.ListOptions{Limit: 500})

28

// checkErr(err)

29

// fmt.Println(unstructObj)

30

​

31

gvr := schema.GroupVersionResource{Version: "v1", Resource: "pods"}

32

unstructObj, err := dymaicClient.Resource(gvr).Namespace(apiv1.NamespaceDefault).List(metav1.ListOptions{Limit: 500})

33

checkErr(err)

34

// fmt.Println(unstructObj)

35

podList := &corev1.PodList{}

36

err = runtime.DefaultUnstructuredConverter.FromUnstructured(unstructObj.UnstructuredContent(), podList)

37

checkErr(err)

38

for _, d := range podList.Items {

39

fmt.Printf("NAME:%v \t NAME:%v \t STATUS: %+v\n ", d.Namespace, d.Name, d.Status)

40

}

41

​

42

}

43

​

44

func checkErr(err error) {

45

if err != nil {

46

panic(err)

47

}

48

}

49

​

50

​

 

 

 

這個案例是打印了namespace爲default下的500個pod，同樣的，在案例中也有一個todo，獲取CRD資源，感興趣的可以嘗試一下。如果K8S集羣中沒有TIDB的資源可以自行換成自己想要的CRD資源。

 

代碼中已經有獲取v1alpha1版本的tidbclusters資源。如果你不知道CRD相關的信息，可以按照下面的步驟來找出對應的信息：

 

1. 通過kubectl api-resources 獲取到資源的Group和Resource

2. 通過kubectl api-versions 找到對應Group的版本

 

這樣 資源的GVR(Group、Version、Resource)都有了

 

 

 

DiscoveryClient

 

這是一種發現客戶端，在前面的客戶端中需要知道資源的Resource和Version才能找到你想要的，

 

這些信息太多很難全部記住，這個客戶端用於獲取資源組、版本等信息。

 

前面用到的api-resources和api-versions都是通過discoveryClient客戶端實現的,源碼在Kubernetes源碼庫中 pkg/kubectl/cmd/apiresources/apiresources.gopkg/kubectl/cmd/apiresources/apiversions.go

 

Plain Text

1

// RunAPIResources does the work

2

func (o *APIResourceOptions) RunAPIResources(cmd *cobra.Command, f cmdutil.Factory) error {

3

w := printers.GetNewTabWriter(o.Out)

4

defer w.Flush()

5

​

6

//拿到一個DiscoveryClient客戶端

7

discoveryclient, err := f.ToDiscoveryClient()

8

if err != nil {

9

return err

10

}

11

​

12

​

13

​

 

 

 

Plain Text

1

// RunAPIVersions does the work

2

func (o *APIVersionsOptions) RunAPIVersions() error {

3

// Always request fresh data from the server

4

o.discoveryClient.Invalidate()

5

​

6

//通過discoveryClient獲取group相關信息

7

groupList, err := o.discoveryClient.ServerGroups()

8

if err != nil {

9

return fmt.Errorf("couldn't get available api versions from server: %v", err)

10

}

 

 

 

案例代碼：

 

獲取集羣中的GVR

 

Plain Text

1

package main

2

​

3

import (

4

"fmt"

5

"k8s.io/apimachinery/pkg/runtime/schema"

6

"k8s.io/client-go/discovery"

7

"k8s.io/client-go/tools/clientcmd"

8

)

9

​

10

func main()  {

11

config, err := clientcmd.BuildConfigFromFlags("","/root/.kube/config")

12

if err != nil {

13

panic(err.Error())

14

}

15

​

16

discoveryClient, err := discovery.NewDiscoveryClientForConfig(config)

17

if err != nil {

18

panic(err.Error())

19

}

20

​

21

_, APIResourceList, err := discoveryClient.ServerGroupsAndResources()

22

if err != nil {

23

panic(err.Error())

24

}

25

for _, list := range APIResourceList {

26

gv, err := schema.ParseGroupVersion(list.GroupVersion)

27

if err != nil {

28

panic(err.Error())

29

}

30

for _, resource := range list.APIResources {

31

fmt.Printf("name: %v, group: %v, version %v\n", resource.Name, gv.Group, gv.Version)

32

}

33

}

34

}

 

 

 

預期效果：打印集羣中的GVR

 

Plain Text

1

[root@normal11 discoveryclient]# go run main.go

2

name: bindings, group: , version v1

3

name: componentstatuses, group: , version v1

4

name: configmaps, group: , version v1

5

name: endpoints, group: , version v1

6

...

 

 

 

DiscoveryClient在請求到數據之後會緩存到本地，默認存儲位置是~/.kube/cache和~/.kube/http-cache,默認是每10分鐘會和API Server同步一次。

 

總結

 

第一週主要是瞭解下各種客戶端的使用以及不同，有時間的可以再進行一些拓展試驗，研究對象可以選擇一些主流的框架或官方示例，例如：

 

1. Sample-Controller 中如何使用client-go的

2. Kubebuilder中如何使用client-go的

3. Operator-sdk中如何使用client-go的

 

 

 

延伸閱讀：

 

1. [活動] Kubernetes 源碼研習社 第一期活動

2. 如何高效閱讀 Kubernetes 源碼？

 

始發於 四顆咖啡豆,轉載請聲明出處.
關注公糉號->[四顆咖啡豆] 獲取最新內容

四顆咖啡豆