Strimzi Kafka Bridge(橋接)實戰之三：自制sdk(golang版本)

歡迎訪問我的GitHub

這裏分類和彙總了欣宸的全部原創(含配套源碼)：https://github.com/zq2599/blog_demos

本篇概覽

本文是《Strimzi Kafka Bridge(橋接)實戰》的第三篇，前文咱們掌握了Strimzi Kafka Bridge的基本功能：基於http提供各種kafka消息的服務
此刻，如果想通過http接口調用bridge的服務，勢必要寫不少代碼（請求數據的生成、響應數據的解析），好在Strimzi已經提供了標準OpenApi的配置文件，咱們可以根據這個配置文件生成與http接口相關的代碼，省去不少工作

爲什麼是golang版本

熟悉欣宸的讀者都知道欣宸是個正宗的java程序員，那麼，本篇應該實戰java版本的SDK吧，怎麼就研究起了golang版本呢？
因爲Strimzi Kafka Bridge提供的OpenApi配置，用來生成客戶端sdk之後，是無法正常使用的！！！，沒錯，您沒看錯，用工具生成的sdk，不論是golang版還是java版，都用不了！
相比之下，golang版的sdk，雖然不能用，但是經過搶救還是可以正常工作的，這也是本篇的主要內容
而java版的就沒那麼幸運了，涉及到jar庫的依賴，就算是改代碼也救不活，於是只能放棄，具體的原因本文末尾會給出，當然了，也許是欣宸水平太差，換成其他高手說不定就給救活了
閒話少說，接下來的內容由以下這幾個步驟組成

介紹一下我這邊的環境信息
下載OpenApi的配置文件
下載swagger工具
用swagger工具生成客戶端sdk代碼
創建一個golang的demo程序，使用剛剛生成的客戶端sdk代碼
客戶端sdk代碼存在諸多問題，但是可以逐個修復，這裏咱們就來修復它們
運行一個demo程序，調用sdk代碼中的API，驗證基本功能

環境信息

以下是我這邊的環境信息，您可以作爲參考

JDK：11.0.14.1
Maven：3.8.5
strimzi-kafka-bridge：0.22.3
swagger-codegen-cli：2.4.9

需要注意的是，swagger工具是jar格式的，因此需要當前環境準備好JDK

下載OpenApi的配置文件

Strimzi Kafka Bridge的master分支處於活躍狀態，因此不適合拿來實戰，咱們選擇一個發佈版本吧
下載strimzi-kafka-bridge源碼，地址是：https://codeload.github.com/strimzi/strimzi-kafka-bridge/zip/refs/tags/0.22.3 ，下載後解壓得到名爲strimzi-kafka-bridge-0.22.3的文件夾
這個文件就是OpenApi的配置文件，可以用來生成客戶端sdk源碼：strimzi-kafka-bridge-0.22.3/src/main/resources/openapiv2.json ，稍後會用到

下載swagger工具

swagger工具的下載地址是：https://repo1.maven.org/maven2/io/swagger/swagger-codegen-cli/2.4.9/swagger-codegen-cli-2.4.9.jar
現在新建一個目錄，我這裏新建了一個名爲001的目錄，將openapiv2.json和swagger-codegen-cli-2.4.9.jar這兩個剛下載的文件放在這個目錄下
在001的目錄下新增一個名爲swagger的目錄

用swagger工具生成客戶端sdk代碼

使用默認參數來生成客戶端sdk代碼的操作十分簡單

java -jar swagger-codegen-cli-2.4.9.jar generate \
-i ./openapiv2.json \
-l go \
-o swagger

執行完命令後，控制檯輸出如下
查看swagger目錄，發現已經生成了大量文件

➜  001 tree swagger
swagger
├── README.md
├── api
│   └── swagger.yaml
├── api_consumers.go
├── api_default.go
├── api_producer.go
├── api_seek.go
├── api_topics.go
├── client.go
├── configuration.go
├── docs
│   ├── AssignedTopicPartitions.md
│   ├── BridgeInfo.md
│   ├── Consumer.md
│   ├── ConsumerRecord.md
│   ├── ConsumerRecordList.md
│   ├── ConsumersApi.md
│   ├── CreatedConsumer.md
│   ├── DefaultApi.md
│   ├── KafkaHeader.md
│   ├── KafkaHeaderList.md
│   ├── ModelError.md
│   ├── OffsetCommitSeek.md
│   ├── OffsetCommitSeekList.md
│   ├── OffsetRecordSent.md
│   ├── OffsetRecordSentList.md
│   ├── OffsetsSummary.md
│   ├── Partition.md
│   ├── PartitionMetadata.md
│   ├── Partitions.md
│   ├── ProducerApi.md
│   ├── ProducerRecord.md
│   ├── ProducerRecordList.md
│   ├── ProducerRecordToPartition.md
│   ├── ProducerRecordToPartitionList.md
│   ├── Replica.md
│   ├── SeekApi.md
│   ├── SubscribedTopicList.md
│   ├── TopicMetadata.md
│   ├── Topics.md
│   └── TopicsApi.md
├── git_push.sh
├── model_assigned_topic_partitions.go
├── model_bridge_info.go
├── model_consumer.go
├── model_consumer_record.go
├── model_consumer_record_list.go
├── model_created_consumer.go
├── model_error.go
├── model_kafka_header.go
├── model_kafka_header_list.go
├── model_offset_commit_seek.go
├── model_offset_commit_seek_list.go
├── model_offset_record_sent.go
├── model_offset_record_sent_list.go
├── model_offsets_summary.go
├── model_partition.go
├── model_partition_metadata.go
├── model_partitions.go
├── model_producer_record.go
├── model_producer_record_list.go
├── model_producer_record_to_partition.go
├── model_producer_record_to_partition_list.go
├── model_replica.go
├── model_subscribed_topic_list.go
├── model_topic_metadata.go
├── model_topics.go
└── response.go

2 directories, 66 files

創建一個golang的demo程序，使用剛剛生成的客戶端sdk代碼

新建名爲sdkdemo的文件夾
在sdkdemo的文件夾下面執行以下命令，新建一個go工程

go mod init sdkdemo

需要引入兩個包，執行以下命令

go get golang.org/x/oauth2
go get github.com/antihax/optional

將前面生成代碼的swagger文件夾複製到sdkdemo的文件夾下面
現在sdkdemo的文件夾下面有這些東西
爲了方便開發，接下來用IDE工具進行開發，我這裏用的是goland，打開項目後新增名爲main.go的文件
接下來咱們要面對的是一堆破綻百出的sdk代碼，不過還好，可以拯救，咱們一起啦拯救吧

修復有問題的sdk源碼，第一個問題

一共有6個問題，咱們逐一修復
第一個問題如下圖，SeekToEndOpts這個數據結構在api_seek.go和api_consumer.go中都有，顯然是重複定義了，將左側api_seek.go中的SeekToEndOpts定義刪除掉

第二個問題

第二個問題如下圖，SendOpts這個數據結構在api_topics.go和api_producer.go中都有，顯然是重複定義了，將左側api_topics.go中的SeekToEndOpts定義刪除掉

第三個問題

第三個問題最讓人痛苦（因爲java版也被此問題折磨，且不好處理），bridge的請求和響應的contentType，與咱們平時常用的application/json不同，在bridge這裏用的是這兩種：application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json，其實這個也好理解：生產和發送的消息內容不一定只有json格式，可能還會嵌入其他格式的消息，這就要有kafka自己的協議來支持了，於是contentType就變得比較特殊
話雖這麼說，但是swagger不認識application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json這兩種格式，於是生成的代碼自然也就不支持了
來看看具體問題吧，打開文件client.go，當前decode方法源碼如下，可見是不會處理application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json這兩種的

func (c *APIClient) decode(v interface{}, b []byte, contentType string) (err error) {
	if strings.Contains(contentType, "application/xml") {
		if err = xml.Unmarshal(b, v); err != nil {
			return err
		}
		return nil
	} else if strings.Contains(contentType, "application/json") {
		if err = json.Unmarshal(b, v); err != nil {
			return err
		}
		return nil
	}
	return errors.New("undefined response type")
}

把代碼改成下面這樣，對application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json這兩種類型的數據，處理方法都等同於json

func (c *APIClient) decode(v interface{}, b []byte, contentType string) (err error) {
	if strings.Contains(contentType, "application/xml") {
		if err = xml.Unmarshal(b, v); err != nil {
			return err
		}
		return nil
	} else if strings.Contains(contentType, "application/json") ||
		strings.Contains(contentType, "application/vnd.kafka.v2+json") ||
		strings.Contains(contentType, "application/vnd.kafka.json.v2+json") {
		if err = json.Unmarshal(b, v); err != nil {
			return err
		}
		return nil
	}
	return errors.New("undefined response type")
}

當然了這樣做的弊端也很明顯：只支持json格式的內容，kakfa原本支持的多種格式都不能處理了

第四個問題

第四個問題也和contentType有關，前面第三個問題發生在請求階段，而第四個問題發生在處理響應數據的階段
還是client.go文件，這次是setBody方法，先看看原始內容

// Set request body from an interface{}
func setBody(body interface{}, contentType string) (bodyBuf *bytes.Buffer, err error) {
	if bodyBuf == nil {
		bodyBuf = &bytes.Buffer{}
	}

	if reader, ok := body.(io.Reader); ok {
		_, err = bodyBuf.ReadFrom(reader)
	} else if b, ok := body.([]byte); ok {
		_, err = bodyBuf.Write(b)
	} else if s, ok := body.(string); ok {
		_, err = bodyBuf.WriteString(s)
	} else if s, ok := body.(*string); ok {
		_, err = bodyBuf.WriteString(*s)
	} else if jsonCheck.MatchString(contentType) {
		err = json.NewEncoder(bodyBuf).Encode(body)
	} else if xmlCheck.MatchString(contentType) {
		xml.NewEncoder(bodyBuf).Encode(body)
	}

	if err != nil {
		return nil, err
	}

	if bodyBuf.Len() == 0 {
		err = fmt.Errorf("Invalid body type %s\n", contentType)
		return nil, err
	}
	return bodyBuf, nil
}

修改後的內容如下圖，紅色箭頭所指爲新增內容

第五個問題

第五個問題，簡直是strimzi拿來噁心開發者的，在拉取消息的時候，bridge的server端只支持application/vnd.kafka.json.v2+json，結果在OpenApi中卻定義了多種類型，結果拉去消息的時候，bridge會提示多出的類型不支持
這個問題可以用postman等工具復現，如下圖
代碼的改動如下圖，修改api_consumers.go

第六個問題

最後一個問題是數據結構定義問題，打開model_consumer_record_list.go，看到內容如下，真夠壞的，挖這麼大的坑...

package swagger

type ConsumerRecordList struct {
}

改成這樣就好了

package swagger

type ConsumerRecordList []ConsumerRecord

第七個問題

第七個問題，也是挖了個坑讓我跳，打開文件model_producer_record.go，內容如下，根據前一篇的請求內容，可知這裏缺少兩個字段：Key和Value

package swagger

type ProducerRecord struct {
	Partition int32 `json:"partition,omitempty"`
	Headers *KafkaHeaderList `json:"headers,omitempty"`
}

修改後如下

package swagger

type ProducerRecord struct {
	Partition int32 `json:"partition,omitempty"`
	Value string `json:"value"`
	Key string `json:"key,omitempty"`
	Headers *KafkaHeaderList `json:"headers,omitempty"`
}

第八個問題

最後一個問題，是在提交offset的時候，bridge後臺不接受contentType，所以請打開文件api_consumers.go，修改如下，註釋掉一行代碼
坑已經填完了，開始驗證SDK能不能用吧

編寫代碼驗證功能：查看topic列表

打開main.go文件，增加以下內容，都是要用到的常量，以及sdk配置的初始化

// 測試用的topic
const TEST_TOPIC = "bridge-quickstart-topic"

const TEST_GROUP = "client-sdk-group"

const CONSUMER_NAME = "client-sdk-consumer-002"

// strimzi bridge地址
const BASE_PATH = "http://127.0.0.1:31331"

var client *swagger.APIClient

func init() {
	configuration := swagger.NewConfiguration()
	configuration.BasePath = BASE_PATH
	client = swagger.NewAPIClient(configuration)
}

調用SDK來查看kafka的topic列表的代碼如下

func getAllTopics() ([]string, error) {
	array, response, err := client.TopicsApi.ListTopics(context.Background())

	if err != nil {
		log.Printf("getAllTopics err: %v\n", err)
		return nil, err
	}

	log.Printf("response: %v", response)

	return array, nil
}

在main方法中調用getAllTopics

func main() {
	topics, err := getAllTopics()
	if err != nil {
		return
	}

	fmt.Printf("topics: %v\n", topics)
}

運行main方法，結果如下，可見成功獲取到topic列表，sdk能用

2022/12/18 21:26:33 response: &{200 OK 200 HTTP/1.1 1 1 map[Content-Length:[109] Content-Type:[application/vnd.kafka.v2+json]] 0x140000e0300 109 [] false false map[] 0x14000118100 <nil>}
topics: [__strimzi_store_topic bridge-quickstart-topic __strimzi-topic-operator-kstreams-topic-store-changelog]

Process finished with the exit code 0

編寫代碼驗證功能：發送消息

發送消息的代碼如下

// 發送消息(異步模式，不會收到offset返回)
func sendAsync(info string) error {
	log.Print("send [" + info + "]")
	_, response, err := client.ProducerApi.Send(context.Background(),
		TEST_TOPIC,
		swagger.ProducerRecordList{
			Records: []swagger.ProducerRecord{
				{Value: "message from go swagger SDK"},
			},
		},
		&swagger.SendOpts{Async: optional.NewBool(true)},
	)

	if err != nil {
		log.Printf("send err: %v\n", err)
		return err
	}

	log.Printf("response: %v", response.StatusCode)

	return nil
}

把main方法改成下面這樣，連續調用發送消息的請求

func main() {
	for i := 0; i < 10; i++ {
		sendAsync("message from go client " + strconv.Itoa(i))
	}
}

控制檯輸出如下，可見發送消息成功，稍後咱們還會寫消費的代碼來消費這些消息

/private/var/folders/5v/p3bj9bzx2nd99y5l21nb1c080000gn/T/GoLand/___go_build_sdkdemo
2022/12/18 21:35:47 send [message from go client 0]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 1]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 2]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 3]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 4]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 5]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 6]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 7]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 8]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 9]
2022/12/18 21:35:47 response: 204

Process finished with the exit code 0

編寫代碼驗證功能：創建consumer

先增加兩個輔助方法，用來處理特別的包體和錯誤信息

// 取出swagger特有的error類型，從中提取中有效的錯誤信息
func getErrorMessage(err error) string {
	e := err.(swagger.GenericSwaggerError)
	return string(e.Body())
}

func getBodyStr(body io.ReadCloser) string {
	buf := new(bytes.Buffer)
	buf.ReadFrom(body)
	return buf.String()
}

創建consumer的代碼如下

// 創建consumer
func CreateConsumer(group string, consumerName string) (*swagger.CreatedConsumer, error) {

	consumer, response, err := client.ConsumersApi.CreateConsumer(context.Background(),
		group,
		swagger.Consumer{
			Name:                     consumerName,
			AutoOffsetReset:          "latest",
			FetchMinBytes:            16,
			ConsumerRequestTimeoutMs: 300 * 1000,
			EnableAutoCommit:         false,
			Format:                   "json",
		})

	if err != nil {
		log.Printf("CreateConsumer error : %v", getErrorMessage(err))
		return nil, err
	}

	log.Printf("CreateConsumer response : %v, body [%v]", response, getBodyStr(response.Body))
	log.Printf("consumer : %v", consumer)
	return &consumer, nil
}

在main方法中調用，即可創建consumer

func main() {
	// 創建consumer
	CreateConsumer(TEST_GROUP, CONSUMER_NAME)
}

編寫代碼驗證功能：訂閱

訂閱代碼如下

// 訂閱
func Subsciribe(topic string, consumerGroup string, consumerName string) error {

	response, err := client.ConsumersApi.Subscribe(context.Background(),
		swagger.Topics{Topics: []string{topic}},
		consumerGroup,
		consumerName,
	)

	if err != nil {
		log.Printf("Subscribe error : %v", err)
		return err
	}

	log.Printf("Subscribe response : %v", response)
	return nil
}

在main方法中這樣調用

func main() {
	err := Subsciribe(TEST_TOPIC, TEST_GROUP, CONSUMER_NAME)
	if err != nil {
		fmt.Printf("err : %v\n", err)
	}
}

編寫代碼驗證功能：拉取消息

以下是拉取消息的代碼

// 拉取消息
func Poll(consumerGroup string, consumerName string) error {
	// ctx context.Context, groupid string, name string, localVarOptionals *PollOpts
	recordList, response, err := client.ConsumersApi.Poll(context.Background(), consumerGroup, consumerName, nil)
	if err != nil {
		log.Printf("Poll error : %v", err)
		return err
	}

	log.Printf("Poll response : %v", response)
	fmt.Printf("recordList: %v\n", recordList)
	return nil
}

main方法如下

func main() {
	Poll(TEST_GROUP, CONSUMER_NAME)
}

執行main方法，第一次拉取不到消息，別擔心，這是正常的現象，按照官方的說法，拉取到的第一條消息就是空的，這是因爲拉取操作出觸發了rebalancing邏輯（rebalancing是kafka的概覽，是處理多個partition消費的操作），再次執行main方法，這下正常了，控制檯輸出如下

/private/var/folders/5v/p3bj9bzx2nd99y5l21nb1c080000gn/T/GoLand/___go_build_sdkdemo
2022/12/18 21:43:16 Poll response : &{200 OK 200 HTTP/1.1 1 1 map[Content-Length:[2301] Content-Type:[application/vnd.kafka.json.v2+json]] 0x140000e0340 2301 [] false false map[] 0x1400011a100 <nil>}
recordList: [{ 163468 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163469 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163470 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163471 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163472 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163473 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 162246 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162247 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162248 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162249 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162250 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 163669 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163670 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163671 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163672 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163146 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163147 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163148 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163149 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163150 3 bridge-quickstart-topic message from go swagger SDK <nil>}]

Process finished with the exit code 0

編寫代碼驗證功能：提交offset

最後是提交offset的功能，這樣從消息的發送再到接收的整個流程都實現了api覆蓋，增加Offset方法

// 提交offset
func Offset(consumerGroup string, consumerName string) error {
	response, err := client.ConsumersApi.Commit(context.Background(),
		consumerGroup,
		consumerName, nil)

	if err != nil {
		log.Printf("Poll error : %v", err)
		return err
	}

	log.Printf("Offset response : %v", response)
	return nil
}

調用很簡單

func main() {
	err := Offset(TEST_GROUP, CONSUMER_NAME)
	if err != nil {
		print(err)
	}
}

執行結果如下，返回204，提交成功

/private/var/folders/5v/p3bj9bzx2nd99y5l21nb1c080000gn/T/GoLand/___go_build_sdkdemo
2022/12/18 22:07:38 Offset response : &{204 No Content 204 HTTP/1.1 1 1 map[] {} 0 [] false false map[] 0x1400011a100 <nil>}

Process finished with the exit code 0

java的問題

從go版本的修改程度可以發現，基於openapiv2.json生成的sdk代碼真的很難用，在go環境尚且如此，換成java環境就更難改了，雖然我也嘗試過將其改好，但是面對很多jar的時候還是無能爲力，下圖是一個很難處理的地方，ApiClient並不支持application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json，contentType改不成正常的，bridge後臺就會返回錯誤，所以最終我只能罵罵咧咧的放棄了

有收穫嗎？

面對這麼爛的SDK源碼，一般人都不會在生產環境使用，但是個人覺得也不是一無是處，這裏小結一下收穫

瞭解了go版本swagger sdk源碼的基本結構，和請求響應邏輯
知道了大衆工具也有出問題的時候
strimzi到底測試過嗎，這個做CICD自動化應該可以做到吧，能進CNCF的項目，也是會出問題的...

歡迎關注博客園：程序員欣宸

學習路上，你不孤單，欣宸原創一路相伴...

Strimzi Kafka Bridge(橋接)實戰之三：自制sdk(golang版本)

歡迎訪問我的GitHub

本篇概覽

爲什麼是golang版本

環境信息

下載OpenApi的配置文件

下載swagger工具

用swagger工具生成客戶端sdk代碼

創建一個golang的demo程序，使用剛剛生成的客戶端sdk代碼

修復有問題的sdk源碼，第一個問題

第二個問題

第三個問題

第四個問題

第五個問題

第六個問題

第七個問題

第八個問題

編寫代碼驗證功能：查看topic列表

編寫代碼驗證功能：發送消息

編寫代碼驗證功能：創建consumer

編寫代碼驗證功能：訂閱

編寫代碼驗證功能：拉取消息

編寫代碼驗證功能：提交offset

java的問題

有收穫嗎？

歡迎關注博客園：程序員欣宸

Go語言基準測試(benchmark)三部曲之三：提高篇

Go語言基準測試(benchmark)三部曲之二：內存篇

Go語言基準測試(benchmark)三部曲之一：基礎篇

雲端golang開發，無需本地配置，能上網就能開發和運行

client-go實戰之九：手寫一個kubernetes的controller

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結