消息隊列廢話不多說了,直切正題吧:
直接去https://github.com/nsqio/nsq/releases下載編譯好的執行文件,比如我下載的是nsq-1.2.0.linux-amd64.go1.12.9.tar.gz
直接解壓後(我的重命名了nsq-1.2.0):bin目錄裏就會出現一大堆nsq_…開頭的可執行文件:
進入bin目錄
cd nsq-1.2.0/bin
啓動nsqlookup
./nsqlookupd &
啓動nsqd
./nsqd --lookupd-tcp-address=127.0.0.1:4160 &
運行 nsqadmin 管理
./nsqadmin --lookupd-http-address=0.0.0.0:4161 --http-address=10.20.23.29:8761&
客戶端寫入消息
curl -d 'hello world 1' 'http://127.0.0.1:4151/pub?topic=hello word'
隊列消息寫入文件
./nsq_to_file --topic=test --output-dir=/tmp/log --lookupd-http-address=127.0.0.1:4161
訪問nsqadmin(以下是本機ip)
http://10.20.23.29:8761/
Nsq服務端
nsqlookupd
看看官方的原話是怎麼說:
nsqlookupd是守護進程負責管理拓撲信息。客戶端通過查詢 nsqlookupd 來發現指定話題(topic)的生產者,並且 nsqd 節點廣播話題(topic)和通道(channel)信息
簡單的說nsqlookupd就是中心管理服務,它使用tcp(默認端口4160)管理nsqd服務,使用http(默認端口4161)管理nsqadmin服務。同時爲客戶端提供查詢功能
總的來說,nsqlookupd具有以下功能或特性
唯一性,在一個Nsq服務中只有一個nsqlookupd服務。當然也可以在集羣中部署多個nsqlookupd,但它們之間是沒有關聯的
去中心化,即使nsqlookupd崩潰,也會不影響正在運行的nsqd服務
充當nsqd和naqadmin信息交互的中間件
提供一個http查詢服務,給客戶端定時更新nsqd的地址目錄
nsqadmin
官方原話:是一套 WEB UI,用來彙集集羣的實時統計,並執行不同的管理任務
總的來說,nsqadmin具有以下功能或特性
提供一個對topic和channel統一管理的操作界面以及各種實時監控數據的展示,界面設計的很簡潔,操作也很簡單
展示所有message的數量,恩…裝X利器
能夠在後臺創建topic和channel,這個應該不常用到
nsqadmin的所有功能都必須依賴於nsqlookupd,nsqadmin只是向nsqlookupd傳遞用戶操作並展示來自nsqlookupd的數據
nsqadmin默認的訪問地址是 http://127.0.0.1:4171/
使用
創建一個channer001主題,併發送一個how are you消息
curl -d 'how are you' 'http://127.0.0.1:4151/pub?topic=channer001'
nsqd
官方原話:nsqd 是一個守護進程,負責接收,排隊,投遞消息給客戶端 簡單的說,真正幹活的就是這個服務,它主要負責message的收發,隊列的維護。nsqd會默認監聽一個tcp端口(4150)和一個http端口(4151)以及一個可選的https端口 總的來說,nsqd 具有以下功能或特性 對訂閱了同一個topic,同一個channel的消費者使用負載均衡策略(不是輪詢) 只要channel存在,即使沒有該channel的消費者,也會將生產者的message緩存到隊列中(注意消息的過期處理) 保證隊列中的message至少會被消費一次,即使nsqd退出,也會將隊列中的消息暫存磁盤上(結束進程等意外情況除外) 限定內存佔用,能夠配置nsqd中每個channel隊列在內存中緩存的message數量,一旦超出,message將被緩存到磁盤中 topic,channel一旦建立,將會一直存在,要及時在管理臺或者用代碼清除無效的topic和channel,避免資源的浪費
這是官方的圖,第一個channel(meteics)因爲有多個消費者,所以觸發了負載均衡機制。後面兩個channel由於沒有消費者,所有的message均會被緩存在相應的隊列裏,直到消費者出現
使用Go操作NSQ
官方提供了Go語言版的客戶端:go-nsq,更多客戶端支持請查看CLIENT LIBRARIES。
安裝
go get -u github.com/nsqio/go-nsq
1.生產者
一個簡單的生產者示例代碼如下:
// gin-vue/product.go package main import ( "log" "github.com/nsqio/go-nsq" "io/ioutil" "strconv" ) var nullLogger = log.New(ioutil.Discard, "", log.LstdFlags) func sendMessage() { config := nsq.NewConfig() // 1. 創建生產者 producer, err := nsq.NewProducer("127.0.0.1:4150", config) if err != nil { log.Fatalln("連接失敗: (127.0.0.1:4150)", err) } errPing := producer.Ping() // 2. 生產者ping if errPing != nil { log.Fatalln("無法ping通: 127.0.0.1:4150", errPing) } producer.SetLogger(nullLogger, nsq.LogLevelInfo) // 3. 設置不輸出info級別的日誌 for i := 0; i < 5; i++ { // 4. 生產者發佈消息 message := "消息發送測試 " + strconv.Itoa(i+10000) err2 := producer.Publish("one-test", []byte(message)) // 注意one-test 對應消費者consumer.go 保持一致 if err2 != nil { log.Panic("生產者推送消息失敗!") } } producer.Stop() // 5. 生產者停止執行 } func main() { sendMessage() }
2.消費者
創建消費者的方式有兩種,一種是通過http請求來發現nsqd生產者和配置的topic,另一種是直接使用tcp請求來連接本地實例 。
示例代碼如下所示:
// gin-vue/consumer.go package main import ( "log" "github.com/nsqio/go-nsq" "fmt" ) func doConsumerTask() { // 1. 創建消費者 config := nsq.NewConfig() q, errNewCsmr := nsq.NewConsumer("one-test", "ch-one-test", config) if errNewCsmr != nil { fmt.Printf("fail to new consumer!, topic=%s, channel=%s", "one-test", "ch-one-test") } // 2. 添加處理消息的方法 q.AddHandler(nsq.HandlerFunc(func(message *nsq.Message) error { log.Printf("message: %v", string(message.Body)) message.Finish() return nil })) // 3. 通過http請求來發現nsqd生產者和配置的topic(推薦使用這種方式) lookupAddr := []string{ "127.0.0.1:4161", } err := q.ConnectToNSQLookupds(lookupAddr) if err != nil { log.Panic("[ConnectToNSQLookupds] Could not find nsqd!") } // 4. 接收消費者停止通知 <-q.StopChan // 5. 獲取統計結果 stats := q.Stats() fmt.Sprintf("message received %d, finished %d, requeued:%s, connections:%s", stats.MessagesReceived, stats.MessagesFinished, stats.MessagesRequeued, stats.Connections) } func main() { doConsumerTask() }
將上面的代碼編譯執行,然後在終端輸入後效果如下:
使用瀏覽器打開http://10.20.23.29:8761/可以查看到類似下面的頁面: 在下面這個頁面能看到當前的topic
信息:
點擊對應的topic進去查看詳情:
未完待續........更多關於
go-nsq
的更多內容請閱讀go-nsq的官方文檔。