簡單談談Golang中的字符串與字節數組

這篇文章主要給大家介紹了關於Golang中字符串與字節數組的相關資料,文中通過示例代碼介紹的非常詳細,對大家的學習或者使用Golang具有一定的參考學習價值,需要的朋友們下面來一起學習學習吧

前言

字符串是 Go 語言中最常用的基礎數據類型之一,雖然字符串往往都被看做是一個整體,但是實際上字符串是一片連續的內存空間,我們也可以將它理解成一個由字符組成的數組,Go 語言中另外一個與字符串關係非常密切的類型就是字節(Byte)了,相信各位讀者也都非常瞭解,這裏也就不展開介紹。

我們在這一節中就會詳細介紹這兩種基本類型的實現原理以及它們的轉換關係,但是這裏還是會將介紹的重點主要放在字符串上,因爲這是我們接觸最多的一種基本類型並且後者就是一個簡單的 uint8 類型,所以會給予 string 最大的篇幅,需要注意的是這篇文章不會使用大量的篇幅介紹 UTD-8 以及編碼等知識,主要關注的還是字符串的結構以及常見操作的實現。

字符串雖然在 Go 語言中是基本類型 string ,但是它其實就是字符組成的數組,C 語言中的字符串就可以用 char[] 來表示,作爲數組來說它會佔用一片連續的內存空間,這片連續的內存空間就存儲了一些 字節 ,這些字節共同組成了字符串, Go 語言中的字符串是一個只讀的字節數組切片 ,下面就是一個只讀的 "hello" 字符串在內存中的結構:

如果是代碼中存在的字符串,會在編譯期間被標記成只讀數據 SRODATA 符號,假設我們有以下的一段代碼,其中包含了一個字符串,當我們將這段代碼編譯成彙編語言時,就能夠看到 hello 字符串有一個 SRODATA 的標記:

$ cat main.go
package main

func main() {
 str := "hello"
 println([]byte(str))
}

$ GOOS=linux GOARCH=amd64 go tool compile -S main.go
...
go.string."hello" SRODATA dupok size=5
 0x0000 68 65 6c 6c 6f     hello
...

不過這隻能表明編譯期間存在的字符串會被直接分配到只讀的內存空間並且這段內存不會被更改,但是在運行時我們其實還是可以將這段內存拷貝到其他的堆或者棧上,同時將變量的類型修改成 []byte 在修改之後再通過類型轉換變成 string ,不過如果想要直接修改 string 類型變量的內存空間,Go 語言是不支持這種操作的。

除了今天的主角字符串之外,另外的配角 byte 也還是需要簡單介紹一下的,byte 其實非常好理解,每一個 byte 就是 8 個 bit,相信稍微對編程有所瞭解的人應該都對這個概念一清二楚,而字節數組也沒什麼值得介紹的,所以這裏就直接跳過了。

字符串在 Go 語言中的接口其實非常簡單,每一個字符串在運行時都會使用如下的 StringHeader 結構體去表示,在運行時包的內部其實有一個私有的結構 stringHeader ,它有着完全相同的結構只是用於存儲數據的 Data 字段使用了 unsafe.Pointer 類型:

type StringHeader struct {
 Data uintptr
 Len int
}

爲什麼我們會說字符串其實是一個只讀類型的切片 呢,我們可以看一下切片在 Go 語言中的運行時表示:

type SliceHeader struct {
 Data uintptr
 Len int
 Cap int
}

這個表示切片的結構 SliceHeader 和字符串的結構 StringHeader 非常類似,與切片的結構相比,字符串少了一個表示容量的 Cap 字段,這是因爲字符串作爲只讀的類型,我們並不會直接向字符串直接追加元素改變其本身的內存空間,所有追加的操作都是通過拷貝來完成的。

字符串的解析一定是解析器在詞法分析 時就完成的,詞法分析階段會對源文件中的字符串進行切片和分組,將原有無意義的字符流轉換成 Token 序列,在 Go 語言中,有兩種字面量的方式可以聲明一個字符串,一種是使用雙引號,另一種是使用反引號:

str1 := "this is a string"
str2 := `this is another 
string`

使用雙引號聲明的字符串其實和其他語言中的字符串沒有太多的區別,它只能用於簡單、單行的字符串並且如果字符串內部出現雙引號時需要使用 \ 符號避免編譯器的解析錯誤,而反引號聲明的字符串就可以擺脫單行的限制,因爲雙引號不再標記字符串的開始和結束,我們可以在字符串內部直接使用 " ,在遇到需要寫 JSON 或者其他數據格式的場景下非常方便。

兩種不同的聲明方式其實也意味着 Go 語言的編譯器需要在解析的階段能夠區分並且正確解析這兩種不同的字符串格式,解析字符串使用的 scanner 掃描器,它的主要作用就是將輸入的字符流轉換成 Token 流, stdString 方法就是它用來解析使用雙引號包裹的標準字符串:

func (s *scanner) stdString() {
 s.startLit()

 for {
 r := s.getr()
 if r == '"' {
 break
 }
 if r == '\\' {
 s.escape('"')
 continue
 }
 if r == '\n' {
 s.ungetr()
 s.error("newline in string")
 break
 }
 if r < 0 {
 s.errh(s.line, s.col, "string not terminated")
 break
 }
 }

 s.nlsemi = true
 s.lit = string(s.stopLit())
 s.kind = StringLit
 s.tok = _Literal
}

從這個方法中我們其實能夠看出 Go 語言處理標準字符串的邏輯:

1.標準字符串使用雙引號表示開頭和結尾;

2. 標準字符串中需要使用反斜槓 \ 來 escape 雙引號;

3. 標準字符串中不能出現換行符號 \n ;

原始字符串解析的規則就非常簡單了,它會將非反引號的所有字符都劃分到當前字符串的範圍中,所以我們可以使用它來支持複雜的多行字符串字面量,例如 JSON 等數據格式。

func (s *scanner) rawString() {
 s.startLit()

 for {
 r := s.getr()
 if r == '`' {
 break
 }
 if r < 0 {
 s.errh(s.line, s.col, "string not terminated")
 break
 }
 }

 s.nlsemi = true
 s.lit = string(s.stopLit())
 s.kind = StringLit
 s.tok = _Literal
}

無論是標準字符串還是原始字符串最終都會被標記成 StringLit 類型的 Token 並傳遞到編譯的下一個階段 —語法分析,在語法分析的階段,與字符串相關的表達式都會使用如下的方法 BasicLit 對字符串進行處理:

func (p *noder) basicLit(lit *syntax.BasicLit) Val {
 switch s := lit.Value; lit.Kind {
 case syntax.StringLit:
 if len(s) > 0 && s[0] == '`' {
 s = strings.Replace(s, "\r", "", -1)
 }
 u, _ := strconv.Unquote(s)
 return Val{U: u}
 }
}

無論是 import 語句中包的路徑、結構體中的字段標籤還是表達式中的字符串都會使用這個方法將原生字符串中最後的換行符刪除並對字符串 Token 進行 Unquote,也就是去掉字符串兩遍的引號等無關干擾,還原其本來的面目。

strconv.Unquote 方法處理了很多邊界條件導致整個函數非常複雜,不僅包括各種不同引號的處理,還包括 UTF-8 等編碼的相關問題,所以在這裏也就不展開介紹了,感興趣的讀者可以在 Go 語言中找到 strconv.Unquote 方法詳細瞭解它的執行過程。

介紹完了字符串的的解析過程,這一節就會繼續介紹字符串的常見操作了,我們在這裏要介紹的字符串常見操作包括字符串的拼接和類型轉換,字符串相關功能的主要是通過 Go 語言運行時或者 strings 包完成的,我們會重點介紹運行時字符串的操作,想要了解 strings 包的讀者可以閱讀相關的代碼,這裏就不多介紹了。

Go 語言中拼接字符串會使用 + 符號,當我們使用這個符號對字符串進行拼接時,編譯器會在類型檢查階段將 OADD 節點轉換成 OADDSTR 類型的節點,隨後在 SSA 中間代碼生成的階段調用 addstr 函數:

func walkexpr(n *Node, init *Nodes) *Node {
 switch n.Op {
 // ...
 case OADDSTR:
 n = addstr(n, init)
 }
}

addstr 函數就是幫助我們在編譯期間選擇合適的函數對字符串進行拼接,如果需要拼接的字符串小於或者等於 5 個,那麼就會直接調用 concatstring{2,3,4,5} 等一系列函數,如果超過 5 個就會直接選擇 concatstrings 傳入一個數組切片。

func addstr(n *Node, init *Nodes) *Node {
 c := n.List.Len()

 buf := nodnil()
 args := []*Node{buf}
 for _, n2 := range n.List.Slice() {
 args = append(args, conv(n2, types.Types[TSTRING]))
 }

 var fn string
 if c <= 5 {
 fn = fmt.Sprintf("concatstring%d", c)
 } else {
 fn = "concatstrings"

 t := types.NewSlice(types.Types[TSTRING])
 slice := nod(OCOMPLIT, nil, typenod(t))
 slice.List.Set(args[1:])
 args = []*Node{buf, slice}
 }

 cat := syslook(fn)
 r := nod(OCALL, cat, nil)
 r.List.Set(args)
 // ...

 return r
}

其實無論使用 concatstring{2,3,4,5} 中的哪一個,最終都會調用 concatstrings ,在這個函數中我們會先對傳入的切片參數進行遍歷,首先會過濾空字符串並獲取拼接後字符串的長度。

func concatstrings(buf *tmpBuf, a []string) string {
 idx := 0
 l := 0
 count := 0
 for i, x := range a {
 n := len(x)
 if n == 0 {
 continue
 }
 if l+n < l {
 throw("string concatenation too long")
 }
 l += n
 count++
 idx = i
 }
 if count == 0 {
 return ""
 }

 if count == 1 && (buf != nil || !stringDataOnStack(a[idx])) {
 return a[idx]
 }
 s, b := rawstringtmp(buf, l)
 for _, x := range a {
 copy(b, x)
 b = b[len(x):]
 }
 return s
}

如果非空字符串的數量爲 1 並且當前的字符串不在棧上或者沒有逃逸出調用堆棧,那麼就可以直接返回該字符串,不需要進行任何的耗時操作。

但是在正常情況下,原始的多個字符串都會被調用 copy 將所有的字符串拷貝到目標字符串所在的內存空間中,新的字符串其實就是一片新的內存空間,與原來的字符串沒有任何關聯。

類型轉換

當我們使用 Go 語言做一些 JSON 等數據格式的解析和序列化時,可能經常會將這些變量在字符串和字節數組之間來回轉換,類型之間轉換的開銷並沒有想象的這麼小,我們經常會看到 slicebytetostring 等函數出現在火焰圖中,這個函數就是將字節數組轉換成字符串所使用的函數,也就是一個類似 string(bytes) 的操作會在編譯期間轉換成 slicebytetostring 的函數調用,這個函數在函數體中首先會處理兩種比較常見的情況,也就是字節長度爲 0 或者 1 的情況:

func slicebytetostring(buf *tmpBuf, b []byte) (str string) {
 l := len(b)
 if l == 0 {
 return ""
 }
 if l == 1 {
 stringStructOf(&str).str = unsafe.Pointer(&staticbytes[b[0]])
 stringStructOf(&str).len = 1
 return
 }

 var p unsafe.Pointer
 if buf != nil && len(b) <= len(buf) {
 p = unsafe.Pointer(buf)
 } else {
 p = mallocgc(uintptr(len(b)), nil, false)
 }
 stringStructOf(&str).str = p
 stringStructOf(&str).len = len(b)
 memmove(p, (*(*slice)(unsafe.Pointer(&b))).array, uintptr(len(b)))
 return
}

處理過後會根據傳入的緩衝區大小決定是否需要爲新的字符串分配一片內存空間, stringStructOf 會將傳入的字符串指針轉換成 stringStruct 結構體指針,然後設置結構體持有的指針 str 和字符串長度 len ,最後通過 memmove 將原字節數組中的字節全部複製到新的內存空間中。

從字符串到字節數組的轉換使用的就是 stringtoslicebyte 函數了,這個函數的實現非常簡單:

func stringtoslicebyte(buf *tmpBuf, s string) []byte {
 var b []byte
 if buf != nil && len(s) <= len(buf) {
 *buf = tmpBuf{}
 b = buf[:len(s)]
 } else {
 b = rawbyteslice(len(s))
 }
 copy(b, s)
 return b
}

它會使用傳入的緩衝區或者根據字符串的長度調用 rawbyteslice 創建一個新的字節切片, copy 關鍵字就會將字符串中的內容拷貝到新的字節數組中。

字符串和字節數組中的內容雖然一樣,但是字符串的內容是隻讀的,我們不能通過下標或者其他形式改變其內存存儲的數據,而字節切片中的內容都是可以讀寫的,所以無論是從哪種類型轉換到另一種都需要對其中的內容進行拷貝,內存拷貝的性能損耗會隨着字符串數組和字節長度的增長而增長,所以在做這種類型轉換時一定要注意性能上的問題。

字符串是 Go 語言中相對來說比較簡單的一種數據結構,作爲只讀的數據類型,我們無法改變其本身的結構,但是在做類型轉換的操作時一定要注意性能上的瓶頸,遇到需要極致性能的場景一定要儘量減少不同類型的轉換,避免額外的開銷。

相關文章

本作品採用進行許可。 轉載時請註明原文鏈接,圖片在使用時請保留圖片中的全部內容,可適當縮放並在引用處附上圖片所在的文章鏈接,圖片使用 Sketch 進行繪製。如果對本文的內容有疑問,請在下面的評論系統中留言,謝謝。

好了,以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對神馬文庫的支持。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章