Golang分片讀取http超大文件流和併發控制

分片讀取http超大文件流

Golang中的HTTP發送get請求，在獲取內容有兩種情況。
Golang發送http get請求方式

resp, err := http.Get(sendUrl)
if err != nil {
	fmt.Println("出錯", err)
	return
}

第一種方式是直接全部讀取出來，這種方式在小數據量的時候很方便。
body變量直接全部接收resp響應內容

body, err2 := ioutil.ReadAll(resp.Body)

第二種方式，分片獲取。
首先頂一個切片buf := make([]byte, 4096) 容量和大小都是4096個char字符（切片就是Golang自己的動態變長數組）

for無限循環讀取，讀取一塊內容放入buf中。result 是一個string字符串，然後用 result 自動拼接。

for {
    n, err:= resp.Body.Read(buf)
	if err != nil || n == 0{
		fmt.Println("出現錯誤")
		break
	}
	result += string(buf[:n])
}

Golang中匹配正則
MustCompile內容不是單引號，而是 `

// 解析，編譯正則表達式
ret := regexp.MustCompile(`<img width="100" alt="(?:(.*?))"`)
//提取需要信息
var fileName [][] string = ret.FindAllStringSubmatch(result, -1)

該方法可以進一步推廣，可以推廣到下載超大文件，然後分片讀取和寫入硬盤。
然後再開啓另一個線程去將這些已經寫入硬盤的分片合稱在一起。

Golang 併發控制

Java中的多線程，如果主線程開啓多個子線程後，在多個子線程全部完成後，主線程纔會退出，程序終止。
而在Golang中不會出現此類情況，主Go程和子Go程需要人爲控制主GO程和子GO程同步，否則主GO程瞬間結束。
在主GO程開始執行子GO程地方創建一個 channel。子GO程開始往 channel 中添加數據，主GO程再消費數據。

func toWork(start, end int)  {
	//子Go程與主Go程完成同步，意思是子Go程沒有全部執行完畢，主Go程不許退出。
	page := make(chan int) 

	for i:=start; i<=end; i++ {
		//開啓子GO程
		go SpiderPage(i, page)
	}
	//主GO程開始消費管道中的數據
	for i:=start; i<=end; i++ {
		fmt.Println("爬取完成", <- page)
	}
}

往主GO程的channel中添加數據，提供給主GO程消費從而達到同步

func SpiderPage(index int, page chan int)  {
	page <- index
}

讀取http二進制碼寫入圖片

創建文件
獲取http流
分片逐步寫入

func saveImag(sendUrl string, index int, imageChannel chan int)  {
	//創建文件
	path := "C:/img/" + strconv.Itoa(index) + ".jpg"
	f, err := os.Create(path)
	if err != nil {
		return
	}
	defer f.Close()
	//獲取http流
	resp, err :=http.Get(sendUrl)
	if err != nil {
		return
	}
	defer resp.Body.Close()
	//分片逐步寫入
	buf := make([]byte, 4096)
	for {
		n, err := resp.Body.Read(buf)
		if err != nil {
			break
		}
		f.Write(buf[:n])
	}
	imageChannel <- index
}