Golang 獲取文件 md5 校驗和的方法及效率比較

近期有一個需求：獲取多個文件 md5 校驗和判斷是否存在重複文件，因爲文件數量較多，有的文件還比較大，需要處理的文件還沒有到位，我就考慮了一下效率的問題。目前我已知的 Golang 中獲取 md5 校驗和的方法有兩個，這裏直接給出實現源碼。

package main

import (
    "crypto/md5"
    "flag"
    "fmt"
    "io"
    "io/ioutil"
    "os"
)

var which = flag.Bool("which", true, "")
var path = flag.String("path", "", "")
var cnt = flag.Int("cnt", 100, "")

func aaa() {
    f, err := os.Open(*path)
    if err != nil {
        fmt.Println("Open", err)
        return
    }

    defer f.Close()

    body, err := ioutil.ReadAll(f)
    if err != nil {
        fmt.Println("ReadAll", err)
        return
    }

    md5.Sum(body)
    //fmt.Printf("%x\n", md5.Sum(body))
}

func bbb() {
    f, err := os.Open(*path)
    if err != nil {
        fmt.Println("Open", err)
        return
    }

    defer f.Close()

    md5hash := md5.New()
    if _, err := io.Copy(md5hash, f); err != nil {
        fmt.Println("Copy", err)
        return
    }

    md5hash.Sum(nil)
    //fmt.Printf("%x\n", md5hash.Sum(nil))
}

func main() {
    flag.Parse()

    for i := 0; i < *cnt; i++ {
        if *which {
            aaa()
        } else {
            bbb()
        }
    }
}

還有可供參考的獲取 md5 校驗和的 Shell 命令

md5 -- calculate a message-digest fingerprint (checksum) for a file
md5 [-pqrtx] [-s string] [file ...]

測試文件是公司項目的日誌文件

banjakukutekiiMac:shell panshiqu$ ls -an | grep by
-rw-r--r--   1 501  20   7285957 11 17 16:14 by.out

banjakukutekiiMac:shell panshiqu$ cp by.out by2.out
banjakukutekiiMac:shell panshiqu$ cat by.out >> by2.out

banjakukutekiiMac:shell panshiqu$ ls -an | grep by
-rw-r--r--   1 501  20   7285957 11 17 16:14 by.out
-rw-r--r--   1 501  20  14571914 11 17 17:03 by2.out

下面效率展示

banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=true -path="by.out"

real    0m0.027s
user    0m0.017s
sys 0m0.012s
banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=true -path="by2.out"

real    0m0.048s
user    0m0.033s
sys 0m0.018s
banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=false -path="by.out"

real    0m0.018s
user    0m0.012s
sys 0m0.004s
banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=false -path="by2.out"

real    0m0.031s
user    0m0.024s
sys 0m0.005s
banjakukutekiiMac:shell panshiqu$ time md5 by.out
MD5 (by.out) = 9d79e19a00cef1ae1bb6518ca4adf9de

real    0m0.023s
user    0m0.019s
sys 0m0.006s
banjakukutekiiMac:shell panshiqu$ time md5 by2.out
MD5 (by2.out) = 0a029a460a20e8dcb00d032d6fab74c6

real    0m0.042s
user    0m0.037s
sys 0m0.009s

總結：
* 不管什麼方法都會隨着文件變大時間會變長，上面的例子大約都是2倍
* io.Copy 方法效率最高，建議大家這樣使用

====本文內容已完，宣傳我的項目====
歡迎關注《休閒益智遊戲》微信服務號
謝謝