讀寫文件的鎖實例

原創 樑十八 2019-04-02 13:44

讀寫文件的鎖實例

版本一：
datafile1.go：

package v1

import (
    "errors"
    "io"
    "os"
    "sync"
)

// Data 代表數據的類型。
type Data []byte

// DataFile 代表數據文件的接口類型。
type DataFile interface {
    // Read 會讀取一個數據塊。
    Read() (rsn int64, d Data, err error)
    // Write 會寫入一個數據塊。
    Write(d Data) (wsn int64, err error)
    // RSN 會獲取最後讀取的數據塊的序列號。
    RSN() int64
    // WSN 會獲取最後寫入的數據塊的序列號。
    WSN() int64
    // DataLen 會獲取數據塊的長度。
    DataLen() uint32
    // Close 會關閉數據文件。
    Close() error
}

// myDataFile 代表數據文件的實現類型。
type myDataFile struct {
    f       *os.File     // 文件。
    fmutex  sync.RWMutex // 被用於文件的讀寫鎖。
    woffset int64        // 寫操作需要用到的偏移量。
    roffset int64        // 讀操作需要用到的偏移量。
    wmutex  sync.Mutex   // 寫操作需要用到的互斥鎖。
    rmutex  sync.Mutex   // 讀操作需要用到的互斥鎖。
    dataLen uint32       // 數據塊長度。
}

// NewDataFile 會新建一個數據文件的實例。
func NewDataFile(path string, dataLen uint32) (DataFile, error) {
    f, err := os.Create(path)
    if err != nil {
        return nil, err
    }
    if dataLen == 0 {
        return nil, errors.New("Invalid data length!")
    }
    df := &myDataFile{f: f, dataLen: dataLen}
    return df, nil
}

func (df *myDataFile) Read() (rsn int64, d Data, err error) {
    // 讀取並更新讀偏移量。
    var offset int64
    df.rmutex.Lock()
    offset = df.roffset
    df.roffset += int64(df.dataLen)
    df.rmutex.Unlock()

    //讀取一個數據塊。
    rsn = offset / int64(df.dataLen)
    bytes := make([]byte, df.dataLen)
    for {
        df.fmutex.RLock()
        _, err = df.f.ReadAt(bytes, offset)
        if err != nil {
            if err == io.EOF {
                df.fmutex.RUnlock()
                continue
            }
            df.fmutex.RUnlock()
            return
        }
        d = bytes
        df.fmutex.RUnlock()
        return
    }
}

func (df *myDataFile) Write(d Data) (wsn int64, err error) {
    // 讀取並更新寫偏移量。
    var offset int64
    df.wmutex.Lock()
    offset = df.woffset
    df.woffset += int64(df.dataLen)
    df.wmutex.Unlock()

    //寫入一個數據塊。
    wsn = offset / int64(df.dataLen)
    var bytes []byte
    if len(d) > int(df.dataLen) {
        bytes = d[0:df.dataLen]
    } else {
        bytes = d
    }
    df.fmutex.Lock()
    defer df.fmutex.Unlock()
    _, err = df.f.Write(bytes)
    return
}

func (df *myDataFile) RSN() int64 {
    df.rmutex.Lock()
    defer df.rmutex.Unlock()
    return df.roffset / int64(df.dataLen)
}

func (df *myDataFile) WSN() int64 {
    df.wmutex.Lock()
    defer df.wmutex.Unlock()
    return df.woffset / int64(df.dataLen)
}

func (df *myDataFile) DataLen() uint32 {
    return df.dataLen
}

func (df *myDataFile) Close() error {
    if df.f == nil {
        return nil
    }
    return df.f.Close()
}

datafile1_test.go：

package v1

import (
    "math/rand"
    "os"
    "path/filepath"
    "sync"
    "testing"
)

func removeFile(path string) error {
    file, err := os.Open(path)
    if err != nil {
        if !os.IsNotExist(err) {
            return err
        }
        return nil
    }
    file.Close()
    return os.Remove(path)
}

func TestIDataFile(t *testing.T) {
    t.Run("v1/all", func(t *testing.T) {
        dataLen := uint32(3)
        path1 := filepath.Join(os.TempDir(), "data_file_test_new.txt")
        defer func() {
            if err := removeFile(path1); err != nil {
                t.Errorf("Open file error: %s\n", err)
            }
        }()
        t.Run("New", func(t *testing.T) {
            testNew(path1, dataLen, t)
        })
        path2 := filepath.Join(os.TempDir(), "data_file_test.txt")
        defer func() {
            if err := removeFile(path2); err != nil {
                t.Fatalf("Open file error: %s\n", err)
            }
        }()
        max := 100000
        t.Run("WriteAndRead", func(t *testing.T) {
            testRW(path2, dataLen, max, t)
        })
    })
}

func testNew(path string, dataLen uint32, t *testing.T) {
    t.Logf("New a data file (path: %s, dataLen: %d)...\n",
        path, dataLen)
    dataFile, err := NewDataFile(path, dataLen)
    if err != nil {
        t.Logf("Couldn't new a data file: %s", err)
        t.FailNow()
    }
    if dataFile == nil {
        t.Log("Unnormal data file!")
        t.FailNow()
    }
    defer dataFile.Close()
    if dataFile.DataLen() != dataLen {
        t.Fatalf("Incorrect data length!")
    }
}

func testRW(path string, dataLen uint32, max int, t *testing.T) {
    t.Logf("New a data file (path: %s, dataLen: %d)...\n",
        path, dataLen)
    dataFile, err := NewDataFile(path, dataLen)
    if err != nil {
        t.Logf("Couldn't new a data file: %s", err)
        t.FailNow()
    }
    defer dataFile.Close()
    var wg sync.WaitGroup
    wg.Add(5)
    // 寫入。
    for i := 0; i < 3; i++ {
        go func() {
            defer wg.Done()
            var prevWSN int64 = -1
            for j := 0; j < max; j++ {
                data := Data{
                    byte(rand.Int31n(256)),
                    byte(rand.Int31n(256)),
                    byte(rand.Int31n(256)),
                }
                wsn, err := dataFile.Write(data)
                if err != nil {
                    t.Fatalf("Unexpected writing error: %s\n", err)
                }
                if prevWSN >= 0 && wsn <= prevWSN {
                    t.Fatalf("Incorect WSN %d! (lt %d)\n", wsn, prevWSN)
                }
                prevWSN = wsn
            }
        }()
    }
    // 讀取。
    for i := 0; i < 2; i++ {
        go func() {
            defer wg.Done()
            var prevRSN int64 = -1
            for i := 0; i < max; i++ {
                rsn, date, err := dataFile.Read()
                if err != nil {
                    t.Fatalf("Unexpected writing error: %s\n", err)
                }
                if date == nil {
                    t.Fatalf("Unnormal data!")
                }
                if prevRSN >= 0 && rsn <= prevRSN {
                    t.Fatalf("Incorect RSN %d! (lt %d)\n", rsn, prevRSN)
                }
                prevRSN = rsn
            }
        }()
    }
    wg.Wait()
}

版本二：
datafile2.go：

package v2

import (
    "errors"
    "io"
    "os"
    "sync"
)

// Data 代表數據的類型。
type Data []byte

// DataFile 代表數據文件的接口類型。
type DataFile interface {
    // Read 會讀取一個數據塊。
    Read() (rsn int64, d Data, err error)
    // Write 會寫入一個數據塊。
    Write(d Data) (wsn int64, err error)
    // RSN 會獲取最後讀取的數據塊的序列號。
    RSN() int64
    // WSN 會獲取最後寫入的數據塊的序列號。
    WSN() int64
    // DataLen 會獲取數據塊的長度。
    DataLen() uint32
    // Close 會關閉數據文件。
    Close() error
}

// myDataFile 代表數據文件的實現類型。
type myDataFile struct {
    f       *os.File     // 文件。
    fmutex  sync.RWMutex // 被用於文件的讀寫鎖。
    rcond   *sync.Cond   //讀操作需要用到的條件變量
    woffset int64        // 寫操作需要用到的偏移量。
    roffset int64        // 讀操作需要用到的偏移量。
    wmutex  sync.Mutex   // 寫操作需要用到的互斥鎖。
    rmutex  sync.Mutex   // 讀操作需要用到的互斥鎖。
    dataLen uint32       // 數據塊長度。
}

// NewDataFile 會新建一個數據文件的實例。
func NewDataFile(path string, dataLen uint32) (DataFile, error) {
    f, err := os.Create(path)
    if err != nil {
        return nil, err
    }
    if dataLen == 0 {
        return nil, errors.New("Invalid data length!")
    }
    df := &myDataFile{f: f, dataLen: dataLen}
    df.rcond = sync.NewCond(df.fmutex.RLocker())
    return df, nil
}

func (df *myDataFile) Read() (rsn int64, d Data, err error) {
    // 讀取並更新讀偏移量。
    var offset int64
    df.rmutex.Lock()
    offset = df.roffset
    df.roffset += int64(df.dataLen)
    df.rmutex.Unlock()

    //讀取一個數據塊。
    rsn = offset / int64(df.dataLen)
    bytes := make([]byte, df.dataLen)
    df.fmutex.RLock()
    defer df.fmutex.RUnlock()
    for {
        _, err = df.f.ReadAt(bytes, offset)
        if err != nil {
            if err == io.EOF {
                df.rcond.Wait()
                continue
            }
            return
        }
        d = bytes
        return
    }
}

func (df *myDataFile) Write(d Data) (wsn int64, err error) {
    // 讀取並更新寫偏移量。
    var offset int64
    df.wmutex.Lock()
    offset = df.woffset
    df.woffset += int64(df.dataLen)
    df.wmutex.Unlock()

    //寫入一個數據塊。
    wsn = offset / int64(df.dataLen)
    var bytes []byte
    if len(d) > int(df.dataLen) {
        bytes = d[0:df.dataLen]
    } else {
        bytes = d
    }
    df.fmutex.Lock()
    defer df.fmutex.Unlock()
    _, err = df.f.Write(bytes)
    df.rcond.Signal()
    return
}

func (df *myDataFile) RSN() int64 {
    df.rmutex.Lock()
    defer df.rmutex.Unlock()
    return df.roffset / int64(df.dataLen)
}

func (df *myDataFile) WSN() int64 {
    df.wmutex.Lock()
    defer df.wmutex.Unlock()
    return df.woffset / int64(df.dataLen)
}

func (df *myDataFile) DataLen() uint32 {
    return df.dataLen
}

func (df *myDataFile) Close() error {
    if df.f == nil {
        return nil
    }
    return df.f.Close()
}

datafile2_test.go：

package v2

import (
    "math/rand"
    "os"
    "path/filepath"
    "sync"
    "testing"
)

func removeFile(path string) error {
    file, err := os.Open(path)
    if err != nil {
        if !os.IsNotExist(err) {
            return err
        }
        return nil
    }
    file.Close()
    return os.Remove(path)
}

func TestIDataFile(t *testing.T) {
    t.Run("v2/all", func(t *testing.T) {
        dataLen := uint32(3)
        path1 := filepath.Join(os.TempDir(), "data_file_test_new.txt")
        defer func() {
            if err := removeFile(path1); err != nil {
                t.Errorf("Open file error: %s\n", err)
            }
        }()
        t.Run("New", func(t *testing.T) {
            testNew(path1, dataLen, t)
        })
        path2 := filepath.Join(os.TempDir(), "data_file_test.txt")
        defer func() {
            if err := removeFile(path2); err != nil {
                t.Fatalf("Open file error: %s\n", err)
            }
        }()
        max := 100000
        t.Run("WriteAndRead", func(t *testing.T) {
            testRW(path2, dataLen, max, t)
        })
    })
}

func testNew(path string, dataLen uint32, t *testing.T) {
    t.Logf("New a data file (path: %s, dataLen: %d)...\n",
        path, dataLen)
    dataFile, err := NewDataFile(path, dataLen)
    if err != nil {
        t.Logf("Couldn't new a data file: %s", err)
        t.FailNow()
    }
    if dataFile == nil {
        t.Log("Unnormal data file!")
        t.FailNow()
    }
    defer dataFile.Close()
    if dataFile.DataLen() != dataLen {
        t.Fatalf("Incorrect data length!")
    }
}

func testRW(path string, dataLen uint32, max int, t *testing.T) {
    t.Logf("New a data file (path: %s, dataLen: %d)...\n",
        path, dataLen)
    dataFile, err := NewDataFile(path, dataLen)
    if err != nil {
        t.Logf("Couldn't new a data file: %s", err)
        t.FailNow()
    }
    defer dataFile.Close()
    var wg sync.WaitGroup
    wg.Add(5)
    // 寫入。
    for i := 0; i < 3; i++ {
        go func() {
            defer wg.Done()
            var prevWSN int64 = -1
            for j := 0; j < max; j++ {
                data := Data{
                    byte(rand.Int31n(256)),
                    byte(rand.Int31n(256)),
                    byte(rand.Int31n(256)),
                }
                wsn, err := dataFile.Write(data)
                if err != nil {
                    t.Fatalf("Unexpected writing error: %s\n", err)
                }
                if prevWSN >= 0 && wsn <= prevWSN {
                    t.Fatalf("Incorect WSN %d! (lt %d)\n", wsn, prevWSN)
                }
                prevWSN = wsn
            }
        }()
    }
    // 讀取。
    for i := 0; i < 2; i++ {
        go func() {
            defer wg.Done()
            var prevRSN int64 = -1
            for i := 0; i < max; i++ {
                rsn, date, err := dataFile.Read()
                if err != nil {
                    t.Fatalf("Unexpected writing error: %s\n", err)
                }
                if date == nil {
                    t.Fatalf("Unnormal data!")
                }
                if prevRSN >= 0 && rsn <= prevRSN {
                    t.Fatalf("Incorect RSN %d! (lt %d)\n", rsn, prevRSN)
                }
                prevRSN = rsn
            }
        }()
    }
    wg.Wait()
}

版本三
datafile3.go：

package v3

import (
    "errors"
    "io"
    "os"
    "sync"
    "sync/atomic"
)

// Data 代表數據的類型。
type Data []byte

// DataFile 代表數據文件的接口類型。
type DataFile interface {
    // Read 會讀取一個數據塊。
    Read() (rsn int64, d Data, err error)
    // Write 會寫入一個數據塊。
    Write(d Data) (wsn int64, err error)
    // RSN 會獲取最後讀取的數據塊的序列號。
    RSN() int64
    // WSN 會獲取最後寫入的數據塊的序列號。
    WSN() int64
    // DataLen 會獲取數據塊的長度。
    DataLen() uint32
    // Close 會關閉數據文件。
    Close() error
}

// myDataFile 代表數據文件的實現類型。
type myDataFile struct {
    f       *os.File     // 文件。
    fmutex  sync.RWMutex // 被用於文件的讀寫鎖。
    rcond   *sync.Cond   // 讀操作需要用到的條件變量
    woffset int64        // 寫操作需要用到的偏移量。
    roffset int64        // 讀操作需要用到的偏移量。
    dataLen uint32       // 數據塊長度。
}

// NewDataFile 會新建一個數據文件的實例。
func NewDataFile(path string, dataLen uint32) (DataFile, error) {
    f, err := os.Create(path)
    if err != nil {
        return nil, err
    }
    if dataLen == 0 {
        return nil, errors.New("Invalid data length!")
    }
    df := &myDataFile{f: f, dataLen: dataLen}
    df.rcond = sync.NewCond(df.fmutex.RLocker())
    return df, nil
}

func (df *myDataFile) Read() (rsn int64, d Data, err error) {
    // 讀取並更新讀偏移量
    var offset int64
    for {
        offset = atomic.LoadInt64(&df.roffset)
        if atomic.CompareAndSwapInt64(&df.roffset, offset, (offset + int64(df.dataLen))) {
            break
        }
    }

    //讀取一個數據塊
    rsn = offset / int64(df.dataLen)
    bytes := make([]byte, df.dataLen)
    df.fmutex.RLock()
    defer df.fmutex.RUnlock()
    for {
        _, err = df.f.ReadAt(bytes, offset)
        if err != nil {
            if err == io.EOF {
                df.rcond.Wait()
                continue
            }
            return
        }
        d = bytes
        return
    }
}

func (df *myDataFile) Write(d Data) (wsn int64, err error) {
    // 讀取並更新寫偏移量
    var offset int64
    for {
        offset = atomic.LoadInt64(&df.woffset)
        if atomic.CompareAndSwapInt64(&df.woffset, offset, (offset + int64(df.dataLen))) {
            break
        }
    }

    //寫入一個數據塊
    wsn = offset / int64(df.dataLen)
    var bytes []byte
    if len(d) > int(df.dataLen) {
        bytes = d[0:df.dataLen]
    } else {
        bytes = d
    }
    df.fmutex.Lock()
    defer df.fmutex.Unlock()
    _, err = df.f.Write(bytes)
    df.rcond.Signal()
    return
}

func (df *myDataFile) RSN() int64 {
    offset := atomic.LoadInt64(&df.roffset)
    return offset / int64(df.dataLen)
}

func (df *myDataFile) WSN() int64 {
    offset := atomic.LoadInt64(&df.woffset)
    return offset / int64(df.dataLen)
}

func (df *myDataFile) DataLen() uint32 {
    return df.dataLen
}

func (df *myDataFile) Close() error {
    if df.f == nil {
        return nil
    }
    return df.f.Close()
}

datafile3_test.go：

package v3

import (
    "math/rand"
    "os"
    "path/filepath"
    "sync"
    "testing"
)

func removeFile(path string) error {
    file, err := os.Open(path)
    if err != nil {
        if !os.IsNotExist(err) {
            return err
        }
        return nil
    }
    file.Close()
    return os.Remove(path)
}

func TestIDataFile(t *testing.T) {
    t.Run("v3/all", func(t *testing.T) {
        dataLen := uint32(3)
        path1 := filepath.Join(os.TempDir(), "data_file_test_new.txt")
        defer func() {
            if err := removeFile(path1); err != nil {
                t.Errorf("Open file error: %s\n", err)
            }
        }()
        t.Run("New", func(t *testing.T) {
            testNew(path1, dataLen, t)
        })
        path2 := filepath.Join(os.TempDir(), "data_file_test.txt")
        defer func() {
            if err := removeFile(path2); err != nil {
                t.Fatalf("Open file error: %s\n", err)
            }
        }()
        max := 100000
        t.Run("WriteAndRead", func(t *testing.T) {
            testRW(path2, dataLen, max, t)
        })
    })
}

func testNew(path string, dataLen uint32, t *testing.T) {
    t.Logf("New a data file (path: %s, dataLen: %d)...\n",
        path, dataLen)
    dataFile, err := NewDataFile(path, dataLen)
    if err != nil {
        t.Logf("Couldn't new a data file: %s", err)
        t.FailNow()
    }
    if dataFile == nil {
        t.Log("Unnormal data file!")
        t.FailNow()
    }
    defer dataFile.Close()
    if dataFile.DataLen() != dataLen {
        t.Fatalf("Incorrect data length!")
    }
}

func testRW(path string, dataLen uint32, max int, t *testing.T) {
    t.Logf("New a data file (path: %s, dataLen: %d)...\n",
        path, dataLen)
    dataFile, err := NewDataFile(path, dataLen)
    if err != nil {
        t.Logf("Couldn't new a data file: %s", err)
        t.FailNow()
    }
    defer dataFile.Close()
    var wg sync.WaitGroup
    wg.Add(5)
    // 寫入。
    for i := 0; i < 3; i++ {
        go func() {
            defer wg.Done()
            var prevWSN int64 = -1
            for j := 0; j < max; j++ {
                data := Data{
                    byte(rand.Int31n(256)),
                    byte(rand.Int31n(256)),
                    byte(rand.Int31n(256)),
                }
                wsn, err := dataFile.Write(data)
                if err != nil {
                    t.Fatalf("Unexpected writing error: %s\n", err)
                }
                if prevWSN >= 0 && wsn <= prevWSN {
                    t.Fatalf("Incorect WSN %d! (lt %d)\n", wsn, prevWSN)
                }
                prevWSN = wsn
            }
        }()
    }
    // 讀取。
    for i := 0; i < 2; i++ {
        go func() {
            defer wg.Done()
            var prevRSN int64 = -1
            for i := 0; i < max; i++ {
                rsn, date, err := dataFile.Read()
                if err != nil {
                    t.Fatalf("Unexpected writing error: %s\n", err)
                }
                if date == nil {
                    t.Fatalf("Unnormal data!")
                }
                if prevRSN >= 0 && rsn <= prevRSN {
                    t.Fatalf("Incorect RSN %d! (lt %d)\n", rsn, prevRSN)
                }
                prevRSN = rsn
            }
        }()
    }
    wg.Wait()
}
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

用pickle,json 存取python變量到文件

使用pickle可以把變量按照原來的形式存入硬盤，不像寫入到txt文本中，是以字符串的形式，讀取之後還要轉化，很麻煩。 下面用簡單代碼演示保存到文件和再從文件導入的過程。 import pickle fruit=['a', 'b',

leon_zeng0 2020-07-06 09:58:12

GDAL：Ogr讀寫FileGDB文件（C#）

首先需要FileGDBAPI.dll支持（ogr_FileGDB.dll只支持讀，不支持寫），存放處理可參見https://blog.csdn.net/xzhh19921019/article/details/53419065。上

石皮山 2020-07-02 11:39:00

經驗總結29--C#，簡單讀寫文件

寫程序時，會經常進行文件的讀寫操作。 記錄下，方便以後copy使用。         /// < ummary>          /// 寫文件          /// </summary>          /// < aram n

moon铭 2020-07-01 17:43:01

cocos2d-x自帶的CCHttpClient下載百度網頁並寫入成網頁文件

cocos2d-x自帶的CCHttpClient下載百度網頁並寫入成網頁文件         基於cocos2d-x做的網絡遊戲越來越多，移動設備的聯網一般使用的是http連接，cocos2d-x自帶了CCHttpClient作爲http

江南岸 2020-06-16 06:00:24

學習筆記 | NumPy基礎 | 讀寫文件

大虎牙 2020-06-02 05:43:41

【C++】C++11讀取寫入文件

XiaoGongWei18 2020-02-26 23:48:12

java讀寫文件

Byrondo 2020-02-25 21:00:06

java文件讀寫操作大全

sun_shengyun 2020-02-24 23:22:10

java讀寫文件（簡）

大鑫不列迭 2020-02-22 18:06:23

C#類生成器

ftytotop 2020-02-22 11:44:36

sql注入之讀寫文件案例實驗

水中煮鱼冒气 2020-02-22 09:25:00

Android/java 讀寫文件

hellohaifei 2020-02-22 06:21:23

java詞頻統計

東方海竹 2020-02-22 03:17:44

在內部存儲中讀寫文件

Sober_dpf 2020-02-21 10:55:21

Python讀寫文件模式和文件對象方法實例詳解

ywx1832990 2019-09-18 14:53:05