golang用pgx查询数据时如何将查询结果方便的放入Map中

pgx库简介

下面是来自官网的简介: pgx - PostgreSQL驱动和工具包

pgx是一个用于PostgreSQL的纯Go语言驱动和工具包。

pgx驱动是一个底层的高性能接口,暴露了PostgreSQL特有的功能,如LISTEN/NOTIFYCOPY。它还包含一个标准database/sql接口的适配器。

工具包组件是一组相关的包,实现了像解析wire协议和PostgreSQL与Go之间的类型映射等PostgreSQL功能。这些底层包可用于实现替代驱动、代理、负载均衡器、逻辑复制客户端等。

pgx应该是目前最好的启动包了,“pg” 另一个著名的PostgreSQL启动包的状态目前仅仅是维护了,并且推荐了pgx。

"对于需要新功能或可靠解决报告中的错误的用户,我们推荐使用正在积极开发中的pgx。" -pq维护人员

pgx比较底层,没有ORM的功能,比如我要将一行查询结果扫描到一个Map中。

近期由于开发一个pg到elastic的复制工具(包括wal增量复制和全量复制),在实现全量复制时,我需要将一行查询结果放到Map中,结果尴尬了,pgx中竟然没有这样的功能,难道我要因此使用gorm或者xorm(虽然也很方便,但是多引入一个包我也不那么愿意),经过询问必应,只得到了,自己声明一堆和字段对应变量然后扫描这样的例子:

 
 // RetreiveBook
 func RetreiveBook(db *sql.DB) ([]Book, error) {
    var books []Book
    // 查询
    sql := `select book_id, title, author, to_char(publish_date, 'YYYY/MM/DD') as publish_date from m_book`
    rows, err := db.Query(sql)
    if err != nil {
       log.Println(err)
       return books, err
    }
    defer rows.Close()
 
    for rows.Next() {
       var book Book
       // 获取各列的值,放到对应的地址中
       rows.Scan(&book.BookId, &book.Title, &book.Author, &book.PublishDate)
       books = append(books, book)
    }
 
    return books, nil
 }
 

太麻烦了,我忍不了。

pgx有内置的方法

于是我不甘心的仔细查看pgx的文档和实例,终于,我发现了这个方法:

 func pgx.CollectRows(rows pgx.Rows, fn pgx.RowToFunc[map[string]any]) ([]map[string]any, error)
 // func[T any](rows pgx.Rows, fn pgx.RowToFunc[T]) ([]T, error)
 // CollectRows iterates through rows, calling fn for each row, and collecting the results into a slice of T.

但是显然,这个方法是一次性的生成一个map的切片,如果数据量不大还好,但是对于我要用到的全量复制场景就未免不适合了,但是只要有了方向就好了,赶紧跟踪进去,

 // CollectRows iterates through rows, calling fn for each row, and collecting the results into a slice of T.
 func CollectRows[T any](rows Rows, fn RowToFunc[T]) ([]T, error) {
  defer rows.Close()
 
  slice := []T{}
 
  for rows.Next() {
  value, err := fn(rows)
  if err != nil {
  return nil, err
  }
  slice = append(slice, value)
  }
 
  if err := rows.Err(); err != nil {
  return nil, err
  }
 
  return slice, nil
 }

可见上述代码中,仅仅是简单的Next() Scan()然后回调pgx.RowToMap这个函数生成map,我不需要它一次性地给我map的切片,但是我可以轻松将他实现的过程移植到我的代码中,至此问题完美解决了。至于pgx.RowToMap这个方法的实现,其实非常简单,下面就是其源代码:

 // RowToMap returns a map scanned from row.
 func RowToMap(row CollectableRow) (map[string]any, error) {
  var value map[string]any
  err := row.Scan((*mapRowScanner)(&value))
  return value, err
 }
 
 type mapRowScanner map[string]any
 
 func (rs *mapRowScanner) ScanRow(rows Rows) error {
  values, err := rows.Values()
  if err != nil {
  return err
  }
 
  *rs = make(mapRowScanner, len(values))
 
  for i := range values {
  (*rs)[string(rows.FieldDescriptions()[i].Name)] = values[i]
  }
 
  return nil
 }

其中19行就是这个属性方法rows.FieldDescriptions()我不知道,否则自己也可以方便地实现扫描到map的方法了。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章