lua web快速開發指南(6) - Cache、DB介紹

"數據庫"與"緩存"的基本概念

數據庫與緩存是服務端開發人員的必學知識點.

數據庫

"數據庫"是一種信息記錄、存取的虛擬標記地點的集合統稱. 比如現實生活中, 我們經常會用到文件櫃、書桌等等數據存取容器.

在對容器進行數據存取的時候, 我們會爲每一層打上一個標籤表示一種分類項. 而這種在數據庫中劃分子分類形成了表的概念. 這就是我們通常所說的結構化數據庫.

由於通常數據表之間可能會存在依賴關係, 某一(或者多)層通常可能會用於同一種用途. 這種用途將一層劃分爲索引表, 二層劃分爲分類表, 三層劃分爲數據表.

實現這種功能與依賴關係的數據庫, 我們稱之爲: 關係型數據庫. 它可以定義一套規範並且建立數據存取模型, 這樣方便維護一整套結構化的數據信息.

每當我們需要對數據進行結構化操作(查詢、增加、刪除、修改)的時候, 需要在計算機中用一種通俗易懂的語言表達方式來進行助記. 這種結構化查詢語言稱之爲SQL.

緩存

我們通常將數據存儲完畢後, 能通過指定或特定的一(多)種方式對數據進行操作. 在項目開發的初期, 這並沒有太大的問題.

但是隨着數據量的不斷增大, 在數據庫的內存中已經放不下這麼多數據. 我們的數據逐漸無法被加載到內存中: 只會在使用的時候纔會進行(隨機)讀取. 而這會加大磁盤I/O.

我們知道通常磁盤的讀寫速度基本上會比內存讀寫慢幾個數量級(即使是SSD), 大量請求可能瞬間將磁盤IO佔滿並出現數據庫的CPU利用率低、內存頻繁進行修改/置換等問題.

爲了解決這些問題, 出現了很多解決方案: 讀、寫分離、分表分庫等等. 雖然有了這些方案, 但是也同樣回引來新的問題: 主從同步、分佈式事務等問題.

"緩存"則是近十年興起的概念, 它的本質是一份數據結構化存儲在內存中的副本. 高級的緩存我們也可以將其稱之爲內存數據庫或NOSQL(非關係型)數據庫.

"緩存"也是一種"另類"解決數據庫問題點一種手段! 它通過豐富的數據結構擴展了數據模型的組合能力, 通過簡單的使用方法與高效的連接方式提供更好數據操作方式.

"緩存"將查詢、更新較爲頻繁的熱數據組成一個集合加載進內存中, 較少使用的冷數據序列化到磁盤內部. 高效利用內存的同時, 根據變化的情況合理更新、刪除緩存.

這樣的方式配合數據庫都讀、寫分離與數據分區將數據合理的從一個數據集副本分散到多個數據集副本, 有效的減少性能問題點產生並且提升了整個業務系統的橫向擴展能.

DB庫

DB庫是cf框架封裝自MySQL 4.1協議實現的客戶端連接庫, 提供MySQL斷線重連、SQL重試、連接池等高級特性.

Cache

Cache庫是cf封裝自Redis 2.0協議實現的客戶端連接庫, 提供Redis斷線重連、命令重試、連接池等高級特性.

API學習

1. DB API

在使用下面的API之前, 請先確保已經導入庫: local DB = require "DB".

1.1 DB:new(opts)

opts表的參數決定如何連接到MySQL, 表屬性如下:

host - MySQL主機名或IP地址(string類型).

port - MySQL端口號(int類型).

charset - MySQL字符集設置.

database - MySQL庫的名稱.

username - MySQL用戶賬戶(string類型).

password - MySQL用戶密碼(string類型).

max - MySQL的最大連接池大小(int類型).

這個方法返回一個新創建db對象

1.2 DB:connect()

開始連接MySQL. 連接成功返回True, 否則將會持續進行連接並且輸出連接失敗原因的日誌.

1.3 DB:query(SQL)

數據庫查詢語句調用方法, SQL爲string類型的的一個標準SQL語句.

返回值爲ret與err. 查詢成功ret爲一個結果集數組, 在發生錯誤時未nil, err爲錯誤信息.

2. Cache API

在使用下面的API之前, 請先確保已經導入庫: local Cache = require "Cache".

2.1 Cache:new(opts)

opts表的參數決定如何連接到MySQL, 表屬性如下:

host - Redis主機名或IP地址(string類型).

port - Redis主機端口號(int類型).

auth - Redis主機設置的密碼, 默認爲:nil.

db - Redis的數據庫設置.

max = 最大連接池大小(int類型).

此方法返回一個新創建的Cache對象.

2.2 Cache:connect()

開始連接Redis. 連接成功返回True, 否則將會持續進行連接並且輸出連接失敗原因的日誌.

2.3 Cache:API(...)

Cache支持大部分的redis API, 目前測試過多API在script/test_Cache.lua文件內部都有展示.

DB庫的操作流程

DB庫的操作與使用流程非常簡單, 其目標是簡化開發人員在業務編寫過程中的使用難點.

創建數據庫與數據表

啓動一個MySQL實例並且初始化完畢, 具體安裝與初始化方法根據平臺不同而不同, 這不再本文講解範圍內.

然後我們使用默認的root用戶並且root賬戶、密碼設置完畢. 這裏爲了演示方便, 我們將root密碼設置爲: 123456789.

創建一個叫cf_mall的數據庫字符集編碼都設爲utf-8. 並且在cf_mall數據庫中創建一個叫做cf_users的表, 如下所示:

# 創建`cf_mall`數據庫
CREATE DATABASE IF NOT EXISTS `cf_mall` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

# 創建`cf_users`用戶表
CREATE TABLE IF NOT EXISTS `cf_mall`.`cf_users` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '用戶ID',
`age` tinyint(3) unsigned NOT NULL COMMENT '用戶年齡',
`name` varchar(255) NOT NULL COMMENT '用戶名',
`username` varchar(255) NOT NULL COMMENT '用戶賬戶',
`password` varchar(255) NOT NULL COMMENT '用戶密碼',
`email` varchar(255) NOT NULL DEFAULT '' COMMENT '用戶郵箱',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

以上數據庫創建語句可以在一些MySQL GUI工具中直接運行.

測試DB庫的API寫入數據

現在, 讓我們利用上面學到的API嘗試將作者的信息寫入進去. 同時爲了避免密碼原文顯示, 我們需要使用crypt庫的base64方法將密碼進行編碼.

local crypt = require "crypt"
local DB = require "DB"
local db = DB:new {
    host = "localhost",
    port = 3306,
    username = 'root',
    password = 123456789,
    database = "cf_mall",
    charset = "utf8"
}

db:connect()

db:query(string.format([[
    INSERT INTO `cf_mall`.`cf_users`
        (`name`, `age`, `username`, `password`, `email`)
    VALUE
        ('%s', '%s', '%s', '%s', '%s')
    ]],
    '水果糖的小鋪子', '29', 'candymi', crypt.base64encode('123456789'), '[email protected]')
)
local ret, err = db:query("SELECT * FROM `cf_mall`.`cf_users` WHERE `name` = '水果糖的小鋪子'")
if not ret then
    return print(ret, err)
end
return print('name:', ret[1].name, 'password:', ret[1].password, 'email:', ret[1].email)

檢查問題

最後我們檢查數據庫內是否已經寫入了我們需要存儲的數據. 如果使用的SQL有語法錯誤導致寫入失敗, 請使用print檢查db:query操作否出現錯誤.

同時我們在console控制檯上可以檢查是否輸出了我們剛纔寫入到cf_users的信息.

Cache庫的操作流程

Cache庫擁有非常簡單的使用方法, 幾乎能運行所有Redis已提供的命令. 並且協議是二進制安全的(binary safe).

啓動一個Redis實例

啓動並運行一個redis實例. 具體安裝與運行方法根據平臺不同而不同, 這不再本文講解範圍內.

並且這裏爲了演示示例簡單, 我們將不設置任何auth並且使用默認的db.

將數據加載到Redis

我們將列出目前已知的一些知名大衆化語言, 然後將其寫入到Redis中.

local Cache = require "Cache"

local cache = Cache:new {
    host = 'localhost',
    port = 6379,
}

cache:connect()
local ok, msg = cache:rpush("languages", "C", "C++", "Java", "Golang", "Ruby", "Python", "PHP", "Lua")
if not ok then
  return print(ok, msg)
end
print("當前language的總數爲:", msg)

問題排查

最後, 讓我們用Redis自帶的命令行工具查看是否真實寫入了數據.

[candy@MacBookPro:~] $ redis-cli
127.0.0.1:6379> lrange languages 0 -1
1) "C"
2) "C++"
3) "Java"
4) "Golang"
5) "Ruby"
6) "Python"
7) "PHP"
8) "Lua"
127.0.0.1:6379>

可以看到數據已經寫入進去. 如果發送參數錯誤與語法發生錯誤, msg將會是您排查錯誤的有效信息.

更多

更多API詳情請參考MySQL、Redis的使用文檔並且在實際開發中進行體驗.

繼續學習

下一章節我們將繼續學習如何利用httpc庫請求第三方接口