Redis運維實踐（一）——pipeline批量數據導入

Redis批量數據導入的方式很多，可以通過python腳本解析文本並使用pipeline批量命令的方式實現，也可以通過批量命令文本+pipeline的形式。

內容預覽

* pipeline簡介
* pipeline批量數據導入

pipeline簡介

Redis是一種基於客戶端-服務端模型以及請求/響應協議的TCP服務。
這意味着通常情況下一個請求會遵循以下步驟：

• 1、客戶端向服務端發送一個查詢請求，並監聽Socket返回，通常是以阻塞模式，等待服務端響應。
• 2、服務端處理命令，並將結果返回給客戶端。

這一整個執行時間，被稱爲RTT (Round Trip Time - 往返時間)。當進行大量的命令請求時，就會發現這會給性能帶來多大影響。
例如，如果RTT時間是250毫秒（在一個很慢的連接下），即使服務器每秒能處理100k的請求數，我們每秒最多也只能處理4個請求。

服務器在請求還未被響應的時候就可以處理新的請求，這樣就可以將多個命令發送到服務器，而不用等待回覆，最後在一個步驟中讀取該答覆，這就是管道（pipelining）。
Redis很早就支持管道（pipelining）技術，因此無論你運行的是什麼版本，你都可以使用管道（pipelining）操作Redis。

pipeline批量數據導入

重要說明: 使用管道發送命令時，服務器將被迫回覆一個隊列答覆，佔用很多內存。所以，如果你需要發送大量的命令，最好是把他們按照合理數量分批次的處理
簡單介紹下第一種批量導入的方式，即python腳本解析文本，並通過pipeline批量導入命令的形式：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import os
import sys
import pymssql
import redis
import time

redis_ip = "127.0.0.1"
redis_port = 6379
redis_passwd = "test"
rpool = redis.ConnectionPool(host = redis_ip, port = redis_port, db = 0, password = redis_passwd)
redis_cli = redis.Redis(connection_pool=rpool)
pipeline_redis = redis_cli.pipeline(transaction=False)
count = 0
file_name = sys.argv[1]
f = open(file_name)
file_content = f.readlines()
cmd_list = []
for single_line in file_content:
    field ,uid, val_str = single_line.strip('\n').split('^')
    val = int(val_str)
    key = "KEYHEAD%s" % uid
    count += 1
    pipeline_redis.hset(key, field, val)
    #cmd_list.append([key, field, val])
    if count % 1000 == 0:
        result = pipeline_redis.execute()
        print result
result = pipeline_redis.execute()
print result

第二種導入方式，也是比較簡單的方法：

#第一步，將完整的Redis命令寫入文本之中，如通過MySQL將數據拼成Redis命令，並生成文本：
mysql -h127.0.0.1 -P3306 -uroot -proot -e "select concat_ws(' ','hset',key,field,number) from Testdb.testtable;">> tmp.csv
#第二步，通過redis-cli --pipe導入
cat tmp.csv | redis-cli -h 127.0.0.1 -p 6379 -a test --pipe

注意：redis-cli中只支持dos格式的換行符 \r\n ，如果你在Linux下、Mac下或者Windows下創建的文件，最好都轉個碼。沒有轉碼的文件,執行會失敗。 下面是轉碼指令, 只需要在命令後加入要轉碼的文件即可：

unix2dos tmp.csv
unix2dos: converting file tmp.csv to DOS format...**