sqlalchemy自定義壓縮字段

有時候我們需要存儲較大json至mysql字段中，即使是text類型 也會有字段超出情況，那我們就得想辦法進行字段壓縮存儲。

 

同時保證數據在讀取後，不需要做額外工作。

 

#coding=utf-8
from io import BytesIO
from gzip import GzipFile
import jsonpickle
import sqlalchemy.types as types

def compress_string(s):
    zbuf = BytesIO()
    with GzipFile(mode='wb', compresslevel=6, fileobj=zbuf, mtime=0) as zfile:
        zfile.write(s)
    return zbuf.getvalue()

def uncompress_string(s):
    """helper function to reverse text.compress_string"""
    import base64
    import io
    import gzip
    try:
        val = base64.b64decode(s)
        zbuf = BytesIO(val)
        zfile = gzip.GzipFile(fileobj=zbuf)
        ret = zfile.read()
        zfile.close()
    except Exception as e:
        print(e)
        ret = s
    return ret


class CompressField(types.TypeDecorator):
    impl = types.Unicode
    def process_bind_param(self, value, engine):
        import base64
        if value:
            value = value.encode('utf8')
            value = compress_string(value)
            value = base64.b64encode(value).decode('utf8')
        return value
        # return unicode(jsonpickle.encode(value))

    def process_result_value(self, value, engine):
        if value:
            # return jsonpickle.decode(value)
            return uncompress_string(value).decode('utf8')
        else:
            # default can also be a list
            return '[]'

 

壓縮代碼我們copy django 

compress_string 方法。

 

以上我們就滿足了sqlalchemy自定義壓縮字段。

有一個不好的地方就是在數據庫中 無法直接查詢json內容， 必須基於sqlalchemy進行查詢。