python Binary to Str 編碼格式化問題

相信編碼問題困擾了不少coder，最近遇到的一些坑分享給大家。

1、通用方法 ：decode對應的編碼

>>> b"abcde"
b'abcde'

# utf-8 is used here because it is a very common encoding, but you
# need to use the encoding your data is actually in.
>>> b"abcde".decode("utf-8") 
'abcde'

2、正反編碼：encode完了decode

import urllib.request#urlurl="http://www.baidu.com/"#請求request = urllib.request.Request(url)#爬取結果response = urllib.request.urlopen(request)
s = response.read()
s=s.decode('utf-8')
s=s.encode('gbk','ignore').decode('gbk');
print(s)
input('...')

3、文件流的方式

針對文件的存儲，如圖片、音樂，需要以文件爲載體作爲讀寫

def read_file(filename):
    with open(filename, 'rb') as f:
        photo = f.read()
    return photo

4、Binary/LargeBinary/BLOB 字節流類讀寫

這個時候就要用到我們的終極武器，pickle模塊。以上的方法針對特殊字符的字符串格式的讀取是invalid byte。

insert = self.jobs_t.insert().values(**{
    'id': job.id,
    'next_run_time': datetime_to_utc_timestamp(job.next_run_time),
    'job_state': pickle.dumps(job.__getstate__(), self.pickle_protocol)  # write
})

res[APSchedulerJob.id] = {'next_run_time': APSchedulerJob.next_run_time, 'job_state': str(pickle.loads(APSchedulerJob.job_state)), }  # read

結果：
{
  "dbintobalant": {
    "job_state": "{'version': 1, 'id': 'dbintobalant', 'func': 'app.main.views:db_balant', 'trigger': <CronTrigger (day_of_week='mon-sun', hour='*', minute='*/4', second='0', timezone='Asia/Shanghai')>, 'executor': 'default', 'args': (), 'kwargs': {}, 'name': 'dbintobalant', 'misfire_grace_time': 1, 'coalesce': False, 'max_instances': 5, 'next_run_time': datetime.datetime(2018, 6, 22, 14, 8, tzinfo=<DstTzInfo 'Asia/Shanghai' CST+8:00:00 STD>)}", 
    "next_run_time": 1529647680.0
  }, 
  "hwintobalant": {
    "job_state": "{'version': 1, 'id': 'hwintobalant', 'func': 'app.main.views:hw_balant', 'trigger': <CronTrigger (day_of_week='mon-sun', hour='*', minute='*/3', second='0', timezone='Asia/Shanghai')>, 'executor': 'default', 'args': (), 'kwargs': {}, 'name': 'hwintobalant', 'misfire_grace_time': 1, 'coalesce': False, 'max_instances': 5, 'next_run_time': datetime.datetime(2018, 6, 22, 14, 9, tzinfo=<DstTzInfo 'Asia/Shanghai' CST+8:00:00 STD>)}", 
    "next_run_time": 1529647740.0
  }, 
  "mwintobalant": {
    "job_state": "{'version': 1, 'id': 'mwintobalant', 'func': 'app.main.views:mw_balant', 'trigger': <CronTrigger (day_of_week='mon-sun', hour='*', minute='*/2', second='0', timezone='Asia/Shanghai')>, 'executor': 'default', 'args': (), 'kwargs': {}, 'name': 'mwintobalant', 'misfire_grace_time': 1, 'coalesce': False, 'max_instances': 5, 'next_run_time': datetime.datetime(2018, 6, 22, 14, 8, tzinfo=<DstTzInfo 'Asia/Shanghai' CST+8:00:00 STD>)}", 
    "next_run_time": 1529647680.0
  }
}

如有其他好的方法，歡迎交流。