原创 tornado 消費隊列並配合 superviosr 優雅重啓
superviosr.conf [group:tornadoes] programs=ana-8000,ana-8001,ana-8002,ana-8003 [program:ana-8000] directory = /ro
2020-06-24 05:40:28
原创 文件名路徑有/ 導致目錄不存在的問題 No such file or directory
在目錄中存在/ 時，讀取或寫入就會報錯 FileNotFoundError: [Errno 2] No such file or directory 解決辦法如下： title = "ELK CI/CD 部署實踐2017-1
2020-06-19 00:43:39
原创 PySpark DataFrame 操作
SQl 獲取 DF 操作 # coding:utf-8 from pyspark.sql import SparkSession from pyspark.sql.utils import AnalysisException
2020-06-18 22:57:33
4
原创 PySpark Rdd操作
from pyspark import SparkContext, SparkConf conf = SparkConf().setAppName("rdd_trans") sc = SparkContext(conf=con
2020-06-18 22:57:23
原创 Python3 設置 profile 環境變量
服務器環境 centos7.3 ，由於服務器上profile設置了代理 代理僅限訪問一些限定列表的A類網站（大公司你們懂的），這時，我需要在我的 Python 腳本中訪問 不在A類列表中的 某 B 網站 ，就會因爲代理限制的原因
2020-06-18 22:57:23
原创 一篇最全整理，教會你離線部署Python3和pip包
本文介紹離線安裝（無網模式）的坑點 1 重新安裝 openssl 先把系統自帶的這些，卸載/刪除 #編譯安裝openssl http://www.openssl.org/source/ cd /openssl-1.1.1
2020-06-18 22:57:23
原创 nginx 反向代理的緩存問題
1. nginx配置 http { proxy_cache_path /data/nginx_cache/ levels=1:2 keys_zone=my_zone:10m inactive=60s max_size=5
2020-06-15 04:09:45