原创 docker搭建Redis主從複製+哨兵
安裝redis 拉取官方的鏡像,標籤爲3.2 docker pull redis:3.2 下載完我們看一下 docker images 運行容器 docker run -p 6379:6379 -v $PWD/data:/d
2020-07-08 11:13:27
原创 pyspark處理kafka中流數據json類型並存入redis中
我們先寫一個造數器：向kafka發送json格式數據，我直接貼代碼 """ 造數器：向kafka發送json格式數據 數據格式如下所示： { "namespace":"000001", "region"："Bei
2020-07-08 11:13:27
原创 在log日誌中查找出訪問最多的ip
我們編寫shell腳本，或者直接執行命令也可以 log文件內容 {"client_ip":"111.182.100.112","latency_time":"1.249429ms","level":"info","me thod"
2020-07-08 11:13:27
原创 Redirecting to /bin/systemctl status iptables.service Unit iptables.service could not be found.
centos service iptables status 報錯 Redirecting to /bin/systemctl status iptables.service Unit iptables.service coul
2020-07-08 11:13:27
原创 python + selenium 豆瓣模擬登陸
最新豆瓣的模擬登陸 我直接上代碼吧 import time from selenium import webdriver from selenium.webdriver.common.keys import Keys class
2020-07-08 11:13:27
原创 centos 報錯bash: ifconfig: command not found
在docker中安裝的centos都是簡易版本的 所以很多東西都沒有被安裝 ifconfig 報錯：bash: ifconfig: command not found yum install net-tools ok了就
2020-07-08 11:13:27
原创 python3操作hdfs
我們要先安裝一下 pip install hdfs from hdfs.client import Client client = Client("http://xxx:50070/",root="/") lists = cli
2020-07-08 11:13:27
原创 python時間戳轉換年，月，日，季度，周
數據結構 def q_year_day(): week_day_dict = { 0: '星期一', 1: '星期二', 2: '星期三', 3: '星期
2020-07-08 11:13:27
原创 datax中使用時間增量回滾同步
發現datax中對增量同步做的不夠完善，有些數據庫沒有update操作。不能進行更新，只能進行插入。 以sqlserver爲例。 時間戳增量同步： 假定在源數據表中有一個字段會記錄數據的新增或修改時間，可以通過它對數據在時間維度上
2020-07-08 11:13:27
原创 centos 搭建 hadoop集羣
在這裏我選擇了用docker 建立centos 容器 拉取鏡像 docker pull centos 創建容器 docker run --privileged -d --name=centos_server_01 0f3e07
2020-07-08 11:13:27
原创 datax中sqlserver 數據同步到sqlserver
網上的好多例子都是失敗的，最後看的官方文檔成功了。 json文件 { "job": { "setting": { "speed": { "channe
2020-05-23 12:11:36
原创 python向kafka發送數據，並接收
發送端 import csv import time from kafka import KafkaProducer from kafka import KafkaConsumer import json # 實例化一個Kafka
2020-05-19 10:09:31
原创 pyspark處理kafka中流數據json類型
我們先寫一個造數器：向kafka發送json格式數據，我直接貼代碼 """ 造數器：向kafka發送json格式數據 數據格式如下所示： { "namespace":"000001", "region"："Bei
2020-05-18 09:24:02
原创 python3操作pyspark
首先centos默認的是py2，我這裏改的py3，安裝完spark後，要安裝python環境 接下來我們測試一下 在/usr/local/spark-2.4.5-bin-hadoop2.7/bin下執行 spark-submit
2020-05-15 04:46:07
原创 centos 安裝python3虛擬環境
安裝環境 系統版本：CentOS 7.4（自帶Python2.7） 安裝版本：Python3.6 安裝插件：virtualenv、virtualenvwrapper which python 1.安裝依賴包（切記安裝） yum
2020-04-26 17:58:53