原创 虛擬機集羣搭建過程中hive和zookeeper啓動錯誤原因及分析

這段時間在學習搭建集羣,搭建過程很辛酸哈哈。原來搭集羣一竅不通,用了三天,之後自己半天就可以搭完。現在和小夥伴合作,在阿里雲服務器搭建集羣,1個小時內就可以完成,哈哈。 hive啓動報錯原因分析 搭建完集羣后我關了虛擬機,然後下次

原创 zookeeper啓動異常提示Caused by: java.lang.IllegalArgumentException: serverid is not a number

錯誤代碼如下 2020-07-04 20:47:19,800 [myid:] - INFO [main:QuorumPeerConfig@134] - Reading configuration from: /usr/zooke

原创 kettle實現用戶名動態脫敏和時間模糊

用戶名脫敏 在給用戶名進行脫敏時,通常情況下我們使用正則表達式或者其他方法,但是正則表達式在kettle中不容易實現動態脫敏(即將一個用戶名除去首字符和尾字符都替換爲***) 舉個例子: CSDN 脫敏後爲 C**N //

原创 分佈式系統 第三章 進程

分佈式系統 第三章 進程 3.1線程 進程 執行中的程序,程序的實例,是資源分配和獨立運行的基本單元 組成 線程 是CPU調度單位,而進程只作爲其他資源分配單位 優點:減小併發執行的時間和空間開銷(線程的創建、退出和調度)

原创 selenium自動登錄獲取cookie+爬取在線編程網站阿爾法Coding中已完成的代碼

具體思路: 之前寫過一個爬取阿爾法Coding中已完成的代碼的帖子,這個得手動獲取cookie並複製到代碼中才可以正常爬取數據。 但是通過selenium,我們可以實現自動登錄,並自動獲取cookie,然後直接在原有代碼的基礎上繼

原创 kettle實現簡單手機號脫敏

流程圖如圖所示: 控件所在位置: 表達式配置: 結果:

原创 Python判斷能否組成三角形

def is_triangle(a, b, c): if (a<=0 or b<=0 or c<=0): return -1 elif((a+b)>c and (a+c)>b and (b+c)>a

原创 Python輸出文件擴展名

def file_ext(filename): ls=[] for i in range(len(filename)): if (filename[i] in '.'): f

原创 Python爬蟲爬取圖片時提取鏈接中的圖片名

爬取圖片時保存鏈接中顯示的文件名 url = "https://n.sinaimg.cn/news/transform/590/w240h350/20200312/85a6-iqrhckn7362378.jpg" path = u