原创 du 使用詳解 查看一級目錄大小
du -h --max-depth=1 |grep [TG] |sort #查找上G和T的目錄並排序du -sh #統計當前目錄的大小，以直觀方式展現du -h --max-depth=1 |grep 'G' |sort #查看上G
2018-08-30 07:55:56
原创 Linux下文件轉碼操作
參考文章 http://blog.csdn.net/jnbbwyth/article/details/6991425/ http://blog.chinaunix.net/uid-27050514-id-3721035.html 查看文
2018-08-30 07:55:56
原创 Python的列表推導式，字典推導式，集合推導式使用方法
推導式分爲列表推導式（list），字典推導式(dict)，集合推導式(set)三種 1.列表推導式也叫列表解析式。 功能：是提供一種方便的列表創建方法，所以，列表解析式返回的是一個列表 格式：用中括號括起來，中間用for語句，後面跟if
2018-08-30 07:55:56
原创 DevOps詳解
http://www.infoq.com/cn/articles/detail-analysis-of-devopsGMT檢測語言世界語中文簡體中文繁體丹麥語烏克蘭語烏茲別克語烏爾都語亞美尼亞語伊博語俄語保加利亞語僧伽羅語克羅地亞語冰島語
2018-08-30 07:55:56
2
原创 vim配置python編輯器
環境：centos7 + python2.7 坑：centos7中自帶的vim 版本是7.4.160,安裝完成YMC後報：YouCompleteMe unavailable: requires Vim 7.4.1578+. 解決方法：升級
2018-08-30 07:55:56
2
原创 centos配置ssh免密碼登錄後仍要輸入密碼的解決方法
前言在搭建Linux集羣服務的時候，主服務器需要啓動從服務器的服務，如果通過手動啓動，集羣內服務器幾臺還好，要是像阿里1000臺的雲梯Hadoop集羣的話，軌跡啓動一次集羣就得幾個工程師一兩天時間，是不是很恐怖。如果使用免密登錄，主服務器
2018-08-30 07:55:43
原创 katalon automation recorder 與python selenium 使用學習
近日，發現數據批量入錯，由於沒有數據庫權限，之前應用界面重複操作，量有200多個，嘗試使用selenium自動化一把給chrome安裝katalon automation recorder(google應用商店，過牆) 界面操作錄製腳本，
2018-08-30 07:55:43
155
原创 pip 離線安裝包方法
場景：內網服務器不能上外網（代理也不通！），只能通過虛擬機上下載相關包後，再scp到內網服務器，然後利用pip安裝. 注：以下步驟是安裝單個包的，下例子以安裝ipython包（較多依賴）說明 步驟說明： 1、使用pip download
2018-08-30 07:55:42
7
原创 python操作hiveserver2相關工具集
1、pyhs2,已沒有更新維護 https://github.com/BradRuderman/pyhs2 2、pyhive https://github.com/dropbox/PyHive 3、impyla https://git
2018-08-30 07:55:42
原创 徹底理解MapReduce shuffle過程原理
http://blog.csdn.net/techchan/article/details/53405519 MapReduce的Shuffle過程介紹 Shuffle的本義是洗牌、混洗，把一組有一定規則的數據儘量轉換成一組無規則
2018-08-30 07:55:42
原创 利用python多線程更新數據
需求背景： 從一張大表中取記錄更新另一張大表的的字段，如採用oracle直接update ，好久都沒有更新完成的。 處理： 採用python,主線程遊標查詢原始表，開啓線程從遊標中讀取記錄，批量更新目標大表的字段。 #!/usr/bin
2018-08-30 07:55:42
原创 Hadoop HDFS本地存儲目錄結構解析
Hadoop HDFS本地存儲目錄結構解析 原創 2016年05月19日 11:38:21 標籤：hadoop /hdfs /metadata /9207
2018-08-30 07:55:41
2