原创 hdfs balancer 源程序詳解

最近集羣存儲傾斜,個別節點存儲超過85%,啓動balancer之後效果明顯,但是有時候balancer啓動也不能解決問題。從運維階段就知道有這麼一個balancer,今天終於憋了一口氣看看balancer到底咋回事。版本還是1.0

原创 HAWQ 強制停止master

當我修改配置文件後,我將所有的hawq連接都斷開,使用 hawq stop master 命令結果提示如下錯誤 ... -/home/gpadmin/hawqAdminLogs/hawq_stop_20170317.log Onl

原创 windows pip install failed

Could not fetch URL https://pypi.org/simple/selenium/: There was a problem confirming the ssl certificate: HTTPSCo

原创 window cmd 出現亂碼

心血來潮寫了一個python爬蟲,剛開始就出現亂碼,在python代碼中已經設置了#coding=utf-8 其實是window的cmd窗口的編碼方式問題, 解決: 先看一下當前的cmd編碼格式 輸入:chcp 輸出: 936

原创 shell 用變量接收 date -d 的時間

之前寫過一篇博客是講以當前時間爲基礎,獲取幾天前/後,幾個小時前/後,幾個月前/後,幾年前/後,具體的詳細解釋在 date -d 的詳細使用 已經詳細講解,在此不再贅述。然而今天遇到一個問題是根據指定的時間獲取前/後的時間。 以前是這樣

原创 Kylin 安裝以及spark cube 的創建

一. 準備 下載kylin安裝包 http://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-2.2.0/apache-kylin-2.2.0-bin-hbase1x.tar.gz

原创 Linux vi 撤銷與取消撤銷

用習慣了window編輯,改用linux 編輯,還有些不習慣,但是linux 下的vi 編輯用多了,可比window下編輯要快哦。 在linux系統中,使用vi編輯,在命令行模式(按ESC)下 按 u 是撤銷,相當於windows 下的c

原创 Rete算法

RETE算法介紹 一、 rete概述 Rete算法是一種前向規則快速匹配算法,其匹配速度與規則數目無關。Rete是拉丁文,對應英文是net,也就是網絡。Rete算法通過形成一個rete網絡進行模式匹配,利用基於規則的系統的兩個特徵,即時間

原创 shell wait 和sleep 對比

wait 在 shell 中使用 wait 是在等待上一批或上一個腳本執行完(即上一個的進程終止),再執行wait之後的命令。 sleep sleep 1 睡眠1秒 sleep 1s 睡眠1秒 sleep 1m 睡眠1分

原创 Python 獲取文件指定行內容

Python 中有一個讀取文件的模塊 linecache,用起來很方便。官網連接 https://docs.python.org/2/library/linecache.html 使用Python 讀取指定行就是用的這個模塊,該模塊也有其

原创 Linux 普通用戶之間免密登陸

環境 centos6.5 NN01 centos6.5 NN02 目的: 同臺機器之間實現普通用戶之間的免密登陸: NN01 的user1 免密登陸 user2 不同機器之間實現普通用戶之間的免密登陸 :NN01 的user1

原创 centos 7 查看內網ip和外網ip

centos7 查看內網的ip,使用ifconfig 或在後面加上參數,都可以查看內網的ip,下面的10.105.33.17 即是內網的ip [root@VM_33_17_centos ~]#ifconfig -a eth0: flags

原创 YUM本地源製作

前言 大家都知道yum是非常好的rpm軟件包管理器,yum可以簡化軟件的安裝過程,使用yum install 可以直接安裝需要的軟件以及其依賴的包,無需自己繁瑣一次次下載與安裝。 常用命令 安裝httpd並確認安裝 yum instll

原创 【MySQL】觸發器入門

MySQL 5.1包含對觸發器的支持。觸發器是一種與表操作有關的數據庫對象,當觸發器所在表上出現指定事件時,將調用該對象 ,即表的操作事件觸發表上的觸發器的執行。 【創建觸發器】 在MySQL中,創建觸發器語法如下: CREATE TR

原创 HDP 對應的個組件的版本信息

hdp 2.4以及以下的版本可以參考: 2.4 和 2.5 的版本