原创 虛擬機安裝的系統界面很大的解決辦法

在虛擬機安裝centos系統時,裏面的系統界面很大,很不方便操作,問題如下: 只能拖動右邊和下面的滾動條進行操作,當然這是因爲虛擬機和本機的分辨率不同引起的。 有兩種方法可以將虛擬機中的系統和本機界面相適應 1. 在虛擬機

原创 HADOOP HDFS BALANCER介紹及經驗總結

1.集羣執行balancer命令,依舊不平衡的原因是什麼?該如何解決? 2.儘量不在NameNode上執行start-balancer.sh的原因是什麼? 集羣平衡介紹 Hadoop的HDFS集羣非常容易出現機器與機器之間磁盤利用

原创 -bash: 08: value too great for base (error token is "08")

在使用shell的時候,獲取的當前的小時或月份(08,09等)進行計算是,提示: hour=08 hour=$((hour)) -bash: 08: value too great for base (error token i

原创 mysql 授權與回收權限

授權:授權的關鍵字是grant,使用grant···to··· 授權 1. 給用戶 授權 grant all privileges on *.* to root; 2. 給某個ip授權,使指定ip有權限訪問mysql數據庫 g

原创 一篇講清:數據採集與埋點

在這篇文章裏面,我們會對數據採集的一些基本概念進行闡述,然後,會針對目前市面上新增的一些前端埋點技術,如可視化埋點與“無埋點”的技術細節做一個具體的介紹,並且闡述我們自己對於這些技術的理解和認識。1. 數據採集是核心問題一個典型的

原创 Hawq 配置本地使用psql登陸

Hadoop集羣已經裝完了hawq,可是隻會用超級管理員使用免密碼登陸 psql -d test,昨天配置了幾個角色,可是並不知怎麼使用,然後就查看了官方文檔,嘗試多次,就是用一般用戶登上了hawq。 準備工作: 1. Hado

原创 Hive 的insert into 和 insert overwrite

區分insert into 和 insert overowrite: 1、insert into 語句 Hive> insert into table account select id,age,name from accou

原创 shell腳本報錯"[: =: unary operator expected"

今天用while寫了一個循環,結果執行後就報錯 [: =: unary operator expected 上網查了之後便更改了腳本,在while後面多加一層[] ,就可以正確執行 while [[ $day != $end_m

原创 使用ambari擴展hdfs節點

1.Ambari添加節點:Hosts->Action->Add New Hosts 2.在已有節點及Ambari server上添加節點IP及hostname對應關係(/etc/hosts 文件),相當於追加新的節點信息,每個服

原创 Hive Metastore 啓動成功又失敗

hive 在正常使用中 metastore 忽然停掉,查看日誌,報一下錯誤: 2017-06-19 12:11:15,134 ERROR [main]: metastore.HiveMetaStore (HiveMetaStore

原创 beeline 使用

最近對hive設置權限,具體設置權限的方法請參考http://blog.csdn.net/qq_31382921/article/details/71133323,使用beeline的時候總會出現各種小問題,畢竟還是跟hive有點

原创 Linux 下 根目錄對應的子目錄的介紹

雖然用了很久的linux,但是並不知根目錄對應的子目錄具體的作用是什麼,特此寫篇博客,加深印象。 /bin 二進制可執行命令 /dev 設備特殊文件 /etc 系統管理和配置文件 /etc/rc.d 啓動的配置文件和腳本 /

原创 在虛擬機中安裝centos遇到的問題

系統鏡像: CentOS-6.5-x86_64-bin-DVD1.iso 在虛擬機中安裝centos 6.5 出現以下錯誤 : vmware 您要在非EFI系統中使用GPT引導盤 這樣可能無法工作 這取決於您的bios 是否支持

原创 linux 後臺執行命令

怪自己太晚瞭解這個命令,nohup ,簡直太好用了。 nohup 意思是 no hang up ,表示不掛起, 使用方法:nohup Command [ Arg … ] [ & ] 每次執行參數是時間的腳本時,都不敢將時間的範圍

原创 [翻譯]Hive的Security配置

爲了更好地使用好Hive,我將《Programming Hive》的Security章節取出來,翻譯了一下。 Hive還是支持相當多的權限管理功能,滿足一般數據倉庫的使用。 Hive由一個默認的設置來配置新建文件的默認權限。 <