原创 Protocol Buffers 安裝及問題解決的方法

按如下步驟在Ubuntu上編譯安裝Google Protocol Buffers $ ./configure $ make $ make check $ sudo make install 運行 $ protoc --v

原创 hive從查詢中獲取數據插入到表或動態分區

Hive的insert語句能夠從查詢語句中獲取數據,並同時將數據Load到目標表中。現在假定有一個已有數據的表staged_employees(僱員信息全量表),所屬國家cnty和所屬州st是該表的兩個屬性,我們做個試驗將該表中的數據查

原创 Awk筆記

1. awk簡介 2. awk命令格式和選項 2.1. awk的語法有兩種形式2.2. 命令選項3. 模式和操作 3.1. 模式3.2. 操作4. awk的環境變量5. awk運算符6. 記錄和域 6.1. 記錄6.2. 域6

原创 讓 Nginx 關閉版本顯示信息

Nginx 會在 http 頭,或者出現錯誤頁的時候會有醒目的版本號提示。 爲了安全,可以關閉這些信息。 方法很簡單,只需在 nginx.conf

原创 Thrift 各種server 使用模式

最近在項目中需要把客戶端的一些信息發送到服務器上,聽起來是個很簡單的需求,但是實際考慮下,覺得如果自己手工實現,工作量也不小,而且盡是些繁瑣且無聊的事情,遂考慮用現成的庫來實現。對比了protocol buffer與thrift後,本着

原创 nginx實現訪問網站或目錄密碼認證保護

以我們做一個簡單的後臺管理爲例, 地址:http://xxxx/admin/*, 對admin 下面的文件進行權限管理; 1. 進入ngnix配置的地址,以我的ubuntu爲例;  cd /etc/ngnix  2. 使用命令生成pa

原创 修改ubuntu緩存使用

在ubuntu 裏面,swappiness的值的大小對如何使用swap分區是有着很大的聯繫的。 swappiness=0的時候表示最大限度使用物理內存,然後纔是 swap空間,swappiness=100 的時候表示積極的使用swap分

原创 hive 的 簡單操作語句

簡單的創建表 create table table_name ( id int, dtDontQuery string, name string )

原创 咋進bios裏面開啓cpu的虛擬化詳細些

一般下面的選項中都在 點贊 1 收藏 分享 文章舉報 babydavic 發佈了174 篇原創文章 · 獲贊 14 · 訪問量 110萬+ 私信

原创 Hive 的 自定義 Inputformat

Hive默認創建的表字段分隔符爲:\001(ctrl-A),也可以通過 ROW FORMAT DELIMITED FIELDS TERMINATED BY 指定其他字符,但是該語法只支持單個字符,如果你的分隔符是多個字符,則需要你自定

原创 Hadoop2 基本配置教程

本文爲安裝指導,在安裝過程中,我們可以注意一下問題: 1.當有多個HDFS集羣同時工作時,用戶如果不寫集羣名稱,那麼默認使用哪個?通過那個文件來進行配置? 2.NameNode、DataNode、JournalNode等存放數據

原创 【轉】zookeeper 的監控工具

        公司很多產品會使用zookeeper,比如Meta消息中間件,在測試的過程中,我們經常需要查詢zookeeper裏面的信息來精確定位問題。目前項目中有開發團隊自己寫的瀏覽器node-zk-browser,是基於node

原创 ubuntu 簡單的操作命令

ubuntu 重啓命令 重啓命令: 1、reboot 2、shutdown -r now 立刻重啓(root用戶使用) 3、shutdown -r 10 過10分鐘自動重啓(root用戶使用) 4、shutdown -r 20:35

原创 gnuplot 的 基本概念

  最近在看高性能mysql,然後發現別人很多都用數據說話,然而數據怎樣說話? 唯一的就必須通過源數據將其呈現圖像化,因而接觸了gnuplot。  1 gnuplot 的 下載地址 http://sourceforge.net/proje

原创 Nginx的安裝SSL基本教程

http://wiki.nginx.org/Modules#Standard_HTTP_modules 這裏面帶有所有基本的模塊,及需要額外增加的模塊 1.安裝帶有ssl模塊的 nginx wget http://nginx.org/