原创 ApacheHadoop版本演變

  ApacheHadoop Apache版本衍化 ApacheHadoop版本分爲兩代,我們將第一代Hadoop稱爲Hadoop 1.0,第二代Hadoop稱爲Hadoop 2.0。第一代Hadoop包含三個大版本,分別是0.20.x

原创 linux下線程的分離

2)線程的分離與結合    在任何一個時間點上,線程是可結合的(joinable),或者是分離的(detached)。一個可結合的線程能夠被其他線程收回其資源和殺死;在被其他線程回收之前,它的存儲器資源(如棧)是不釋放的。相反,一個分離的

原创 hive添加自定義認證類 CustomHiveServer2Auth.java

package hive.server2.auth;     import java.io.BufferedReader;   import java.io.File;   import java.io

原创 各種Hash函數衝突率分析

轉載自:http://blog.csdn.net/qq7366020/article/details/8730425 字符串Hash函數對比  今天根據自己的理解重新整理了一下幾個字符串hash函數,使用了模板,使其支持寬字符串,

原创 高效併發處理之libevent

出處:http://www.oschina.net/question/12_15837 構建現代的服務器應用程序需要以某種方法同時接收數百、數千甚至數萬個事件,無論它們是內部請求還是網絡連接,都要有效地處理它們的操作。有許多解決方 案,

原创 cdh源

1. hadoop源     http://archive.cloudera.com/cdh5/     http://archive.cloudera.com/cdh4/     http://arch

原创 log4xx

 最近在linux下使用log4cxx庫,按照其官方文檔提供的方法來進行編譯,不能成功,又利用google搜索了好幾個中文博客上講述在linux下編譯使用log4cxx庫的方法,依然不能成功,在這裏我奉勸寫博客或是轉載博客指導人的朋友

原创 nginx-----http配置的解析

對nginx配置解析這塊,一直都是模模糊糊,沒有條理,現在梳理一下: 1.nginx_core_module這個概念,在別人的文章中,經常出現經常混淆,它有兩個意思: 1)一個意思就是nginx_core_module本身,它和ngin

原创 安裝和使用php的mcrypt擴展

 PHP程序員們在編寫代碼程序時,除了要保證代碼的高性能之外,還有一點是非常重要的,那就是程序的安全性保障。PHP除了自帶的幾種加密函數外,還有功能更全面的PHP加密擴展庫Mcrypt和Mhash。 其中,Mcrypt擴展庫可以實現

原创 fuse掛載hdfs文件系統

fuse掛載hdfs文件系統步驟(以cdh5的源爲主,對應hadoop2.6版本) 1.cdh版本介紹     1. hadoop源     http://archive.cloudera.com/cdh

原创 hadoop nfs網關

hadoop nfs網關 1. 在hadoop下的core-site.xml,加入 <property>     <name>hadoop.proxyuser.root.groups</name>    

原创 libhdfs api調用

libhdfs is a JNI based C api for Hadoop’s DFS. It provides C apis to a subset of the HDFS APIs to mani

原创 hadoop hive基本操作

hive 基本操作 命令:hive shell  || hive --service cli 進入shell後 1. 設置顯示當前database和顯示列字段         set hive.cli.p

原创 event模塊底層各種事件機制

1.aio機制 nginx_aio_module.c static ngx_str_t aio_name = ngx_string("aio"); ngx_event_module_t ngx_aio_module_ctx

原创 openssl生成證書

步驟1:生成密鑰 命令:openssl genrsa 1024 > server.key 說明:這是用128位rsa算法生成密鑰,得到server.key文件 步驟2: 生成證書請求 命令:openssl