原创 hadoop mapreduce核心功能描述
http://www.open-open.com/lib/view/open1337349822015.html 核心功能描述 應用程序通常會通過提供map和reduce來實現 Mapper和Reducer接口,它們組成作業的
原创 python錯誤彙總3:安裝MySQLdb時:EnvironmentError: mysql_config not found
文章來源:http://wangjunle23.blog.163.com/blog/static/117838171201331463342722/ 安裝mysqldb時出現以下錯誤: sh: mysql_config: comm
原创 基於json映射配置對json數據key進行替換
近期因爲需要處理50多個不同結構的數據進行標準化處理,想到做如此多的實體,浪費生命,所以就開始啓用模板配置方法,然後基於這個思路,調研了些是否有輪子,結果發現這篇文章,https://blog.csdn.net/qq_39750658/a
原创 RBAC權限控制
http://www.cnblogs.com/zhengyun_ustc/archive/2012/11/17/topic5.html 名詞解釋: RBAC:Role-Based Access Control,基於角色的訪問控制
原创 apache https配置
http://blog.csdn.net/diquren/article/details/48750709 apache https配置步驟 1、 確認是否安裝ssl模塊 是否有mod_ssl.so文件 2、 生成證書和密鑰
原创 Mapreduce部署與第三方依賴包管理【hadoop mapreduce第三方jar包maven管理瘦身版本和臃腫版本各取所需】
http://www.tuicool.com/articles/6NjQ7fm Mapreduce部署是總會涉及到第三方包依賴問題,這些第三方包配置的方式不同,會對mapreduce的部署便捷性有一些影響,有時候還會導致腳本出錯
原创 python版本是2.6升級到2.7.3
http://blog.sina.com.cn/s/blog_62c02a630102vdib.html python版本是2.6升級到2.7.3 (2015-02-12 11:08:03) 轉載▼ 標籤: pyth
原创 MapReduce程式調用第三方包
http://blog.csdn.net/evo_steven/article/details/14520567 MapReduce程式調用第三方包:我在使用過程中需要用到hbase的jar包,若要使用,常規是添加到每臺機器的cla
原创 Hadoop 2.2 & HBase 0.96 Maven 依賴總結
http://blog.csdn.net/huoyunshen88/article/details/39083247 由於Hbase 0.94對Hadoop 2.x的支持不是非常好,故直接添加Hbase 0.94的jar依賴可能會導致問
原创 使用ToolRunner運行Hadoop程序基本原理分析
http://blog.csdn.net/jediael_lu/article/details/38751885 爲了簡化命令行方式運行作業,Hadoop自帶了一些輔助類。GenericOptionsParser是一個類,用
原创 如何執行hbase 的mapreduce job
http://blog.csdn.net/xiao_jun_0820/article/details/28636309 執行hbase mapreduce的兩種方法: 1 使用hadoop命令執行mapreduce job. 採
原创 Java依據文件頭獲取文件類型
http://blog.csdn.net/diquren/article/details/49763781 java根據文件頭獲取文件類型 文件頭是位於文件開頭的一段承擔一定任務的數據,一般都在開頭的部分。頭文件作爲一種包含功能
原创 HBase依賴的tomcat:jasper-compiler和tomcat:jasper-runtime搞得我web頁面的JSP訪問失敗
http://www.cnblogs.com/nexiyi/p/hbase_dependency_problem.html 引入HBase依賴包帶來的麻煩 在一個項目裏用到HBase做底層存儲,使用maven來管理相關Jar包依
原创 hbase 表數據遷移
http://blog.csdn.net/xiao_jun_0820/article/details/28615557 1 CopyTable 工具 用法: CopyTable is a utility that can co
原创 淺談hadoop中mapreduce的文件分發
http://www.it165.net/pro/html/201405/14740.html 最近在做數據分析的時候,需要在mapreduce中調用c語言寫的接口,此時就需要把動態鏈接庫so文件分發到hadoop的各個節