原创 hadoop mapreduce核心功能描述

http://www.open-open.com/lib/view/open1337349822015.html 核心功能描述 應用程序通常會通過提供map和reduce來實現 Mapper和Reducer接口,它們組成作業的

原创 python錯誤彙總3:安裝MySQLdb時:EnvironmentError: mysql_config not found

文章來源:http://wangjunle23.blog.163.com/blog/static/117838171201331463342722/ 安裝mysqldb時出現以下錯誤: sh: mysql_config: comm

原创 基於json映射配置對json數據key進行替換

近期因爲需要處理50多個不同結構的數據進行標準化處理,想到做如此多的實體,浪費生命,所以就開始啓用模板配置方法,然後基於這個思路,調研了些是否有輪子,結果發現這篇文章,https://blog.csdn.net/qq_39750658/a

原创 RBAC權限控制

http://www.cnblogs.com/zhengyun_ustc/archive/2012/11/17/topic5.html 名詞解釋: RBAC:Role-Based Access Control,基於角色的訪問控制

原创 apache https配置

http://blog.csdn.net/diquren/article/details/48750709 apache https配置步驟 1、  確認是否安裝ssl模塊 是否有mod_ssl.so文件 2、  生成證書和密鑰

原创 Mapreduce部署與第三方依賴包管理【hadoop mapreduce第三方jar包maven管理瘦身版本和臃腫版本各取所需】

http://www.tuicool.com/articles/6NjQ7fm Mapreduce部署是總會涉及到第三方包依賴問題,這些第三方包配置的方式不同,會對mapreduce的部署便捷性有一些影響,有時候還會導致腳本出錯

原创 python版本是2.6升級到2.7.3

http://blog.sina.com.cn/s/blog_62c02a630102vdib.html python版本是2.6升級到2.7.3  (2015-02-12 11:08:03) 轉載▼ 標籤:  pyth

原创 MapReduce程式調用第三方包

http://blog.csdn.net/evo_steven/article/details/14520567 MapReduce程式調用第三方包:我在使用過程中需要用到hbase的jar包,若要使用,常規是添加到每臺機器的cla

原创 Hadoop 2.2 & HBase 0.96 Maven 依賴總結

http://blog.csdn.net/huoyunshen88/article/details/39083247 由於Hbase 0.94對Hadoop 2.x的支持不是非常好,故直接添加Hbase 0.94的jar依賴可能會導致問

原创 使用ToolRunner運行Hadoop程序基本原理分析

http://blog.csdn.net/jediael_lu/article/details/38751885  爲了簡化命令行方式運行作業,Hadoop自帶了一些輔助類。GenericOptionsParser是一個類,用

原创 如何執行hbase 的mapreduce job

http://blog.csdn.net/xiao_jun_0820/article/details/28636309 執行hbase mapreduce的兩種方法: 1 使用hadoop命令執行mapreduce job.   採

原创 Java依據文件頭獲取文件類型

http://blog.csdn.net/diquren/article/details/49763781 java根據文件頭獲取文件類型    文件頭是位於文件開頭的一段承擔一定任務的數據,一般都在開頭的部分。頭文件作爲一種包含功能

原创 HBase依賴的tomcat:jasper-compiler和tomcat:jasper-runtime搞得我web頁面的JSP訪問失敗

http://www.cnblogs.com/nexiyi/p/hbase_dependency_problem.html 引入HBase依賴包帶來的麻煩 在一個項目裏用到HBase做底層存儲,使用maven來管理相關Jar包依

原创 hbase 表數據遷移

http://blog.csdn.net/xiao_jun_0820/article/details/28615557 1 CopyTable 工具 用法: CopyTable is a utility that can co

原创 淺談hadoop中mapreduce的文件分發

http://www.it165.net/pro/html/201405/14740.html 最近在做數據分析的時候,需要在mapreduce中調用c語言寫的接口,此時就需要把動態鏈接庫so文件分發到hadoop的各個節