原创 Hadoop2.2.0+HA+zookeeper3.4.5詳細配置過程+錯誤處理(二)
Hadoop2.2.0+HA+zookeeper3.4.5詳細配置過程+體系結構+錯誤處理(2) 這篇文章，主要是針對zookeeper和hadoop集羣的整體測試，以及自己在實際過程遇到的問題和解決思路。
2020-06-30 17:41:33
原创 Java正則表達式：我最期望弄懂的知識，希望對大家都有幫助
在Sun的Java JDK 1.40版本中，Java自帶了支持正則表達式的包，本文就拋磚引玉地介紹瞭如何使用java.util.regex包。 可粗略估計一下，除了偶爾用Linux的外，其他Linu x用戶都會遇到正則表達式
2020-06-30 17:41:33
原创 javaWeb Note1
HTML 1. HTML: 超文本標記語言，即HTML（Hypertext Markup Language），是用於描述網頁文檔的一種標記語言 2. 最簡單的一個html文件的內容應該包括 html開頭、head、body是互相嵌套的
2020-06-30 17:41:33
原创 Hadoop2異常分析（一）：hdfs移動數據至 hive,爲什麼原數據沒有了？
在向hive表中添加數據的時候，location指定的位置如果是本地文件，則會將本地文件複製一份至表中； 但是如果指定location數據在hdfs上面（通常情況下），則只是對數據進行移動，你會發現這個過程非常快；
2020-06-30 17:41:33
原创 Hadoop2調優（一）：如何控制job的map任務和reduce任務的數量
在運行MapReduce任務的時候如何避免這種情況！ 100多個map任務，但是隻有1個reduce任務； 此時在mapred-site.xml中修改配置 <property><name>mapred.map.tasks</name
2020-06-30 17:41:33
原创 Hadoop推測執行（以空間換取時間）
1. 背景 Speculative Task，又叫推測式任務，是指在分佈式集羣環境下，因爲程序bug，負載不均衡或者資源分佈不均，造成同一個job的多個task運行速度不一致，有的task運行速度明顯慢於其他task（比如：一個job
2020-02-21 13:47:58
1
原创 Hadoop2.2.0+HA+zookeeper3.4.5詳細配置過程+錯誤處理(一)
Hadoop2.2.0+HA+zookeeper3.4.5+體系結構+錯誤處理 心血之作，在熟悉hadoop2架構的過程耽誤了太長時間，在搭建環境過程遇到一些問題，這些問題一直卡在那兒，不得以解決，耽誤了時間。最後，千
2020-02-21 13:47:58
原创 基礎補充和加強——希望對後來的人有所幫助
銀行業務調度系統篇 我覺得，總的邏輯是要在main方法中體現的，那麼在這個銀行業務調度系統中，main方法要做的事情是什麼呢，我們來將以前的類的功能來分析一下： NumberManager類：號碼管理器，用來生成來獲取服務的新的客戶，其
2020-02-21 13:47:58
原创 Java高新技術筆記：反射、多線程、泛型、枚舉、javaBean、代理
1、IDE: Integrated Development Environment 2、集成開發環境兩個主流：Eclipse和netBeans 3、preference: 偏愛 4、Compiler： 編譯器； 5.Switcha ja
2020-02-21 13:47:58
原创 Hadoop2.2.0使用筆記總結（一）
1、執行Mapreduce程序卡住 安裝完畢後執行wordcount程序時，mapreduce任務卡住，注意修改hosts文件，將ip地址映射到主機名 2、非root用戶對文件是否有讀寫權限？ <property> <nam
2020-02-21 13:47:58
原创 Hadoop常見錯誤解析
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序裏面需要打開多個文件，進行分析，系統一般默認數量是1024，（用ulimit -
2020-02-21 13:47:58
原创 Hadoop2異常分析（二）：Sqoop導出數據錯誤
sqoop錯誤： Error during import: No primary key could be found for table tab1. Please specify one with --split-by or perfo
2020-02-21 13:47:58
原创 2014工作總結
2014年是一個過去，即將迎接的是2015年的挑戰，但2014年對我來說，絕對是一個具有重要意義的一年。 2014年，接觸到了不少的項目，更多的時間是忙碌的，個人感覺在技術和業務上都有顯著的提升，也是非常感謝幫助過我的人們
2020-02-21 13:47:58
原创 hadoop2.20+hive+sqoop+mysql數據處理案例
一、業務說明 使用Hadoop2及其他開源框架，對本地的日誌文件進行處理，將處理後需要的數據（PV、UV...）重新導入到關係型數據庫（Mysql）中，使用Java程序對結果數據進行處理，組織成報表的形式在數據後臺進行展示。 二、爲什
2020-02-21 13:47:58
原创 HiveMQ broker maven項目轉化及運行環境搭建
一 安裝目標 1 實現在本地環境開發和運行hiveMq Server端 二 安裝軟件準備 （僅windows） ♦1 JDK 11 hiveMQ broker運行環境目前僅支持jdk11及以上版本；推薦oracle官方版本 jdk
2019-06-10 22:02:18
10