原创 mapreduce自定義類型-空指針異常之坑NullPointerException
大數據小白一個。在使用mapreduce處理公司實際業務的過程中，有個mapreduce需要用到自定義類型，打包運行時，卻遇到空指針NullPointerException異常，耽誤了好長時間才找出問題的根源，特以此博客記錄，留作學習使用
2020-07-04 08:52:00
原创 大數據常見端口彙總-hadoop、hbase、hive、spark、kafka、zookeeper等（持續更新）
常見端口彙總： Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB U
2020-07-04 08:51:50
原创 Mac環境下， VMware Fusion下的虛擬機（ CentOS 7）的 NAT網絡配置
本帖子能夠實現的效果： 1、虛擬機能訪問外網、虛擬機能訪問Mac本機； 2、Mac本機可以連接虛擬機。 步驟如下： 1、配置 VMware Fusion 虛擬網絡配置 VMware Fusion 安裝完成後，會
2020-07-04 08:51:50
原创 遍歷ArrayList，並刪除某些元素的方法實現
本文是根據 https://blog.csdn.net/qq_32575047/article/details/78902254 的帖子進行整理的，在此感謝一下。 題目：一個ArrayList對象aList中存有若干個字符串元素，現欲遍歷
2020-06-08 19:43:45
原创 MySQL無法登錄問題-"ERROR 1045 (28000): Access denied for user 'root'@'localhost'"-之解決方法-密碼重置
筆者在CentOS7上安裝MySQL 5.7版本，安裝完成後，登錄的時候，提示登錄被拒絕：[root@cdh1 ~]# mysql -uroot -p Enter password: ERROR 1045 (28000): Access
2020-06-08 19:43:44
原创 Java中的 CountDownLatch工具類
最近在公司項目中遇到 CountDownLatch 工具類，特意查了查相關的資料，特做此記錄，有些內容爲網絡摘取。 CountDownLatch 簡介： CountDownLatch 是一個同步工具類，在Java 1.5中被引入，用來協調
2020-04-29 18:55:37
原创 Sqoop的安裝
說明：由於Sqoop的運行需要藉助於Hadoop的MapReduce，所以在安裝Sqoop之前，應確保Hadoop集羣已安裝完畢並運行（Hadoop集羣的安裝請參考：http://blog.csdn.net/u010476994/art
2020-02-22 21:43:42
原创 Sqoop的使用
介紹： Sqoop是Apache旗下的一款開源工具，主要用於 關係型數據庫（Oracle、Mysql等） 與 非關係型數據庫（Hive、HBase等） 之間的數據傳遞，可以將關係型數據庫中的數據導到HDFS上，也可以將HDFS上的數據導
2020-02-22 21:43:42
原创 Kafka集羣搭建
前提：zookeeper集羣已搭建完畢（搭建Zookeeper集羣流程可參考：HADOOP 2.x 完全分佈式集羣環境搭建 帖子中關於搭建Zookeeper集羣的部分） 1、解壓安裝包kafka_2.10-0.8.2.2 到指定目錄 2、
2020-02-22 21:43:41
原创 IntelliJ Idea 常用快捷鍵
Alt+回車 導入包,自動修正 Ctrl+N 查找類Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代碼 Ctrl+Alt+O 優化導入的類和包Alt+Insert 生成代碼(如get,set方法,構造函數等)C
2020-02-22 21:43:41
原创 Hbase完全分佈式環境搭建
Hbase的使用依賴於hadoop環境和zookeeper，後二者的安裝請參考本人博客：HADOOP 2.x 完全分佈式集羣環境搭建 。 具體安排： 本文中準備node~4 四臺虛擬機：
2020-02-22 21:43:41
原创 Java基礎-多線程-①線程的創建和啓動
原文路徑：多線程-線程的創建和啓動 Java基礎-多線程-①線程的創建和啓動 簡單闡釋進程和線程 對於進程最直觀的感受應該就是“windows任務管理器”中的進程管理： （計算機原理課上的記憶已經快要模糊了，簡單理解一
2020-02-22 21:43:31
原创 Spark資源調度與任務調度（standalone模式）
說明：本文所講的Spark資源調度與任務調度是standalone模式下的調度，其它模式下的調度（如Yarn、Mesos等）暫不涉及。 我們結合具體的應用案例——WordCount.scala 來詳細說明Spark是如何進行資源調度與任務
2020-02-22 21:43:31
原创 Mysql數據庫常用引擎的介紹
在MySQL數據庫中，常用的引擎主要就是2個：Innodb和MyIASM。這篇文章將主要介紹這兩個引擎，以及該如何去選擇引擎，最後在提一下這2種引擎所使用的數據結構是什麼。 首先介紹一下Innodb引擎。 Innodb引擎提供了對數
2020-02-22 21:43:31
原创 Java多線程中wait, notify and notifyAll的使用
原文：http://blog.csdn.net/luoweifu/article/details/46664809 講得很透徹，留檔學習。 本文爲翻譯文章，原文地址：http://www.journaldev.com/103
2020-02-22 21:43:31