原创 目標關鍵字存在，IDEA全局搜索搜不到結果
目標關鍵字存在，IDEA全局搜索搜不到結果 今天在使用IDEA全局搜索（Ctrl+Shift+F）請求路徑的時候，發現搜不到，但是後來發現目標關鍵字是存在的，文件中的Ctrl+F是可以搜索到的，後來發現了這篇文章：https://
2020-06-21 14:51:59
1
原创 一次性搞清楚Java中右移運算符和左移運算符
今天在ArrayList源碼的時候看到擴容機制中的右移操作 一時沒反應過來到底是擴容了多少，痛定思痛的決定好好研究下java中的左移右移操作。 提示：由於下文涉及到原碼，補碼，反碼等相關知識，有疑問的同學可以移步https://
2020-04-29 20:51:26
1
原创 SQL NULL值比較陷阱
SQL NULL值比較陷阱 起因：在與其他系統對接時，他們要下發數據到table表，下發邏輯爲如果A字段的值不是“XXX”和“YYY”就不會下發這條數據，因爲之前是沒有下發A字段，所以A字段的值一直都是NULL，但是查了數據庫還存
2020-04-28 15:46:25
1
原创 Spark的集羣（Standalone）搭建步驟
首先，去spark官網下載spark安裝包 筆者這次使用的是spark1.6.3、Hadoop2.6版本的jar包 下載完成後，把jar包發送到服務器上進行解壓，然後把解壓後的文件夾名稱改爲spark1.6.3. 進入co
2018-11-07 03:49:02
原创 Spark概述
基本介紹： Spark 是專爲大規模數據處理而設計的快速通用的計算引擎。Spark是UC Berkeley AMP lab (加州大學伯克利分校的AMP實驗室)所開源的類Hadoop MapReduce的通用並行框架，用來構建大型的、
2018-11-07 03:49:02
原创 Hive基礎理論及表的類型
什麼是Hive？ Hive是建立在Hadoop上的，用來構建數據倉庫的工具，裏面有表的概念，可以使用SQL語句實現存儲、查詢和分析存儲在 HDFS上的數據，這些SQL語句在Hive中稱爲HQL，語法和SQL語句基本一樣。 由於數據是雜
2018-11-04 04:11:02
原创 Hive工具的配置與使用
Hive有三種模式： 內嵌Derby方式 Local方式 Remote方式 在實際的開發中，我們經常用的是第三種，所以接下來我們就介紹一下Remote方式的Hive如何配置 由於Remote方式和Local方式都是使用的mysq
2018-10-21 03:22:20
3
原创 HDFS HA高可用完全分佈式搭建步驟
集羣規劃： NameNode DataNode ZooKeeper ZKFC JournalNode node01 √ √ √ node02 √ √ √ √ √ node03 √ √ √ node0
2018-10-20 04:00:48
原创 HDFS完全分佈式的搭建步驟
1.時間同步 首先需要在各個節點上都安裝上ntp yum install ntp 然後在網上查找最新的時間服務器ntp1.aliyun.com 使用ntp同步時間ntpdate ntp1.aliyun.com 2.配置免密
2018-10-20 04:00:48
原创 HDFS原理
HDFS原理 在HDFS中有三個模塊 分別是：NameNode、SecondaryNameNode、DataNode 1.NameNode NameNode是掌控全局的模塊，主要作用有： ①.用來管理DataNode以及元數據；
2018-10-20 04:00:48
原创 HDFS僞分佈式的搭建步驟
HDFS僞分佈式的搭建 1.配置免密登錄 ① ssh-keygen -t rsa （此處一路回車即可） ② ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01 2.配置JDK ① export
2018-10-20 04:00:48
原创 基於高可用的HDFS分佈式集羣搭建Yarn
高可用的集羣搭建可以參考博主的另一篇博客 https://blog.csdn.net/PowerBlogger/article/details/83018127 集羣規劃： 基於HDFS高可用分佈式集羣搭建yarn步驟： 找到had
2018-10-20 04:00:48
3
原创 MapReduce的運行原理
MapReduce的執行步驟： 每個Map上創建一個split數據，默認和block大小相同，每一個split都會由一個map task進行處理，從block中讀取出每一行的數據會變成一個個的鍵值對<K,V>。 接下來，讀取
2018-10-20 04:00:48
2
原创 大數據課程-HDFS詳解
大數據課程 一、分佈式存儲HDFS 1、 Hadoop的歷史 作者Doug Cutting Lucene 三駕馬車 GFS MapReduce BigTable hadoop生態圈 hdfs mapreduce yar
2018-10-20 04:00:48