原创 RabbitMQ的交換機exchange介紹
RabbitMQ的Exchange（交換器）分爲四類： direct（默認） headers fanout topic 其中headers交換器允許你匹配AMQP消息的header而非路由鍵，除此之外headers交換器和dire
2020-05-19 12:48:13
原创 初識大數據(九)-----RDDs基本操作
1、Transfromation介紹 TransFormation(轉換) 從之前的RDD構建一個新的RDD,像Map()和filter(). 2、map() map()接收函數,把函數應用到RDD的每一個元素,返回新RDD. 3
2020-05-14 07:01:08
原创 初識大數據(八)-----RDDs介紹
一、Driver Program 1、包含程序的main方法,RDDs的定義和操作 2、它管理很多節點,我們稱作executors 二、Spark Context Driver Program通過Spark Context對象
2020-05-14 07:01:08
原创 初識大數據(六)-----spark簡介
1、Spark是什麼? Spark是一個快速且通用的集羣計算平臺 1)快速 Spark擴充了流行的MapReduce的計算模型 Spark是基於內存計算的 2)通用 批處理,迭代式計算,交互查詢和流處理等 3)高度開放 提供了Py
2020-05-12 05:27:07
原创 初識大數據(七)-----用Scala進行spark開發
1、開發第一個Spark程序 1)創建一個Spark Context 2)加載數據 3)把每一行分割成單詞 4)轉換成pairs並且計數 2、wordCount程序 import org.apache.spark.{SparkCo
2020-05-12 05:27:07
原创 JQuery版本使用建議
目前jQuery有三個大版本： • 1.x.x: 兼容ie6,7,8，使用最爲廣泛，官網只做BUG維護，功能不再新增。因此一般項目來說，使用1.X版本就可以了，最終版本：1.12.4 (2016年5月20日) • 2.x.x:
2020-05-12 05:27:07
原创 初識大數據(五)-----用IntelliJ IDEA進行Hadoop的開發
1、在本地配置hadoop的環境變量 增加系統變量HADOOP_HOME，變量值爲hadoop-2.6.0.rar壓縮包解壓所在的目錄 在系統變量中對變量名爲PATH的系統變量追加變量值，變量值爲 %HADOOP_HOME%/bi
2020-05-10 01:47:25
原创 初識大數據(二)-----hadoop的核心原理
一、HDFS設計架構 1)塊(Block) 固定大小的邏輯單元,HDFS的文件被分成塊進行存儲,HDFS塊的默認大小是64M.塊是文件存儲處理的邏輯單元. 2)NameNode 是管理節點,存放文件的元數據 文件與數據塊的映射表
2020-05-10 01:47:25
原创 架構的優化設計
一、索引的優化 1、索引不會包含NULL值的列. 2、Mysql查詢只使用一個索引,如果where子句中使用了索引,那麼order by中的列是不會用索引的.因此數據庫默認排序可以在符合要求的情況下不使用排序操作 3、索引儘量不要
2020-05-10 01:47:15
原创 初識大數據(三)-----基於zookeeper的Hadoop集羣的安裝與配置
基於zookeeper的Hadoop集羣 集羣規劃 hadoop1(master) hadoop2 hadoop3 NameNode √ √ DataNode √ √ √ ResourceManager
2020-05-10 01:47:15
原创 初識大數據(四)-----Hadoop的命令行操作
講了那麼多hadoop的原理,來這次我們實操過個癮. 查看hadoop版本 hadoop version 停止hadoop /opt/softwares/hadoop-2.7.7/sbin/stop-all.sh 啓動Ha
2020-05-10 01:47:15
原创 初識大數據(一)-----Hadoop基本概念
1、Hadoop是什麼? Hadoop是一個開源的分佈式存儲和分佈式計算平臺 包括兩個核心組成: 1)HDFS: 分佈式文件系統,存儲海量的數據 2)MapReduce: 並行處理框架,實現任務分解和調度 2、hadoop用來
2020-05-07 15:07:40