原创 Spark Streaming的核心DStream之轉換操作實例
DStream的轉化操作 DStream API提供的與轉化操作相關的方法如下： 如下舉例詳解transform(func) 方法和 updateStateByKey(func) 方法： （1）、transform(func) 方法 tra
2020-05-25 17:41:11
1
原创 Spark小實例——求文件中的最大值和最小值（IDEA實現）
Spark小實例——求文件中的最大值和最小值（IDEA實現）1、所需軟件IDEA開發工具HDFS分佈式文件系統（可選項）spark-2.1.1-bin-hadoop2.7（版本可自選）2、所需文件（自定義數據即可）比如： 3、準備IDEA的
2020-04-28 17:56:55
原创 Spark運行原理（大白話筆記）
spark運行原理講解的是spark在運行期間集羣中的節點是怎麼接收任務和處理任務的具體的步驟如下：1、在客戶端通過命令提交一個job任務的時候，Driver就會啓動相關的節點進行工作2、客戶端的driver會向master註冊資源。在這兩
2020-04-15 20:08:08
原创 Python數據分析之Numpy庫（詳細筆記）
1.創建ndarray數組：Numpy庫能將序列數據（列表，元組，數組等其他數據類型）轉換爲ndarray數組需要引入numpy庫：import numpy as np語法：np.array(data)參數說明：data爲需要轉換爲n
2020-03-27 12:49:24
1
原创 JavaScript基礎（筆記）
1.3JavaScript基礎1.3.1DOM的相關知識DOM的含義:Document Object Model,文檔對象模型，文檔:指的是標記文檔(html ,xml)対象:可以使用dom裏面的相關屬性和方法來解析標記性文檔.Dom的組成
2020-03-27 12:49:24
1
原创 Python數據分析之Numpy庫（筆記）
2.1 ndarray多維數組2.1.1 創建ndarray數組通過NumPy庫的array函數，即可輕鬆地創建ndarray數組。NumPy庫能將數據（列表，元組，數組，或其他序列類型）轉換爲ndarray數組第一步先要引入NumPy庫：
2020-03-27 12:49:14
9
原创 HTML簡介（筆記）
1.HTML技術1.1 HTML簡介它是一門描述網頁的語言，全稱（HyperText MarkUp Language）超文本標記語言。超文本：超出文本的範疇，指的是在網頁上面可以描述文本、圖片、視頻等內容標記：標籤，在標籤裏面書寫內容。語言
2020-03-27 12:49:14
原创 Hadoop HA 集羣配置文件
> 1、hadoop-env.sh配置 export JAVA_HOME=(jdk安裝地址) > 2、hdfs-site.xml配置文件 <此新名稱服務的邏輯名稱><property><name> dfs.nameservices </
2019-11-10 12:49:08
1
原创 解決：CentOS 7下yum install mysql-server無包可用問題
問題：[root@master ~]# yum install mysql-server已加載插件：fastestmirrorLoading mirror speeds from cached hostfile base: ap.sty
2019-11-05 12:49:13
原创 JAVA API操作小文件合併至HDFS（筆記）
相關文件請自行創建！！！ package com.hadoop.hdfs; import java.io.IOException;import java.net.URI;import java.net.URISyntaxExceptio
2019-11-01 12:49:17
原创 Hadoop全分佈式集羣搭建（詳細）
一、準備物理集羣。1、物理集羣搭建方式。採用搭建3臺虛擬機的方式來部署3個節點的物理集羣。2、虛擬機準備。準備一個已近建好的虛擬機進行克隆。（建議爲沒進行過任何操作的）在要選擇克隆的虛擬機上右擊鼠標，管理，克隆。在彈出對話框中進行以下操作
2019-10-27 12:49:20
原创 HDFS主機維護操作（筆記）
主機的維護操作主機的維護操作主要包括Active NameNode(活躍狀態的名字節點) 、Standby NameNode(備用狀態的名字節點) 、DataNode(數據節點) 、ResourceManager(資源管理器) 、Node
2019-10-23 12:49:13
原创 配置 iSCSI 目標服務器（四）
使用 Microsoft iSCSI Software Target 在 Windows Server 2008 R2 上搭建 iSCSI 目標服務器，在 Windows 10使 用 iSCSI 發起程序連接到 iSCSI 存儲**Micr
2019-10-22 12:49:08
原创 HDFS的Java API操作（筆記）
注意：需要獲取哪個打開main函數中的哪個 package com.hadoop.test; import java.net.URI;import org.apache.hadoop.conf.Configuration;import o
2019-10-22 12:49:08
原创 HDFS的Shell操作（筆記）
*基本操作（單集羣）：***1、創建文件夾命令[hadoop@master ~]$ hadoop fs -mkdir -p /201910212、上傳文件命令[hadoop@master ~]$ hadoop fs -put test.t
2019-10-22 12:49:08