原创 Jdk-Linux 安裝配置及下載地址

使用安裝包版本: jdk-8u221-linux-x64.tar.gz 下載地址https://www.java.com/en/download/manual.jsp 一、創建目錄 [root@java java]mkdir /u

原创 Scala--windows,linux環境下的安裝、環境配置

Scala下載地址 https://scala-lang.org/download/ windows下載 linux下載 一、Windows環境配置 1、新建系統變量 變量名 SCALA_HOME 變量值 Scala安裝位

原创 Spark快速大數據分析--第三章RDD編程2

行動操作 初始化 // 初始化 SparkConf val conf = new SparkConf().setMaster("local").setAppName("My App") val sc = new Spark

原创 Zookeeper-Hadoop HA (高可用) 安裝配置及下載地址

使用安裝包版本: hadoop-2.6.0.tar.gz 下載地址 https://www.apache.org/dyn/closer.cgi/hadoop/common jdk-8u221-linux-x64.tar.gz 下載

原创 HBase 安裝配置及下載地址

使用安裝包版本: hbase-1.2.0-bin.tar.gz 下載地址 https://hbase.apache.org/downloads.html HBase 概述 HBase是Hadoop的生態系統,是建立在Hadoop文

原创 hadoop-2.7.7.tar.gz 安裝

一、解壓 [root@master app]# tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/src/ [root@master src]# mv hadoop-2.7.7/ hadoop

原创 MapReduce中僅使用Map階段進行統計,計算

問題描述: 將json數據經過 MapReduce 處理 計算出 dieds 死亡率,存入數據庫,進行可視化 json 數據節選 area # 地區 confirmed # 確診 crued # 治癒 died # 死亡 di

原创 Hive 安裝配置及下載地址

使用安裝包版本: apache-hive-1.2.2-bin.tar.gz 下載地址http://www.apache.org/dyn/closer.cgi/hive/ 一、將hive解壓至指定目錄 1、解壓到/usr/local

原创 Spark快速大數據分析——第六章Spark編程進階——數值RDD的操作

object RDD_2 extends App { val conf = new SparkConf().setMaster("local").setAppName("PairRDD") val sc = new Spa

原创 Spark快速大數據分析--第三章RDD編程

一、創建RDD 1、初始化 // 初始化 SparkConf val conf = new SparkConf().setMaster("local").setAppName("My App") val sc =

原创 Scala數據分析入門--WordCount

文件結構 處理數據 Hello Scala Hello Spark Hello World Hello Hadoop Hello Scala 代碼 package com.dark.spark import org.apac