原创 自定義實現二次排序
Java： package cn.spark.sparktest; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD;
2019-06-12 02:47:57
原创 HBASE60010端口無法訪問web界面問題
搭建好Hadoop集羣以及HBASE之後，只用60010端口無法訪問HBASE web界面 集羣搭建 環境配置 文件配置 完全正確 解決方法：HBASE1.0之後 端口發生改變 現在的端口是 16010
2019-06-12 02:47:57
1
原创 查詢學生成績在80之上的學生信息
Java： package cn.spark.sql; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import
2019-06-12 02:47:57
原创 idea使用jdbc連接hive的報錯總結
1、java.sql.SQLException: org.apache.thrift.transport.TTransportException: SASL authentication not complete 遇到這種錯誤，首先看
2019-06-12 02:47:57
原创 Spark算子實戰transforma（Java）
map算子：將集合中的每個元素乘2 package cn.spark.sparktest; import java.util.Arrays; import java.util.List; import org.apache.sp
2019-05-14 22:22:08
原创 Spark算子實戰action（Java）
1、reduce算子操作 package cn.spark.sparktest; import org.apache.spark.SparkConf; import org.apache.spark.SparkContext; im
2019-05-14 22:22:08
原创 Spark算子實戰action（Scala）
1、reduce算子 package cn.spark.study.core import org.apache.spark.{SparkConf, SparkContext} object actionOpertion {
2019-05-14 22:22:08
原创 Spark算子實戰transforma（Scala）
map算子：將集合中的每個元素乘2 package cn.spark.study.core import org.apache.spark.{SparkConf, SparkContext} object transformati
2019-05-14 22:22:08
原创 使用idea開發Java的Wordcount程序並提交到spark集羣運行
首先，我們需要確保集羣已搭建好，win10安裝idea，打開idea，選擇創建maven項目 然後next，finish。 工程打開後再pom.xml中添加依賴，選擇啓動導入依賴 <?xml version="1.0" enco
2019-05-11 17:39:52
原创 CentOS6.5中安裝Hadoop
安裝Hadoop包 1、使用課程提供的hadoop-2.4.1.tar.gz，使用WinSCP上傳到CentOS的/usr/local目錄下。 2、將hadoop包進行解壓縮：tar -zxvf hadoop-2.4.1.tar.gz 3
2019-05-06 00:47:54
原创 CentOS6.5安裝Scala和kafka
安裝Scala2.11.4 1、將scala-2.11.4.tgz使用WinSCP拷貝到spark1的/usr/local目錄下。 2、對scala-2.11.4.tgz進行解壓縮：tar -zxvf scala-2.11.4.tgz。
2019-05-06 00:47:54
原创 CentOS6.5安裝zookeeper
安裝zookeeper包 1、將zookeeper-3.4.5.tar.gz使用WinSCP拷貝到spark1的/usr/local目錄下。 2、對zookeeper-3.4.5.tar.gz進行解壓縮：tar -zxvf zookeep
2019-05-06 00:47:54