原创 Spark 2.0介紹：從RDD API遷移到DataSet API
RDD遷移到DataSet DataSet API將RDD和DataFrame兩者的優點整合起來，DataSet中的許多API模仿了RDD的API，雖然兩者的實現很不一樣。所以大多數調用RDD API編寫的程序可以很容易地遷移到D
2020-02-22 17:27:55
原创 IDEA編寫Spark程序及手動Artifacts並運行
新建scala工程 添加Spark Jar包 新建如下格式的目錄/src/main/scala 編寫代碼 package SparkDemo002 import org.apache.spark.{SparkContext
2020-02-22 17:27:55
原创 SpringMVC註解方式
目錄結構 流程 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in
2020-02-22 17:27:55
原创 Scala AOP編程
trait Action{ def doAction } trait TBeforeAfter extends Action{ //doAction雖然實現了，但依舊是抽象方法。 //方法內部我們調用了super.d
2020-02-22 17:27:55
原创 Hadoop2.6分佈式 automatic HA+Federation+Yarn教程
一、前言 與Hadoop1.x相比，Hadoop2.x中的NameNode不再是隻有一個了，可以有多個（目前只支持2個）。每一個都有相同的職能。 這兩個NameNode的地位如何哪？ 答：一個是active狀態的，一個是standby
2018-08-22 00:44:45
原创 Hadoop2.6深入僞分佈安裝（CentOS 6.5）
一、安裝前準備 CentOS6.5（64bit） hadoop-2.6.0-64.tar.gz jdk-7u67-linux-x64.tar.gz 二、安裝 1、關閉防火牆和SELinux service iptables s
2018-08-22 00:44:43
1
原创 IntelliJ Idea 常用快捷鍵 及 模板註釋
Ctrl+Alt+t 選擇代碼塊 try catch Alt+回車 導入包,自動修正 Ctrl+N 查找類 Ctrl+Shift+N 查找文件 Ctrl+Alt+L 格式化代碼 Ctrl+Alt+O 優化導入的類和包 Ct
2018-08-22 00:44:43
原创 大數據面試指南（含答案）
大數據面試指南（含答案）_v1 包含Hadoop、Hive、Spark、Hbase、Java、Spring、Redis、Kafka等內容。 下載鏈接：http://download.csdn.net/detail/scgaliguod
2018-08-22 00:44:43
4
原创 Hive常用函數大全（一）（關係/數學/邏輯/數值/日期/條件/字符串/集合統計/複雜類型）
測試數據集： create external table if not exists order_detail( user_id string, device_id string, user_type string, price doub
2018-08-22 00:44:42
2
原创 Hadoop API通過Kerberos認證讀取HDFS(windows)
源數據 代碼 package com.lgd.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataIn
2018-08-22 00:44:42
1
原创 Hadoop自測題及參考答案（持續更新中--2015.7.20）
單選題 1、與其他幾項不同的是 A. Mesos B. Mongodb C. Corona D. Borg E. YARN 注：其他幾項都是資源統一管理系統或者資源統一調度系統，而 Mongodb一種非關係型數據庫。 2、[j
2018-08-22 00:44:42
4
原创 Windows下IDEA，Git，SBT整合詳解
IDEA，Git，SBT，Java，Scala的相關安裝不做過多累述。 版本： jdk7 sbt-0.13.5.zip scala-2.11.7.tgz IDEA2016 Git-1.9.0 本文采用GitHub作爲遠程倉庫。
2018-08-22 00:44:42
2
原创 大數據資料收集
spark Spark 編程指南簡體中文版 https://aiyanbo.gitbooks.io/spark-programming-guide-zh-cn/content/index.html Spark官方文檔 - 中文翻譯 h
2018-08-22 00:44:42
原创 初識Logstash
logstash簡介 logstash是一種分佈式日誌收集框架，開發語言是JRuby，當然是爲了與Java平臺對接，不過與Ruby語法兼容良好，非常簡潔強大，經常與ElasticSearch，Kibana配置，組成著名的ELK技術棧，非常
2018-08-22 00:44:42
3
原创 使用JDBC連接ElasticSearch6.3（ElasticSearch SQL JDBC）
簡述 安裝ES 安裝ES 代碼示例 執行結果 異常處理 current license is non-compliant for [jdbc] Cannot install a [PLATINUM] license unless
2018-08-22 00:44:42
77