原创 spring boot學習系列之使用IntellijIDEA建立第一個spring boot 項目
前面的話：最近在學習Spring boot框架，記錄下自己學習的內容，方便後續查閱或者大家一起來學習。 利用IntellijIDEA建立第一個spring boot 項目. 第一步: 第二步: 第三步： 第四步: 點擊finish
2020-07-02 02:27:48
原创 windows 10下 scala運行環境搭建
概況：scala運行環境的搭建分爲兩種， 第一種，下載scalaide或者其他scala程序編寫環境，可直接編寫scala程序，進行調試。 第二種，純代碼式編寫，需要安裝jdk及scala的解
2020-02-21 06:29:52
原创 scala中List的常用方法和作用
方法名 方法作用 List() 或者Nil 空List List("one","two","three") 創建帶有三個值的新List[String] val number="one"::"two"::"three" 創建帶有三個值的新L
2020-02-21 06:29:52
原创 java集合面試錦集
Java集合框架（例如基本的數據結構）裏包含了最常見的Java常見面試問題。很好地理解集合框架，可以幫助你理解和利用Java的一些高級特性。下面是面試Java核心技術的一些很實用的問題。 Q：最常見的數據結構有哪些，在哪些場景下應
2020-02-21 06:29:52
原创 CentOS6.5下安裝scala
step1：下載符合操作系統的scala： scala-lang.org step2: 創建scala安裝目錄 step3： 解壓scala軟件到目錄 # tar
2020-02-21 06:29:52
原创 SPARK RDD JAVA API 用法指南
原文鏈接：https://blog.csdn.net/hellozhxy/article/details/81672845 1.RDD介紹： RDD，彈性分佈式數據集，即分佈式的元素
2019-08-07 17:21:04
原创 Spark：org.apache.spark.SparkException: Task not serializable
最近調式Java語言寫spark SQL 訪問HBase數據表，遇到標題所述的問題，先描述下問題出現過程，然後講述下問題解決辦法。 第一，在單獨類中調式代碼，能成功返回HBase數據，並展示出來： public class testSQ
2019-08-07 17:21:04
原创 phoenix安裝問題
業務需要，使用phoenix來操作hbase，按照安裝說明文檔，就是不能正確連接。遇到問題如下： 1、問題一： 問題描述：運行sqlline.py master 一直停頓在WARN util.NativeCodeLoader: Unabl
2019-07-10 17:36:44
原创 Sqoop shell 之MS SQL
1、sqoop 查看MS SQL服務器上所有的數據庫 sqoop list-databases --connect jdbc:sqlserver://192.168.80.1 --username sa --password XX
2019-04-17 17:19:31
原创 Sqoop shell之 My SQL
1、查看mysql中所有的數據庫 sqoop list-databases --connect jdbc:mysql://192.168.80.1/ --username root --password XXX 2、查看mysql中數據庫
2019-04-17 17:19:31
27
原创 Spark入門系列之Spark 簡介
Spark是一種基於內存計算的大數據並行計算框架，用於構建大型的低延遲的數據分析程序。 1、Spark生態系統的特點： 運行速度快：使用DAD執行引擎，支持循壞數據流與內存計算； 容易使用：支持scala、java、p
2019-02-28 22:21:44
原创 Spark入門系列之Spark 生態系統 ing
在大數據系統處理方面，主要處理的是三大類數據： 複雜的批量數據處理； -----------------------數十分鐘 --->數小時，MR模型，spark core 基於歷史數據的交互式查詢；-------------
2019-02-28 22:21:44
原创 HDFS-java.io.IOException: Unable to create new block.
Hadoop集羣運行正常，開啓hive，load數據進表示發現load不進去，就嘗試hdfs put一個文件到hdfs上，發現hdfs上put文件報如下錯誤，而看NN和DN log均沒有報錯，而且每次put一次，報錯的機器並不完全一
2018-11-28 13:12:53
原创 centos 批量刪除軟件
1、uninstall.sh #!/bin/bash ################################################################ # # function: batch unin
2018-11-25 22:24:20