原创 rz上傳文件到集羣出現亂碼問題
第一種解決方式是：打開crt的選項->回話選項，把裏面的 default改成utf-8； 第二種解決方式是：rz命令換成 rz -e 進行上傳。第二種問題描述：上傳文件的時候，顯示亂碼，上傳失敗，然後跳到集羣別的節點。
2020-07-03 23:33:36
原创 實踐+總結:Apache avro根據*.avsc文件提取對象的三種方式
三種獲得對象類型的方式1.通過腳本命令 avro-tools2.通過mvn方式，主要是pom文件配置3.通過代碼方式 1.通過腳本命令 avro-tools 這幾天在弄一件事情，用flink在kafka中讀取數據，kafka中的數
2020-07-02 09:03:53
原创 關於git的安裝及ssh遇到的問題
**本人是小白一枚，記錄一下第一次使用git，走了很多彎路，希望對大家有所幫助。** 目錄1.安裝git2.配置git3.遇到問題及參考網站 1.安裝git 安裝很簡單，我點的都是下一步。 2.配置git ①這裏有兩種方式，
2020-06-16 14:28:52
原创 Kafka入門架構原理
Kafka應知應會背景介紹1.afka-定義2.Kafka-特點3. Kafka-架構圖及相關概念4. Kafka-相關術語概念5.Kafka-消息訂閱和發佈5.1.Kafka 消息發送機制5.2.Kafka存儲機制5.3 Kaf
2020-06-16 14:28:52
原创 大數據中的一些端口號
flink的端口號：8081 50070：HDFSwebUI的端口號 8485:journalnode默認的端口號 9000：非高可用訪問數rpc端口 8020：高可用訪問數據rpc 8088：yarn的webUI的端口號 808
2020-05-02 13:39:34
原创 mysql綜合練習：用一個自定義函數實現兩個向量之間的餘弦相似度計算
如有問題，請聯繫qq：2499496272，謝謝~~ 我們一起努力！ 數據 id,name,age,height,weight,yanzhi,score 1,a,18.0,172.0,120.0,98.0,68.8 2,b,28,
2020-04-27 13:20:02
原创 hive的時間函數
hive常用語法之日期函數日期函數1.Unix時間戳轉日期函數 from_unixtime2.獲取當前unix時間戳函數unix_timestamp3.日期的轉換 unix_timestamp4.指定格式日期轉換unix時間戳函數
2020-04-27 13:20:02
原创 csv文件的存儲格式以及hive讀取表的時候運行結果
概述 逗號分隔值（Comma-Separated Values，CSV，有時成爲字符分隔值）。 其文件以純文本形式存儲表格數據（數字和文本），文件的每一行都是一個數據記錄。 每個記錄由一個或多個字段組成，用逗號分隔。使用逗號作爲字
2020-04-27 13:20:02
1
原创 從RDD創建DataFrame（Sparksql）
如有侵權請聯繫，交流QQ：2499496272 創建DataFrame從RDD[Case class類]創建DataFrame從RDD[Tuple]創建DataFrame從RDD[JavaBean]創建DataFrame從RDD[
2020-04-27 13:20:02
原创 SparkSql學習之：toDF方法的由來（源碼）
源碼 spark.implicits._ 中有隱式轉換換： rdd[T] --> DatasetHolder， 而DatasetHolder中有toDF方法 所以，就可以在rdd[T].toDF toDF中調用的有是 sql
2020-04-27 13:20:02
原创 MapReduce on yarn 總結
1.客戶端向resource manager申請運行application 2.resource返回給client一個jobid和資源的上傳路徑 3.客戶端將資源上傳到hdfs上（查看輸入的目錄文件並計算切片FileSplit[]
2020-04-27 13:20:02
原创 高德API請求demo
首先你必須註冊一個賬號，因爲搞得查東西是花錢的（或者去某寶租一個短期的） object GaodeLBSDemo { def main(args: Array[String]): Unit = { import sca
2020-04-27 13:20:02
原创 hdfs的簡單介紹優缺點以及在生產中可能遇到的問題
認真學習，不斷提高自己。 目錄1.hadoop 生態圈的組件及描述2.Hadoop 的幾個默認端口及其含義3.hdfs的工作機制4.hdfs的優缺點5.hdfs數據的上傳和下載流程6.checkpoint機制7.HDFS安裝目錄中
2020-04-27 13:20:02
1
原创 Sparksql學習之連接hive之後運行程序路徑錯誤
1.連接hive數據庫代碼 import org.apache.spark.sql.{DataFrame, SparkSession} /** * 從hive中加載表成爲dataframe */ object Demo12_
2020-04-27 13:20:02
原创 用hive連接mysql瘋狂連接不上
mysql在之前連接spark的時候版本自己發生了改變，需要改回。 還有當時百度借鑑的文章：https://blog.csdn.net/aubekpan/article/details/93758340 一、如果是root外用
2020-04-27 13:20:02