原创 Linux常用命令總結
Linux常用命令總結 1、常用操作 查看當前目錄下的所有文件及目錄 ls/ll 進入目錄 cd 查看當前目錄 pwd 結束當前進程 ctrl+c/ctrl+z 新建目錄 mkdir dir1
2020-02-20 20:34:57
原创 Scala使用match匹配類型
Scala使用match匹配類型 // stripMargin表示刪除前面的豎線，這樣看起來會顯得比較整齊 val prompt = """ |0：字符串類型 |1：整形 |2：浮點型 |3：P
2020-02-20 20:34:57
原创 Hive行轉列拆分JSON案例1
需求：現在有一些數據格式如下： a:shandong,b:beijing,c:hebei|1,2,3,4,5,6,7,8,9|[{"source":"7fresh","monthSales":4900,"userCount":19
2020-02-20 20:34:57
原创 Hive窗口函數練習題
每個用戶截止到每月爲止的最大單月訪問次數和累計到該月的總訪問次數 0: jdbc:hive2://node03:10000> create table view_log( . . . . . . . . . . . . . . >
2020-02-20 20:34:57
原创 Scala泛型協變逆變非變
協變、逆變、非變 spark的源代碼中大量使用到了協變、逆變、非變 來看一個類型轉換的問題： class Pair[T] object Pair { def main(args: Array[String]): Unit
2020-02-20 20:34:57
原创 SparkStreaming整合Kafka
SparkStreaming整合Kafka代碼maven依賴 代碼 import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.c
2019-10-25 15:00:48
原创 百度面試題: SQL語句查詢用戶登錄天數
SQL語句查詢用戶登錄天數表數據如圖結果準備數據思路 表數據如圖 結果 準備數據 # 準備數據 0: jdbc:hive2://node03:10000> create table if not exists loadreco
2019-10-25 15:00:48
原创 Scala常用操作符
scala中的操作符也是類中的方法： ++ 從列表的尾部添加另外一個列表 ++: 在列表的頭部添加一個列表 +: 在列表的頭部添加一個元素 :+ 在列表的尾部添加一個元素 :: 在列表的頭部添加一個元素 ::: 在列表的
2019-10-25 15:00:48
原创 Java實現快速排序和歸併排序
Java實現快速排序和歸併排序快速排序歸併排序 快速排序 import java.util.Arrays; public class QuickSort01 { public static void main(St
2019-10-25 15:00:48
原创 SparkSQL整合Hive時org.apache.spark.sql.AnalysisException: Table or view not found:
報錯信息 org.apache.spark.sql.AnalysisException: Table or view not found: 解決方法 第一步加配置文件 在IDEA中resource目錄中添加三個配置文件從(從自
2019-10-25 15:00:48
原创 Redis單點/主從/Sentinel架構/集羣搭建完整版
Redis單點/主從/Sentinel架構/集羣搭建完整版搭建環境下載解壓單點安裝-修改配置文件(重點)啓動/關閉主從配置修改配置文件(重點)啓動node02與node03機器的redis服務Sentinel架構搭建啓動哨兵red
2019-09-16 14:45:46
原创 HBase優化及部分面試點
HBase優化及部分面試點HBase優化HRegionServer宕機後系統怎麼保證可用性(WAL機制)HBase的compaction過程和作用 HBase優化 從使用者角度,可以優化存儲模型的設計 rowkey設計:高位
2019-09-16 14:45:46