原创 Hive數據傾斜的原因及主要解決方法

數據傾斜產生的原因 數據傾斜的原因很大部分是join傾斜和聚合傾斜兩大類 Hive傾斜之group by聚合傾斜 原因: 分組的維度過少,每個維度的值過多,導致處理某值的reduce耗時很久; 對一些類型統計的時候某種類型的數據量特別多

原创 redis問題及答案

  2019.9.16更新:增加了對緩存雪崩,緩存穿透,緩存擊穿的描述。並附上本人對Redis單線程,多線程實現的理解。 評論區有一些爭執,但是大家都很友善,比如這個單線程是否能讓Redis更快尤其是大家爭論的重點。 (以下單線程僅指Re

原创 flink隨筆

1 map 或者source時繼承對應的rich function,在其中的open方法中建立連接,對應的close方法中關閉連接。 2 window必須對應keyedstream,也就是說必須在keyby之後。之後在對應相應的增量函數比

原创 flink維表join的幾種方式(1)

維表join的幾種方式 一 將維表預加載到內存關聯 實現方式: 定義一個類實現RichFlatMapFunction在open()方法中讀取全部數據加載到內存中。 優缺點: 因爲存在內存中,所以僅支持小數據量維表;因爲open方法中讀取,

原创 spark初始運行環境創建

首先,使用 ScalaIDE 或 IDEA 創建 Scala 的 Maven 工程。需要用到 spark-core,spark-sql,spark-streaming 的 jar 包,pom 文件如下: <properties> <s

原创 hive 常用函數操作

一 hive mysql  create table as/like區別 mysql -- 沒有開啓gtid的情況下,不拷貝數據,只創建一模一樣的表結構,包括索引約束等,結合insert語句可以實現複製一個表的結構和數據的目的 crea

原创 部分leetcode題目

一: 假設按照升序排序的數組在預先未知的某個點上進行了旋轉。 ( 例如,數組 [0,1,2,4,5,6,7] 可能變爲 [4,5,6,7,0,1,2] )。 搜索一個給定的目標值,如果數組中存在這個目標值,則返回它的索引,否則返回 -1

原创 Flink Table API & SQL - 概念和通用API

Table API 和 SQL 集成在一個 API 中。這個 API 用作查詢、輸入和輸出的表。本文檔展示了帶有 Table API 和 SQL 查詢的程序的公共結構、如何註冊表、如何查詢表以及如何寫入表。 目錄 兩個Planner之間的

原创 Spring Mybatis Tips

1 spring中bean轉json時首字母、第二個字母是大寫變小寫的問題 需要在實體pojo類中的字段定義加上註解。這個跟javaBean相關規範和lombok的轉化有關係,還會影響get/set方法,必要時需要重寫get/set方法。

原创 hive map reduce數量

一、    控制hive任務中的map數:  1.    通常情況下,作業會通過input的目錄產生一個或者多個map任務。  主要的決定因素有: input的文件總個數,input的文件大小,集羣設置的文件塊大小(目前爲128M, 可在

原创 shell 進入mysql redis hive等tips

1、 src/redis-cli -h 192.168.1.81 -p 6379 -a password 2 進入hive client前設置隊列權限 hive --hiveconf mapreduce.job.queuename=r

原创 spark mysql讀取寫入

 https://blog.csdn.net/zuochang_liu/article/details/97398209 SparkSession ss = SparkSession.builder().config(conf).ena

原创 es導hive以及hive一些基本操作

hive基本操作 hive; show databases; use xesoa; show tables; show create table api_relation_student_live; desc api_relation

原创 mysql 常用操作tips

  ALTER TABLE `cdb_user_group_org_mapping` add (       `status` tinyint(1) unsigned NOT NULL DEFAULT '1' COMMENT '數據有效

原创 hive sql例子

例子1:  select * from business; jack 2017-01-01 10 jack 2017-01-02 10 tom 2017-01-01 10 tom 2017-01-02 10 tom