原创 Java_JVM_Java的雙親委派模型 與 破壞雙親委派模型實例
參考文章： 1.雙親委派模型的破壞(JDBC例子) https://blog.csdn.net/awake_lqh/article/details/106171219 2.面試官：說說雙親委派模型？ https://baijiahao
2020-06-16 14:08:02
原创 Spark_Spark分區相關的幾個算子_partitionBy, coalesce, repartition
Base Spark 2.2.0 首先，我們看下 coalesce 與 repartition 的主要區別： 這兩個算子主要區別，在於是否有shuffle 流程的發生。其中 coalesce 沒有 shuffle 流程的發生，而 re
2020-06-16 14:08:02
原创 Spark_Spark_ERROR關於spark.sql.autoBroadcastJoinThreshold設置
SparkSQL 相關文檔 ： http://spark.apache.org/docs/2.4.4/sql-performance-tuning.html 今天使用spark對一組大數據進行合併作join操作，一直都報下面的
2020-06-16 14:08:02
原创 Spark_Spark 中Cache的作用 以及 具體的案例
參考文章： https://blog.csdn.net/qq_20641565/article/details/76216417 今天模擬實現 broadcastJoin 的時候突然意識到了這個點，對 Spark 的 Cache 做個
2020-06-16 14:08:02
原创 Leetcode_Leetcode199二叉樹的左視圖，右視圖
給定一棵二叉樹，想象自己站在它的右側，按照從頂部到底部的順序，返回從右側所能看到的節點值。 示例: 輸入: [1,2,3,null,5,null,4] 輸出: [1, 3, 4] 解釋: 1 <--- /
2020-06-16 14:07:51
原创 HIVE_HIVE中的內置UDTF_EXPLODE 和 LATERAL VIEW
參考文章： 1.【學習筆記】hive 之行拆列explode https://yq.aliyun.com/articles/654743 HIVE 中內置了 EXPLODE 和 LATERAL VIEW，這兩個 Function 非
2020-06-16 14:07:51
原创 Kafka_Kafka中的Zero Copy
1.Kafka “高吞吐” 之順序訪問與零拷貝 https://cloud.tencent.com/developer/article/1476649 2.kafka通過零拷貝實現高效的數據傳輸 https://blog.csdn.net
2020-06-16 14:07:51
原创 Leetcode_LeetCode001_兩數之和
鏈接：https://leetcode-cn.com/problems/two-sum 給定一個整數數組 nums 和一個目標值 target，請你在該數組中找出和爲目標值的那 兩個 整數，並返回他們的數組下標。 你可以假設每種輸入只
2020-06-08 04:56:47
原创 CDH/YRAN_集羣調優
參考文章 ： 1.yarn資源memory與core計算配置 https://www.cnblogs.com/xjh713/p/9855238.html 2.cdh之調整YARN（調優yarn 生產必做優化項）004 https
2020-06-08 04:56:47
原创 數倉設計_維度建模的三種模式
https://blog.csdn.net/weixin_42464054/article/details/92804678 維度建模的三種方式，基本概念記錄一下。主要是記下這幾張圖片！ 1.1 星型模式。 1.2 雪花模式。 1
2020-06-08 04:56:46
原创 Leetcode_題解_鏈表_NO83_remove-duplicates-from-sorted-list
來源：力扣（LeetCode） 鏈接：https://leetcode-cn.com/problems/remove-duplicates-from-sorted-list 題目 Given a sorted linked list,
2020-06-08 04:56:46
原创 SQL_SQL實現FULL JOIN
最近面試遇到了一道面試題，如何實現 FULL OUTER JOIN。 什麼是FULL JOIN 首先我們要知道 FULL OUTER JOIN 和 RIGHT JOIN / LEFT JOIN 的區別。 可以參考我的文章： 1.數據庫
2020-06-08 04:56:46
原创 SparkSQL_Spark2+ 的SparkSQL 性能調優
參考文章： 1.Spark2+的sql 性能調優 https://www.cnblogs.com/yyy-blog/p/10260988.html 重要的要點 在內存中緩存數據 性能優化相關參數 廣播 分區數據的調控 文件與分區
2020-06-08 04:56:46
原创 數組/鏈表_兩個有序鏈表的合併
//實現一個函數，輸入兩個鏈表（遞增），合併爲一個鏈表，依然保持有序。 package com.offer.test.listnodecomb; class ListNode { int val; ListNod
2020-06-08 04:56:46
原创 Spark_SparkSQL 中定義 UDAF
參考文章 1.Spark 2.4.0編程指南--Spark SQL UDF和UDAF https://yq.aliyun.com/articles/680259 2.spark-sql自定義函數UDF和UDAF https://www.c
2020-06-08 04:56:46