原创 經典：計算第幾日留存
需求一：計算新增用戶的第1,2,3,4,5,6,7,14,30留存 下面一個語句搞定： select datestr,project,owner,country,appvsn,mname,count(1) from (s
2020-06-21 19:02:22
原创 ava併發編程：併發容器之ConcurrentHashMap（轉載）
下面這部分內容轉載自： http://www.haogongju.net/art/2350374 JDK5中添加了新的concurrent包，相對同步容器而言，併發容器通過一些機制改進了併發性能。因爲同步容器將所有對容器狀態的訪問
2020-06-08 16:17:17
原创 java異步編程歷史概述
1.Java5.0之前主要是通過Thread類,Runnable接口實現，主要的缺點是無法拿到異步線程的返回值，以及異常處理 new Thread(()-> System.out.println("111111"),"java5").s
2020-06-08 16:17:17
原创 Flink Broadcast State實用指南
轉載自： https://blog.csdn.net/wflh323/article/details/102918111 https://yq.aliyun.com/articles/706760 使用過spark
2020-03-27 17:29:01
9
原创 深入理解ReentrantLock與Condition
原文鏈接：https://www.cnblogs.com/superfj/p/7543927.html 鎖的概念 從jdk發行1.5版本之後，在原來synchronize的基礎上，增加了重入鎖R
2019-08-29 11:14:51
2
原创 分佈式-微服務-集羣的區別
1.分佈式 將一個大的系統劃分爲多個業務模塊，業務模塊分別部署到不同的機器上，各個業務模塊之間通過接口進行數據交互。區別分佈式的方式是根據不同機器不同業務。 上面：service A、B、C、D 分別是業務組件，通過API Getewa
2019-08-23 10:54:50
原创 高併發架構演變歷史
當一個Web系統從日訪問量10萬逐步增長到1000萬，甚至超過1億的過程中，Web系統承受的壓力會越來越大，在這個過程中，我們會遇到很多的問題。爲了解決這些性能壓力帶來問題，我們需要在Web系統架構層面搭建多個層次的緩存機制。在不同的壓力
2019-08-23 10:54:50
原创 Scala | 字符串揭祕
轉載自：http://songkun.me/2018/05/14/scala-string-ops/ String 源碼剖析 Scala 中的 String 其實僅僅是 java.lang.String 的別名，在 scala.Prede
2019-07-30 10:25:36
原创 Spark參數調優
請帶着下面的疑問讀本博客，如果可以瞭解，請繞行別處！！！ 下面4個參數代表什麼意思，相互之間什麼關係？ 1.spark.executor.memory 2.yarn.scheduler.maximum-allocation-mb 3.sp
2019-07-05 10:43:34
原创 Hive sql exlain讀取詳解
參考：https://www.cnblogs.com/NightPxy/p/9230253.html 1.hive 語句執行順序 from... where.... select...group by... having ... ord
2019-07-05 10:43:34
原创 Spark性能優化：shuffle調優
轉載自：https://blog.csdn.net/u012102306/article/details/51637732 shuffle調優 調優概述 大多數Spark作業的性能主要就是消耗在了shuffle環節，因爲該
2019-06-29 12:18:13
原创 Java垃圾回收機制
https://blog.csdn.net/coderlius/article/details/79272773 :https://www.javazhiyin.com/36101.html
2019-06-22 11:47:07
原创 Json從入門到精通
1. json數據類型 類型 描述 Number 數字型 String 字符串型 Boolean 布爾型 Array 數組 Object 對象 null 空值 （1）json中不區分整數、小數等類型，而統一使用Number來存儲數字。 （
2019-06-12 03:16:07
原创 JDK1.8-Stream()使用詳解
爲什麼需要 Stream Stream 作爲 Java 8 的一大亮點，它與 java.io 包裏的 InputStream 和 OutputStream 是完全不同的概念。它也不同於 StAX 對 XML 解析的 Stream，也不是
2019-06-12 03:16:06
原创 spark sql執行計劃分析(二)
本文所述內容均基於 2018年9月17日 Spark 最新 Release 2.3.1 版本。後續將持續更新 Spark CBO 背景 上文Spark SQL 內部原理中介紹的 Optimizer 屬於 RBO，實現簡單有效。它屬於
2019-06-12 03:16:06