原创 一次生產環境CPU佔用高的排查
1. 項目背景 甲方是保密級別非常高的政府部門。所以我們全程拿不到任何測試數據,只能是自己模擬數據進行測試。 項目部署的時候,公司派了一人到甲方現場,在甲方客戶全程監督下,進行部署,調試,導入數據等工作。因爲前期看不到真實的數據,所以很多功
原创 【工作隨手記】deaklock排查
生產環境當中還沒真正遇到過死鎖的問題。有些疑似死鎖的問題,後來經過排查也只是其它問題導致的。所以通過jstack到底怎樣排查死鎖問題有點疏忽了。這裏作個記錄。 模擬一個死鎖 順便複習一下。 死鎖的產生有四個必要的條件 互斥使用,即當資源被
原创 hashmap的一些性能測試
目錄0.前言1.準備工作。1.1模擬哈希衝突1.2 java的基準測試。2.測試初始化長度3.模擬一百萬個元素put,get的差異。4.模擬無紅黑樹情況下get效率4.1 將random擴大,哈希衝突嚴重性大大減小,模擬大多數哈希衝突導致的
原创 【工作隨手記】fastjson date格式化驗優先級的問題
本來是一個風和日麗的下午,一個非常簡單的改動需求。接口返回的日期類型只需要年月日不需要時分秒。因爲我的項目json使用的是fastjson,而不是spring自帶的jackson(不要問我爲什麼)。因爲全局格式化爲yyyy-MM-dd HH
原创 【工作隨手記】併發之synchronized
synchronized對於java同學肯定都是耳熟能詳的必修課了。但是不管對於新手還是老手都有一些容易搞錯的點。這裏權做一點記錄。 鎖的是代碼還是對象? 同步塊一般有兩種寫法。 1是直接加以方法體上。 public synchronize
原创 【工作隨手記】mysql優化之1
原SQL: SELECT p.id, p.NAME, p.idcard, p.phone, p.plate, p.FAMILY_NO FROM t_person_info p WHERE p.id IN ( SELECT id FROM
原创 流計算中kafka的OffsetReset策略
朋友的公司做的是西南某邊境省份網紅新能源車的數據處理,由於新能源車的火爆,從年初從現在,數據量已經翻番。但與此同時,服務器卻沒有多少增加。無奈之下,只能暫時將kafka的數據存儲時間由之前的1天改爲6小時,5小時。其實有點危險,如果在
原创 自己實現HashSet
HashSet的實現相對比較簡單。它強依賴於HashMap,包括底層數據實際上就是存儲於HashMap,由於HashMap在哈希碰撞下,如果value值相同,那麼將會覆蓋該value,HashSet正是利用這一特性來達到元素唯一的。 一屬性
原创 阿里巴巴Java開發手冊與自己開發對照筆記
一編程規約 (一)命名風格 某些時候在命名常量的時候,會覺得太長而減少長度導致命名不清。 抽象類及測試類寫得比較少。 這一點值得注意,在開發中,布爾變量我都是使用is開始。 關於包名和類名的單數和複數形式,主要集
原创 自己實現HashMap
一載體 HashMap是由數組組成,數組元素爲哈希鏈。 數組 public class MyHashMap<K, V> { transient Node<K, V>[] table; } 數組元素 @SuppressWa
原创 《Flink SQL任務自動生成與提交》後續:修改flink源碼實現kafka connector BatchMode
目錄問題思路kafka參數問題支持batchmode的問題參數提交至kafkasource的問題group by支持問題實現編譯測試 因爲在一篇博文上看到介紹“汽車之家介紹flink數據平臺”中提到“基於 SQL 的開發流程”。基於kafk
原创 distribute by在spark中的一些應用
一.在二次排序當中的應用 1.1 說到排序當然第一想到的就是sort by和order by這兩者的區別,也分情況。 在算子當中,兩者沒有區別,orderby()調用的也是sort。order by就是sort的別名。 /** *
原创 分佈式條件下Integer大小比值的問題
目錄起因但是,搞大數據的同學請注意了!動機驗證處理 起因 臨下班,偶然看到阿里巴巴《JAVA開發手冊》中,關於整型包裝類對象之間值的比較的規約,裏面提到強制使用equals,而不使用==。原因衆所周知,在-128 至 127,Integer
原创 Flink SQL任務自動生成與提交
目錄起因思路實現1.配置2.界面如下3.環境問題 起因 事情的起因,是看到一篇公衆號文章Apache Flink 在汽車之家的應用與實踐,裏面提到了“基於 SQL 的開發流程”。在平臺提供以上功能的基礎上,用戶可以快速的實現 SQL 作業的
原创 技術選型的一點個人思考
目錄1.前言2.效率2.1沒有絕對的效率2.2效率是否絕對重要3環境3.1國內開發大環境3.2技術社區的影響4團隊4.1 團隊負責人及核心骨幹的技術積累以及技術偏好 1.前言 這個題目有點大。工作也有些年頭,從開始入行的被動接受,什麼流行就