原创 spark性能優化指南-高級篇
前言 繼基礎篇講解了每個Spark開發人員都必須熟知的開發調優與資源調優之後，本文作爲《Spark性能優化指南》的高級篇，將深入分析數據傾斜調優與shuffle調優，以解決更加棘手的性能問題。 數據傾斜調優 調優概述 有的時候，我
2018-12-10 17:34:24
1
原创 springboot redis 訂閱報錯
在對接一個投資項目時，啓動項目出現如下錯誤，本來想直接問對接人，但他們沒有出現這種情況，只能看一下。 由下面異常可以看出，Redis security建議禁用CONFIG命令，以便遠程用戶無法重新配置實例。 RedisHttpSessio
2018-12-09 17:02:42
4
原创 鍵空間通知（keyspace notification）
鍵空間通知（keyspace notification） 本文檔翻譯自： http://redis.io/topics/notifications 。 鍵空間通知功能目前仍在開發中，這個文檔所描述的內容，以及功能的具體實現，可能會在未來數
2018-12-09 17:02:42
3
原创 centos7.X安裝jdk及配置環境變量
好久沒有配置過jdk環境，基本都忘了，現在安裝記錄下 1. 查案是否自帶JDK rpm -qa | grep java 2. 如果自帶JDK，刪除 #rpm -e --nodeps <java進行> 如： rpm
2018-12-07 17:21:01
2
原创 待續
@Target @Target 說明了Annotation所修飾的對象範圍 取值(ElementType)有： 1.CONSTRUCTOR:用於描述構造器 2.FIELD:用於描述域 3.LOCAL_VARIABLE:用
2018-12-07 17:21:01
原创 springboot2.04與activiti 6.0集成
本文就不對activiti做解釋，下面直接看項目集成 1. 引入jar包 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.o
2018-11-30 23:59:31
5
原创 jBPM5與Activiti之間的差異對比
jBPM是目前市場上主流開源工作引擎之一，在創建者Tom Baeyens離開JBoss後，jBPM的下一個版本jBPM5完全放棄了jBPM4的基礎代碼，基於Drools Flow重頭來過，目前官網已經推出了jBPM6的beta版本；Tom
2018-11-30 23:59:31
1
原创 正則表達式全集（記錄用）
表達式全集 字符 描述 \ 將下一個字符標記爲一個特殊字符、或一個原義字符、或一個向後引用、或一個八進制轉義符。例如，“n”匹配字符“n”。“\n”匹配一個換行符。串行“\\”匹配“\”而“\(”則匹配“(”。 ^ 匹配輸入字符串的開始位
2018-11-21 05:18:26
1
原创 rpc http區別
要想弄清楚rpc與http,首先得了解一下OSI的七層網絡結構模型 OSI網絡結構的七層模型 各層的具體描述如下： 第七層：應用層 定義了用於在網絡中進行通信和數據傳輸的接口 - 用戶程式；提供標準服務，比如虛擬終端、文件以及
2018-11-07 23:24:43
9
原创 python3.6 微信公衆號抓爬
項目介紹 本項目針對微信公衆號文章爬取，通過微信公衆號名稱或微信號，爬取發佈的文章，並對文章進行去重操作 若有其他問題請加羣943841699，共同探討技術 本項目借鑑很多其他項目，就不一一列出 源碼地址 https://gitee
2018-11-04 07:23:51
原创 微服務架構—服務降級
1 簡介 什麼是服務降級？當服務器壓力劇增的情況下，根據實際業務情況及流量，對一些服務和頁面有策略的不處理或換種簡單的方式處理，從而釋放服務器資源以保證核心交易正常運作或高效運作。 如果還是不理解，那麼可以
2018-11-04 07:23:51
原创 Python3 selenium 報表數據抓爬
項目介紹 本項目是對一些複雜的報表解析爬取列表數據，以國家網爲例（大家最好換一個網站），會自動根據數據庫配置text（數據庫爲字典方式），進行 點擊樹形結構，然後input下拉框內時間，並選擇省（時間和省由配置文件配置），但下拉列表的xp
2018-11-04 07:23:51
1
原创 kafka數據丟包原因及解決方案
數據丟失是一件非常嚴重的事情事，針對數據丟失的問題我們需要有明確的思路來確定問題所在，針對這段時間的總結，我個人面對kafka 數據丟失問題的解決思路如下： 是否真正的存在數據丟失問題，比如有很多時候可能是其他同事操作了測試環境，所以首先
2018-11-04 07:23:51
1
原创 springboot 1.5.2升級2.0.4 mongodb中QueryBuilder中DBObject被棄用，改爲Document構造及解決方式
今天封裝mongo工具包，發現QueryBuilder中DBObject被棄用，改爲Document構造。爲什麼，我們稍微分析一下 Document實現Map，與基本的DBObject相比，可編寫的代碼更少 DBObject雖然不被推薦
2018-10-27 07:03:28
2
原创 springboot 2.x 緩存功能，基於redis封裝緩存
spring boot集成redis進行數據緩存功能 @Cacheable 表明Spring在調用方法之前，首先應該在緩存中查找方法的返回值。如果這個值能夠找到，就會返回緩存的值。否則的話，這個方法就會被調用，返回值會放到
2018-10-27 07:03:28
1