原创 kafka初步認知

kafka:分佈式消息系統,由linkedin使用scala編寫,用於活動流以及運營數據處理管道的基礎支持,具有高水平擴展和高吞吐量的優勢。 kafka的使用場景: 作爲數據管道或者消息系統來使用 與其他幾種mq的對比: 組成部分

原创 ieda 怎麼解決引入版本過多導致的no class found(因爲它蒙圈了)

需求背景:一個用spring舊的版本寫的項目中接入了新的版本寫的日誌監控平臺,引入了其他版本的寫的自定義脫敏依賴包,導致了項目現在啓動不起來,爆出的錯誤如下: java.lang.NoSuchMethodError: org.sprin

原创 awk 按照某個key分發文件的妙用

需求背景: 本來的需求是提取一個月的數據,但是出來以後產品又要拆分爲每天的量,本來打算使用python for去解決,但是想到以前用過awk處理過類似的問題,乍一看日期後面還有時分秒,必然又用到了substr,妙的是awk也支持,腳本如

原创 如何在ubantu中設置任務欄和菜單中…

一些應用程序(例如很多.sh程序)如果想在Ubuntu中添加到Dash home中進行快速的啓動,則需要找到/usr/share/applications這個目錄,其中存放的全部是dash中的啓動器,將你需要的程序xxx添加其中即可。

原创 跨平臺的電子書閱讀神器(最主要是…

雖然像亞馬遜 Kindle 這樣的電子書閱讀器在購買和閱讀上體驗都比較出色,但很多時候,我們電腦上還會收集有很多網上下載的電子書的,如果數量較多,加上格式各異的話,管理起來還是比較麻煩的。 Calibre 是一款開源免費的跨平臺全能電子

原创 ubantu16.04怎麼徹底移除mysql

sudo apt purge mysql-* sudo rm -rf /etc/mysql/ /var/lib/mysql sudo apt autoremove

原创 python 怎麼隨機生成15位隨機數字

需求背景:需要生成一批idfa設備號 "".join(random.choice("0123456789") for i in range(15)) 手機號: random.choice(['139','188','185','1

原创 apache http ssl模塊NoC…

需求背景:項目中有鏈接https接口的請求所以使用了,apache的httpcomponents中的httpclient,但是啓動測試的時候報錯,NoClassDefFoundError: org/apache/http/ssl/

原创 spark 項目啓動的時候報出如下錯誤

解決錯誤“class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes

原创 ubantu 下chrome 崩潰的解決辦法

公司昨天晚上斷電,電腦沒有關掉,早上過來,重啓電腦,chrome插件各種崩潰,提示重啓應用可以點擊了沒有任何反應和啓動的跡象。 處理方式: rm -rf~/.config/google-chrome/ 然後又是一個贊新的瀏覽器頁面出現可

原创 hadoop 建立多級目錄 報錯誤…

需求背景:在shell腳本想建立多層hdfs目錄時,報錯。 在HDFS中創建多級目錄,然而總是報錯:mkdir: `/user/a/bb': No such file or directory。   在StackOverflow上面某

原创 git commit 怎麼撤銷

需求背景:當你不小心提交錯某個文件或者或者多提交了某些文件,並且還沒有push,這時,可以使用如下步驟來回退到提交前的狀態(ps:每次提交先stash,pull,stashpop 然後再commit,push) git log 會打印出所

原创 gnome連接mysql workbench時…

在Store in Keychain時出現了gnome-keyring-daemon錯誤,不能保存密碼,也就連不上數據庫。 修改/usr/bin/mysql-bench。 將# WB_NO_GNOME_KEYRING=1改成expo

原创 java 請求Hbase時報錯NoClassDefFoundError: org/apache/htrace/Trace

需求背景:使用,但是啓動的時候報錯 Caused by: java.lang.NoClassDefFoundError: org/apache/htrace/Trace 問題分析:client解析連接的是3.0.4版本的htrace,而

原创 mongodb 實現group by 多個key having count(*) >1

db.sysRequestWrapper.aggregate(     {"$group": {_id:{card:"$card",account: