原创 centos7 & mac 安裝 elasticsearch kibana
es 的一個特點，版本更新快，且各個大版本 不兼容，並且 查詢語法變化也特別多 並且需要注意的分詞器要和es的版本完全一致纔可以 ，否則報錯 es 最新版本爲 7，安裝版本與公司一致 6.7.1 mac 安裝 使用 6.3.0 brew
2019-05-02 14:00:06
25
原创 centos7 tensorflow 1.13.1 . cuda 10 cudnn 7.3.1
tensorflow .馬上要出 2.0 版本，不過現在 安裝的最新的仍舊爲1.13.1 【2019-03-9】 在 centos 7 我們安裝了 一塊 NVIDIA Tesla的 顯卡 ，Tesla P100-PCIE-16GB 當我們要
2019-03-10 13:04:52
1
原创 開源壓力測試可視化工具Hitchhiker
想必大家都可能用過Postman ，不過一般都是本地用 插件或者單獨的工具，postman 如果需要部署到服務器需要 Newman和 jekins的支持 以前在國美工作時，入職一位新同事，他自己一人搭建了一個UI 接近postman的可視
2019-02-24 13:01:14
1
原创 matplotlib 解決中文亂碼
matplotlib 如果在mac 上普通安裝安裝一般中文沒有問題， 但是matplot 如果安裝在centos 7 並使用anaconda 安裝的 中文一般就有問題 原因： centos7缺少 相應的中文字庫 matplotlib 也缺少
2019-02-14 13:00:38
2
原创 數據科學之路 的多語言選擇
python 也正是因爲 scipy numpy pandas sklearn matplot tf 四個包在數據科學中非常顯眼，不過由於GIL的影響，python 和java 爲人詬病的就是【慢】，所以這些缺點是我們一直選擇去尋找
2019-02-09 12:59:26
10
原创 服務器完整搭建supertset|zeppelin|druid|presto|flink|mysql
zeppelin 連接mysql 數據庫 官方文檔 https://zeppelin.apache.org/docs/0.7.3/interpreter/jdbc.html#create-a-new-jdbc-interpreter htt
2019-01-13 14:01:59
2
原创 服務器完整搭建jupyter 科學環境服務
目標： 整個公司同事可以訪問到centos 7 服務器上【存在跳板機，需要做內網轉發域名】的jupyter，提供對內網的所有機器的http 訪問支持 2.在jupyter 可以使用服務器環境下的python環境【可以是 conda 或者p
2019-01-12 13:01:04
原创 python 3.6 多進程的坑
python 慢是事實， 但是你如果想讓他快，使用cpython 也可以，但是前提在你不使用第三方包的情況下，你要用了numpy pandas ，cython 就無法使用了，那只有 使用python的多線程 多進程 協程來解決 都知道 p
2019-01-12 13:01:04
原创 mac 正確安裝python3.6 解決ImportError: No module named '_sqlite3'
一定要先安裝 zlib openssl sqlite3，否則 你在使用python 下載東西 下載有問題，使用jupyter 也有問題，注意的是sqlite3 ，建議單獨安裝一下源碼版的，不這樣操作python 遲早得重新編譯安裝 bre
2019-01-05 13:01:38
12
原创 sql 優化的一部分細則1
做一個項目統計的內容，其中 涉及到跨庫跨表及表連接 及子查詢嵌套，還真的是不是很簡單，也意識到了sql 優化對查詢性能的對比。 跨庫其實有兩種思路 1.連接兩個數據庫【數據源】把查詢的數據加載到程序中，比如使用springboot，然後在程
2018-12-30 13:01:54
原创 springboot 集成redis 和http請求
springboot 集成redis ，使用原生的jedis ，有點繁瑣，本身springboot 已經集成了 redis並有 redisTemplate 可以使用，不過還是多少有點坑，需要提前說明的 首先要引入jar包依賴 <d
2018-12-13 12:58:28
1
原创 zeppelin jupyter python scala jdk環境搭建
折騰了一天，加上 寬帶限速，等等雜七雜八的，我的心好累 1.首先一定要注意的就是各個組件的版本！！！！不然真的不兼容 jupyter 不支持 pyspark 2.1.及以前的spark spark 不支持 2.11.12和 2.12.* 和
2018-12-10 12:58:32
14
原创 如何讓spark 2.4 支持scala 2.12
在 maven 倉庫中我們發現 spark -core 提供scala 2.12 版本的jar包下載，但是官網並沒有聲明支持2.12，官網是支持2.11 的，但是有時候我們還是需要在spark-submit 上支持 2.12 scala，怎
2018-12-07 12:58:32
1
原创 一起來了解一下 c++的三種函數形參傳遞
c++ 的形參 大致可以分三種 ，傳值 ，傳指針 傳 引用， 傳值 ，不改變原來函數外變量的值，原來是幾 還是幾，只是copy 了一個副本，副本在變而已 傳指針，等於把 原來函數外 變量的內存地址傳進來了，那麼你操作的其實是對應地址上的
2018-12-06 13:47:21
原创 在公司培訓推廣git 所遇到的問題
git 是個好工具，可是有時候剛入門 碰到一些問題 ，很鬧心，還以爲門檻非常高，給同事留了四天使用git 發現如果不是 主動詢問大家遇到的問題，可能大家不會真的繼續使用， 大家集中出現的問題， git pull 不下來 2.git p
2018-12-06 13:47:21
3