原创 storm提交topology時supervisor無法創建worker
問題描述 在本地eclipse運行是好好的，可是提交到集羣上去之後什麼都沒反應。提交topology之後，在storm UI上看topology的worker數與在程序裏設置的值是一樣的，但是到對應的機器去查看的時候，發現那個work
2020-02-27 09:49:26
原创 Kafka-storm的開發錯吳總結
工程是基於Maven來構建 1、clojure如果是1.4.0會報如下錯誤，換成1.6.0即可解決 <dependency> <groupId>org.clojure</groupId> <artifactId>clojure</ar
2020-02-27 09:49:26
原创 自定義HbaseSink輸出採集日誌到Hbase
前提： 當前機器都安裝用hbase，hadoop，flume，如果沒安裝有hbase和hadoop的可能會少一些依賴，把core-site.xml，hdfs-site.xml，hbase-site.xml配置文件拷貝到Flume安
2020-02-27 09:49:26
原创 python閉包學習筆記二
#coding:utf-8 ''''閉包''' passline = 60 def func(val): passline = 90; print "val_id:%x" %id(val) if val >=
2018-09-03 20:10:30
1
原创 Spark-2.1.0-hadooop-2.6.0-cdh5.7.0源碼編譯
目前 Spark 編譯腳本已經將Maven 集成進來了，以方便編譯以及部署。這個腳本將會在它本地 build/ 編譯目錄自動下載和安裝所有編譯過程中所必需的( Maven，Scala 和 Zinc )。可以手動修改dev/m
2018-09-03 20:10:30
原创 VMware網絡配置筆記
如果網絡沒有配置好，那麼在VM裏不能ping通windows主機， 1、先查看一下當前有哪些網絡可以連接 2、打開VMware的網絡編輯器 3、查看有哪些連接可用，如果沒有新建一個，確保有可用的連接如下圖 4、自定義的虛擬網絡名稱選擇與
2018-09-03 20:10:30
原创 python閉包學習筆記四
#coding:utf-8 '''閉包作用：封裝、代碼複用.>>>>>>>閉包存放函數的方式''' #def my_sum(*arg): # if len(arg) == 0: # return 0 # fo
2018-09-03 20:10:30
原创 Java調用Python腳本
1、本地環境安裝的是Python 2.7.11 2、用maven下載jython依賴 <pre name="code" class="html"><dependency> <groupId>org.python</groupId>
2018-09-03 20:10:30
原创 Java日期轉換
1.從Nginx日誌裏截取到的字符串轉成日期類型 String date = "[08/Aug/2015:15:29:14 +0800]"; SimpleDateFormat sdf = new Sim
2018-09-03 20:10:30
2
原创 win64下安裝numpy-scipy-matplotlib-scikit-learn
pip install matplotlib-1.5.1-cp27-none-win_amd64.whl 安裝說明 只要確保操作系統類型、python版本與numpy、scipy、matplotlib對應的版本一致pip,wheel環
2018-09-03 20:10:30
原创 eclipse-spark開發環境
備註：服務器上安裝的hadoop2.6.0、spark-1.5.2、scala-2.11.7，服務器上RDD操作沒有問題 windows本地配置eclipse-spark開發環境： 1、從spark 官網下載的都是使用Scala2.10編
2018-09-03 20:10:30
原创 python裝飾器的學習筆記一
#coding:utf-8 ''' 裝飾器其實就是對閉包的使用 ''' def my_closure(func): print "my_closure" def in_func(*args):
2018-09-03 20:10:30
原创 Scrapy安裝及demo測試筆記
Scrapy安裝及demo測試筆記 一、環境搭建 1. 安裝scrapy：pip install scrapy 2.安裝：PyWin32，可以從網上載已編譯好的安裝包：http://www.lfd.uci.edu/%7Egohlke/py
2018-09-03 20:10:30
原创 Presto on yarn解決方案
Deploying Presto on a YARN-Based Cluster presto不像spark那樣默認就支持yarn，spark與yarn兼容性很好， 只需要簡單的配置下啓動腳本和集羣環境就可以在Yarn上運行spark任
2018-09-03 20:10:29
原创 有道筆記無法同步（筆錄）
當經常翻牆或代理時，有些軟件或IE瀏覽器會自動修改一些配置項，導致有道筆記無法登錄，具體修改了哪些配置已經不知道了，所以此時還原IE默認設置。因爲我之前把IE功能關掉了，所以我現在把IE打開 到此爲止，重登錄有道筆記，問題得到解
2018-09-03 20:10:29