原创 mysql字符編碼問題latin1到utf8

測試目的: java從mysql讀取數據並打印 測試環境1 a. hadoop集羣某節點的環境是utf8,java代碼也是utf8編碼 b. 需要讀取的mysql服,數據庫、數據表均是latin1 運行mysql -u* -p* -A

原创 Thrift初步

董西成 的thrift介紹 Thrift: The Missing Guide Apache Thrift - 可伸縮的跨語言服務開發框架

原创 爬蟲之自動保存文檔-使用python/selenium

網絡抓取的時候會碰到需要從網站下載文件的情況。下面提供兩種方法:  1.  selenium + firefox + firefoxProfile 核心要點是在firefox中設置相關的下載參數,然後在模擬點擊的時候,selenium w

原创 hadoop生態圈綜合簡介及架構案例

SPARK 大數據盤點之Spark篇 HBASE Apache HBase 2015年發展回顧與未來展望 ZOOKEEPER 用ZooKeeper真的low嗎?上千個節點場景配置服務方案大討論 微博基於Docker容器的混合雲遷

原创 FTRL之初學筆記

理論 FTRL的發展歷程,見微博團隊馮楊的在線最優化求解.pdf 網頁版見在線最優化求解(Online Optimization)之五:FTRL 原始論文:https://www.eecs.tufts.edu/~dsculley/pap