原创 HTML5 APP----2014年H5沒火,why?2016年H5能火,why?

0 前言          HTML5做跨平臺的APP,在大多數人的腦子裏沒有什麼好感,我身邊的朋友也這麼說。Anyway,我用完以後得出這樣的結論:HTML5跨平臺APP開發,在2015年以後會越來越火。     在2014年以前,HT

原创 Python篇----命令行調用、輸出log日誌並打包的腳本

一 前言 這個腳本不夠健壯,只是我個人使用,處理一些大數據的業務。分享給大家,不要亂玩,會玩壞的。。。大家看看思路就好了。 該腳本將輸出今天的log文件內容。如果log文件是今日新建的,日誌內容將會放在裏面。如果不是,就會將存儲位置下的

原创 Apache----windows下虛擬主機和虛擬目錄的認識(Apache配置)

【指導師父】 王津    CTO   天津千行時線科技有限公司 1 前言 虛擬主機和虛擬目錄的用處和區別很大,需要一番深究。在windows/Linux/Mac上配置也有差異。 區別這兩個東西,是爲了更方便的發佈和部署你的項目!!!

原创 技術篇:關於EKT的一些設計

前言 筆者做了一段時間的區塊鏈底層開發,深知架構設計的重要性。對於高手來說,沒有的輪子是可以自己造的,造個大規模消息/任務隊列都只是想不想寫的事情。但在企業中開發,追求的是穩定、性能、成本等等,所以通常希望使用開源組件,二次開發。 解

原创 Redash 二次開發入門

前言 在Redash二次開發上做了不少工作,修改bug,定製樣式,定製功能,增加數據源等等。聊聊自己的二次開發經驗。 懂分享的人,一定會快樂! 環境準備 Redash依賴的外部環境比較多,特別是Python相關的包,大多數時候一次裝不

原创 數據之美----雪球網股票組合分析

簡介 因爲工作需要,爬了幾個大型的網站,練就一身爬取數據和分析數據的功夫。所以,在無聊的時候寫了個爬取系統。主要功能是爬取雪球組合的數據,並進行分析,得出一些有價值有潛力的股票代碼。實盤到沒有測試,隨便估計了一下,至少跟盤不會出現虧損。

原创 大數據開發----Hive(入門篇)

前言 本篇介紹Hive的一些常用知識。要說和網上其他manual的區別,那就是這是筆者寫的一套成體系的文檔,不是隨心所欲而作。 本文所用的環境爲: CentOS 6.5 64位 Hive 2.1.1 Java 1.8 Hive A

原创 Hadoop----集羣搭建指南(上卷)

前言 閱讀本文,需要具備Linux、計算機網絡的基礎知識。所以在文中出現的相關基礎知識,均以鏈接的形式給出,務必理解該鏈接的內容後,繼續閱讀本指南。 集羣搭建的環境多種多樣,本文采用VitualBox安裝5臺虛擬機構建集羣。具體環境:

原创 識別一條鏈的品種(科普篇)

一 前言 大多數人都具備分類知識,知道貓有幾種,狗有幾種。但是,在區塊鏈領域,聯盟鏈、應用鏈、私有鏈、公共鏈等同時出現,就傻傻分不清楚。 聽說搞生物分類學的,懂鳥的不懂昆蟲,懂蝴蝶的搞不定灰蝶。好在,區塊鏈還沒有那麼多品種。這個問題,一篇

原创 Hadoop----集羣搭建指南(下卷)

前言 什麼是Hadoop? Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The

原创 高階Python----常用的數據結構與算法

前言 高階Python系列文章是筆者想要突破自己目前的技術生涯瓶頸而作,不具有普適性。本文主要是介紹Python在數據結構和算法中常用的函數。這也是數據分析領域必備知識點。 也不是特地爲了某些讀者而作,想着提高自己的同時,能方便他人就更

原创 文本挖掘----基於OCR的文檔關鍵字提取

前言 緊急添加:有人反饋看不懂。那是因爲沒有看姐妹篇,《你有沒有想到,這樣的觀點挖掘引擎?》。請先閱讀本文,再繼續看下去! 做了一段時間的OCR,把大量的圖片、PDF處理成了文本。請注意:這些文本在互聯網上屬於稀有資源。這些文本以前都放

原创 爬蟲之刃----簡化爬蟲程序之滾輪子實戰(系列三)

前言 這是一些準備工作: 瞭解整個系列的安排 瞭解系列二中的爬蟲架構 If you have done, that’s cool ! 這篇主要是: 介紹需要的技術棧,需要補的東西請戳官方文檔。官貼是專業的! 推薦個人使用的一些庫

原创 區塊鏈二三事兒(技術篇)

一 前言 區塊鏈的開始,還要提一箇中國人–戴偉,可以去他的網站(www.weidai.com)上看看他關於B-Money的文章。中本聰在論文《比特幣:一種點對點網絡中的電子現金》中的第一個引用者就是戴偉。十年來,區塊鏈的概念早已飛入尋常百

原创 大數據開發----Fabric(入門篇)

一 前言 本篇介紹Fabric的一些常用知識。要說和網上其他manual的區別,那就是這是筆者寫的一套成體系的文檔,不是隨心所欲而作。 二 安裝 Fabric現在支持Python2和Python3,安裝: pip install f