原创 Echarts地圖registerMap使用的GeoJson數據獲取(精確到區)
數據是在DATAV.GeoAtlas中獲取的,根據自己的需求隨意選擇省、市、區,頁面中給的json鏈接地址就是想要的geo數據,特方便,記錄備用。 https://datav.aliyun.com/tools/atlas/#&lat=31
原创 使用Heritrix進行主題抓取
一、配置Heritrix項目 1.下載heritrix編譯後的字節碼包與源碼包 heritrix-1.14.4.zip heritrix-1.14.4-src.zip 注:以下文件未強調時均爲源碼包中的文件。 2.創建Java P
原创 Storm0.9.5單機版
一、安裝JDKjdk安裝略去。。 二、安裝zookeeper 1.下載解壓。。 wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6
原创 Python中使用HTMLParser解析HTML文檔
HTMLParser是Python自帶的模塊,使用簡單,能夠很容易的實現HTML文件的分析,是一個處理HTML的簡便途徑。 使用時需要定義一個繼承HTMLParser的類,並重定義需要的成員函數以實現需要功能。 HTMLParser實例
原创 MapReduce程序的運行全貌
爲了更詳細地探討mapper和reducer之間的關係,並揭示Hadoop的一些內部工作機理,現在我們將全景呈現WordCount是如 何執行的,序號並非完全按照上圖。 1 . 啓動 調用驅動中的Jo
原创 SpringBoot中使用OpenFeign請求參數爲JSON時小操作
最近在對接QQ小程序接口時使用了下OpenFeign,小記以下,以備下次Copy。 @FeignClient(name = "qqFeign",url = "${request.url.qq}") public interface Qq
原创 css浮動按鈕設置
.go-home{ position: fixed; bottom: 10%; right: 8%; z-index: 888; border-radius: 40px; } 以上是對class='go-home'的按
原创 自適應高度下垂直居中樣式
父元素設置 { display : table; } 子元素設置 { display: table-cell; vertical-align: middle; } 轉自 https://www.cnblo
原创 使用Python抓取美團數據存於Excel中
0.程序是針對美團中的美食部分數據按好評排序採集。 要抓取保存的數據爲: 商家名 類型 地理位置 評論人數 均價 最低價格 1.首先編寫網頁數據採集函數,使用request採集網頁源碼,具體實現如下 def getHtml(u
原创 免費API數據接口
1、聚合數據 https://www.juhe.cn/ 2、數據堂 http://www.datatang.com/ 3、百度apistore http://apistore.baidu.com/ 4、APiX http://
原创 使用Hadoop提取網絡日誌KPI指標
在Web日誌中,每條日誌通常代表着用戶的一次訪問行爲,例如下面就是一條nginx日誌: 222.68.172.190 - - [18/Sep/2013:06:49:57 +0000] "GET /images/my.jpg HTTP/1
原创 Phonegap(cordova)小Dome
一、環境配置 在這裏使用的是cordova,因此在創建的android項目中進行如下操作: 1.在assets下創建www文件夾,把cordova.js 到/assets/www目錄下; 2.把cordova-3.4.0.jar 到/
原创 Hive安裝與使用
環境:Ubuntu 14.04 一、安裝mysql創建hive數據庫 sudo apt-get install mysql-server mysql-client mysql -u root -p #創建hive用戶 insert
原创 簡單通用的導航條
1、下劃線效果 <!doctype html> <html> <head> <meta charset="utf-8"> <title>鼠標懸停下劃線效果</title> <style> *{ margin:0; padding:0
原创 MapReduce中的map與reduce
本文主要介紹MapReduce的map與reduce所包含的各各階段 MapReduce中的每個map任務可以細分4個階段:record reader、mapper、combiner和partitioner