原创 Echarts地圖registerMap使用的GeoJson數據獲取(精確到區)

數據是在DATAV.GeoAtlas中獲取的,根據自己的需求隨意選擇省、市、區,頁面中給的json鏈接地址就是想要的geo數據,特方便,記錄備用。 https://datav.aliyun.com/tools/atlas/#&lat=31

原创 使用Heritrix進行主題抓取

一、配置Heritrix項目 1.下載heritrix編譯後的字節碼包與源碼包 heritrix-1.14.4.zip heritrix-1.14.4-src.zip    注:以下文件未強調時均爲源碼包中的文件。 2.創建Java P

原创 Storm0.9.5單機版

一、安裝JDKjdk安裝略去。。 二、安裝zookeeper 1.下載解壓。。 wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6

原创 Python中使用HTMLParser解析HTML文檔

HTMLParser是Python自帶的模塊,使用簡單,能夠很容易的實現HTML文件的分析,是一個處理HTML的簡便途徑。 使用時需要定義一個繼承HTMLParser的類,並重定義需要的成員函數以實現需要功能。 HTMLParser實例

原创 MapReduce程序的運行全貌

        爲了更詳細地探討mapper和reducer之間的關係,並揭示Hadoop的一些內部工作機理,現在我們將全景呈現WordCount是如 何執行的,序號並非完全按照上圖。 1 . 啓動         調用驅動中的Jo

原创 SpringBoot中使用OpenFeign請求參數爲JSON時小操作

最近在對接QQ小程序接口時使用了下OpenFeign,小記以下,以備下次Copy。 @FeignClient(name = "qqFeign",url = "${request.url.qq}") public interface Qq

原创 css浮動按鈕設置

.go-home{ position: fixed; bottom: 10%; right: 8%; z-index: 888; border-radius: 40px; } 以上是對class='go-home'的按

原创 自適應高度下垂直居中樣式

父元素設置 { display : table; } 子元素設置 { display: table-cell; vertical-align: middle; }   轉自 https://www.cnblo

原创 使用Python抓取美團數據存於Excel中

0.程序是針對美團中的美食部分數據按好評排序採集。 要抓取保存的數據爲: 商家名 類型  地理位置  評論人數  均價  最低價格 1.首先編寫網頁數據採集函數,使用request採集網頁源碼,具體實現如下 def getHtml(u

原创 免費API數據接口

1、聚合數據 https://www.juhe.cn/ 2、數據堂 http://www.datatang.com/ 3、百度apistore http://apistore.baidu.com/ 4、APiX http://

原创 使用Hadoop提取網絡日誌KPI指標

在Web日誌中,每條日誌通常代表着用戶的一次訪問行爲,例如下面就是一條nginx日誌: 222.68.172.190 - - [18/Sep/2013:06:49:57 +0000] "GET /images/my.jpg HTTP/1

原创 Phonegap(cordova)小Dome

一、環境配置 在這裏使用的是cordova,因此在創建的android項目中進行如下操作: 1.在assets下創建www文件夾,把cordova.js 到/assets/www目錄下; 2.把cordova-3.4.0.jar 到/

原创 Hive安裝與使用

環境:Ubuntu 14.04 一、安裝mysql創建hive數據庫 sudo apt-get install mysql-server mysql-client mysql -u root -p #創建hive用戶 insert

原创 簡單通用的導航條

1、下劃線效果 <!doctype html> <html> <head> <meta charset="utf-8"> <title>鼠標懸停下劃線效果</title> <style> *{ margin:0; padding:0

原创 MapReduce中的map與reduce

本文主要介紹MapReduce的map與reduce所包含的各各階段         MapReduce中的每個map任務可以細分4個階段:record reader、mapper、combiner和partitioner