原创 node.js連接Elasticsearch做日誌分析
logstash是一個數據分析軟件，主要目的是分析log日誌。整一套軟件可以當作一個MVC模型，logstash是controller層，Elasticsearch是一個model層，kibana是vie
2018-08-22 12:31:38
7
原创 關於利用Jsoup解析HTML中 ；變成非傳統空格或亂碼問題解決方法
轉載自 http://blog.csdn.net/hubin1989/article/details/49072947 在寫爬蟲的時候很多時候會遇到這種問題：HTML中源碼顯示 ；沒問題，但是利用Jsoup的text（）方法獲取的
2018-08-22 12:31:38
原创 如何用PM2部署高版本node
現在PM2跑着的項目的node版本較低，而最新的項目使用到了 koa框架，，koa對於node的版本要求較高，，，我們將node升級到了較高版本，，這樣用PM2起的時候就會出錯，，按照 http://pm2.keymetrics.io/d
2018-08-22 12:31:37
原创 node.js之定時任務+文件讀取+INSERTALL
有個需求 每天更新一下oracle數據庫中的某張表 數據來自與csv文件 四個字段，用逗號分割 大約千萬條，測試數據有298W條 引入定時任務模塊 var schedule = require('node-schedule'); var
2018-08-22 12:31:36
原创 node.js之async的使用（series，whilst）
series函數 串行執行 async.series({ one: function(callback){callback(null, 1);},two: function(callback){callback(null, 2);} }
2018-08-22 12:31:36
原创 EMQ插件開發mysql實現認證和訪問控制
爲了測試插件開發的可行性，選擇了改名emq_auth_mysql進行驗證，因爲官方給出的插件模板並沒有具體邏輯。 include下的hrl改名 etc下的conf和priv下的schema是相互照應的，進行改名 src的源文件與上篇
2018-08-22 12:31:36
4
原创 使用Jsoup解析html數據
jsoup 是一款Java 的HTML解析器，可直接解析某個URL地址、HTML文本內容。它提供了一套非常省力的API，可通過DOM，CSS以及類似於jQuery的操作方法來取出和操作數據。jsoup的主要功能如下： 1. 從一個URL
2018-08-22 12:31:36
原创 優酷視頻解析之莫名其妙的鑽空子
這幾天參考別人源碼用Node開發一款在線電影網站，，，需要添加視頻的網址，，一開始只是簡單的複製粘貼 比如這樣的http://v.youku.com/v_show/id_XMTgxODQxMjQwMA==.html?spm=a2h1n.
2018-08-22 12:31:35
8
原创 node開發(base64+號問題，typeof,mysql replace操作，superagent用法,url解析，uuid)
param（url裏面的參數）使用base64編碼的時候會出現 +號 而傳url的時候 後臺接受到param 的時候會把 +號 認爲是空格 從而解析錯誤 辦法：req.query.param = req.query.param.r
2018-08-22 12:31:35
原创 Node連接Mongodb以及CRUD操作
首先創建數據庫 use+數據庫名 可以使用show dbs 來查看是否創建成功 創建集合 db.createCollection("集合名") 其實以上步驟可以不做 與 MySQL 不同的是 MongoDB 會自動創建數據庫和集
2018-08-22 12:31:35
原创 Fielddata is disabled on text fields by default(keyword 可避免錯誤)
用Elasticsearch作爲後臺數據的存儲，kibana用來前端的報表展示。Logstash在其過程中擔任搬運工的角色，它爲數據存儲，報表查詢和日誌解析創建了一個功能強大的管道鏈。用logstash把統計各項API的運行情況的日誌拿過
2018-08-22 12:31:35
原创 獲取目錄下所有html文件
因爲需要解析一些html，所以要遍歷各個目錄下的所有html 方法： private static void GetFile(String path){ File file=new File(path); File[] t
2018-08-22 12:31:35
原创 EMQ插件開發
官方提供了插件模板 插件模板 按照自己的意願進行命名 修改etc下的config [ {emq_custom_plugin, [ {"version", "1.0"} ]} ]. src下的兩個文件 一個叫auth
2018-08-22 12:31:34
原创 koa2框架使用
koa是express框架原班人馬打造 更輕量級 最重要的是！ 不用寫回調 需要啥中間件就引用啥 const Koa = require('koa') const app = new Koa() const views = requi
2018-08-22 12:31:34
1
原创 Error connecting to the Service Control Manager: 拒絕訪問 Mongodb問題-解決
發現在mongodb.log裏出現 2017-07-07T17:01:55.339+0800 I CONTROL [main] Error connecting to the Service Control Manager: 拒絕訪問
2018-08-22 12:31:34
6