原创 log4j日誌配置信息 轉
log4j.properties文件 log4j.rootLogger=INFO, stdout, file log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.app
2018-12-02 21:31:15
原创 JApiTest的selenium測試腳本 原
這是爲http://git.oschina.net/penngo/JApiTest工具寫的selenium測試腳本，目前只寫了主要功能的自動化測試。由於JApiTest前端使用了ligerUI開發，selenium操作頁面元素會相對麻煩，而
2018-12-02 21:31:10
原创 spqrk通過rdd和dataset實現相同sql操作 原 薦
待分析的數據文件格式，內容爲nginx的日誌記錄，內容已經被處理過，已經轉爲只記錄ip和url的txt文件，內容如下： rdd讀取txt文件： public static void rdd(){ SparkConf
2018-12-02 21:31:06
原创 使用zt-exec庫定時清理linux休眠進程 原
在幾個月前上線的一個採集項目，構架是基於java + selenium + chromedriver + chrome實現的採集。至於爲哈不直接用jsoup或httpclient實現採集功能，是因爲很多被採集頁面都是通過js來渲染內容的，所
2018-12-02 21:31:06
6
原创 在php的yii2框架中整合hbase庫 原 薦
Hbase通過thrift這個跨語言的RPC框架提供多語言的調用。 Hbase有兩套thrift接口（thrift1和thrift2）,但是它們並不兼容。根據官方文檔，thrift1很可能被拋棄，本文以thrift2整合爲例。 1、訪問官網
2018-12-02 21:31:06
2
原创 常用Maven命令 頂 原
創建一個簡單的Java工程：mvn archetype:generate -DgroupId=com.mycompany.example -DartifactId=Example -DinteractiveMode=false -Darch
2018-12-02 21:31:06
原创 solr分佈式搭建 原
三臺服務器 192.168.17.178 192.168.17.179 192.168.17.180 基於jetty+solrcloud+zookeeper搭建solr分佈式 1、zookeeper安裝啓動 zookeeper下載htt
2018-12-02 21:31:06
原创 solr詞庫實時更新維護 原
1、solr導入到eclipse 下載solr-5.4.1-src.tgz，官網地址http://www.apache.org/dyn/closer.lua/lucene/solr/5.4.1 解壓solr-5.4.1-src.tgz到D:
2018-12-02 21:31:06
原创 mongodb數據導入hbase,spark讀取hbase數據分析 原
使用mavn管理相關依賴包pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst
2018-12-02 21:31:06
原创 php開發資源大全/類庫大全 轉
依賴管理( Dependency Management ) 用於依賴管理的包和框架 Composer / Packagist - 一個包和依賴管理器. Composer Installers - 一個多框架Composer庫安裝器
2018-12-02 21:31:06
5
原创 使用spark計算文檔相似度 原 薦
1、TF-IDF文檔轉換爲向量 以下邊三個句子爲例 羅湖發佈大梧桐新興產業帶整體規劃 深化夥伴關係，增強發展動力 爲世界經濟發展貢獻中國智慧 經過分詞後變爲 [羅湖, 發佈, 大梧桐, 新興產業, 帶, 整體, 規劃]| [深化, 夥伴,
2018-12-02 21:31:06
5
原创 yii2框架中整合PHPOffice的PhpSpreadsheet開源庫 原
在所有的php office庫(http://www.21doc.net/php/awesomephp#Office)，以前用得最多的版本是PHPOffice/PHPExcel（https://github.com/PHPOffice/PH
2018-12-02 21:31:06
4
原创 html字符轉義 轉
常用表： No. 文字表記 10進表記 16進表記 文字 Comment 001 " " " """ quotation mark = APL quote 002 & 
2018-12-02 21:31:06
原创 java-cef編譯測試 原
官方地址 https://bitbucket.org/chromiumembedded/java-cef 下載地址 https://bitbucket.org/chromiumembedded/java-cef/downloads/ htt
2018-12-02 21:31:06
原创 centos6.5安裝hadoop2.6.4 原
1、下載 http://hadoop.apache.org/releases.html http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-18802
2018-12-02 21:31:06