原创 RHEL 5下安裝Scrapy-0.14.0.2841爬蟲框架

Scrapy是一款非常成熟的爬蟲框架,可以抓取網頁數據並抽取結構化數據,目前已經有很多企業用於生產環境。對於它的更多介紹,可以查閱相關資料(官方網站:www.scrapy.org)。 我們根據官網提供的安裝指南,來一步步安裝,主要參考了h

原创 開發更新Solr索引的工具

Solr搜索服務器直接部署到Web容器之中,如果想要在服務器外部管理索引(創建、更新、刪除),需要向Solr服務器進程發送待處理的請求數據或者命令,實際索引變更是在Solr服務器程序中完成,自然而然底層是調用Lucene的API來實現這一

原创 Solr實現Low Level查詢解析(QParser)

Solr基於Lucene提供了方便的查詢解析和搜索服務器的功能,可以以插件的方式集成,非常容易的擴展我們自己需要的查詢解析方式。其中,Solr內置了一些QParser,對一些沒有特殊要求的應用來說,可以直接使用這些查詢解析組件,而無需做任

原创 JMX技術基礎

JMX在J2SE 5和J2SE 6平臺略有不同,我們基於J2SE 6來學習JMX。JMX已經成功Java 2平臺的一部分,它的目標是動態管理和監控你所感興趣的資源,例如應用程序、設備、服務、JVM等。JMX能夠支持通過本地和遠程訪問的方式

原创 基於Solr 3.5搭建搜索服務器

Solr已經發布3.5版本了,同時它是基於Lucene 3.5的。我們在基於Solr進行二次開發之前,首先要搭建起一個搜索服務器,在熟悉Solr的基本功能的基礎上,可以根據實際應用的需要進行個性化定製開發。因爲Solr提供了一種插件機制,

原创 Hadoop格式化HDFS報錯java.net.UnknownHostException: localhost.localdomain: localhost.localdomain

異常描述 在對HDFS格式化,執行hadoop namenode -format命令時,出現未知的主機名的問題,異常信息如下所示: [shirdrn@localhost bin]$ hadoop namenode -format

原创 Spring與JMX集成

 Spring與JMX集成,實現方式靈活而且簡單,主要體現在: 1、可以自動探測實現MBean接口的MBean對象,而且可以將一個普通的Spring Bean註冊爲MBean; 2、定製管理MBean的接口,根據需要暴露特定管理MBean

原创 Activiti 5.3安裝配置

安裝配置Activiti 5.3還是比較容易的,在這裏做個記錄以作備忘。 Activiti 5是一個開源的工作流引擎框架,它是基於jBPM 4流程引擎內核的,作者是Tom Baeyens。有關由jBPM到Activiti的變化,可以查看業

原创 Ubuntu下基於Nginx實現Tomcat集羣負載均衡

Nginx是一款HTTP和反向代理服務器,有關它的介紹可以到網上搜一下,很多很多,不再累述。這裏,我們記錄一下Nginx的安裝過程,以及如何配置Nginx來實現Tomcat集羣的負載均衡。   基本思路   假如現在我們有一個使用Java

原创 Spring+JMS+ActiveMQ+Tomcat實現消息服務

基於Spring+JMS+ActiveMQ+Tomcat,我使用的版本情況如下所示: Spring 2.5 ActiveMQ 5.4.0 Tomcat 6.0.30 下面通過學習與配置,實現消息服務的基本功能:發送與接收。Spring對J

原创 Activiti 5.3:配置與Spring整合

Activiti 5.3與Spring整合也比較簡單,其基本思想就是,通過Spring的IOC容器來管理Activiti的流程引擎實例以及相關服務,可見,主要是基於Activiti在與Spring整合上努力上,做好配置即可。這裏基於前面的

原创 Activiti 5.3:子流程(subProcess)

Activiti 5.3提供了子流程的實現,包括兩種基於子流程的實現: 一種是內嵌子流程:子流程元素<subProcess>內嵌在主流程元素<process>之內,只能在該流程中使用該子流程,外部是無法訪問到的。這種子流程一般作爲局部通用

原创 基於Spring實現定時調度

比較常用的是,Spring對Quartz的支持,可以非常容易地進行定時任務的調度。一般,具有兩種方式實現定時調度: 一種是通過繼承Spring的org.springframework.scheduling.quartz.QuartzJob

原创 Spring與MX4J集成實現JMX管理

MX4J是一個開源JMX管理框架,支持JSR3 (JMX) 和JSR160 (JMX Remote API)。通過Spring將MX4J集成到我們的應用系統中,可以通過HTTP協議適配,能夠基於Web的方式來實現對應用系統的監控和管理。這

原创 Activiti 5.3:流程活動自動與手工觸發執行

Activiti 5.3支持流程活動自動執行與手工觸發執行。其中,自動執行是指,在啓動流程之前,準備流程所需要的控制流程進度的變量數據,啓動流程之後,無需外部干預,就能夠按照預定義的流程執行;手工觸發執行是指,執行到流程中某個個結點後流程