原创 通過Sockets對網絡請求攔截並轉發的思路和簡單實例(Java)

前一陣子突然對網絡安全和數據傳輸這方面有了點興趣,加上朋友介紹了新的CrossWall的工具,便也想自己做個小工具試試看。 因爲我覺得如果只是簡單的使用工具,而不去深入理解原理,作爲一個程序員就不會有進步。 這裏只是分享一下我的思路和簡單

原创 基於大數據的日誌服務的搭建

一. 背景及需要實現的功能: 1. 按照固定格式採集日誌【Hadoop+Flume+log4j進行數據採集】 2. 日誌數據清洗【定時器+MapReduce+Java/Spark+Scala,從Hadoop讀取數據並處理後,存儲到Hbas

原创 使用MapReduce對Hadoop下的日誌記錄進行分析處理

一. 簡介 MapReduce是一個高性能的批處理分佈式計算框架,用於對海量數據進行並行分析和處理。與傳統方法相比較,MapReduce更傾向於蠻力去解決問題,通過簡單、粗暴、有效的方式去處理海量的數據。通過對數據的輸入、拆分與組合(核心

原创 Linux下Hadoop+Flume的日誌系統搭建

一. 簡介 Apache Hadoop 是一個由 Apache 基金會所開發的分佈式系統基礎架構。可以讓用戶在不瞭解分佈式底層細節的情況下,開發出可靠、可擴展的分佈式計算應用。 Apache Hadoop 框架,允許用戶使用簡單的編程模型

原创 在Windows下用Apache+wsgi部署python+flask項目

一. 安裝Apache 從http://www.apachelounge.com/download/  下載最近版本的Apache 解壓到D盤下,我的80端口已經被佔用了,所以需要修改配置文件:D:/Apache24/conf/httpd

原创 Node.js+MongoDB的環境搭建+學習實例

春節前閒來無事,整理了一下以前學習的Node.js和NoSql數據庫的資料,總結了自己一路踩過來的坑,希望能對初學者有幫助。在開發環境搭建和實例編寫之前,還是需要先了解一下基本概念。參考文章:1. 目前流行的幾個NoSql數據庫對比2.

原创 Nginx+Tomcat集羣實現反向代理負載均衡和Session複製

以前寫過一篇Apache+Tomcat集羣的文章,最近正好有空,把Nginx+Tomcat也寫一下做爲比較。 首先,用Nginx和Apache+Tomcat做集羣的區別,我就直接從網上找了點資料。 主要區別在於,Apache是同步多進程

原创 Neo4j的使用與Java調用實例

一. Neo4j簡介:Neo4j是一個高性能的,NoSQL圖形數據庫,它將結構化數據存儲在網絡上而不是表中。它是一個嵌入式的、基於磁盤的、具備完全的事務特性的Java持久化引擎,但是它將結構化數據存儲在網絡(從數學角度叫做圖)上而不是表

原创 在windows下的Jeesite框架下集成Redis集羣

最近想使用Redis集羣做緩存,由於公司一直在用Jeesite框架,所以嘗試了一下兩者進行集成。Jeesite原本就支持EhCache和Redis兩種方式做數據緩存,但並沒有做Redis集羣。本以爲簡單的配置就能實現,沒想到調查了整整一

原创 使用阿里大魚發送短信

最近看到同事在使用阿里大魚實現短信發送功能,稍微學了下,果然挺方便的,下面把使用方法共享一下。1.註冊賬號: 去 http://www.alidayu.com/?spm=a3142.7791109.1999204071.1.flonP4

原创 Mybatis+SQL Server使用過程中的優化

最近在數據庫的使用和優化方面遇到很多問題。 不但將數據庫從MySQL改到了SQL Server,在SQL語句的調優方面也下了很多功夫。 在這裏將遇到的問題做個總結。 一. 查詢速度優化 影響查詢速度的原因很多,查詢的列數,Join表,索

原创 使用POI進行Excel導入時解決的一些問題

最近在用POI做Excel導入,用了公司的共通,本以爲應該很順利,但是在實際使用過程中遇到了不少爲題。這裏做一下總結。 一.大文件導入 POI在導入數據的數據量很大的時候會有問題,Excel壓根就讀不進來。 網站上查了一下,需要將Exc

原创 使用Java完成網上支付(2. 支付寶&微信)

一. 賬號申請 1. 打開https://b.alipay.com/newIndex.htm,註冊賬號 2. 點擊“即時到賬” 3. 查閱相關說明後,點擊“立即簽約” 4. 因爲我這裏沒有相關材料,所以只能到這裏爲止了二. 接口開發教程

原创 從零開始使用Maven(三)Maven的聚合工程

我們在開發2個以上模塊的時候,每個模塊都是一個Maven Project。比如搜索平臺,學習平臺,考試平臺。 開發的時候可以自己管自己獨立編譯,測試,運行。 但如果想要將他們整合起來,我們就需要一個聚合工程。 比如: maven-man

原创 用Java開發微信公衆號

最近在學習微信公衆號的開發,這裏稍微介紹一下學習心得,希望可以幫助初學者快速入門。 首先,微信公衆號使用Java進行後臺接口開發,它沒有前臺頁面。 也就是說,你開發後臺接口按照微信規定的格式提供數據,不管你點菜單上哪個按鈕,微信會調用你