原创 log4j生成的日誌同時按大小和日期生成文件，並自動清除過期日誌
最近做的項目，遇到了的情境： 1、要每個日誌按固定大小生成，超過設定大大小就生成新的日誌文件 2、同時在文件名字後面加上日期，並自動按照設置的保留天數保留日誌，過期的日誌自動刪除。 3、設置同一日期最多生成日誌數，超過這個數量，則刪除今天
2018-08-21 21:46:21
62
原创 hadoop入門（九）Mapreduce中的簡單排序（手機流量排序）
需求： 對日誌數據中的上下行流量信息彙總，並輸出按照總流量倒序排序的結果 數據如下：電話號-上行流量-下行流量（下面是模擬的數據） 13823434356 20 30 15844021203 30 40 18688788797 40 5
2018-08-21 21:46:21
3
原创 Spring boot和Mybatis整合+Mysql+jsp頁面跳轉問題（藉助FreeMarker）
本篇文章，介紹springboot+mybatis+mysql+freemarker+jsp應用的一個小demo,主要是整合mybatis部分。 筆者剛研究springboot,剛剛跑通的例子，出來分享一下，直接上代碼： 第一，建一個Ma
2018-08-21 21:46:21
3
原创 scala-akka實現簡單的分佈式RPC通信框架（主從監聽，消息發送）
簡介：模擬用akka實現一個RPC分佈式通信框架，實現從機向主機發送心跳，主機判斷從機是否掛機，以及消息通信的簡單功能。 開發平臺：IntelliJ IDEA Maven架構 項目結構及依賴： 代碼2個樣例類： case cl
2018-08-21 21:46:10
原创 機器學習、人工智能全套視頻課程、資料下載
機器學習學習全套視頻課程百度雲下載，源碼，課件，筆記，資料：可以加我微信：houlaosan222，平時上班有時不能及時回覆。
2018-08-21 21:46:10
1
原创 hadoop入門（六）JavaAPI+Mapreduce實例wordCount單詞計數詳解
剛剛研究了一下haoop官網單詞計數的例子，把詳細步驟解析貼在下面： 準備工作： 1、haoop集羣環境搭建完成 2、新建一個文件hello,並寫入2行單詞，如下： [root@CentOS hadoop-2.6.0]# vi hello
2018-08-21 21:46:10
2
原创 storm+kafka課程視頻教程下載（以前對storm原理理解不夠深入，看完受益良多，分享給好學的你們）
百度雲盤下載地址： 鏈接：https://pan.baidu.com/s/1eRUkHWI 密碼：trz7
2018-08-21 21:46:10
3
原创 Hadoop入門（七）之java對應的Hadoop數據類型及自定義類型序列化
首先，我們都知道，Hadoop的讀寫都是通過流來實現的。在java中想把一個對象通過流進行讀寫，我們時要把它序列化和反序列化（Serialization、Deserialization）的。那麼，Hadoop的對象讀寫操作也需要序列化-
2018-08-21 21:46:09
1
原创 Mapreduce端join算法實現(訂單和產品文件數據關聯操作)
1、需求： 訂單數據表t_order： 關係數據庫表- id date pid amount 1001 20150710 P0001 2 1002 20150710 P0001 3 10
2018-08-21 21:46:09
原创 shiro身份驗證入門結合shiro的MD5加密技術自定義Realm-簡單Demo
這個Demo，只是一個簡單的shiro身份驗證部分，不涉及到授權部分。算是shiro入門。 具體的shiro介紹就不說了，官網和草根們在網上都分享了很多，原理自己去看吧。這裏直接寫代碼了。 第一：準備jar包 shiro-core-1.2
2018-08-21 21:46:09
原创 Hadoop入門（四）之hadoop集羣搭建（一主二從）
我的Hadoop版本是hadoop-2.6.0、JDK1.7。Linux虛擬機工具：VMware、SecureCRT 我們想要的效果是這樣的： Master: [root@CentOS hadoop-2.6.0]# jps 2150 Jp
2018-08-21 21:46:08
4
原创 scala用actor併發編程寫一個單機版的WorldCount（類似Hadoop的MapReduce思想）
1、準備數據，2個文件 words.txt 內容： lilei hello zhangsan hello lisi hello 蘇三 hello words.log 內容： lilei hello zhangsan hello lisi
2018-08-21 21:46:08
原创 MapReduce操作Hbase 進行單詞數量統計Demo
1.window環境準備：eclipse中建項目，導入hbase安裝環境下的lib中的jar包，或者用maven工具加載jar 2.linux環境準備：前提安裝Hadoop，hbase，zookeeper並能正常運行。若想在Hadoop上
2018-08-21 21:46:08
原创 hadoop入門（五）MapReduce簡介
什麼是MapReduce: 你想數出一摞牌中有多少張黑桃。直觀方式是一張一張檢查並且數出有多少張是黑桃。 MapReduce方法則是： 1.給在座的所有玩家中分配這摞牌 2.讓每個玩家數自己手中的牌有幾張是黑桃，然後把這個數目彙
2018-08-21 21:46:07
3
原创 hadoop入門（二）之hdfs環境搭建（單機版）
1.hadoop環境搭建 系統：CentOS6.5 32 位 安裝JDK1.7+ （並且已經配置過環境變量JAVA_HOME） 1.安裝JDK 略... 2配置主機名： [root@CentOS ~]# vi /etc
2018-08-21 21:46:07