原创 java調用spark+hdfs計算的一個小demo
最近在入門spark+hadoop，僞分佈式安裝，部署推薦這幾個地址，不錯。這邊順手記錄一下自己用到的兩個小程序。 推薦教程 http://www.powerxing.com/install-hadoop/ http://blog.cs
2018-08-21 23:35:17
原创 kettle6.0 hadoop hbase交互記錄
摘要:在kettle6.0中連接讀寫hadoop和hbase與之前版本方法不同，故記錄一下使用方法。 環境準備: windows kettle6.0 jdk1.7 hadoop 2.6.5 hbase 1.2.6
2018-08-21 23:35:17
原创 利用AbstractRoutingDataSource+AOP實現多數據源切換
實現功能 實現基於springmvc+mybatis框架動態切換不同的數據源。 基礎框架springmvc4+mybatis3 實現原理 主要利用了spring aop以及spring的AbstractRoutingDataSource類
2018-08-21 23:35:17
原创 IntelliJ IDEA構建基於maven的spark+hbase工程（scala語言）
摘要 利用IDEA來編寫基於maven的scala程序，主要功能用來支持從hbase中拉取數據供spark進行mapreduce運算。 軟件準備 首先下載安裝IntelliJ IDEA https://www.jetbrains.com
2018-08-21 23:35:17
原创 服務器防禦基礎（常見的幾種攻擊手段以及應對方式）
前言 互聯網世界魚龍混雜，我們的網站放在internet上除了網站用戶和會員會造訪，還會有一羣覬覦網站利益服務器功能的人在暗中觀察，抓住機會找到漏洞就把網站一舉拿下，從而盜取數據或是利用服務器資源作爲礦機等等，因此服務器防禦也是不可忽略不
2018-08-21 23:35:17
原创 hive 2.3.3(HA) on spark 2.2.0 on yarn 2.6.5踩坑記
環境一覽 hive 2.3.3配置HA spark 2.2.0 hadoop 2.6.5 zookeeper 3.6.5 hbase 1.2.6 碰到的所有坑 1、jdbc連接zk時方法找不到異常 org.apache.curat
2018-08-21 23:35:06
原创 java結合luaj實現服務中執行動態腳本
業務場景 我們都會碰到這樣的情況，某某用戶臨時又增加新的校驗規則需求，但是需求又很碎很急，沒法等到下一個版本上線（想打人有木有），這種時候如果爲了上線該改動需要重啓服務，修改代碼，除了增加開發工作量以外還增大了服務運維風險。我們當然可以使
2018-08-21 23:35:06
3
原创 shiro+mybatis+springmvc實例記錄（二）——shiro支持ajax請求
接上文，頁面跳轉顯然不適合動靜分離ajax交互的架構模式，因此就需要對框架進行改造優化，使得後臺能夠返回json數據給前端請求。 自定義攔截器 shiro對權限、用戶信息的校驗實在默認的攔截器中進行的，要改寫數據返回方式，則需要重寫攔截器
2018-08-21 23:35:05
原创 shiro+mybatis+springmvc實例記錄（一）
應用背景 早先做權限控制都是採用自己編寫的interceptor進行過濾攔截，適合僅針對登錄進行校驗的場景，隨着要求複雜多樣化，就需要尋求一款穩定便捷的框架。shiro和security都是不錯的選擇，我這次姑且先選型shiro。 項目地
2018-08-21 23:35:04
原创 利用jenkins自動構建基於docker的tomcat容器
軟件準備 jenkins-2.7.4 maven-3.0.5 git-2.8.0 gitlab-8.7.5 docker-17.05.0-ce 具體的安裝本處不予綴述，該yum的yum，make install或者rpm都可以，
2018-08-21 23:35:04
原创 升級Glibc2.14的坑爹記錄
勇敢的騷年喲，請問你要的是這個glibc2.12呢還是這個glibc2.14呢。。。由於隔壁部門坑爹的SO，需要我把glibc升級到2.14，於是苦逼的程序員開始了艱辛的升級之旅~~ 升級的過程不用說了，網上一抓一大把，粗製濫造的就算了，
2018-08-21 23:35:03