原创 泛型DAO,SPRING聲明式事務
之前的博文中我們搭建了一個基本的開發環境，現在讓我們給這個項目加上CRUD和基本的單元測試。 1、創建泛型DAO的相關類 在src\main\java\com\ceair\app\dao下創建GenericDao.java（APPFUSE2
2019-07-28 14:37:36
原创 對MAVEN JETTY插件進行DEBUG
步驟如下： 1、打開ECLIPSE IDE 選擇 Run/External Tools/External Tools Configurations...，進入如下圖所示界面： 在Location中輸入指向mvn.bat的路徑，在work
2019-07-28 14:37:23
原创 給STRUTS2+SPRING項目集成HIBERNATE,DBUNIT
首先給ECLIPSE安裝M2ECLIPSE插件，插件的UPDATESITE地址是http://m2eclipse.sonatype.org/sites/m2e，安裝完畢後如果插件報Missing indirectly re
2019-07-17 14:36:16
2
原创 hadoop SequenceFile介紹 大數據 存儲
SequenceFile是一個由二進制序列化過的key/value的字節流組成的文本存儲文件。基於壓縮類型CompressType，共有三種SequenceFile Writer：public static enum Compres
2019-02-22 19:32:29
原创 hive on tez sql 優化
select t.id end_usr_id, t.end_user_name end_usr_name, t.end_user_real_name end_usr_nknm, t.end_user_pa
2018-09-11 07:28:22
原创 TEZ MRR optimize to MR？
https://issues.apache.org/jira/browse/HIVE-2340select userid,count(*) from u_data group by userid order by userid wil
2018-09-11 07:28:21
原创 TextFile SequencFile性能對比
首先所有的輸入格式都繼承FileInputFormat，對於TextFile和SequenceFile有對應的TextInputFormat和SequenceFileInputFormat。 我們先來看一下TextInputFor
2018-09-11 07:28:21
原创 Homework 2: UDF Caching in Spark
爲spark編寫UDF cache： 作業介紹 https://github.com/cs186-spring15/course/tree/master/hw2 我花了點時間做了下，覺得是學習spark sql和sca
2018-09-11 07:28:21
原创 Yarn Scheduler Load Simulator YARN調度負載模擬器
項目起源是因爲有人希望有個模擬環境來模擬公平調度器和容量調度器，以便合理配置調度器，降低生產環境出問題的風險，詳見https://issues.apache.org/jira/browse/YARN-1021。之後在hadoop2.
2018-09-11 07:28:21
2
原创 Hive 1.1.0 某些字段的查詢結果爲NULL
現象查詢fct_traffic_navpage_path_detl的2015-01-19 分區顯示結果如下： Hive 1.1.0 返回結果如下，可見最後一個字段爲NULL87FQEZT1UEDXJHJQPFFX7G7ET8S
2018-09-11 07:28:21
2
原创 hadoop SequenceFile介紹 大數據 存儲
SequenceFile是一個由二進制序列化過的key/value的字節流組成的文本存儲文件。基於壓縮類型CompressType，共有三種SequenceFile Writer：public static enum Compres
2018-09-11 07:28:21
原创 maven編譯文件的編碼設置
maven編譯文件的編碼設置如下： <plugin> <artifactId>maven-compiler-plugin</artifactId> <configuration> <s
2018-09-11 07:28:21
1
原创 MiniYARNCluster MiniDFSCluster Kerberos
/**1. download hadoop source code ,then yum install cmake zlib-devel, finally ,mvn clean package -Pdist,native -DskipT
2018-09-11 07:28:21
3