原创 The current epoch, 8, is older than the last zxid, 38654705667

今天遇到一個zookeeper啓動的問題 Reading snapshot /usr/local/zk/data/version-2/snapshot.800000003 2017-08-09 21:15:01,955 [myid:1]

原创 Starting cloudera-scm-server: [FAILED]

遇到一個問題,在CDH中一個結點內存不夠用,於是關閉CDH服務後,並且把虛擬機關閉了。重啓虛擬機後 在執行  /opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server st

原创 生成導出一段時間內所有周五的數據,生成列表和其對應的分sheet表格

工作中遇到 分頁導出(週五)數據表格,導出一個時段的週五的數據,分頁sheet表單和對應的列表。一段時間內每個週五在Excel中生成列表中的一條數據和一個表格。 這裏主要的記錄一下分頁sheet表單功能。 public static v

原创 not recognize input near 'row' 'format' 'delimited' in select clause

在使用hive出現如下的問題: hive> insert overwrite local directory '/opt/data/traindata' row format delimited fields terminated by

原创 for循環的一點優化

看博客時,看到一個好的知識點,在此記錄一下(平時寫代碼也沒注意)。 參考博客:https://www.cnblogs.com/cxxjohnson/p/6730500.html 循環內不要創建引用對象。 例如: for(int i =

原创 截取url參數動態傳到頁面上

工作中遇到這樣的一個問題:需要在頁面已加載就將url中的參數傳到頁面上某一個查詢條件中: 1  在controller中的 對應的 method = RequestMethod.GET 方法中 獲取需要的參數,並將參數放到modelMap

原创 String.valueOf 的值爲“null”的坑

String regOrgCn = String.valueOf(parmMap.get("regOrgCn")); if(StringUtils.isNotBlank(entname)){

原创 spark學習部分筆記

每個 Spark 應用都由一個驅動器程序(driver program)來發起集羣上的各種並行操作。驅動器程序包含應用的 main 函數, 驅動器程

原创 equals 的坑

singlePicture.equals("singlePicture") 這裏寫成 "singlePicture".equals(singlePicture) 比較好,因爲singlePicture變量可能爲null ,就會報

原创 客戶端請求下載,服務端響應下載請求並返回文件流

工作中遇到這樣的需求:  1、A項目提供下載服務  2、B項目封裝A項目的下載服務  3、通過B項目來下載文件。 遇到的場景是:只有A服務可以下載文件,這裏ip 限制,其他的服務器無法直接下載文件,這裏類似下載請求,B服務無法直接下載文件

原创 to_date()的一個坑

工作遇到一個坑,在查詢一個段時間裏的數據: t.up_dte>=to_date('2018-07-01','yyyy-mm-dd') and  t.up_dte<=to_date('2018-07-31','yyyy-mm-dd') 這裏

原创 org.aspectj.weaver.ResolvedType$Array cannot be cast to org.aspectj.weaver.ReferenceType

項目啓動報錯: ERROR DispatcherServlet:502 - Context initialization failed org.springframework.beans.factory.BeanCreationExcep

原创 截取url參數動態傳到頁面上的

工作中遇到這樣的一個問題:需要在頁面已加載就將url中的參數傳到頁面上某一個查詢條件中: 1  在controller中的 對應的 method = RequestMethod.GET 方法中 獲取需要的參數,並將參數放到modelMap

原创 mysql的亂碼問題

遇到mysql 的亂碼問題:從jsp頁面提交參數(這裏參數爲中文時就會出現亂碼)到mysql中,結果顯示是亂碼(???)。 解決辦法: 1.jps頁面上要設置:pageEncoding="utf-8" 和 charset=utf-8"。

原创 MapReduce的模板

編寫MR時,有很多代碼都是重複的,其實真正的需要編寫的業務代碼是在 map  和 reduce 中。 以下就是MR的模板: package com.wangxj.hadoop.mr; import java.io.IOException