原创 Idea使用系統自帶的sbt,並自定義repositories

    最近在使用Idea + Scala + sbt (Macbook)做一些開發測試,但是由於默認使用國外的源,導致下載速度奇慢無比,所以想修改默認的repositories,但是怎麼樣才能修改默認的repositories並在Ide

原创 Hadoop搭建的一些注意事項及解決方法

    這兩天實驗室的一哥們在搭建Hadoop平臺,由於是Linux新手,在搭建的過程中遇到各種問題,以至於弄了將近一個禮拜還沒有搞定,後來叫我去幫

原创 U盤安裝Kali 2.0 cd-rom無法掛載解決方法

用U盤安裝的過程中,出現cd-rom無法掛載,提示錯誤Your installation CD-ROM couldn't be mounted。 可通過如下方法解決(親測可行): 安裝kali2.0過程中,安裝界面(就是選擇語言,

原创 Word公式和文字的顯示位置調整

    最近在寫論文,總是在插入一些公式後發現公式跟文字的顯示變得不太正常,要麼公式顯示比文字要低,要麼文字後面的文字顯示偏高。下面是我的調整方法,在此記錄並備忘。     編輯前的顯示如下: 在高級選項裏: 位置下拉列表中改

原创 ubuntu / Ubuntu Kylin下安裝和卸載 Nodepadqq

    在WIndows下用慣了notepad++,Ubuntu默認 的圖形化編輯器gedit,又感覺不太還看,功能也不強大,最蛋疼的時就連vim的上下左右鍵都不能正常使用,所以打算安裝類似notepad的軟件.     對於Ubun

原创 Hbase 啓動失敗htrace

    今天在安裝Hbase-1.1.2,配置文件檢查了很多次,沒有任何問題,但是發現slave上的HRegionServer總是啓動失敗,後來查閱日誌,錯誤信息如下:   2016-01-02 20:15:53,145 INFO [r

原创 Spark On CDH5.6.0 報錯java.lang.ArrayIndexOutOfBoundsException: 1

   背景介紹    剛到新公司,老大讓我處理Spark方面的工作,公司之前使用的是CDH,我之前一直都是接觸Apache官方的Hadoop和Spark,對CDH有所瞭解,但是沒有真正使用。而且,由於CDH相對來講對Spark的支持總有一

原创 Spark Executor 報錯 java.lang.StackOverflowError

前兩天,一個同事在Hue中查詢Hive中的一個大表,運行一分鐘左右就報錯了: Error while processing statement: FAILED: Execution Error, return code 3 from o

原创 SBT編譯入門

     非託管依賴 爲放在 lib 目錄下的 jar 文件 託管依賴 配置在構建定義中,並且會自動從倉庫(repository)中下載 非託管依賴 大多數人會用託管依賴而非非託管依賴。但是非託管依賴

原创 Markdown 編輯器語法指南

 Markdown 編輯器語法指南 基本技巧 代碼 如果你只想高亮語句中的某個函數名或關鍵字,可以使用 `function_name()` 實現 通常編輯器根據代碼片段適配合適的高亮方法,但你也可以用 ``` 包裹一段代碼,並指

原创 Spark on yarn 報錯: Permission denied

    最近在進行Spark On Yarn的測試和使用,前幾天都能正常提交和運行Spark任務,但是,昨天在測試環境中重新搭建Spark集羣后,運行spark example程序時,總是報錯:     上圖中的錯誤提示爲,/user

原创 CDH clock offeset

      最近在使用測試集羣中CDH時總是經常遇到NTP時間同步的問題,如下圖所示:     Cloudera相關的服務都對時間要求特別嚴格,如果ntp時間同步出了問題,則Cloudera Server的監控以及HDFS,Yarn

原创 Hive表中文註釋亂碼

    最近在使用Hive是發現desc查看錶時,註釋中的中文都是一問號的形式顯示。經過查資料知道,Hive的元數據時存儲在Mysql中的,因此我們需要對Mysql中相關表的字符編碼進行修改。特在此備忘:     Hiv默認情況下我們

原创 Hue中Hive editor中文報錯

      今天一個同事在Hue中使用Hive 進行數據分析時,報錯了,是因爲在Hive sql中加了一個過濾條件,過濾條件的值中包含中文,錯誤如下:              一看到這個,自然就想到了字符編碼的問題。     既然知道是

原创 SBT免翻牆手冊

1 公司級解決方案 我們在公司內部使用Squid搭建了一個透明代理, 用來代理如下repositories: http://repo.typesafe.com/typesafe/ivy-releases/http://repo.maven