原创 【總結】Spark優化(1)-多Job併發執行
Spark程序中一個Job的觸發是通過一個Action算子，比如count(), saveAsTextFile()等在這次Spark優化測試中，從Hive中讀取數據，將其另外保存四份，其中兩個Job採用串行方式，另外兩個Job採用並行方式。
2018-09-10 03:54:35
原创 【總結】HUE集成Sentry，通過HUE界面管理Sentry權限
將Sentry集成到HUE中能夠有許多好處：1、通過HUE界面，創建role2、在HUE的Sentry管理界面，可以Grant privileges給用戶3、在Hue中創建與Sentry中role同名的group4、將role賦予一個use
2018-09-10 03:54:35
原创 【總結】spark按文本格式和Lzo格式處理Lzo壓縮文件的比較
1、描述spark中怎麼加載lzo壓縮格式的文件2、比較lzo格式文件以textFile方式和LzoTextInputFormat方式計算數據，Running Tasks個數的影響 a.確保lzo文件所在文件夾中生成lzo.index
2018-09-10 03:54:35
原创 【總結】Java序列化，反序列化實例（屬性類不實現序列化接口）
序列化是將對象狀態轉換爲可保持或傳輸的格式的過程。與序列化相對的是反序列化，它將流轉換爲對象。這兩個過程結合起來，可以輕鬆地存儲和傳輸數據。Java中String, Integer的父類都實現了序列化接口Person類實現了序列化接口，Pe
2018-09-10 03:54:30
原创 【總結】Tomcat version 6.0 only supports J2EE 1.2, 1.3, 1.4, and Java EE 5 Web modules
解決辦法：1、條件允許可以選擇Tomcat v7.0 Server 2、找到workspace中項目目錄下的.settings文件夾下的org.eclipse.wst.common.project.facet.core.xml文件如下紅色字
2018-09-10 03:54:30
5
原创 【總結】Converting from decimal representation to binary32 format
=== Converting from decimal representation to binary32 format===In general refer to the IEEE 754 standard itself for the
2018-09-10 03:54:30
原创 【總結】Nginx日誌分割
Nginx日誌切割，我想分爲兩種，一種從日誌文件中將歷史日誌從日誌文件切割下來（切割法），另一箇中是把新來的日誌按規定格式寫到新的日誌文件中（分離法）。切割法：（切割下來的日誌文件中內容是歷史日誌）編寫logrotate配置文件 vi /e
2018-09-10 03:54:28
原创 【總結】Hadoop配置文件core-site.xml
<property> <name>fs.defaultFS</name> <value>hdfs://ns1</value> <description>缺省文件服務的協議和NS邏輯名稱，和hdfs-site裏的對應此配置替代了1
2018-09-10 03:54:28
2
原创 【問題】導入Maven項目，右鍵Team下功能缺失
1、從Git Repositories界面下import Projects，重新導入項目2、在導入的項目上，右鍵-->Configure-->Convert To Maven Project
2018-09-10 03:54:28
原创 【總結】Centos中，Kerberos安裝
1、安裝軟件包安裝必須的工具 bison, make, binutils下載壓縮包至/usr/local目錄下，並解壓[root@localhost local]# ls krb5-1.14.tar.gz krb5-1.14.tar.gz
2018-09-10 03:54:28
7
原创 linux返回碼 $?
Linux中，每個命令都返回一個0-255之間的代碼,返回代碼暗示程序運行成功與否，shell將變量$?設置爲上一次運行命令返回的代碼
2018-09-10 03:54:28
原创 GROUP_CONCAT對bigint類型參數的處理結果爲BLOB類型
使用GROUP_CONCAT函數時，參數如果是bigint類型的情況下，查詢結果顯示爲BLOB類型，顯然，這不是我們想要的結果。於是，我們把bigint類型的參數通過CAST(role.ID AS char)函數轉換爲char類型，之後用G
2018-09-10 03:54:28
2
原创 找不到org.apache.spark.streaming.flume.sink.SparkFlumeProtocol$Callback
java.lang.NoClassDefFoundError: org/apache/spark/streaming/flume/sink/SparkFlumeProtocol$Callback at org.apache.spark.st
2018-09-10 03:54:28
原创 getaddrinfo(localhost.localdomain): 未知的名稱或服務
在執行./kdb5_util create -r EXAMPLE.COM -s後如下錯誤錯誤：getaddrinfo(localhost.localdomain): 未知的名稱或服務解決：檢查/etc/hosts中主機名稱 是否與 krb5
2018-09-10 03:54:28
原创 hbase shell狀態下回退鍵不好用 （scureCRT）
SecureCRT選項-->會話選項終端-->仿真，右側選擇Linux如果還是不能使用回退功能，則需要如下配置選擇終端--仿真--映射鍵，兩個都打勾。Well Done!!!
2018-09-10 03:54:28