原创 hive函數使用學習筆記
1.內置運算符 1.1關係運算符 運算符 類型 說明 A = B 所有原始類型 如果A與B相等,返回TRUE,否則返回FALSE A == B 無 失敗，因爲無效的語法。 SQL使用”=”，不使用”==”。 A <>
2020-06-23 14:07:57
1
原创 大數據常見問題
1、用./bin/spark-shell啓動spark時遇到異常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed
2020-06-23 14:07:57
6
原创 hiveql列轉行使用explode的注意事項-null值處理
一、訂單表如下： order_id product_name 1 鉛筆，蘋果，抽紙 2 3 蘋果，草莓，獼猴桃 二、統計每種商品被購買次數，需要將product_name列轉行，其中order_id等於2的是異常數據product_n
2020-05-22 21:38:52
原创 幾種數據庫的一些知識點 待續... ...
一、union 與union all的區別（mysql）SELECT country FROM WebsitesUNION ALLSELECT country FROM appsORDER BY country;上面語句使用union a
2018-09-02 05:52:44
2
原创 Java開發中各種集合框架簡介
在大數據MapReduce作業開發中，我們經常會遇到一些大小表的join，這是如果這個小表足夠“小”的話，我們可以使用進行“map-join-side”，這要就可以有效的降低reduce端的壓力，但是在常用的JDK的集合中的Map有些許
2018-09-02 05:52:44
3
原创 hadoop啓動步驟
一、ssh的啓動 ssh localhost二、hadoop的HDFS的格式化 bin/hadoop namenode -format三、hadoop的start-all.sh的啓動 bin/tart-all.sh 四、hadoop的da
2018-09-02 05:52:44
原创 jdbc的數據庫驅動類DriverManager.getConnection()詳解
1、Oracle8/8i/9i數據庫（thin模式） Class.forName(“oracle.jdbc.driver.OracleDriver”).newInstance(); String url=”jdbc:oracle:
2018-09-02 05:52:44
4
原创 shell常用命令
一、分割字符串 指定分隔符“@” 分割字符串 IFS=”@” aa=”a@b@c@d@e” for element in $aa do echo “$element” done; 輸出結果： a b c d
2018-09-02 05:52:44
原创 Statement與PreparedStatement的區別
當重複執行多次一個sql，而只是參數不同時，執行多少次sql 一、Statement爲一條Sql語句生成執行計劃 Statement就會生成多少個個執行計劃，而且每次都是從零開始執行，效率不高； Statement會將變量直接用於sql，
2018-09-02 05:52:44
3
原创 mvn常用命令
打包：mvn package 編譯：mvn compile 編譯測試程序：mvn test-compile 清空：mvn clean 運行測試：mvn test 生成站點目錄: mvn site 生成站點
2018-09-02 05:52:44
2
原创 Spark1.3.1 On Yarn的集羣搭建
下面給出的是spark集羣搭建的環境： 操作系統：最小安裝的CentOS 7（下載地址） Yarn對應的hadoop版本號：Hadoop的Cloudera公司發行版Hadoop2.6.0-CDH5.4.0（下載地址） Java版本號：J
2018-09-02 05:52:42
原创 hadoop命令
壓縮中間結果命令： hive -e "SET mapreduce.map.output.compress=true; SET mapred.map.output.compress.codec = org.
2018-09-02 05:52:42
原创 編寫shell腳本遇到的問題
運行shell腳本提示“syntax error near unexpected token for((i=0;i<$length;i++))”： 原因是因爲Linux下的換行符是 \n 而你在secureCRT或者其他工具編寫shel
2018-09-02 05:52:42
原创 hive-常用操作及函數
select '我們' from file_cto_user_info limit 1 select 1 from file_cto_user_info where 'football' like 'fo
2018-09-02 05:52:42
原创 計算截止每個時間點的累計值
-- 計算每個公司每個月的累計值(這種情況下，如果某個公司某個月沒有銷售額，這個公司在這個月的記錄就沒有)select t.year, t.month, companyid, compan
2018-09-02 05:52:42
2