原创 hive中分區表的創建

1>開啓分區 set hive.exec.dynamic.partition=true;  set hive.exec.dynamic.partition.mode=nonstrict; 否則會出拋出異常: 2>創建分區表 創建靜態

原创 LinkedList中removeFirst()底層源碼分析

LinkedList底層是鏈表結構 ​ public E removeFirst() { final Node<E> f = first; if (f == null) throw

原创 深入HashSet底層源碼,分析實現原理(數組擴容,鏈表,二叉樹)

以add()方法爲例,查看hashSet的底層源碼實現,後面的源碼啃不動了。。。。就我理解是數組+鏈表;當鏈表結構達到8個時候,會將前面的8個鏈表轉換成二叉樹結構,而不是以第8個鏈表爲根節點,往後依次形成二叉樹,即將數組+鏈表變成了數組+

原创 Hive中UDAF簡單實現

需求:一個score表,就一個字段score,求其avg 1>建表語句以及其數據 create table test_score( score bigint ); 10 30 25 25 9 2>具體實現代碼 package co

原创 找不到主類或加載不了xx類

我的idea版本是2017.3.4,在pom.xml中設置 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client<

原创 idea 中maven assembly 打包項目

使用assembly插件來打包項目: 1>在pom.xml中配置assembly插件 <properties> <project.build.sourceEncoding>UTF-8</project.build.sou

原创 Shell中的數組及其相關操作

Shell中數據類型不多,比如說字符串,數字類型,數組。數組是其中比較重要的一種,其重要應用場景,可以求數組長度,元素長度,遍歷其元素,元素切片,替換,刪除等操作,使用非常方便。 Shell中的數組不像JAVA/C,只能是一維數組,沒有二

原创 Druid 配置及內置監控使用

                                                                                Druid Monitor 對於數據源,相信大家已經接觸了不少了。比如c3p0

原创 LeetCode中175題(combine two tables)

Mysql:(左外連接) select p.FirstName FirstName,p.LastName LastName,a.City City,a.State State from Person p  left join Addres

原创 JVM中_XmnXmsXmxXss有什麼區別

原文:https://blog.csdn.net/ooppookid/article/details/51530932 1、XmnXmsXmxXss有什麼區別 首先,Xmn、Xms、Xmx、Xss都是JVM對內存的配置參數,我們可以根據不

原创 Exception in thread "Spark Context Cleaner" java.lang.OutOfMemoryError: PermGen space

在idea中本地訪問hive中的數據: val df = spark.sql("select * from badou.order_products_prior") df.show(10) 出錯:Exception in thread

原创 SQL With As 用法

原文:https://www.cnblogs.com/Niko12230/p/5945133.html 一.WITH AS的含義 WITH AS短語,也叫做子查詢部分(subquery factoring),可以定義一個SQL片斷,該SQ

原创 Hive 求學生成績的最好課程(課程名+分數)、最差課程(課程名+分數)、平均分

原文:https://blog.csdn.net/goldlone/article/details/88856133  題目描述 有一張hive表,表名stdent_score,包含兩列,分別是學生姓名name(類型string),學生成

原创 java.lang.Exception: Unknown container. Container either has not started ...Yarn日誌監控

在hadoop平臺運行任務出錯,想查看日誌,但是點擊logs顯示一段提示信息。   查閱資料後得知,是未開啓historyserver服務,其默認關閉,是一個獨立的服務,網頁查看端口號默認:19888,可在yarn-site.xml中

原创 sql中grouping運算符rollup,grouping()

mysql不支持grouping運算符,目前僅僅支持rollup。建表: CREATE TABLE Employee ( ID number(10) not null primary key, EmpName varchar(2