原创 centos7下的hadoop3.2.0分佈式搭建

目錄 一、前言 二、hadoop集羣規劃 三、目錄規劃 四、集羣環境安裝 (一)、三臺虛擬機基礎設置 (二)、jdk1.8安裝(在第一臺虛擬機上安裝----->centos301) (三)、ssh免登陸 (四)、 三臺虛擬機防火牆設置 (

原创 jdk1.8,數組、集合、對象互轉

1、數組轉集合 1、定義整形數組:int[] arrayInt = {6,2,1}; List<Integer> integerList = Arrays.stream(arrayInt).boxed().collect(Collect

原创 apache-hive-3.1.1-bin、apache-tez-0.9.2-bin以及遇到的一些問題

目錄 一、前提 二、hive3.1.1 安裝 三、apache-tez-0.9.2-bin 配置 四、配置 tez 出現的一些問題 一、前提 這篇博客寫之前,簡要的說一下本人筆記本的環境,以及集羣部署和目錄規劃,當前用戶是centos10

原创 springMVC+hibernate框架實現後臺數據導出至excel表格中,並進行條件導出數據

首先介紹一下目前導出excel的幾種格式:Excel 2003、Excel 2007  Excel 2003:在POI中使用HSSF對象時,excel 2003最多隻允許存儲65536條數據,一般用來處理較少的數據量。這時對於百萬級別數據

原创 上海大數據面試經歷(etl數據清洗崗位)

面試相關的筆試題以及電話錄音音頻全部在我的百度雲盤中,大家有需要的可以自行下載,我目前正在上海找大數據相關的工作,後面面試的公司職位會不斷的更新。 鏈接:https://pan.baidu.com/s/1pHdkYlORf6jo6b4FQ

原创 Kafka最全面試題整理

目錄 一、開篇 二、kafka面試題以及答案整理 1、Kafka的用途有哪些?使用場景如何? 2、 Kafka中的ISR、AR又代表什麼?ISR的伸縮又指什麼 3、Kafka中的HW、LEO、LSO、LW等分別代表什麼? 4、Kafka中

原创 (記)org.apache.hadoop.hive.serde

1、Hive官方建表語句 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COM