原创 HDP2.3.2升級到HDP2.3.4
HDP2.3.2升級到HDP2.3.4 1版本對應 1 HDP-Ambari-Spark版本對應 2 HDP234 的組件版本 3 spark152在hdp運行條件 2準備 1 檢查service action 的sta
2020-06-30 22:19:51
3
原创 pyspark 註冊計算星座的UDF
不怎麼重要的前言：接觸hive時經常聽到人們說UDF（User Defined Function），博主從來沒用過，聽得雲裏霧裏，不知道怎麼才能寫UDF。 後來聽說，首先我們要寫個UDF，然後打包，再在hive裏註冊一下才能使用。
2020-06-08 20:47:13
3
原创 Ubuntu上搭建airflow+celery以及配置環境
文章目錄1、框架2、搭建過程2.1 基礎工作-新建airflow用戶和目錄2.2 下載並安裝anaconda：miniconda2.3 新建airflow的python環境2.4 初始化airflow2.5 修改配置文件2.6 初
2020-04-19 06:45:31
60