原创 執行本地文件加載在hive中的py腳本及依賴安裝記錄
腳本demo 腳本功能：把本地文件加載在hive中 #!/usr/bin/env python # encoding: utf-8 """ @version: v1.0 @author: chey @contact: ~ @
2020-06-30 20:58:56
2
原创 《hive編程指南》閱讀隨筆02
一次使用命令 hive -e hive -S -e hive -S -e “select * from test_table” > /tmp/a.txt hive會將輸出寫到標準輸出中。上面的shell命令將輸出重定向到本地文件系
2020-06-30 20:58:56
原创 iTerm2配置遠程連接服務器實操記錄
進入preferences 配置服務器信息，引入配置文件 配置文件內配置服務器賬號密碼 #!/usr/bin/expect set PORT 22 set HOST xx.xx.xx.xx set USER bigdat
2020-06-30 19:47:13
2
原创 airflow安裝實操記錄
1.1 基礎安裝 1.1.1 默認自帶python2環境，自行安裝pip sudo yum -y install python-pip 使用bigdata用戶安裝，需要加sudo，否則會出現Permission denied 1
2020-06-30 19:47:13
8
原创 《hive編程指南》閱讀隨筆16
hive cli會在本地創建.hivehistory這樣的文件，以及會在/tmp目錄和hadoop.tmp.dir目錄下創建一些條目。 hiveserver2成了hadoopjob開啓執行的地方
2020-06-30 19:47:13
原创 《hive編程指南》閱讀隨筆04
分區 分層存儲 alter table log_message add partition(month=1) location ‘hdfs://master-server/data/log_
2020-06-30 19:47:13
原创 《hive編程指南》閱讀隨筆15
文件格式、記錄格式 stored as textfile/sequencefile/ 文件格式 行分隔符 字段分隔符 記錄格式： SerDe RegexSerDe處理標準格式的apache web日誌 CSVSerDe
2020-06-30 19:47:13
原创 《hive編程指南》閱讀隨筆01
CLI：hive命令行界面 thrift服務：提供了可遠程訪問其他進程的服務，也提供了JDBC/ODBC訪問hive的功能。 JDBC/ODBC：訪問hive，都是基於thrift服務來實現的。 HWI：hive網頁界面，提供了
2020-06-30 19:47:00
原创 org.apache.hadoop.security.AccessControlException 解決辦法
異常1: 上傳文件到hdfs，找不到文件 異常2: spark-shell啓動報錯 org.apache.hadoop.security.AccessControlException: Permission denied: u
2020-06-30 19:47:00
原创 大數據組件的退出命令
spark-shell 退出 :quit hive 退出 quit; exit; beeline 退出 !exit hbase 退出 exit hadoop job -kill jobid
2020-06-30 19:47:00
原创 cloudera Java API pom.xml
https://www.cloudera.com/documentation/enterprise/latest/topics/install_software_cm_wizard.html < project > < re
2019-07-30 16:18:42
原创 sublime打開txt亂碼問題修復
Package Control是Sublime Text3負責插件管理的插件，所以安裝Package Control插件時安裝其他插件的前提，而Package Control安裝方法分爲手動安裝和自動安裝兩種，下面是自動安裝方法
2019-07-30 16:18:42
原创 Power BI vs. QuickBI vs. DataV
轉自https://blog.csdn.net/orz15/article/details/53081934
2019-07-30 16:18:41
1