原创 [Fatal Error] total number of created files now is 100043, which exceeds 100000. Killing the job
由於我這個是分區表，表也比較大，在做表的備份，把數據拷貝到另外一張表。 拷貝的過程是: insert overwrite table as select * from table1 ERROR：[Fatal Error] total
2020-07-07 20:52:53
原创 Mac 安裝oh-my-zsh主題
sh -c "$(curl -fsSL https://raw.github.com/robbyrussell/oh-my-zsh/master/tools/install.sh)"
2020-07-01 06:04:35
原创 Java請求Http協議接口，流式請求，流式接收
package com.test.gov.supervision.processor.gd.gz; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONA
2020-06-02 19:39:34
原创 python加密 AES加密解密等同於java AES加密 解密
#!/usr/bin/python # coding:utf-8 from Crypto.Cipher import AES from decimal import Decimal import time import md5 impo
2020-06-02 19:39:34
原创 spark on-yarn啓動方式,linux腳本判斷yarn任務是否存在
#!bin/bash bb="RUNNING" aa=`yarn application -list |grep WA_Zhuqinghua_Order | awk '{print $6}'` if [ "$aa" != "$bb" ]
2020-06-02 19:39:34
原创 maven pom集羣打包衝突
======================================解決jar衝突===================================== Forexample com.google.protobuf 和運行
2020-06-02 19:39:34
原创 精髓 spark kafka producer和Consumer
Spark 消費kafka消息，並且寫入Producer中作用域懶加載（foreachPartition）級別（部分轉載-部分原創:QQ438509676） ===============================version
2020-06-02 19:39:23
原创 hadoopNameNode主從切換命令
主從切換：sudo -iu hdfs /homebin/hdfs haadmin -ns wa -failover r1 r2（意思是將active從r1切換爲r2）
2020-06-02 19:39:23
原创 scala 字節流讀取hdfs文件遞歸子目錄，同時解決NN standby 切換問題
package processor import java.io._ import java.util.concurrent.{Executors, ExecutorService} import Utils.{HDFSUtil,
2020-06-02 19:39:23
原创 hive 新增字段查詢是 null值
不需要每個分區都需加上，只需要如下： 1、alter table user_monthly_detail_i_m add columns (test string) cascade cascade關鍵字即可 2、insert ower
2020-06-02 19:39:23
原创 python exec內置函數解析python代碼
code_str = """ #coding: utf-8 binlog_source = { 'db' : 'binlog', 'table': 'canal_canal_st', } use_global_id = True lo
2020-02-23 07:55:27
原创 git pull之後恢復到原來的版本
1、命令查看你的歷史變更記錄 git reflog 2、n代表你要回退到的位置，最新提交的） git reset --hard HEAD@{n}
2019-07-03 03:09:35
原创 python安裝gevent
Running setup.py install for greenlet ... error 解決: sudo easy_install gevent==1.1rc1 sudo pip install gevent==1.2.0 轉載
2019-06-19 03:09:06
1