原创 Centos6.5防火牆關閉步驟

關閉命令:  service iptables stop         永久關閉防火牆:chkconfig iptables off 兩個命令同時運行,運行完成後查看防火牆關閉狀態         service iptables s

原创 手捧着一本書

手捧着一本書 坐在飛機上 卻怎麼也看不進去 我看着窗外的風景 窗戶上的雨露 打溼了我的雙眼 飛機飛在萬里的高空 而我的心還留在這着城 我想你了 寶貝

原创 對象的序列化及反序列化

    可參考:   Java基礎學習總結——Java對象的序列化和反序列化   http://kb.cnblogs.com/page/515982/

原创 如何批量修改hive local的存儲位置

1、背景     由於公司原有的oss訪問AK被泄露,引發安全問題,AK被運維禁用,大數據同學發現原來正常訪問hive,現在不能訪問了,仔細看了一下原因是AK被禁用導致。於是只能替換新的AK。 我們建表語句是 CREATE DATABA

原创 spark-sql使用hive的自定函數配置

1、spark-sql可以直接使用hive的自定義函數,而不需要重新寫一套spark-sql的自定義函數,這裏較大家一個簡單的配置方式即可 2、將hive的自定義函數jar拷貝到/usr/lib/spark-current/jars,我們

原创 兩套教程搞定mysql 5.7 在Linux安裝

一、安裝教程 https://www.cnblogs.com/luohanguo/p/9045391.html 二、如果有依賴衝突,先卸載再安裝 https://www.jianshu.com/p/7b8c4dea6829

原创 SecureCRT 工具的幾個常規操作

一、SecureCRT 屏幕輸出行數設置 1、打開Options Session Options–>Terminal–>Emulation 在Scrollback輸入你需要的最大顯示行數,最大行數是32000 二、設置連接超時時長 1

原创 maxwell timestamp時差修改

一、maxwell打包命令 mvn clean package -Dmaven.test.skip=true   修改timestamp類型字段8小時時差問題 參考: https://github.com/zendesk/maxwell/

原创 在hue創建hive UDAF函數報錯,Error while processing statement: FAILED: Execution Error, return code 1 from

純粹是爲了記筆記,以防後面遇到類似問題,又要找一遍問題 1、問題:在hue創建hive UDAF函數報錯,Error while processing statement: FAILED: Execution Error, return

原创 datax3.0打包編譯問題

一、下載源碼 git clone [email protected]:alibaba/DataX.git 二、編譯命令 mvn -U clean package assembly:assembly -Dmaven.test.skip=true

原创 presto web查詢工具

一、Yanagishima工具包: 網上有很多,我這裏用的是yanagishima-18.0.zip 也可以在官網下載源碼編譯,不過最新版本需要jdk11,現在企業中普遍使用jdk8,所以選了一個較低的版本 https://github.

原创 SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException

啓動hadoop namenode -format命令時報如下錯誤: java.net.UnknownHostException: #centos-linux.shared master: #centos-linux.shared ma

原创 Hadoop安裝教程_單機/僞分佈式配置_Hadoop2.6.0/

寫道 http://www.powerxing.com/install-hadoop/   點贊 收藏 分享 文章舉報 大黃_sama 發佈了63 篇原創文章 · 獲贊 2

原创 **螃蟹**

剛剛你還活蹦亂跳 而現在 你已經死了 徹底的死了 從心臟到骨頭 點贊 收藏 分享 文章舉報 大黃_sama 發佈了63 篇原創文章 · 獲贊 2 · 訪問量 6757

原创 解決CENTOS7虛擬機更改靜態IP無法啓動,chrome瀏覽器連不上網

解決方案 在linuxman的編輯中,未出現問題。反覆的查看原因未果,後查明是虛擬機所致。1.在開啓網絡時,有錯誤提示:Restarting network (via systemctl): Job for network.servic