原创 AirFlow性能調優
修改 airflow.cfg 配置 不加載example dag load_examples = False # 這個配置只有在第一次啓動airflow之前設置纔有效 修改檢測新dag間隔 最好還是修改一下，因爲默認爲0，沒有時間間隔
2020-06-06 12:32:46
23
原创 airflow刪除dag不在頁面顯示
當我們需要把dag刪除的時候，遇到了刪除了相應的dag文件，但頁面還是顯示 這個時候需要重啓airflow 的webserver ps -ef|egrep 'scheduler|airflow-webserver'|grep -v
2020-06-06 12:32:46
5
原创 在airflow的BashOperator中執行docker容器中的腳本容易忽略的問題
dag模板 from airflow import DAG from airflow.operators.bash_operator import BashOperator from airflow.operators import E
2020-06-06 12:32:46
9
原创 Mongodb數據導入CDH平臺HIVE
一、環境配置 1、軟件版本： CDH6.2 Mongodb3.4 2、CDH的hive設置 Hive --> 配置 --> 搜索 jar /etc/hive/auxlib Hive --> 配置 --> 搜索 hive-env.sh
2020-06-06 12:32:46
原创 ExecutorService 的理解和使用
前言： 我們之前使用線程的時候都是使用new Thread來進行線程的創建，但是這樣會有一些問題。如： a. 每次new Thread新建對象性能差。 b. 線程缺乏統一管理，可能無限制新建線程，相互之間競爭，及可能佔用過多系統資源導致死
2020-06-06 12:32:46
原创 AirFlow初始化的時候遇到 Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql
在安裝airflow後，初始化遇到這樣的問題 Traceback (most recent call last): File "/opt/anaconda3/bin/airflow", line 32, in <module>
2020-06-06 12:32:46
4
原创 Flink 1.9.1 安裝及啓動（CDH6.2集成flink）
這裏部署環境爲 CDH6.2 集羣，三個節點，Flink 版本爲編譯的 Flink1.9.1 版本。 Flink集羣有兩種部署的模式，分別是 Standalone 以及 YARNCluster 模式。 Standalone 模式，Flin
2020-06-06 12:32:46
原创 java基礎之對象拷貝（詳解）
爲什麼要使用克隆？ 克隆的對象可能包含一些已經修改過的屬性，而 new 出來的對象的屬性都還是初始化時候的值，所以當需要一個新的對象來保存當前對象的“狀態”就靠克隆方法了。 淺克隆：創建一個新對象，新對象的屬性和原來對象完全相同，對於非基
2020-06-06 12:32:46
原创 MongoDb連接管理工具Robo 3T教程
這是官網下載地址 https://robomongo.org/download 選擇 Download Robo 3T 下載即可 步驟簡單 只需下一步即可這裏就不多做重複了 安裝完成後 ，我來新建一個連接示範一下 點擊Fil
2020-05-17 00:59:08
原创 Hive 刪除行， 表 ，清空表
刪除行 A表數據如下 id(String) name(String) ---------------------------- 1 aaa 2
2020-05-10 00:39:46
原创 hive配置遇到的問題 Relative path in absolute URI
遇到的異常詳情如下： Exception in thread "main"java.lang.RuntimeException: java.lang.IllegalArgumentException:java.net.URISyntax
2020-04-21 15:46:46
原创 hive 三種啓動方式及用途
1， hive 命令行模式，直接輸入/hive/bin/hive的執行程序，或者輸入 hive --service cli 用於linux平臺命令行查詢，查詢語句基本跟mysql查詢語句類似 2， hive web界面
2020-04-18 16:54:31
原创 CDH集羣配置、日誌、jar包以及安裝目錄和常用命令彙總
一、總結目的 因爲CDH集羣的配置、日誌、jar包以及安裝文件的目錄非常多，而且分散，每次繞進去就有種繞不出來的感覺。所以，下決心總結一下，防止自己後面採坑。 二、關鍵目錄 1.開啓應用目錄：默認可以直接敲命令行 /opt/cloude
2020-04-18 16:54:31
1
原创 Cloudera CDH 、Impala本地通過Parcel安裝配置詳解及什麼是Parcel
問題導讀 1.什麼是Parcel？ 2.Parcel本地源與Package本地源的區別是什麼？ 一、Parcel本地源與Package本地源的區別 本地通過Parcel安裝過程與本地通過Package安裝過程完全一致，不同的是兩者的本地
2020-04-12 11:43:42
4
原创 springboot2.X Mybatis 整合
學習springboot2.X中發現的博客，說得通俗易懂。(記錄下) https://blog.csdn.net/Winter_chen001/article/details/80010967
2020-02-25 05:08:10