原创 Linux htop 命令詳解

如圖,top是linux下常用的監控程序,而htop相當於是加強版,顏色顯示不同參數,還支持鼠標操作 上半區 左邊部分 1、2、3、4 分別表示第幾核CPU Mem 表示物理內存情況 Swp 表示交換分區情況 右邊部分 Tasks 表示總

原创 SQL的事務

一、基本概念 事務是數據庫區別於文件系統的重要特性之一,當有了事務,就可以讓數據庫始終保持一致性,同時可以通過事務的機制恢復到某個時間點,保證了提交到數據庫的修改不會因爲系統崩潰而丟失; 事務只是一個改變,是一些操作的集合,用專業術語說

原创 MySQL生成數字序列/日期序列

1. MySQL5.7基於自定義變量的方式 生成1-10的連續數字序列: SELECT @v := @v + 1 AS n FROM (SELECT 1 UNION SELECT 2) t1, (SELECT 1 UNION SELEC

原创 kafka的auto.offset.reset詳解與測試

1. 取值及定義 auto.offset.reset有以下三個可選值: latest (默認) earliest none 三者均有共同定義: 對於同一個消費者組,若已有提交的offset,則從提交的offset開始接着消費 意思

原创 Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde ... 解決方式

在Spark連接Hive導入相關maven依賴時 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId>

原创 SpringBoot中Druid加密數據連接信息

現在SpringBoot做web開發經常用到Druid做數據源,但數據庫連接的相關信息比如username,password等關鍵信息有時候直接寫在配置文件中,容易暴露,雖然也可以用指定外部配置文件的方式避免生產環境敏感數據泄露,但其實Dr

原创 Hive3配置tez引擎

1. 下載 下載地址:https://dlcdn.apache.org/tez/,選擇帶-bin的,此處下載apache-tez-0.10.1-bin.tar.gz 2. 解壓 hive在哪個節點上,就解壓到哪個節點 tar -zxvf

原创 Hive的metastore與hiveserver2

1. metastore metastore有兩個意思,一是指存放元數據的地方,一般是用MySQL數據庫,二是指metastore server。 1.1 元數據(metastore) 如果默認不配置元數據,那則使用本地Derby數據庫,這

原创 Ubuntu18搭建kafka單機集羣

1. 配置zookeeper https://www.cnblogs.com/convict/p/16438634.html 2. 下載kafka http://archive.apache.org/dist/kafka/2.8.0/ka

原创 Ubuntu18搭建zookeeper單機集羣

1. 下載zookeeper https://downloads.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz 2. 解壓 tar -zxvf

原创 Linux配置SFTP

需求:配置多個SFTP用戶,對應不同的SFTP路徑 1. 創建sftp根目錄 比如我配置 /data/sftp_data爲sftp根目錄,之後每個用戶都對應,該目錄下的子目錄 mkdir /data/sftp_data 2. 創建組 因

原创 pandas Dataframe merge 後出現重複行

1. 初始化兩個dataframe df_left = pd.DataFrame( columns=['no', 'name', 'age'], data=[['111', 'Andy', 19], ['222', 'Bob

原创 Java中時間戳與Date/LocalDateTime的相互轉換

一、時間戳與Date相互轉換 1. 時間戳轉Date public static void timestamp2Date() { long timeMillis = System.currentTimeMillis(); Date da

原创 Java中Date與LocalDateTime/LocalDate/LocalTime的相互轉換

java.util.Date 包含了日期、時間、毫秒數等 java.time.LocalDate 僅包含日期 Date對象的實例化方式有: 1. new Date() 2. new Date(long date): 通過毫秒數初始化。毫

原创 MySQL關於常用JSON字符串操作

官方文檔 測試數據 CREATE TABLE `demo` ( `id` int(11) NOT NULL AUTO_INCREMENT, `remark` longtext NULL, PRIMARY KEY (`id`)