原创 Flink之數據流編程模型（上）
數據流編程模型 Statefule Stream Processing: 是最低級別（底層）的抽象，只提供有狀態的流。它通過ProcessFunction嵌入到DataStream API之中。它使得用戶可以自由處理來源於一個或
2020-06-07 05:59:18
原创 Spark母公司Databricks數磚將Delta Lake開源了
2019年的Spark Summit大會上，大紅大紫的開源項目Spark背後的獨角獸公司DataBricks宣佈開源了他們的Delta Lake。 Delta Lake誕生背景 很多公司內部數據架構中都有數據湖，數據湖即一種大型數據存儲和
2020-06-07 05:59:18
原创 Linux-用戶和用戶組管理
Linux系統是一個多用戶多任務的分時操作系統，任何一個要使用系統資源的用戶，都必須首先向系統管理員申請一個賬號，然後以這個賬號的身份進入系統。 用戶的賬號一方面可以幫助系統管理員對使用系統的用戶進行跟蹤，並控制他們對系統資源的訪
2020-02-23 01:23:19
原创 Linux-netstat命令詳解
Netstat 命令用於顯示各種網絡相關信息，如網絡連接，路由表，接口狀態 (Interface Statistics)，masquerade 連接，多播成員 (Multicast Memberships) 等等。 執行netst
2020-02-23 01:23:19
原创 Linux-Shell腳本的運行方式
假設shell腳本文件爲hello.sh放在/root目錄下。 下面介紹幾種在終端執行shell腳本的方法： [root@localhost home]# cd /root/ [root@localhost ~]#vim hel
2020-02-23 01:23:19
原创 MySql-主從複製
一、概述 1、原理 複製(Replication)是從一臺MySQL數據庫服務器（主服務器master）複製數據到另一個服務器（從服務器slave）的一個進程。 主服務器將更新寫入二進制日誌文件，並維護文件的一個索引以跟蹤日
2020-02-23 01:23:19
原创 MySQL-物理備份-Percona XtraBackup 備份原理
Percona XtraBackup（簡稱PXB）是 Percona 公司開發的一個用於 MySQL 數據庫物理熱備的備份工具，支持 MySQl（Oracle）、Percona Server 和 MariaDB，並且全部開源，真
2020-02-23 01:23:19
原创 LINUX-AWK簡明教程
起步上臺 我從netstat命令中提取了如下信息作爲用例： $ cat netstat.txt Proto Recv-Q Send-Q Local-Address Foreign-Address
2020-02-23 01:23:19
原创 MySql-性能壓力測試-概論篇
性能測試前先要清楚目的是什麼 測試數據庫新版本的性能 測試新機型的性能 驗證某些DB/OS層面的參數 壓測存儲的性能 壓測某些場景 確定目標之後我們要選擇何種壓測場景進行壓測，只讀，只寫，讀寫混合？ 觀察壓測過
2020-02-23 01:23:19
原创 MySql-InnoDB-緩存管理
MySql內存結構 InnoDB主索引是聚簇索引，索引與數據共用表空間，對於InnoDB而言，數據就是索引，索引就是數據。InnoDB緩存機制和MyISAM緩存機制的最大區別就是在於，InnoDB不僅僅是緩存索引，還會緩存數據
2020-02-23 01:23:19
原创 MySql-索引優化
索引就是爲特定的mysql字段進行一些特定的算法排序,比如二叉樹的算法和哈希算法。mysql默認的是二叉樹算法 BTREE。 Explain優化查詢檢測 EXPLAIN可以幫助開發人員分析SQL問題,explain顯示了mysql
2020-02-23 01:23:19
原创 MySql-日誌詳解
錯誤日誌 MySQL的錯誤信息是在data目錄下的 錯誤日誌本身所定義的內容本身是可以定義的 編輯配置文件，定義錯誤日誌： log-error=/path/to/xx.err #定義是否啓動錯誤日誌的功能 log-war
2020-02-23 01:23:19
原创 MySql-體系結構以及各種文件類型
MySql體系結構 由數據庫和數據庫實例組成，是單進場多線程架構。 數據庫：物理操作系統文件或者其它文件的集合，數據庫文件可以是frm、myd、myi、ibd等結尾的文件。當使用ndb存儲引擎時候，不是os文件，是存放於內存中的文
2020-02-23 01:23:19
原创 MySql-權限管理
在mysql數據庫中，有mysql_install_db腳本初始化權限表，存儲權限的表有： user表 db表 host表 table_priv表 columns_priv表 proc_priv表 MySQL存取控制包含2個階
2020-02-23 01:23:19
原创 MySql在Linux的啓動方式
在Linux系統下，MySQL服務器通常有四種啓動方式：mysqld守護進程啓動，mysqld_safe啓動，mysql.server啓動，mysqld_multi多實例啓動。 1、mysqld守護進程啓動 一般的，我們通過這種方
2020-02-23 01:23:19