原创 【Sqoop】數據同步
HDFS數據導入Mysql實踐 源數據是SparkSQL job生成的，基於Sqoop將數據同步到Mysql HDFS文件類型默認是parquet 壓縮格式是snappy SparkSQL寫入HDFS，如果路徑不存在，自動創建，
2020-06-20 05:13:48
原创 【容器】ConcurrentHashMap
併發容器基礎 ConcurrentHashMap https://www.pdai.tech/md/java/thread/java-thread-x-juc-collection-ConcurrentHashMap.html htt
2020-06-20 05:13:48
原创 【Zookeeper】Zookeeper與一致性算法
一致性協議算法： 2PC 3PC Paxos 節點角色： 1. Proposer 2. Acceptor 3. Learner
2020-06-20 05:13:48
原创 【Spark】深入理解Spark本地化
spark.locality.wait 3s How long to wait to launch a data-local task before giving up and launching it on a less-loc
2020-06-20 05:13:48
原创 【Spark】Spark任務執行原理
DAGScheduler：根據寬依賴操作，劃分stage，將stage中的task封裝成tastset TaskScheduler：接收DAGScheduler提交的調度階段，並將任務發送到節點，在節點執行任務。 1）針對RDD做各種轉換
2020-06-20 05:13:48
原创 【Flask】werkzeug版本問題
Flask1.1 中使用werkzeug1.0.0報錯。 查詢後得知這是因爲werkzeug新版本里需要顯式導入該模塊 在報錯的文件（我這裏是werkzeug/init.py）裏添加以下代碼可以解決該問題 from werkzeug
2020-06-20 05:13:48
原创 【Spark】SparkSession基礎
SparkSession = SparkContext + HiveContext + StreamingContext + SQLContext val conf = new SparkConf().setMaster("ma
2020-06-20 05:13:48
原创 【Zookeeper讀書筆記-3】客戶端原理
1 基礎概念 ClientCnxn是網絡連接器，管理客戶端與服務端的網絡交互。 ClientWatchManager保存客戶端的watcher HostProvider服務器地址列表管理器 outgoingQueue客戶端的請求發送隊列
2020-06-20 05:13:48
原创 【Flask】Flask Werkzeug版本兼容問題
1 環境 Python3.6 Flask1.1.1 Werkzeug：1.0.0 2 報錯信息 3 解決辦法 Werkzeug新版本兼容問題。 3.1 解決辦法1 用到Werkzeug的源文件中，添加如下： from werkzeug
2020-06-20 05:13:38
原创 【SVN】SVN常用命令
SVN常用命令 已經add的文件，如何取消add：svn revert --recursive apilog/ 克隆文件： 在SVN上傳一份新的工程：cas_sso_53目錄不能存在則，則新建 svn import cas_sso_5
2020-06-20 05:13:38
原创 【Zookeeper讀書筆記-2】序列化框架Jute
1 Jute概念 ZK客戶端與服務端的網絡通信和數據傳輸，需要首先解決的事數據序列化與反序列化問題。 Jute前身是Hadoop Record IO，後來Hadoop框架採用Avro(跨語言特性好，數據結構豐富，對MR的支持)，Recor
2020-06-20 05:13:38
原创 【Zookeeper】01_系統模型
目錄1 數據模型2 節點類型3 狀態信息4 Watcher機制4.1 Watcher基礎4.2 Watcher事件4.3 process回調方法4.4 Watcher工作機制4.4.1 客戶端註冊Watcher4.4.2 服務端
2020-06-20 05:13:37
原创 【Mysql】SQL創建修改表信息
一.基礎知識 1.創建表的時候寫註釋 create table test1( field_name int comment '字段的註釋' ) comment='表的註釋'; 2.修改表的註釋 alter table test
2020-06-20 05:13:37