原创 學了忘，忘了學的Git
寫在前面 本文是轉自 大佬3y 的文章 分享一下三歪的經歷 剛實習的時候，一直都忙着看各種東西。有一天，我學長說：我看你也學了一些基礎了，我們來看看公司的代碼吧，看看我們生產環境是怎麼做的。 於是我學長丟了一個Git鏈接給三歪 h
2020-06-22 15:29:18
原创 企業級生產監控預警平臺（實戰簡介）
寫在前面 學習這個實戰項目也已經過去很久了，本來一直也想以文字的方式將項目中的 點 進行記錄下來。有什麼問題，歡迎大家一起留言討論。 關於這個系列的 所有文章，有新的想法，我也會及時做更新 項目效果 主要是想監控生產上的實時日誌，
2020-06-16 06:27:23
原创 Docker 網絡相關 （系統學習Docker04）
寫在前面 ///// 基於數據包的傳輸方式 網絡的分層 路由的概念 路由器進行路由選路 IP地址和路由： 公有IP和私有IP 私有IP： A類：10.0.0.0–10.255.255.255 （10.0.0.0/8） B類：172
2020-06-16 06:27:23
2
原创 Kettle開發流程
前置安裝 1.安裝jdk 2.下載kettle,解壓，然後運行spoon.bat/spoon.sh 這個文件，一些jdbc驅動包放置在解壓後的lib目錄下即可。 Kettle 開發流程 1.創建Kettle資料庫（MySQL即可
2020-06-16 06:27:23
原创 一文看懂什麼是代理模式【沒有廢話，很硬】
寫在前面 講真，我對設計模式其實並沒有很深入的瞭解。這裏我想把自己的理解 通過文字的方式表達出來。爲啥突然想起寫這個文章呢？是因爲我在星球裏面看見有人提問： 其實，我在去年的時候也寫過相關的內容，但是沒有展開。這裏我就一一把自己
2020-05-26 19:34:05
原创 GaussDB 200單機實例安裝使用教程【入門必看】
寫在前面 GaussDB的產品，最初GaussDB的產品定義有三大產品線系列GaussDB 100、GaussDB 200、GaussDB300，簡單介紹下： 1）GaussDB 100：主要以OLTP爲主。目前該產品已經應用在招
2020-05-24 20:43:35
3
原创 聊聊最近的狀態
怎麼講呢，我可能是真的需要通過寫博客來提升自己學習的積極性了吧。實話實說，我真的好久沒有主動去學習過了。也有可能是最近這段時間剛入職一家新公司，自己還在慢慢的磨合適應？就當是這個原因了吧 ^_^ ^_^ ^_^ 。 好吧，我希望自
2020-05-08 20:05:05
原创 Sqoop 導入數據異常處理
寫在前面 我在直接下載https://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz 解壓使用會出現幾個bug，之前也是出現了，然後也沒有來記錄一下。現在記錄
2020-02-22 08:21:01
原创 PyCharm 開發pyspark 應用程序
創建新的空項目： 測試一下環境是否ok 同時，也是爲了配置一下spark環境 添加如下兩個環境變量： 接下來： 達到這樣，就ok IDE開發環境就配置ok了，開始Coding… from pyspark impo
2020-02-22 08:21:01
原创 安裝Cloudera Manager 和 CDH
歡迎使⽤Cloudera Manager–最終⽤戶許可條款與條件。勾選 歡迎使⽤Cloudera Manager–您想要部署哪個版本？選擇Cloudera Express免費 版本 感謝您選擇Cloudera Manager
2020-02-22 08:21:01
原创 Spark 中 job stage task 關係
寫在前面 之前在面試的過程中有面到過這個問題，然後在這裏簡單記錄一下。 WordCount爲例 直接執行這個段代碼，根據執行結果，進行分析 object WCApp { def main(args:Array[String]
2020-02-22 08:21:01
原创 調度平臺Rundeck + 配置郵件告警
寫在前面 常用的調度平臺： crontab/azkaban/rundeck/xxl_job/oozie… 這些是比較常用的一些調度工具，選擇合適自己的即可。 Rundeck 官網：https://www.rundeck.com/o
2020-02-22 08:21:01
原创 容器技術和Docker的簡單介紹（系統學習Docker01）
寫在前面 後面來補~ 先來一張經典的圖： 虛擬機技術 VS 容器技術（docker就是典型代表實現） 可以看出：docker不需要我們提供OS的支持，它已經將OS集成在了自己的Docker Engine中。docker更加小巧。
2020-02-22 08:21:01
原创 Kafka系列四 之 多分區如何保證數據的有序性
Apache Kafka 消息怎麼寫？ kafka是一個分佈式的流消息隊列 生產者將消息發佈到某個主題 broker 進行存儲 消費者 訂閱+讀數據 從該主題中 消息（記錄）以序列化字節存儲， 消費者負責反序列化消息， 消息可以具
2020-02-22 08:21:01