原创 【Flink】（八）容錯機制
寫在前面：我是「雲祁」，一枚熱愛技術、會寫詩的大數據開發猿。暱稱來源於王安石詩中一句 [ 雲之祁祁，或雨於淵 ] ，甚是喜歡。 寫博客一方面是對自己學習的一點點總結及記錄，另一方面則是希望能夠幫助更多對大數據感興趣的朋友。如果
2020-06-16 03:47:42
原创 【阿里雲】企業自建 Hadoop 遷移至 MaxCompute 最佳實踐學習
文章目錄一、前言二、適用場景三、技術架構四、方案優勢五、自建Hadoop集羣規劃5.1 Hadoop集羣安裝規劃5.2 創建 VPC 網絡5.3 批量創建 ECS 實例5.4 初始化配置5.5 配置hadoop各ECS之間的無密鑰
2020-06-16 03:47:42
原创 【Flink】（十一）Flink CEP 入門
寫在前面：我是「雲祁」，一枚熱愛技術、會寫詩的大數據開發猿。暱稱來源於王安石詩中一句 [ 雲之祁祁，或雨於淵 ] ，甚是喜歡。 寫博客一方面是對自己學習的一點點總結及記錄，另一方面則是希望能夠幫助更多對大數據感興趣的朋友。如果
2020-06-16 03:47:42
原创 阿里云云安全 ACP（二）雲盾的網絡級防護
文章目錄一、基礎DDoS防護二、DDoS防護包與抗D流量包三、DDoS高防IP四、DDoS高防（國際）五、雲防火牆六、安全組 一、基礎DDoS防護 DDoS 攻擊究竟是什麼？ 可能舉個例子會更加形象點。我開了一家有五十個座位的重慶
2020-05-26 13:16:14
原创 阿里雲 DataWorks v2.0 常見問題與難點解析整理
一、依賴關係配置 依賴關係原理概述 三種依賴配置方式 “自動解析”配置依賴關係：推薦使用 手動配置依賴關係 “自動推薦”配置依賴關係 1.1 依賴關係原理概述 可擴展性差，缺乏解耦 重跑任務的成本太高 輸出名稱 每個節
2020-05-26 10:20:40
原创 阿里云云安全 ACP （一）安全基礎知識及雲盾概覽
文章目錄一、互聯網的組成二、互聯網的風險三、Top N 攻擊詳解四、阿里雲安全體系五、雲盾的安全防護 一、互聯網的組成 二、互聯網的風險 三、Top N 攻擊詳解 四、阿里
2020-05-26 10:20:40
原创 從零開始的大數據技術學習路線指南：帶你輕鬆成爲大數據開發工程師！
文章目錄一、前言二、大數據的發展史2.1 啓蒙階段：數據倉庫的出現2.2 技術變革：Hadoop誕生2.3 數據工廠時代：大數據平臺興起2.4 數據價值時代：阿里提出數據中臺三、大數據方面核心技術有哪些？1. Java 語言2.
2020-05-24 09:32:46
原创 數倉分層模型架構分享（2）
不知其來源出處，感覺是一字一字碼出來的經驗之談，特分享與此。 分層案例 1.電信通訊 stage層 ->bdl層 ->analysis層2.傳統金融/保險ods層 ->pdm層 ->dm層3.互聯網金融/電商odl層 ->
2020-05-23 08:57:14
原创 數倉分層模型架構分享（3）
文章在京東係數據倉庫建設方案的基礎上，加上自己獨特的理解，很能給人以參考和啓發。 原作者：hxiao1317098 原文：https://blog.csdn.net/hxiao1317098/article/details/
2020-05-23 08:57:14
原创 數倉分層模型架構分享（1）
數據倉庫的作用 整合公司的所有業務，建立統一的數據中心。 分析用戶行爲數據，通過數據挖掘來降低投入成本，提高投入效果。 作爲各個業務的數據源，形成業務數據互相反饋的良性循環。 提供數據報表，用於公司的決策支持等等。 數據倉庫的
2020-05-23 08:57:14
2
原创 阿里雲 MaxCompute Tunnel Upload 上傳典型問題整理
文章目錄前言一、Tunnel 上傳功能概述二、Tunnel 上傳問題分類三、數據問題四、網絡問題五、計費問題 前言 在阿里雲大學學習了付帥師兄關於《MaxCompute Tunnel Upload 上傳典型問題》的分享，將學習筆記
2020-05-22 08:08:40
原创 【Flink】（六）ProcessFunction API（底層 API）
文章目錄一、前言二、KeyedProcessFunction三、TimerService 和 定時器（Timers）四、側輸出流（SideOutput）五、CoProcessFunction 一、前言 我們之前學習的轉換算子是無法
2020-05-22 08:08:40
原创 阿里雲 MaxCompute 計算長尾問題優化
文章目錄一、前言二、長尾的原因三、優化思路與解決方案3.1 Group By 長尾3.2 count distinct 長尾3.3 動態分區 長尾3.4 Join 長尾 一、前言 長尾問題是分佈式計算裏最常見的問題之一，也是典型的
2020-05-21 07:01:32
原创 阿里雲 MaxCompute 行業級應用（優酷、鬥魚）及 MaxCompute SQL 調優
文章目錄一、Maxcompute在優酷的應用1.1 優酷業務的特點1.2 Maxcompute 簡單易用1.3 Maxcompute 生態完善1.4 Maxcompute 性能強悍1.5 MaxCompute 資源彈性1.6 大數
2020-05-21 07:01:32
原创 兩萬字講全《大數據之路：阿里巴巴大數據實踐》，開啓小菜鳥的大數據進擊之旅（建議收藏）！
文章目錄一、前言二、阿里巴巴大數據系統體系架構三、數據採集3.1 瀏覽器的頁面日誌採集3.1.1 頁面瀏覽日誌採集3.1.2 頁面交互日誌採集3.1.3 服務器端數據清洗和預處理3.2 無線客戶端的日誌採集3.3 日誌採集的挑戰3
2020-05-18 06:29:02