原创 Docker五分鐘搭建Wordpress
當你看到這篇文章的時候，表明你已經有docker的基礎知識了，或者可以看上一篇文章 Docker 入門教程。 傳統的使用wordpress搭建網站，意味着你需要搭建以下四個環境： php； apache / nginx； mysql； w
2021-05-30 13:00:30
原创 5分鐘安裝docker教程
Centos安裝docker需要操作系統是 CentOS 7 or 8，必須啓用centos extras存儲庫。默認情況下，此存儲庫處於啓用狀態，但如果已禁用它，則需要重新啓用它。 卸載舊版本 老版本的docker被稱作docker 或者
2021-05-29 13:01:22
原创 學習建議，大數據組件那麼多，可以重點學習這幾個
經常有同學問我，基於Hadoop生態圈的大數據組件有很多，怎麼學的過來呢，畢竟精力有限，我們需要有側重點，我覺得下面這幾個組件至關重要，是基礎組件，大部分人都需要會的，其它組件可以用的時候再去查查資料學習。 hadoop Hbase Hi
2021-05-26 13:00:27
原创 Flink狀態管理與狀態一致性（長文）
目錄一、前言二、狀態類型2.1、Keyed State2.2、Operator State三、狀態橫向擴展四、檢查點機制4.1、開啓檢查點 (checkpoint)4.2、保存點機制 (Savepoints)五、狀態後端5.1、狀態管理器分
2021-04-21 13:00:34
原创 徹底搞清Flink中的Window
窗口 在流處理應用中，數據是連續不斷的，因此我們不可能等到所有數據都到了纔開始處理。當然我們可以每來一個消息就處理一次，但是有時我們需要做一些聚合類的處理，例如：在過去的1分鐘內有多少用戶點擊了我們的網頁。在這種情況下，我們必須定義一個窗
2021-04-02 13:00:34
原创 生男生女概率一樣嗎？
先來看一下2019年人口普查，也是第七次人口普查的男女性別比例數據，是目前最新的數據了。這裏性別比，女性基數是100，例如：20 ~ 24這個區間，性別比是114.61，也就是說，114.6個男性對應100個女性。 可以看出，男女數量差異
2021-03-22 18:34:37
1
原创 PyCharm 2019、2020、2021專業版激活
PyCharm下載地址：https://www.jetbrains.com/pycharm/download/ PyCharm社區版功能基本夠用，但是作爲傲嬌的程序員，咱都是上來就專業版，然後各種破解使用，自由的享受編程帶來的快樂。這裏介紹
2021-01-11 13:00:31
原创 Hive表的基本操作
目錄1. 創建表2. 拷貝表3. 查看錶結構4. 刪除表5. 修改表5.1 表重命名5.2 增、修、刪分區5.3 修改列信息5.4 增加列5.5 刪除列5.6 修改表的屬性 1. 創建表 create table語句遵從sql語法習慣，只不
2021-01-11 13:00:30
1
原创 Hive 中的四種排序詳解，再也不會混淆用法了
Hive 中的四種排序 排序操作是一個比較常見的操作，尤其是在數據分析的時候，我們往往需要對數據進行排序，hive 中和排序相關的有四個關鍵字，今天我們就看一下，它們都是什麼作用。 數據準備 下面我們有一份溫度數據,tab 分割 2008
2021-01-07 13:00:27
原创 Hive基於UDF進行文本分詞
本文大綱 UDF 簡介 Hive作爲一個sql查詢引擎，自帶了一些基本的函數，比如count(計數)，sum(求和)，有時候這些基本函數滿足不了我們的需求，這時候就要寫hive hdf(user defined funation)，又叫用
2020-12-31 13:00:29
原创 數據湖是誰？那數據倉庫又算什麼？
數據湖初識 近兩年，爲什麼都開始談論起 Data Lake 這個”新名詞”了？ 先說說我的想法，其實還是用戶需求驅動數據服務，大家開始關注 Data Lake 的根本原因是用戶需求發生了質變，過去的數據倉庫模式以及相關組件沒有辦法滿足日益進
2020-12-26 13:00:38
原创 Hive動態分區詳解
目錄動態分區調整注意動態分區插入動靜分區結合例子 動態分區調整 動態分區屬性：設置爲true表示開啓動態分區功能（默認爲false）hive.exec.dynamic.partition=true; 動態分區屬性：設置爲nonstrict
2020-12-25 13:01:40
原创 Hive中的集合數據類型
除了使用礎的數據類型string等，Hive中的列支持使用struct, map, array集合數據類型。 數據類型 描述 語法示例 STRUCT 和C語言中的struct或者"對象"類似，都可以通過"點"符號訪問元素內容。
2020-12-25 13:01:40
原创 徹底理解Hive中的鎖
前面遇到過一次因爲Hive中表被鎖住了，導致定時任務一直失敗。這兩天又出現了表被鎖，原因是連接hiveserver2過於頻繁，mysql連接被打滿，引發的連鎖反應，導致我們的小時任務一直失敗，下午重點注意到這個問題，才解決好。 Hive中的
2020-12-25 13:01:40
原创 Hive中的UDF詳解
目錄UDF 創建與使用步驟例一例二查看hive function的用法hive 中的 UDAF臨時與永久函數臨時函數永久函數場景IP 轉化爲地址分詞SQL 分析UDF hive作爲一個sql查詢引擎，自帶了一些基本的函數，比如count(計
2020-12-25 13:01:40