原创 python 特殊方法、運算符重載
十六、python 特殊方法、運算符重載 運算符重載 1、構造函數、析構函數 __new__ 、 __init__ 、 __del__ 2、四則運算 +-*/ __add__ 、 __sub__ 、 __mul__ 、 __div__
2020-07-08 11:21:43
20
原创 python mysqlDB的安裝和使用
二十三、python mysqlDB的安裝和使用 MySQLdb安裝和使用 --------------------------------------------------------------- import MySQLdb #
2020-07-08 11:21:42
14
原创 hadoop job 的container日誌的查看
一般有幾個地方可以查看： 1、通過本地日誌目錄查看對應container日誌文件，默認在hadoop的安裝目錄下的/logs/userlogs/：直接用查看文件命令查看即可 該地方的應用運行日誌不一定最全,因爲任務運行日誌由每一個NM產
2020-07-08 11:21:42
2
原创 centos7.7 常用命令一
centos7.x命令 查看ip地址： ip add ip addr 查看主機名： hostname 修改主機名： 法一(當前session生效)： hostnamectl set-hostname hadoop01 法二(修
2020-07-08 11:21:42
9
原创 tez 0.9.0 的安裝和測試
文章目錄1 tez的概覽1.1 tez介紹1.1.1 介紹2 tez的安裝2.1 tez下載2.2 tez源碼編譯2.3 tez的安裝2.3.1 解壓並配置環境2.3.2 配置配置文件2.4 tez、hadoop、hive整合2.
2020-07-08 11:21:42
4
原创 python 分頁爬取
二十、python 分頁爬取(百思不得姐信息爬取) import requests from lxml import etree import datetime #獲取段子的內容 def getJokeList(basurl='ht
2020-07-08 11:21:42
32
原创 hive常用窗口函數
1 hive窗口函數 在平時的開發中常用那些hive函數？？ 1、字符串操作函數？split、concat、ifnull、cast 2、聚合函數 ： hive適用於分析，所以常用。 3、時間函數 ： 數倉的特徵隨時間變化而變化，所
2020-07-08 11:21:42
4
原创 flink yarn模式HA部署
文章目錄1、yarn cluster 模式部署介紹2、flink session HA模式3、flink-per-job模式 該文章基於上一篇： Flink的local和standalone HA安裝部署 1、yarn clust
2020-05-21 05:36:32
原创 Flink的local和standalone HA安裝部署
文章目錄1、local模式2、standalone cluster部署3、standalone cluster HA部署 版本介紹： centos 7.7 jdk 1.8.152 hadoop 2.7.1 zookeeper 3.
2020-05-17 00:24:11
1
原创 flink的基礎介紹
Flink 學習資料 官方文檔 ：https://flink.apache.org Flink 中文社區視頻課程：https://github.com/flink-china/flink-training-course Flin
2020-05-12 05:44:29
原创 大數據BI可視化基礎
1、大數據行業 1.1 大數據常見行業 -- 政府 -- 教育(線下、線上) -- 醫療(疫情、製藥、基因) -- 交通(地鐵、鐵路、民航、公路交通) -- 旅遊 -- 健康(運動、在線健康) -- 能源(水
2020-05-09 03:06:05
1
原创 hadoop和hive配置kerbros安全認證
需求： 對新建hadoop集羣和hive集羣的安全認證安裝部署。 版本： centos 7.7 hadoop 2.7.6 hive 1.2.2 部署規劃： ip 主機 服務 192.168.216.111 ha
2020-05-01 12:51:10
2
原创 hive實現存儲過程
1、hive存儲過程簡介 1.x版本的hive中沒有提供類似存儲過程的功能，使用Hive做數據開發時候，一般是將一段一段的HQL語句封裝在Shell或者其他腳本中，然後以命令行的方式調用，完成一個業務或者一張報表的統計分析。好消息
2020-04-25 04:48:20
原创 hive LZO壓縮
hive LZO壓縮 本文環境介紹： 軟件 版本 備註 centos 6.5 hadoop 2.7.1 2.7.*即可 hive 2.3.6 lzo 2.10 需要獨立安裝 1 lzo壓縮 1.1
2020-04-22 23:29:33
1
原创 hive的3種自定義函數
hive自定義函數 1 自定義函數 1.1 爲什麼需要自定義函數 hive的內置函數滿足不了所有的業務需求。 hive提供很多的模塊可以自定義功能，比如：自定義函數、serde、輸入輸出格式等。 1.2 常見自定義函數有哪些
2020-04-21 22:14:09