原创 jsp文件報錯信息 The superclass “javax.servlet.http.HttpServlet“ was not found on the Java Build Path
新建的web工程，啥也還沒有動呢，就報錯了。。。 報錯信息The superclass "javax.servlet.http.HttpServlet" was not found on the Java Build Path 建立
2020-07-06 11:58:04
原创 Flink VS Spark 部署模式對比
主要對Flink和Spark集羣的standalone模式及on yarn模式進行分析對比。Flink與Spark的應用調度和執行的核心區別是Flink不同的job在執行時，其task同時運行在同一個進程TaskManager進程中；Sp
2020-06-25 10:53:40
原创 正則可視化工具
三款 JS 正則可視化工具 https://jex.im/regulex https://regexper.com (網絡需自由) https://aoxiaoqiang.github.io/reg （替代工具） htt
2020-06-25 10:53:40
原创 普通用戶 linux用tar解壓文件 無法 open: 沒有那個文件或目錄
在Linux下，我解壓一個/home/user/*.tgz的文件時，使用tar -zxvf *.tgz，剛開始一切順利，過了一會出現“無法 open: 沒有該文件或目錄”，且一直出現不斷。 分現原因如下： （1）是否因帳號權限不足造成的
2020-06-19 22:57:26
4
原创 電商數倉腳本
我的腳本存放目錄 /user/local/bin/ 注意：有些腳本涉及到用戶和密碼記得要改成自己的！路徑有的也需要留意。 ----------------------------------------------------------
2020-06-19 21:30:53
原创 linux 徹底卸載 mysql
1.首先查看mysql的安裝情況 rpm -qa|grep -i mysql 顯示之前安裝了： MySQL-client-5.5.25a-1.rhel5 MySQL-server-5.5.25a-1.rhel5 2.停止mysq
2020-06-19 21:30:53
原创 kafka topic消息分配partition規則
我們知道Kafka 的消息通過topic進行分類。topic可以被分爲若干個partition來存儲消息。消息以追加的方式寫入partition,然後以先入先出的順序讀取。 下面是topic和partition的關係圖： 我們一般會在s
2020-06-19 21:30:53
2
原创 數據庫三範式介紹
示例表數據 假設有一個名爲employee的員工表，它有九個屬性：id(員工編號)、name(員工名稱)、mobile(電話)、zip(郵編)、province(省份)、city(城市)、district(區縣)、deptNo(所屬部門編
2020-06-19 21:30:53
原创 Hadoop 代碼 pom 依賴
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://w
2020-06-19 21:30:53
原创 kettle整合kafka
Kettle安裝Kafka Consumer插件： 下載軟件https://github.com/RuckusWirelessIL/pentaho-kafka-consumer/releases/tag/v1.5 或者 pentaho
2020-06-16 02:17:29
原创 Flink 實時統計熱門商品的TopN
文章目錄 一、需求說明 1、以案例驅動理解 二、技術點 三、代碼實現（一） 1、調用底層的Process（可做類似map的操作），將Json字符串解析成MyBehavior對象
2020-06-14 12:50:02
原创 Linux 修改遠程默認端口 22
Linux/Unix 系統，很多人使用SSH + 密碼來登陸服務器，默認 22端口，這樣會有被暴力破解密碼的危險（除非密碼足夠複雜且長度很長），因此最好修改SSH默認的22端口爲其它隨機端口號。 爲了保險起見，推薦先添加一個SSH 隨機端
2020-06-12 17:20:00
1
原创 spark 騷操作實現高效處理kafka數據積壓
一、 開篇 spark streaming消費kafka，大家都知道有兩種方式，也是面試考基本功常問的： 1.基於receiver的機制。 這個是spark streaming最基本的方式，spark streaming的receive
2020-06-03 04:53:47
原创 kafka使用Interceptors實現消息端到端跟蹤
現在，Kafka指標的採集都僅包括客戶端或broker，這使得用戶跟蹤消息在集羣內的傳遞路徑，構建系統端到端的性能和行爲畫像變的困難。從技術上講，通過修改應用以收集或跟蹤額外的信息來測量系統端到端的性能是可行的，但對於關鍵的基礎設施應用來
2020-06-03 04:53:47
原创 hive 3.x 新特性
Apache Hive 3.x 架構介紹 hive 的更新操作一直是大數據倉庫頭痛的問題，在3.x之前也支持update,但是速度太慢，還需要進行分桶，現在hive 支持全新ACID，並且底層採用TEZ 和內存進行查詢，性能是h
2020-06-03 04:53:47