原创 Spark streaming+Kafka
本文利用SparkStreaming+Kafka實現實時的統計uv，即獨立訪客，一個用戶一天內訪問多次算一次，這個看起來要對用戶去重，其實只要按照WordCount的思路，最後輸出key的數量即可，所以可以利用SparkStreaming
2020-06-19 03:18:21
1
原创 Pip環境變量問題處理
pip安裝遇到問題 在使用pip 安裝服務時候，報錯如圖所示內容 1、去到Python的官網下載pip包，下載地址是：https://pypi.python.org/pypi/pip#downloads 2、下載完成之後，解壓到
2020-06-19 00:37:11
1
原创 hive 按照指定分隔符取最後一個下標
hive 按照指定分隔符取最後一個下標 split思路 select reverse(split(reverse('其他,溝通中'),',')[1]) 該方法可以實現，但是對於中文有bug，二次反轉會造成亂碼 獲取split後的
2020-06-19 00:37:11
原创 Windows10安裝 64位MySQL
以5.7.20版本爲例 首先安裝包解壓後，沒有網上教程裏面提到的data文件夾和my-default.ini，如下圖所示 配置環境變量請參照網上教程，這個一般沒有問題，即在環境變量中Path中加入MYSQL解壓包bin所在路徑，
2020-06-19 00:37:11
原创 SHELL腳本“SYNTAX ERROR:UNEXPECTED END OF FILE”解決方案
vim installhttp.sh :set fileformat=unix :wq
2020-06-19 00:37:11
1
原创 正則表達式整理
正則表達式是一種字符串匹配規則，最大的特點就是短小精悍，能高效的解決實際應用中的很多問題，這裏就來整理一下常用的正則表達式一、校驗數字的表達式 1 數字： ^[0-9]$ 2 n位的數字： ^\d{n}$ 3 至少n位的數字：
2020-02-22 11:20:45
原创 Intellij IDEA 添加 Junit4.12 以及報錯解決
在IDEA裏面已經新建好了一個類，並加入了內容，然後創建測試類，快捷鍵（Ctrl+Alt+T）或者如圖右鍵 Goto Test創建後運行報錯： Error:(3, 24) java: 程序包org.junit不存在 : Canno
2019-09-15 23:28:34
原创 Java 倆個Long是否相等?
拋出問題： Long a = 4l; Long b = 4l; a == b //true Long a = 128l; Long b = 128l; a == b //false 如果Long的值在[-127,128]之間，用
2019-09-09 23:46:45
原创 Axure 9 激活
axure rp pro 9.0專業版： 被授權人：www.ddooo.com 授權祕鑰：UdMLVdonmFlplbTMoBppfrUXZMhEQ6Mf2shBAkTCJBk5ycQJs2NALgvLsHhyfoYR axure
2019-07-02 23:47:56
原创 Guns後臺框架搭建
guns框架 Guns基於SpringBoot,致力於做更簡潔的後臺管理系統,完美整合springmvc + shiro + mybatis-plus + beetl!Guns項目代碼簡潔,註釋豐富,上手容易,同時Guns包含許
2019-06-11 04:04:54
原创 大數據生態圈常用端口
常見端口彙總： Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI
2019-04-27 07:31:22
原创 CDH5.15搭建
一、配置hostname和hosts 1. 三臺機器分別設置hostname爲（需要重啓ECS）： master.bd.cn slave1.bd.cn slave2.bd.cn 2. 然後三臺的/etc/hosts統一配置如下映射：
2019-04-09 23:27:49
1
原创 centos7 安裝mysql
CentOs7安裝mysql 1.安裝依賴 yum search libaio # 檢索相關信息 yum install libaio # 安裝依賴包12 2.檢查MySQL是否已安裝 yum list installed
2019-04-07 01:22:33
原创 Pentaho BI工具 linux環境下的作業執行以及定時任務
應用的場景:由於在windows版本的kettle軟件作業定時執行需要再pentaho服務器中執行，但是由於定時作業多了就偶發的作業不能按時執行(一直沒找到原因)，所以想到在linux服務器下連接資源庫然後利用crontab來定時執行
2019-03-10 03:24:10