原创 modbus通訊協議詳解

、Modbus 協議簡介     Modbus協議是一種已廣泛應用於當今工業控制領域的通用通訊協議。通過此協議,控制器相互之間、或控制器經由網絡(如以太網)可以和其它設備之間進行通信。Modbus協議使用的是主從通訊技術,即由主設備主動查

原创 MQTT 協議基本介紹

目錄   一、簡介 二、基本特點 三、基本概念 四、簡單示例 五、進一步瞭解MQTT 3 六、MQTT協議的工作方式 七、MQTT控制報文 CONNECT報文 CONNACK報文 八、清除會話、保留消息和QoS的組合 九、MQTT 5.0

原创 spring boot攔截器代碼實現

目錄   一、需求 二、代碼實現 三、攔截器運行流程 一、需求 爲了防止刷接口行爲,我們要加上訪問功能接口時需要登錄並且限制登錄時長的攔截器 二、代碼實現 import com.alibaba.fastjson.JSON; import

原创 Linux安裝Redis

目錄   一、下載Redis安裝包 二、安裝Redis 1.上傳安裝包 2.解壓安裝包 3.安裝gcc環境 4.編譯與安裝 5.配置Redis 三、測試Redis  一、下載Redis安裝包 官網下載鏈接:http://download.

原创 MyBatis的Mapper接口以及Example的實例函數及詳解

目錄 一、mapper接口中的方法解析 二、example實例解析 三、應用舉例 1.查詢 2.插入數據 3.更新數據 4.刪除數據 5.查詢數據數量   一、mapper接口中的方法解析 mapper接口中的函數及方法 方法 說明 in

原创 Intellij IDEA將properties文件Unicode轉中文設置

場景 默認情況下,在IDEA中打開properties文件中文會顯示unicode格式,如下: #\u914D\u7F6E\u6570\u636E\u6E90\u76F8\u5173 這些字符對我們來說是毫無意義的,如果想查看中文改如何

原创 HttpClient post提交multipart/form-data數據實現文件上傳

業務需求:使用HttpClient 調用第三方接口傳文件參數 工具類: /** * @Auther: yaohongan * @Description //上傳文件 * @Date: 2019/12/17

原创 CDH 啓動kafka服務遇到的問題

一、啓動kafka問題 CDH安裝好kafka服務後發現啓動不起來,報錯是: Fatal error during KafkaServerStartable startup. Prepare to shutdown java.lang.

原创 CDH5.16.2離線安裝spark2.1

目錄   一、簡介: 二、安裝裝備 二、開始安裝 三、添加和啓動spark2服務 一、簡介: 在我的CDH5.16集羣中,默認安裝的spark是1.6版本,這裏需要將其升級爲spark2.x版本。經查閱官方文檔,發現spark1.6和2.

原创 MongoDB on Spark SQL 統計數據並保存到MySQL

目錄 一、業務需求 二、業務實現方案 1.技術棧 2.業務實現流程 三、技術實現 1.添加pom依賴 2.代碼實現   2.1 UVStatJob 主類   2.2 UVAccessStat 映射實體類   2.3 StatDAO 數據庫

原创 sqoop同步數據報錯

一、sqoop同步數據報錯(一) 1.問題描述:sqoop將MySQL的數據同步到hive中報錯: rolException: Permission denied: user=root, access=WRITE, inode="/us

原创 IP地址解析之github中ipdatabase項目的使用

目錄   一、下載ipdatabase項目代碼 二、編譯ipdatabase 三、安裝到maven倉庫 四、項目上使用 一、下載ipdatabase項目代碼 GitHub地址:https://github.com/wzhe06/ipdat

原创 【Spark SQL實戰】日誌分析(一)介紹、數據清洗

筆記目錄: 【Spark SQL實戰】日誌分析(一)介紹、數據清洗 【Spark SQL實戰】日誌分析(二)實現項目需求 【Spark SQL實戰】日誌分析(三)結果可視化 目錄   一、用戶行爲日誌 1.日誌介紹 2.日誌數據內容

原创 Sqoop安裝配置及Mysql->Hive數據導入實踐

寫在前面 本博客基於的環境如下: OS版本: centos7.5 Hadoop版本: Hadoop-2.6.5 Hive版本: Hive-1.2.2 Sqoop版本: Sqoop-1.4.7 目錄 一、Sqoop安裝 1、下載 2、解壓

原创 【Spark SQL實戰】日誌分析(二)實現需求

筆記目錄: 【Spark SQL實戰】日誌分析(一)介紹、數據清洗 【Spark SQL實戰】日誌分析(二)實現項目需求 【Spark SQL實戰】日誌分析(三)結果可視化 目錄   一、項目需求 二、創建數據庫表 三、代碼實現 1、