原创 modbus通訊協議詳解
、Modbus 協議簡介 Modbus協議是一種已廣泛應用於當今工業控制領域的通用通訊協議。通過此協議,控制器相互之間、或控制器經由網絡(如以太網)可以和其它設備之間進行通信。Modbus協議使用的是主從通訊技術,即由主設備主動查
原创 MQTT 協議基本介紹
目錄 一、簡介 二、基本特點 三、基本概念 四、簡單示例 五、進一步瞭解MQTT 3 六、MQTT協議的工作方式 七、MQTT控制報文 CONNECT報文 CONNACK報文 八、清除會話、保留消息和QoS的組合 九、MQTT 5.0
原创 spring boot攔截器代碼實現
目錄 一、需求 二、代碼實現 三、攔截器運行流程 一、需求 爲了防止刷接口行爲,我們要加上訪問功能接口時需要登錄並且限制登錄時長的攔截器 二、代碼實現 import com.alibaba.fastjson.JSON; import
原创 Linux安裝Redis
目錄 一、下載Redis安裝包 二、安裝Redis 1.上傳安裝包 2.解壓安裝包 3.安裝gcc環境 4.編譯與安裝 5.配置Redis 三、測試Redis 一、下載Redis安裝包 官網下載鏈接:http://download.
原创 MyBatis的Mapper接口以及Example的實例函數及詳解
目錄 一、mapper接口中的方法解析 二、example實例解析 三、應用舉例 1.查詢 2.插入數據 3.更新數據 4.刪除數據 5.查詢數據數量 一、mapper接口中的方法解析 mapper接口中的函數及方法 方法 說明 in
原创 Intellij IDEA將properties文件Unicode轉中文設置
場景 默認情況下,在IDEA中打開properties文件中文會顯示unicode格式,如下: #\u914D\u7F6E\u6570\u636E\u6E90\u76F8\u5173 這些字符對我們來說是毫無意義的,如果想查看中文改如何
原创 HttpClient post提交multipart/form-data數據實現文件上傳
業務需求:使用HttpClient 調用第三方接口傳文件參數 工具類: /** * @Auther: yaohongan * @Description //上傳文件 * @Date: 2019/12/17
原创 CDH 啓動kafka服務遇到的問題
一、啓動kafka問題 CDH安裝好kafka服務後發現啓動不起來,報錯是: Fatal error during KafkaServerStartable startup. Prepare to shutdown java.lang.
原创 CDH5.16.2離線安裝spark2.1
目錄 一、簡介: 二、安裝裝備 二、開始安裝 三、添加和啓動spark2服務 一、簡介: 在我的CDH5.16集羣中,默認安裝的spark是1.6版本,這裏需要將其升級爲spark2.x版本。經查閱官方文檔,發現spark1.6和2.
原创 MongoDB on Spark SQL 統計數據並保存到MySQL
目錄 一、業務需求 二、業務實現方案 1.技術棧 2.業務實現流程 三、技術實現 1.添加pom依賴 2.代碼實現 2.1 UVStatJob 主類 2.2 UVAccessStat 映射實體類 2.3 StatDAO 數據庫
原创 sqoop同步數據報錯
一、sqoop同步數據報錯(一) 1.問題描述:sqoop將MySQL的數據同步到hive中報錯: rolException: Permission denied: user=root, access=WRITE, inode="/us
原创 IP地址解析之github中ipdatabase項目的使用
目錄 一、下載ipdatabase項目代碼 二、編譯ipdatabase 三、安裝到maven倉庫 四、項目上使用 一、下載ipdatabase項目代碼 GitHub地址:https://github.com/wzhe06/ipdat
原创 【Spark SQL實戰】日誌分析(一)介紹、數據清洗
筆記目錄: 【Spark SQL實戰】日誌分析(一)介紹、數據清洗 【Spark SQL實戰】日誌分析(二)實現項目需求 【Spark SQL實戰】日誌分析(三)結果可視化 目錄 一、用戶行爲日誌 1.日誌介紹 2.日誌數據內容
原创 Sqoop安裝配置及Mysql->Hive數據導入實踐
寫在前面 本博客基於的環境如下: OS版本: centos7.5 Hadoop版本: Hadoop-2.6.5 Hive版本: Hive-1.2.2 Sqoop版本: Sqoop-1.4.7 目錄 一、Sqoop安裝 1、下載 2、解壓
原创 【Spark SQL實戰】日誌分析(二)實現需求
筆記目錄: 【Spark SQL實戰】日誌分析(一)介紹、數據清洗 【Spark SQL實戰】日誌分析(二)實現項目需求 【Spark SQL實戰】日誌分析(三)結果可視化 目錄 一、項目需求 二、創建數據庫表 三、代碼實現 1、