原创 使用Python調用Hadoop Hdfs的API

一、Java調用hdfs的api import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apach

原创 解決ServerAgent-2.2.3閃退問題

一、問題描述 使用ServerAgent-2.2.3監控服務器時,每次Jmeter點擊run時就會閃退,錯誤日誌如下: # # A fatal error has been detected by the Java Runtime En

原创 Hadoop3.3.6配置歷史服務器和日誌

一、配置歷史服務器 1.增加配置屬性 Hadoop部署模式主要有3種:本地、僞分佈式、完全分佈式。雲服務器只有一臺所以我使用的是僞分佈式模式部署的。要配置歷史服務器只需修改mapred-site.xml文件。在裏面增加如下配置。 <!-

原创 Hadoop3.3.6 Shell命令操作

一、mkdir 創建文件夾通過命令hadoop fs -mkdir /cyw在hdfs中創建名爲cyw的文件夾  二、moveFromLocal從本地剪切到hdfs中  這裏將本地/home/input/movefromlocal文件剪

原创 Ubuntu22系統部署Hadoop3.3.6環境

看boss有招大數據的講師,好奇看了下,現在大學都講大數據了,現在是越來越普及。昨天弄了一個雲服務器部署了下Hadoop,雖然也是參考網上教程部署,但過程中還是出了不少問題。想着把部署過程完整記錄下,所以我就把部署好的實例釋放了又實例化了一

原创 Robotframework+Appinum+Python環境搭建與測試

這兩天把Appinum研究了下,在自己電腦上配置了下測試環境,這裏記錄下搭建過程。 1.JDK環境配置 之前做Java的時候下載安裝過jdk,但由於下載安裝的不是Oracle官網的jdk,導致下載android-sdk後運行SDK Mana

原创 python3+RobotFramework驗證碼登錄

面試了下自動化測試講師,也面過了,就是感覺自己還沒到能教學生的成度,畢竟長時間不用RobotFramework,自己也還沒搞明白,也不想誤人子弟,所以就沒去。昨天閒着無聊正好測試環境搭建好了,就跑個流程試試。 一、驗證碼識別 之前做圖片驗證

原创 python3+RobotFramework環境搭建

之前用的python2.7+robotframework進行的自動化測試,python3的還沒嘗試,今天嘗試了下,搭建環境的時候也是各種報錯,搞了幾小時才搞好了。 一、python安裝 下載python然後安裝,地址:https://www

原创 MQTTnet 3.1.2使用Demo

MQTT消息使用場景廣泛,在本地做了個小demo。服務器使用的MQTTnet 3.1.2版本,最新4.1.0版本服務器權限認證網上沒找到,所以就使用3.1.2版本了。 一、服務端 引用MQTTnet 3.1.2版本 using MQTT

原创 Linq多條件關聯查詢

在使用Linq今天多表關聯查詢時關聯表查詢還算是比較複雜的,今天遇到一個關聯表查詢而且還是多條件不定項查詢,查詢條件可有可無,要進行linq查詢,一開始也是沒思路,網上百度了好多,終於找到解決方法,在where中使用三則運算來判斷查詢條件是

原创 EF Core CodeFirst數據庫自動遷移

 開發過程中都會遇到數據庫數據結構更新的問題,怎麼對數據庫更新進行版本控制呢? 不同的項目對數據庫版本更新控制的方式不同,常用的有第三方Evolve,開發人員將數據庫更新腳本按照版本號的放在一起,然後執行命令進行數據庫更新。在之前EF的博客

原创 微服務SpringCloud之GateWay熔斷、限流、重試

純潔的微笑的Spring Cloud系列博客終於學完了,也對Spring Cloud有了初步的瞭解。 修改請求路徑的過濾器 StripPrefix Filter 是一個請求路徑截取的功能,我們可以利用這個功能來做特殊業務的轉發。

原创 微服務SpringCloud之GateWay服務化和過濾器

Spring Cloud Gateway 提供了一種默認轉發的能力,只要將 Spring Cloud Gateway 註冊到服務中心,Spring Cloud Gateway 默認就會代理服務中心的所有服務。 一、服務網關注冊到註冊中心 這

原创 微服務SpringCloud之GateWay路由

在前面博客學習了網關zuul,今天學下spring官方自帶的網關spring cloud gateway。Zuul(1.x) 基於 Servlet,使用阻塞 API,它不支持任何長連接,如 WebSockets,Spring Cloud G

原创 微服務SpringCloud之zipkin鏈路追蹤

 隨着業務發展,系統拆分導致系統調用鏈路愈發複雜一個前端請求可能最終需要調用很多次後端服務才能完成,當整個請求變慢或不可用時,我們是無法得知該請求是由某個或某些後端服務引起的,這時就需要解決如何快讀定位服務故障點,以對症下藥。於是就有了分佈