原创 浩鯨科技高級工程師面試總結
一面：技術面 1.自我介紹 你好，面試官，我是XXX，於xxxx參加工作，上家公司就職於xxxx,做過xxxx項目，會xxx技術，最擅長xxx,平時生活愛好。。。 2.Spring AOP的原理和用處 原理： SpringAOP是動態代理
2020-07-01 00:53:24
原创 Linux搭建sqoop數據遷移工具及簡單的數據遷移測試
1.準備環境及工具 JDK 1.8 已搭建 Hadoop 3.1.1 已搭建 zookeeper 3.5.5 下載 hbase 2.2.0 下載 hive 3.1.1 已搭建 sqoop-1.4.7 下載 ojdbc8(該版本
2020-06-17 14:55:55
原创 SpringCloud + JWT + Spring-Security實現Restful API在網關層的權限管理和Token管理
在移動開發中，接口的訪問經常需要在請求的header中校驗token，看看接口是否有訪問權限，從而保證移動端功能的安全性。而token是需要在用戶登錄成功時獲取的，成功獲取後，每次訪問都需要在url的request.header中
2020-06-17 14:55:55
原创 SpringBoot + Kafka模擬系統心跳監測告警功能
做一個簡單的kafka消息發送訂閱功能，使用心跳機制進行監測，監測系統的線上健康狀態，通過消息隊列給kafka服務端發送健康狀態標識值，在系統內實時監聽消費，並做相應的業務提醒操作。因爲只是介紹kafka的實現原理，心跳監測這
2020-06-17 14:02:46
4
原创 SpringBoot + Redis實現事件的發佈訂閱功能
消息隊列，消息的發佈訂閱模式貌似是隻有kafka,MQ類中間件才能實現的事情，但是別出新裁的是redis也同樣具有這些功能。但是這些消息並沒有持久化機制，屬於即發即棄模式，也就是說它們不能像MQ中的消息那樣保證持久化消息訂閱
2020-06-17 14:02:46
原创 Kafka搭建系統實時監控平臺，到達時間閾值或者數量限制後並實現Redis日批量入庫
代碼： 1.生產者 import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.producer.KafkaProducer; i
2020-06-17 14:02:46
原创 記一次生產Dubbo線程池耗盡的問題排查處理
運維的某一系統，技術架構採用Dubbo + SSM(Spring + SpringMVC + Mybatis)開發，項目拆分成N個大模塊，分佈式部署在N臺服務器上，註冊中心採用zookeeper。該系統在交付使用一段時間後
2020-06-17 14:02:46
原创 Python基礎運用實戰----實現簡單的12306自動化搶票功能
一.所謂搶票，本質上就是基於瀏覽器驅動，實現登錄、預定、確認信息的自動化，其操作主要有以下幾步組成 1.登錄 登錄過程中，自動輸入用戶名和密碼比較簡單，難點在於識別驗證碼。截至目前，各種自動識別驗證碼的方案准確率都不高，因此，這裏
2020-06-17 14:02:46
原创 Python基礎運用實戰----實現簡單爬蟲，並存儲到Excel
最近看了幾天的Python語法，就想做個簡單的Demo來鞏固所學的基礎知識。爬蟲是python裏頭比較廣泛而有特點的一個應用面，之前沒學python之前一直在用Java爬，現在試着用python抓取一個簡單的列表頁。
2020-06-17 14:02:46
原创 Windows系統搭建Storm 分佈式實時計算開發環境
1.準備工作 1.1 下載Storm apache-storm-2.0.0下載 1.2 下載安裝 zookeeper 步驟詳看本人博客 Window系統下搭建Zookeeper和Kafka環境 1.3 下載python 2. 安裝Sto
2020-06-17 14:02:46
原创 Linux服務器搭建VUE + Nginx部署環境
一.VUE相關環境搭建 1.去Node.js官網選擇合適版本的Node.js，下載安裝 wget https://nodejs.org/dist/v12.18.0/node-v12.18.0-linux-x64.tar.xz 解壓縮至
2020-06-07 10:32:07
原创 logstash批量導入Oracle關聯查詢的數據到Elasticsearch索引庫
1.安裝好logstash後，在該文件夾下的bin目錄下新建文件夾conf，新建logstash導入數據啓動文件，和導入數據的配置 新建要導入數據的索引 newIndex jdbc.conf input { stdin {
2020-06-03 05:33:02
原创 SpringBoot集成Hadoop系列二 ---- MapReduce明星微博統計
代碼: package com.hadoop.reduce.model; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; impor
2020-06-03 05:33:02
原创 SpringBoot集成Hadoop系列二 ---- MapReduce詞頻統計
繼上篇SpringBoot集成Hadoop系列一 ---- 對HDFS的文件操作建的工程,接下來使用MapReduce進行一些數據文件的統計開發.這裏做一個很經典的統計功能,詞頻統計. 代碼: package com
2020-06-03 05:33:02
原创 一些開發常用的js語句總結
在一些原生的jsp開發中，總會使用到一些js的語法。作爲Java工程師，如果是在這種前後端不分離的開發模式下做開發，熟練原生的js語法是必備的工作能力。這裏總結下，在jsp開發中最常用的一些js語句。 1.$(functio
2020-06-03 05:33:02