原创 Spring-Cloud（一）——服務發現Eureka
一、序 關於微服務的話就不多說了，spring-cloud也已經接觸多時，開個專欄做一下總結，具體思路差不多是這樣。 按照微服務搭建框架順序進行整理、總結。並會在文尾增量展示微服務高可用架構。 二、開篇 2.1、服務註冊及發現-Eurek
2019-10-25 20:28:38
原创 工作總結——RestTemplate請求時間過長問題
出現場景 項目使用微服務，將每個數據源拆分成了一個服務，並通過Eureka註冊，web服務通過配置的不同數據源的url調用各個數據源的服務從而獲取相應數據。 但近日部署後在跑全量更新緩存的過程中，發現了一個嚴重問題。緩存更新不完整，通過日
2019-09-15 19:43:35
3
原创 讀緩存：三問題總結
目錄 讀緩存時可能遇到的問題 一、緩存穿透： 1、問題出現場景 2、解決方案 ①、布隆過濾器(Bloom Filter) ②、空值緩存 3、解決方案詳細實踐 ①、 二、緩存雪崩： 1、問題出現場景 2、解決方案 三、緩存擊穿： 1、問題出
2019-09-09 19:52:45
原创 史上最全的Spring Boot Cache使用與整合
原文鏈接：https://www.cnblogs.com/yueshutong/p/9381540.html 一：Spring緩存抽象 Spring從3.1開始定義了org.springfram
2019-09-06 19:21:19
3
原创 分佈式存儲基石：HDFS
基本概念 HDFS分佈式文件存儲系統，是基於Java實現的，是Hadoop最重要的核心組件，支持順序寫入，而非隨機定爲讀寫。 HDFS前提和設計目標 存儲超大文件 HDFS適合存儲大文件，單個文件大小通常在百兆以上 HDFS適合存儲海量
2019-08-28 20:22:53
原创 開篇
開篇原因，項目需要使用定時調度。目前來說xxl-job還是比較好用的，而正好應了領導的要求，使用xxl-job已成爲必然，所以開篇爲了記錄學習過程。以備後續查看。
2019-08-28 20:22:53
原创 xxl-job——接入項目
項目馬上就要使用，所以今天一步一步實踐一下xxl-job接入項目，提前排坑。那麼我們接下來就開始吧。 下載源碼 https://github.com/xuxueli/xxl-job 初始化“調度數據庫” 打開：doc/db/tables_
2019-08-28 20:22:53
原创 xxl-job——簡介
這裏只是爲了記錄，所以會以手打的方式，複述官網簡介。 概述 xxl-job是一個輕量級分佈式任務調度平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。 目前來說，我們也準備接入xxl-job到我們的產品。之後會以接入xxl-job
2019-08-28 20:22:53
原创 手把手教你用Docker
What-什麼是容器 容器是一種輕量級、可移植、自包含的軟件打包技術，使應用程序可以在幾乎任何地方以相同的方式運行。開發人員在自己筆記本上創建並測試好的容器，無需任何修改就能夠在生產系統的虛擬機、物理服務器或公有云主機上運行。 容器與虛擬
2019-08-28 20:22:53
原创 Spark每日半小時（38）——Spark Streaming：性能調優
性能調優 從集羣上的Spark Streaming應用程序中獲得最佳性能需要進行一些調整。在高層次上，我們需要考慮兩件事： 通過有效使用集羣資源減少每批數據的處理時間。 設置正確的批量大小，以便可以像接收到的那樣快速處理批量數據（即，數據
2019-07-08 20:13:16
原创 Spark每日半小時（37）——Spark Streaming：（下）
DataFram和SQL操作 我們可以輕鬆地對流數據使用DataFrames和SQL操作。我們必須使用StreamingContext正在使用地SparkContext創建SparkSession。此外，必須如此，纔可以在驅動器故障時重新
2019-07-08 20:13:16
原创 Spark每日半小時（36）——Spark Streaming：（上）
DStream的轉換 與RDD類似，轉換允許修改來自輸入DStream的數據。DStream支持普通Spark RDD上可用的許多轉換。一些常見的如下。 轉換 含義 map(func) 通過將源DStream的每個元素傳遞給函數func來
2019-07-08 20:13:16
原创 Spark每日半小時（34）——Spark Streaming：概覽、示例
概覽 Spark Streaming是核心Spark API的擴展，可實現實時數據流的可擴展，高吞吐量，容錯流處理。數據可以從許多來源（如Kafka，Flume，Kinesis或TCP Socket）中提取，並且可以使用以高級函數表示的複
2019-07-06 19:48:25
原创 Spark每日半小時（35）——Spark Streaming：基本概念
接下來，我們將超越簡單的示例，詳細介紹Spark Streaming的基礎知識。 鏈接 與Spark類似，Spark Streaming可以通過Maven Central獲得。要編寫自己的Spark Streaming程序，必須將以下依賴
2019-07-06 19:48:25
原创 Spark每日半小時（33）——結構化流式編程：流式查詢的啓動、管理、監控以及Checkpointing
啓動流式查詢 一旦定義了最終結果DataFrame/Dataset，剩下的的就是開始流式計算。爲此，我們必須使用Dataset.writeStream()方法返回的的DataStreamWriter。我們必須在此界面中指定以下一項或多項參
2019-07-04 19:21:57