原创 12306搶票系統詳解

12306 搶票,極限併發帶來的思考: 雖然現在大多數情況下都能訂到票,但是放票瞬間即無票的場景,相信大家都深有體會。 尤其是春節期間,大家不僅使用 12306,還會考慮“智行”和其他的搶票軟件,全國上下幾億人在這段時間都在搶票。 “12

原创 Docker 框架原理詳解

一、簡介 1、瞭解Docker的前生LXC LXC爲Linux Container的簡寫。可以提供輕量級的虛擬化,以便隔離進程和資源,而且不需要提供指令解釋機制以及全虛擬化的其他複雜性。相當於C++中的NameSpace。容器有效地將由單

原创 elasticsearch 原理詳解

  Elasticsearch 基於 Lucene,隱藏其複雜性,並提供簡單易用的 Restful API接口、Java API 接口。所以理解 ES 的關鍵在於理解 Lucene 的基本原理。   Lucene 簡介 Lucene 是一

原创 Flink 的 DataStream 轉換操作和DataSinks 數據輸出

DataStream 轉換操作        轉換就是從一個或多個Datastream生成新的Datastream的過程。所有Datastream的轉換操作可以分爲單Single-Datastream、Multi-Datastream、物

原创 騰訊百億級請求高可用Redis(codis)分佈式集羣實踐

一、Redis有哪些常用的應用場景 1)string | 計數器,用戶信息(id)映射,唯一性(例如用戶資格判斷),bitmap   2)hash | 常見場景:存儲對象的屬性信息(用戶資料)   3)list | 常見場景:評論存儲,消

原创 中臺詳解

中臺這個概念早期是由美軍的作戰體系演化而來的,技術上所說的“中臺”主要是指學習這種高效、靈活和強大的指揮作戰體系。 電商經過十幾年的發展,組織已經龐大而複雜,業務不斷細化拆分,也導致野蠻發展的系統越來越不可維護,開發和改造效率極低。 也有

原创 網易雲音樂中間件改造

網易雲音樂自2013年上線後,業務保持了高速增長。雲音樂除了提供好聽的音樂外,還留下了我們在樂和人上的美好回憶。本文整理自網易雲音樂消息隊列負責人林德智在近期 Apache Flink&RocketMQ Meetup 上海站的分享,通過該

原创 RPC 框架原理詳解

       RPC非常重要,很多人面試的時候都掛在了這個地方!你要是還不懂RPC是什麼?他的基本原理是什麼?你一定要把下邊的內容記起來!好好研究一下!特別是文中給出的一張關於RPC的基本流程圖,重點中的重點,Dubbo RPC的基本執行

原创 kafka 動態參數

大家都知道kafka中有個server.properties文件用來配置參數的。我們今天來講的是另外一種參數----動態參數。 1、動態參數是什麼?      動態參數從字面意思就能理解,意思就是在kafka運行過程中配置的參數。 2、動

原创 Flink windows窗口之Windows Assigner和Windows Function

    Windows窗口計算就是通過按照固定時間將數據切分成不同的窗口,然後對窗口內的數據進行計算。Flink DataStream API 將窗口抽象成獨立的operator,並且在Flink DataStream內已經建了大多數窗口

原创 如何設計緩存系統:緩存穿透,緩存擊穿,緩存雪崩解決方案分析

前言 設計一個緩存系統,不得不要考慮的問題就是:緩存穿透、緩存擊穿與失效時的雪崩效應。 緩存穿透 緩存穿透是指查詢一個一定不存在的數據,由於緩存是不命中時被動寫的,並且出於容錯考慮,如果從存儲層查不到數據則不寫入緩存,這將導致這個不存在的

原创 kafka 控制器詳解

一、控制器是什麼東東?        控制器組件(Controller),是 Apache Kafka 的核心組件。它的主要作用是在 Apache ZooKeeper 的幫助下管理和協調整個 Kafka 集羣。集羣中任意一臺 Broker

原创 Cassandra 框架原理

Cassandra沒有像BigTable或Hbase那樣選擇中心控制節點,而選擇了無中心的P2P架構,網絡中的所有節點都是對等的,它們構成了一個環,節點之間通過P2P協議每秒鐘交換一次數據,這樣每個節點都擁有其它所有節點的信息,包括位置、

原创 k8s 的基本介紹

一、k8s 基本特性    (1)自動裝箱        構建於容器之上,基於資源依賴及其他約束自動完成容器部署且不影響其可用性,並通過調度機制混合關鍵型應用和非關鍵型應用的工作負載於同一節點以提升資源利用率。    (2)自我修復(自我

原创 數據庫的分庫分表

數據切分   關係型數據庫本身比較容易成爲系統瓶頸,單機存儲容量、連接數、處理能力都有限。   當單表的數據量達到 1000W 或 100G 以後,由於查詢維度較多,即使添加從庫、優化索引,做很多操作時性能仍下降嚴重。   此時就要考慮對