原创 消息隊列MQ帶來的一些問題、及解決方案

消息隊列MQ帶來的一些問題、及解決方案 RocketMQ的架構 RocketMQ由NameServer、Broker、Consumer、Producer組成,NameServer之間互不通信,Broker會向所有的nameServer註冊,

原创 如何保證 Redis 的高併發和高可用?討論redis的單點,高可用,集羣

如何保證 Redis 的高併發和高可用?討論redis的單點,高可用,集羣。 打開GitHub搜索redis,邊可以看到,該項目的介紹是這樣的: Redis is an in-memory database that persists o

原创 詳解JVM 內存結構與實戰調優總結

詳解JVM 內存結構與實戰調優總結 GC優化案例做個總結: 1在進行GC優化之前,需要確認項目的架構和代碼等已經沒有優化空間。我們不能指望一個系統架構有缺陷或者代碼層次優化沒有窮盡的應用,通過GC優化令其性能達到一個質的飛躍。 2其次,虛

原创 消息隊列初見:一起聊聊引入系統mq 之後的問題

一:爲什麼使用MQ 中小公司系統一開始體量較小,後來隨着用戶量逐漸擴大,需要把很多業務進行拆分,因此引入消息隊列來優化問題。 其通用的使用場景可以簡單地描述爲: 當不需要立即獲得結果,但是併發量又需要進行控制的時候,就是需要消息隊列的時候

原创 總結篇4:redis 核心數據存儲結構及核心業務模型實現應用場景

總結篇4:redis 核心數據存儲結構及核心業務模型實現應用場景 redis 和memcached 有什麼區別?爲什麼在高併發下,單線程的redis 比多線程的效率高? mc 可以緩存圖片和視頻,redis 支持除更多的數據結構。redi

原创 總結篇:redis 典型緩存架構設計問題及性能優化

redis 典型緩存架構設計問題及性能優化總結: 緩存穿透 查詢一個根本不存在的數據,緩存層和存儲層都不會命中。通常出於容錯的考慮,如果從存儲層查不到數據,則不寫入緩存層。 原因: 自身業務代碼或數據有問題 惡意攻擊等造成大量空命中 解決方

原创 生產級Redis 高併發分佈式鎖實戰2:緩存架構設計問題優化

對於大多數高併發場景,都是讀多寫少。比如商品信息,醫生掛號信息等。提交訂單頁只有一個操作。 對於一個普通的緩存架構設計,實現商品的增刪改查功能,代碼如下: Controller 層 @RestController("/api/product

原创 生產級Redis 高併發分佈式鎖實戰1:高併發分佈式鎖如何實現

高併發場景:秒殺商品。 秒殺一般出現在商城的促銷活動中,指定了一定數量(比如:1000個)的商品(比如:手機),以極低的價格(比如:0.1元),讓大量用戶參與活動,但只有極少數用戶能夠購買成功. 示例代碼 @RestController p

原创 3千萬電商平臺用戶大數據分析

3千萬電商平臺用戶大數據分析 前文,我們在網站用戶行爲分析獲取了小樣本羣體的數據,數據集7萬。 這次,我們嘗試增加一些數據量。數據樣本取自阿里雲天池,樣本數據超過1億。 數據來源 阿里雲天池:https://tianchi.aliyun.c

原创 7萬網站用戶行爲大數據分析

7萬網站用戶行爲大數據分析 數據分析師,是通過數據對業務團隊決策、公司管理層的決策進行“指點江山”。在實際工作內容是做數據分析報告;構建機器學習模型;打造數據產品,非常有“技術含量”。 數據分析師的工作日常是進行各種數據分析,告訴業務小夥伴

原创 80萬商城運營大數據分析

80萬商城運營大數據分析 用戶行爲分析:日訪問量、小時訪問量、不同行爲類型訪問量 獲客分析 用戶留存分析 復購分析 轉化漏斗分析 商品競爭力分析:性別、城市、用戶瀏覽、購買、收藏、商品類目分析 一:導入數據 # 導入常用的庫: impo

原创 文本挖掘之詞雲及個性化詞雲

文本挖掘之詞雲及個性化詞雲 一:詞雲-WordCloud 詞雲:對文本中出現的關鍵詞按照出現頻率通過改變字體字號顏色樣式等方式集中顯示 個人看法,wordcloud是一款將詞語(支持英文、中文等各種語言詞彙)作爲基本元素,對圖像文件進行十分

原创 數據分析:某地醫院藥品銷售業務數據分析

數據分析:某地醫院藥品銷售業務數據分析   本篇文章以朝陽醫院2018年銷售數據爲例,目的是瞭解朝陽醫院在2018年裏的銷售情況幾個業務指標 月均消費次數 月均消費金額 客單價 消費趨勢 數據分析的步驟:提出問題→理解數據→數據清洗→構

原创 示例python 批量操作excel統計銷售榜品牌及銷售額

示例統計銷售榜品牌及銷售額 import pandas as pd import numpy as np import os os.chdir('F:\\50mat\源數據1000張表格') name = '戶外服裝&滑雪衣.xlsx

原创 目標用戶偏好指數Target Group Index分析

  目標用戶偏好指數Target Group Index分析 TGI指數,全稱Target Group Index,可以反映目標羣體在特定研究範圍內強勢或者弱勢。 TGI指數計算公式 = 目標羣體中具有某一特徵的羣體所佔比例 / 總體中具有