Java模擬並解決緩存穿透

原創 優惠券活動 2019-08-08 14:38

Java模擬並解決緩存穿透
什麼叫做緩存穿透
緩存穿透只會發生在高併發的時候，就是當有10000個併發進行查詢數據的時候，我們一般都會先去redis裏面查詢進行數據，但是如果redis裏面沒有這個數據的時候，那麼這10000個併發裏面就會有很大一部分併發會一下子都去mysql數據庫裏面進行查詢了

解決緩存穿透
首先我模擬一下緩存穿透
比如下面的代碼
在這裏插入圖片描述
Pom.xml代碼

<?xml version="1.0" encoding="UTF-8"?>

     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>com.example</groupId>
<artifactId>springboot</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>

<name>springboot</name>
<description>Demo project for Spring Boot</description>

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.1.1.RELEASE</version>
    <relativePath></relativePath> <!-- lookup parent from repository -->
</parent>

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <java.version>1.8</java.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-devtools</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>

    <dependency>
        <groupId>org.mybatis.spring.boot</groupId>
        <artifactId>mybatis-spring-boot-starter</artifactId>
        <version>1.1.1</version>
    </dependency>
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
        </plugin>
    </plugins>
</build>


Application.properties

server.port=8081

DB Configuration:

spring.datasource.driverClassName=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://47.91.248.236:3306/hello?useUnicode=true&characterEncoding=utf8
spring.datasource.username=root
spring.datasource.password=root

spring集成Mybatis環境

pojo別名掃描包

mybatis.type-aliases-package=com.itheima.domain

加載Mybatis映射文件

mybatis.mapper-locations=classpath:mapper/*Mapper.xml
MyController代碼，下面的藍色代碼是模仿10000個併發線程

/**

  • sinture.com Inc.
  • Copyright (c) 2016-2018 All Rights Reserved.
    */

package com.itheima.controller;

import com.itheima.mapper.UserMapper;
import com.itheima.domain.User;
import com.itheima.service.UserService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.ResponseBody;
import org.springframework.web.bind.annotation.RestController;

import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**

  • @author xinzhu
  • @version Id: MyController.java, v 0.1 2018年12月05日 下午6:29 xinzhu Exp $
    */

@RestController
public class MyController {

@Autowired
private UserService userService;

@RequestMapping("/hello/{id}")
@ResponseBody
public User queryUser(@PathVariable Integer id){
   // 藍色代碼註釋開始
   new Thread(){
        @Override
        public void run() {
            for (int x = 0; x < 10000; x++) {
                userService.queryUser(id);
            }
        }

    }.start();
    // 藍色代碼註釋結束

    return userService.queryUser(id);
}

}
User類

/**

  • sinture.com Inc.
  • Copyright (c) 2016-2018 All Rights Reserved.
    */

package com.itheima.domain;

/**

  • @author xinzhu
  • @version Id: User.java, v 0.1 2018年12月06日 下午1:40 xinzhu Exp $
    */

public class User {

// 主鍵
private Integer id;
// 用戶名
private String username;
// 密碼
private String password;
// 姓名
private String name;

public void setId(Integer id) {
    this.id = id;
}

@Override
public String toString() {
    return "User{" +
            "id=" + id +
            ", username='" + username + '\'' +
            ", password='" + password + '\'' +
            ", name='" + name + '\'' +
            '}';
}

public Integer getId() {
    return id;
}

public String getUsername() {
    return username;
}

public void setUsername(String username) {
    this.username = username;
}

public String getPassword() {
    return password;
}

public void setPassword(String password) {
    this.password = password;
}

public String getName() {
    return name;
}

public void setName(String name) {
    this.name = name;
}

}
UserService

package com.itheima.service;

import com.itheima.domain.User;

public interface UserService {

public User queryUser(Integer id);

}
UserServiceImpl，下面的藍色代碼就是模仿redis，此時要注意下面的模擬redis的map集合必須放到下面的queryUser的外面，也就是說下面的userMap變量必須是成員變量，不然的話，因爲redis是被多個線程共享的，如果你放到下面的queryUser()方法裏面，那麼就是多個線程有多個userMap集合，下面的代碼就是如果查詢到數據，那麼就用redis裏面的，如果查詢不到就用數據庫裏面的

package com.itheima.service;

import com.itheima.domain.User;
import com.itheima.mapper.UserMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.HashMap;
import java.util.Map;

@Service
public class UserServiceImpl implements UserService {

@Autowired
private UserMapper userMapper;
// 藍色代碼註釋開始
static Map<Integer,User> userMap=new HashMap();
static {
    User huancun_user =new User();
    huancun_user.setId(1);
    huancun_user.setName("zhangsan");
    huancun_user.setPassword("123");
    huancun_user.setName("張三");
    userMap.put(1,huancun_user);
}
// 藍色代碼註釋結束
public User queryUser(Integer id){
    User user=userMap.get(id);
    if(user==null){
        user= userMapper.queryUser(id);
        System.out.println("查詢數據庫");
        userMap.put(user.getId(),user);
    }else{
        System.out.println("查詢緩存");
    }
    return user;
};

}
SpringbootApplication代碼

package com.itheima;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class SpringbootApplication {

public static void main(String[] args) {
    SpringApplication.run(SpringbootApplication.class, args);
}

}
數據庫裏面的數據如下

-- ----------------------------
-- Table structure for user
-- ----------------------------
DROP TABLE IF EXISTS user;
CREATE TABLE user (
id int(11) NOT NULL AUTO_INCREMENT,
username varchar(50) DEFAULT NULL,
password varchar(50) DEFAULT NULL,
name varchar(50) DEFAULT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;

-- ----------------------------
-- Records of user
-- ----------------------------
INSERT INTO user VALUES ('1', 'zhangsan', '123', '張三');
INSERT INTO user VALUES ('2', 'lisi', '123', '李四');
然後我們查詢下面的鏈接，因爲此時上面的模擬redis的map集合裏面沒有id值是2的數據，所以此時都是查詢數據庫，你想這一下子10000並發過去，數據庫會有很大壓力的，

在這裏插入圖片描述

然後打印結果如下，就是打印了很多查詢數據庫和查詢緩存，此時也就說明10000個併發裏面有很多去查詢了數據庫，這個是要避免的，至於爲什麼有查詢緩存的打印，因爲我們把查詢的數據給放到模擬的redis裏面了啊，所以剛開始的一大部分線程都是查詢數據庫，然後剩下的都是查詢模擬的redis緩存裏面的數據

查詢數據庫
查詢數據庫
查詢數據庫
查詢數據庫
查詢數據庫
查詢數據庫
查詢數據庫
查詢數據庫
查詢數據庫
查詢數據庫
查詢數據庫
查詢數據庫
查詢數據庫
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
然後我們使用雙重檢測鎖來解決上面的緩存穿透
我們怎麼解決緩存穿透呢，即使10000個並發過來，然後這10000個併發需要的數據在redis裏面都沒有，那麼我們應該第一個線程查詢數據裏面的數據，然後把這個數據給放到redis裏面，然後剩下的9999個線程都到redis裏面查詢，這樣就解決了緩存穿透，所以我們可以把上面的代碼變成下面這樣

比如下面的代碼
在這裏插入圖片描述

Pom.xml代碼

<?xml version="1.0" encoding="UTF-8"?>

     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>com.example</groupId>
<artifactId>springboot</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>

<name>springboot</name>
<description>Demo project for Spring Boot</description>

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.1.1.RELEASE</version>
    <relativePath></relativePath> <!-- lookup parent from repository -->
</parent>

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <java.version>1.8</java.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-devtools</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>

    <dependency>
        <groupId>org.mybatis.spring.boot</groupId>
        <artifactId>mybatis-spring-boot-starter</artifactId>
        <version>1.1.1</version>
    </dependency>
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
        </plugin>
    </plugins>
</build>


Application.properties

server.port=8081

DB Configuration:

spring.datasource.driverClassName=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://47.91.248.236:3306/hello?useUnicode=true&characterEncoding=utf8
spring.datasource.username=root
spring.datasource.password=root

spring集成Mybatis環境

pojo別名掃描包

mybatis.type-aliases-package=com.itheima.domain

加載Mybatis映射文件

mybatis.mapper-locations=classpath:mapper/*Mapper.xml
MyController代碼，下面的藍色代碼是模仿10000個併發線程

/**

  • sinture.com Inc.
  • Copyright (c) 2016-2018 All Rights Reserved.
    */

package com.itheima.controller;

import com.itheima.mapper.UserMapper;
import com.itheima.domain.User;
import com.itheima.service.UserService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.ResponseBody;
import org.springframework.web.bind.annotation.RestController;

import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**

  • @author xinzhu
  • @version Id: MyController.java, v 0.1 2018年12月05日 下午6:29 xinzhu Exp $
    */

@RestController
public class MyController {

@Autowired
private UserService userService;

@RequestMapping("/hello/{id}")
@ResponseBody
public User queryUser(@PathVariable Integer id){
   // 藍色代碼註釋開始
   new Thread(){
        @Override
        public void run() {
            for (int x = 0; x < 10000; x++) {
                userService.queryUser(id);
            }
        }

    }.start();
    // 藍色代碼註釋結束

    return userService.queryUser(id);
}

}
User類

/**

  • sinture.com Inc.
  • Copyright (c) 2016-2018 All Rights Reserved.
    */

package com.itheima.domain;

/**

  • @author xinzhu
  • @version Id: User.java, v 0.1 2018年12月06日 下午1:40 xinzhu Exp $
    */

public class User {

// 主鍵
private Integer id;
// 用戶名
private String username;
// 密碼
private String password;
// 姓名
private String name;

public void setId(Integer id) {
    this.id = id;
}

@Override
public String toString() {
    return "User{" +
            "id=" + id +
            ", username='" + username + '\'' +
            ", password='" + password + '\'' +
            ", name='" + name + '\'' +
            '}';
}

public Integer getId() {
    return id;
}

public String getUsername() {
    return username;
}

public void setUsername(String username) {
    this.username = username;
}

public String getPassword() {
    return password;
}

public void setPassword(String password) {
    this.password = password;
}

public String getName() {
    return name;
}

public void setName(String name) {
    this.name = name;
}

}
UserService

package com.itheima.service;

import com.itheima.domain.User;

public interface UserService {

public User queryUser(Integer id);

}
UserServiceImpl，下面的藍色代碼就是模仿redis，此時要注意下面的模擬redis的map集合必須放到下面的queryUser的外面，也就是說下面的userMap變量必須是成員變量，不然的話，因爲redis是被多個線程共享的，如果你放到下面的queryUser()方法裏面，那麼就是多個線程有多個userMap集合，下面的代碼就是如果查詢到數據，那麼就用redis裏面的，如果查詢不到就用數據庫裏面的

然後下面的紅色代碼就是解決上面的緩存穿透問題，使用鎖來解決緩存穿透問題，而且叫做雙重檢測鎖，爲什麼叫做雙重檢測鎖呢，因爲有兩個if語句，第一個if語句就是爲了減少走紅色代碼裏面的同步代碼塊，因爲如果換成裏面存在想要的數據，那麼就不需要走下面的紅色代碼裏面的同步代碼塊了，所以有兩個if語句，至於爲什麼要有下面的 user= userMap.get(id);，是因爲第一次線程查詢把數據放到模仿的redis緩存裏面之後，剩下的線程當走到下面的同步代碼塊的時候，需要在查詢一下緩存裏面的數據就會發現剛剛第一個線程放到redis裏面的數據了，所以纔會有下面的紅色代碼裏面的 user= userMap.get(id);

package com.itheima.service;

import com.itheima.domain.User;
import com.itheima.mapper.UserMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.HashMap;
import java.util.Map;

@Service
public class UserServiceImpl implements UserService {

@Autowired
private UserMapper userMapper;
// 藍色代碼註釋開始
static Map<Integer,User> userMap=new HashMap();
static {
    User huancun_user =new User();
    huancun_user.setId(1);
    huancun_user.setName("zhangsan");
    huancun_user.setPassword("123");
    huancun_user.setName("張三");
    userMap.put(1,huancun_user);
}
// 藍色代碼註釋結束
public User queryUser(Integer id){
    User user=userMap.get(id);
    // 紅色代碼註釋開始
    if(user==null){
        synchronized (this) {
            user= userMap.get(id);
            if (null == user) {
                user= userMapper.queryUser(id);
                System.out.println("查詢數據庫");
                userMap.put(user.getId(),user);
            }else{
                System.out.println("查詢緩存");
            }
        }
    }else{
        System.out.println("查詢緩存");
    }
    //紅色代碼註釋結束
    return user;
};

}
數據庫裏面的數據如下

-- ----------------------------
-- Table structure for user
-- ----------------------------
DROP TABLE IF EXISTS user;
CREATE TABLE user (
id int(11) NOT NULL AUTO_INCREMENT,
username varchar(50) DEFAULT NULL,
password varchar(50) DEFAULT NULL,
name varchar(50) DEFAULT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;

-- ----------------------------
-- Records of user
-- ----------------------------
INSERT INTO user VALUES ('1', 'zhangsan', '123', '張三');
INSERT INTO user VALUES ('2', 'lisi', '123', '李四');
然後我們查詢下面的鏈接，因爲此時上面的模擬redis的map集合裏面沒有id值是2的數據，所以此時都是查詢數據庫，你想這一下子10000並發過去，數據庫會有很大壓力的，
在這裏插入圖片描述
然後打印結果如下，就是就只有第一個打印了查詢數據庫，然後剩下的都是查詢緩存了，這就是解決緩存穿透

查詢數據庫
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
查詢緩存
能看到這裏的同學，就幫忙點個推薦吧，Thanks(･ω･)ﾉ
原文地址https://www.cnblogs.com/mqk100/p/11319758.html

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Spring cloud gateway入門

微服務Gateway 微服務網關部署在前端Nginx網關和後端微服務之間，Nginx一般充當流量網關，而微服務網關屬於一種業務型 網關，微服務網關層爲後端的微服務羣組提供統一的接入地址，其核心功能是統一做服務路由，在路由基礎上還 可以實現一

原創 2024-05-15 11:50:15

「Java開發指南」如何用MyEclipse搭建GWT 2.1和Spring？（二）

本教程將指導您如何生成一個可運行的Google Web Toolkit (GWT) 2.1和Spring應用程序，該應用程序爲域模型實現了CRUD應用程序模式。在本教程中，您將學習如何： 安裝Google Eclipse插件 爲GWT配置

原創 2024-05-17 12:21:26

Spring @EnableXxx註解的使用理解

@EnableXxx註解 Spring有很多@EnableXxx這種形式的註解，類似於可以一鍵打開某項功能，相當於暴露給用戶的一種便捷的配置API，例如 @EnableAsync 激活異步執行能力，@EnableTransactionMan

原創 2024-05-16 23:48:06

win 環境下 docker 的使用整理

1、下載： https://www.docker.com/products/docker-desktop/   如果電腦分多個盤，建議下載到可用存儲較大的盤，安裝的時候默認安裝到 C 盤，安裝完成後雙擊啓動   如果出現【Docker

原創 2024-05-17 00:25:04

Java ThreadPoolShutdown

CountDownLatch 是 Java 中的一個同步工具類，它允許一個或多個線程等待一系列指定操作執行完成。CountDownLatch 的主要方法有兩個：await() 方法等待 countDown 方法被調用指定的次數後繼續執行，c

原創 2024-05-17 02:06:32

通過MVEL表達式和Apache Chain職責鏈模式解耦MQ消息處理節點的實踐應用

導讀 本文主要講解了MVEL表達式和責任鏈設計模式相結合一起的消息處理解決方案設計、解耦消息處理節點以及方便代碼維護擴展。通過“訂單拆單消息”的接入作爲具體實踐案例，簡要闡述了MVEL表達式和Apache Chain職責鏈設計模式應用場景。

原創 2024-05-16 23:56:24

java將list結果分成3份執行 原創

Java將List結果分成3份執行 在Java編程中，有時候我們需要將一個List集合中的元素分成幾部分進行處理。這種情況下，我們可以使用Java的相關類庫和API來實現這一需求。在本文中，我們將介紹如何使用Java將List結果分成3份執

文文1 2024-05-16 02:09:55

OSS_PIPE：Rust編寫的大規模文件遷移工具

‍ 隨着業務的發展，文件數量和文件大小會急劇增加，文件遷移的數量和難度不斷攀升。oss_pipe 是rust編寫的文件遷移工具，旨在支撐大規模的文件遷移場景。 編寫 oss_pipe 的初衷 •同類產品面臨的問題 •rust 語

京東雲開發者 2024-05-15 23:59:27

高效調度新篇章：詳解DolphinScheduler 3.2.0生產級集羣搭建

轉載自tuoluzhe8521 導讀：通過簡化複雜的任務依賴關係， DolphinScheduler爲數據工程師提供了強大的工作流程管理和調度能力。在3.2.0版本中，DolphinScheduler帶來了一系列新功能和改進，使其在生產環

原創 2024-05-15 21:22:54

系統國際化之多語言解決方案| 京東物流技術團隊

1. 背景 隨着京東各業務板塊國際化進程的不斷推進，諸多業務已經融入了多元文化中，一個一體化的多語言系統解決方案成爲各個技術團隊討論的焦點。國際物流系統憑藉在國際化領域多年的經驗，特別是在系統多語言處理上長期的經驗積累，總結了一套標準

原創 2024-05-17 23:56:46

Spring boot自動裝配實現原理

自動裝配原理分析 條件註冊機制 spring-context模塊中有兩個組件：Condition接口和@Conditional註解，在@Conditional註解中可以指定一組Condition實現， 通常@Conditional是和@Co

原創 2024-05-16 23:48:07

Spring cloud bootstrap context機制

Bootstrap Application Context Spring cloud程序在啓動階段，如果開啓了bootstrap啓動過程，則啓動時首先會創建一個bootstrap context，這個容器是項目主容器的父容器，它們共享一個E

原創 2024-05-15 11:50:16

Spring cloud 服務註冊發現

服務發現 在Spring cloud中，要注意區別服務和服務實例，這是兩個概念，一個微服務單元可以部署多個節點， 每個節點即一個服務實例，Spring cloud默認通過 spring.application.name 配置項來標識一個微服

原創 2024-05-15 11:50:14

Spring 按條件裝配使用方法

條件註冊 Spring 4.0 引入條件註冊機制，暴露給用戶的API是@Conditional和Condition接口，把@Conditional聲明在一個 @Component類上，並接受一組條件（Condition實現），容器初始化期間

原創 2024-05-15 11:50:12

AppBuilder低代碼體驗：構建雅思大作文組件

Ai technology 前言 AppBuilder上線了低代碼製作組件功能，可以通過工作流的方式構建自定義組件，完成簡單Agent無法完成的複雜功能，使得生成的文本更加定製化，

原創 2024-05-16 00:15:54