shedLock現在一次只執行一個實例的方法+redis實現分佈式定時任務

原文地址: https://blog.csdn.net/qq_32182637/article/details/111871188

https://blog.csdn.net/qq_35913663/article/details/124910631

 

 

寫在前面

本篇文章僅作爲近日參考其他文章後,自己實踐的記錄和總結,場景到細節尚有很多不足,有待補充和修正。

 

概述

ShedLock只做一件事。它可以確保計劃的任務在同一時間最多執行一次。如果任務正在一個節點上執行,它將獲得一個鎖,該鎖阻止從另一個節點(或線程)執行相同的任務。請注意,如果一個任務已經在一個節點上執行,那麼在其他節點上的執行不會等待,只會跳過它。

 

目前,支持通過Mongo、JDBC數據庫、Redis、Hazelcast或ZooKeeper協調的Spring計劃任務。預計未來會有更多的時間安排和協調機制。

 

ShedLock需要使用@SchedulerLock註解來爲某個方法實現鎖,分佈式場景是其應用的主要且典型的場景,但這並不代表ShedLock僅能使用在分佈式上,這取決於你理解他的原理後如何去使用它。

 

ShedLock原理簡析

ShedLock的原理很簡單,首先來看@SchedulerLock註解類:

 

@Target({ElementType.METHOD, ElementType.ANNOTATION_TYPE})

@Retention(RetentionPolicy.RUNTIME)

public @interface SchedulerLock {

    String name() default "";

 

    long lockAtMostFor() default -1L;

 

    String lockAtMostForString() default "";

 

    long lockAtLeastFor() default -1L;

 

    String lockAtLeastForString() default "";

}

1

2

3

4

5

6

7

8

9

10

11

12

13

根據註解類可知

 

可以使用在方法(ElementType.METHOD)上,這是該註解的常用方式

可以使用在其他註解類上(ElementType.ANNOTATION_TYPE)上,此種情景我尚不知道如何應用,有過簡單的嘗試,但是沒有想要的效果

name屬性表示鎖的名稱,區分大小寫

lockAtMostFor佔用鎖的最長時間,單位毫秒

lockAtMostForString 佔用鎖的最長時間,字符類型,"PT1S"表示1秒,"PT1M"表示1分鐘,如果與lockAtMostFor屬性同時設置,以lockAtMostFor 爲準

lockAtLeastFor 佔用鎖的最短時間,單位毫秒

lockAtLeastForString 佔用鎖的最短時間,字符類型,"PT1S"表示1秒,"PT1M"表示1分鐘,如果與lockAtLeastFor 屬性同時設置,以lockAtLeastFor 爲準

ShedLock的實現依賴外部存儲,包括常規的數據庫、redis緩存等,然而無論選用哪種方式,存儲的數據內容都基本一致,以mysql數據庫爲例:

 

字段名 說明

name 鎖的名稱,唯一值,區分大小寫

lock_until 鎖佔用的結束時間= locked_at +lockAtMostFor

locked_at 開始佔用鎖的時間

locked_by 佔用者,通常是主機名

觀察源碼可以發現,在需要獲取鎖的時候,會嘗試向shedlock表插入一條記錄,而name作爲主鍵,如果不存在相同名稱的鎖,則插入記錄,併成功佔用該鎖

 

INSERT INTO  shedlock(name, lock_until, locked_at, locked_by) VALUES(?, ?, ?, ?)

1

如果已經存在同名的鎖,則將違反主鍵唯一約束,插入失敗,此時會嘗試篩選出shedlock表中鎖名稱相同並且已經釋放(lock_until<當前時間)的記錄,如果有符合條件的,則更新該記錄,併成功佔用該鎖

 

UPDATE shedlock SET lock_until = ?, locked_at = ?, locked_by = ? WHERE name = ? AND lock_until <= ?

1

如果沒能篩選出符合條件的記錄,則代表獲取鎖失敗,將會放棄本次執行任務。

 

在任務方法執行完成後,如果當前時間還未超過lock_until時間,則更新記錄的lock_until時間爲locked_at+lockAtLeastFor ,即將佔用鎖的時長改爲最低時長

 

此外需要注意的是ShedLock是基於時間的鎖機制,在分佈式情景中,如果不同節點部署在不同的主機上,將默認使用主機的時間,這時則需要強調各主機之間的時間同步,當然在較高版本的依賴包中,會提供設置使用外部存儲的主機時間,如數據庫主機時間

 

更多詳情可以參考另一篇文章《SchedulerLock 分佈式鎖 原理》

 

ShedLock+Mysql

首先需要導入依賴

 

<!--此依賴是shedlock核心依賴包,與spring接洽,有時候版本不對會導致不生效-->

<dependency>

   <groupId>net.javacrumbs.shedlock</groupId>

    <artifactId>shedlock-spring</artifactId>

    <version>2.2.0</version>

</dependency>

<!--數據庫訪問所需-->

<dependency>

    <groupId>net.javacrumbs.shedlock</groupId>

    <artifactId>shedlock-provider-jdbc-template</artifactId>

    <version>2.2.0</version>

</dependency>

1

2

3

4

5

6

7

8

9

10

11

12

創建數據庫表

 

CREATE TABLE shedlock (

  name varchar(64) COLLATE utf8mb4_bin NOT NULL,

  lock_until timestamp(3) NOT NULL,

  locked_at timestamp(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),

  locked_by varchar(255) COLLATE utf8mb4_bin NOT NULL,

  PRIMARY KEY (name)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

1

2

3

4

5

6

7

實現配置類,以提供LockProvider

 

import net.javacrumbs.shedlock.core.LockProvider;

import net.javacrumbs.shedlock.provider.jdbctemplate.JdbcTemplateLockProvider;

import net.javacrumbs.shedlock.spring.annotation.EnableSchedulerLock;

import org.springframework.context.annotation.Bean;

import org.springframework.context.annotation.Configuration;

import org.springframework.jdbc.core.JdbcTemplate;

import org.springframework.scheduling.annotation.EnableScheduling;

import javax.sql.DataSource;

 

import static net.javacrumbs.shedlock.provider.jdbctemplate.JdbcTemplateLockProvider.Configuration.builder;

 

@Configuration

@EnableScheduling

@EnableSchedulerLock(defaultLockAtMostFor = "PT30S")

public class SchedulerConfiguration {

 

    @Bean

    public LockProvider lockProvider(DataSource dataSource) {

 

//可以自定義數據源,可以作爲一種考慮,一般不使用這個

        org.apache.tomcat.jdbc.pool.DataSource dataSource1 = new org.apache.tomcat.jdbc.pool.DataSource();

        dataSource1.setUrl("jdbc:mysql://127.0.0.1:3601/ICSP?useUnicode=true&characterEncoding=utf8&useSSL=false");

        dataSource1.setUsername("tom");

        dataSource1.setPassword("tommy");

 

 

        LockProvider lockProvider= new JdbcTemplateLockProvider(builder()

        //指定表名

                .withTableName("shedlock")

                //指定數據源,一般使用dataSource而非手動定義的數據源

                .withJdbcTemplate(new JdbcTemplate(dataSource1))

                //指定表字段名稱,字段數量固定,只能改名稱,且只有較高版本的shedlock-provider-jdbc-template依賴才提供該配置項

//                .withColumnNames(new JdbcTemplateLockProvider.ColumnNames("name","lock_until","locked_at","locked_by"))

//使用數據庫時間,只有較高版本的shedlock-provider-jdbc-template依賴才提供該配置項

//                .usingDbTime()

//作用未知,只有較高版本的shedlock-provider-jdbc-template依賴才提供該配置項

//                .withLockedByValue("myvalue")

//作用未知,只有較高版本的shedlock-provider-jdbc-template依賴才提供該配置項

//                .withIsolationLevel(1)

                .build());

        return  lockProvider;

    }

}

 

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

關於以上配置,需要做一些補充說明:

 

@EnableScheduling是在使用定時任務的時候才需要加上,這也是shedlock最典型的應用場景

@EnableSchedulerLock註解除了可以設置默認的佔用鎖最長最短時間外,還有一個mode參數,可供設置的值有

值 說明

EnableSchedulerLock.InterceptMode.PROXY_SCHEDULER 與@Scheduled搭配使用

EnableSchedulerLock.InterceptMode.PROXY_METHOD 單獨使用在方法上,這意味着只要該方法被調用,則會嘗試佔用鎖,這也是shedlock的另一種使用場景

shedlock-provider-jdbc-template版本新增JdbcTemplateLockProvider.Configuration.builder方法對照

版本 新增方法

4.1.0 .withColumnNames

.withLockedByValue

4.9.0 .usingDbTime

4.27.0 .withIsolationLevel

4.使用較高的shedlock-provider-jdbc-template依賴版本的話,也需要使用使用較高版本的shedlock-spring依賴版本,否則在執行時會報錯。而如果使用了較高的shedlock-spring依賴版本,則可能還需要和spring context的依賴版本(只是猜測,具體是哪個依賴未能確認)相匹配,可以確認的是,過高的shedlock-spring依賴版本會導致註冊Task的時候,不會將任務設置爲LockabaleRunable,而是普通的ScheduledMethodRunable,直接的影響就是定時任務shedlock失效。

所以在這我只是發現問題,但是如何解決尚不得而知,如果各位有知道 想要使用4.27.0及以上版本的shedlock-provider-jdbc-template依賴時 其他的依賴包可以使用的版本搭配,歡迎告知

 

然後就可以使用@SchedulerLock註解啦

 

ShedLock+Redis

1.pom文件

redis必須項:

<dependency>

    <groupId>org.springframework.boot</groupId>

    <artifactId>spring-boot-starter-data-redis</artifactId>

</dependency>

shedlock必須項:

<dependency>

    <groupId>net.javacrumbs.shedlock</groupId>

    <artifactId>shedlock-spring</artifactId>

    <version>4.19.1</version>

</dependency>

shedlock可選項(此處採用redis實現,也可採用其他數據庫,詳見官網https://github.com/lukas-krecan/ShedLock):

<dependency>

    <groupId>net.javacrumbs.shedlock</groupId>

    <artifactId>shedlock-provider-redis-spring</artifactId>

    <version>2.5.0</version>

</dependency>

————————————————

@Configuration

@EnableScheduling

@EnableSchedulerLock(defaultLockAtMostFor = "10m")

public class ShedLockConfig {

    @Resource

    RedisTemplate<String, Object> redisTemplate;

 

    @Bean

    public LockProvider lockProvider() {

        return new RedisLockProvider(redisTemplate.getConnectionFactory());

    }

}

@Slf4j

@Component

public class TaskRun {

 

    @Scheduled(cron = "0 0 */1 * * ?")

    @SchedulerLock(name = "fylr")

    public void fylr() {

        System.out.println("run ...");

    }

}

ShedLock+Mongo

待補充

 

ShedLock+ZooKeeper

待補充

————————————————

版權聲明:本文爲CSDN博主「趙加恩」的原創文章,遵循CC 4.0 BY-SA版權協議,轉載請附上原文出處鏈接及本聲明。

原文鏈接:https://blog.csdn.net/qq_35913663/article/details/124910631

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章