APScheduler的使用詳解

1.簡介

APScheduler 是一款Python開發的定時任務工具, 跨平臺運行, 不依賴Linux系統的crontab服務, 在windows上也可以運行
官方文檔的地址是 https://apscheduler.readthedocs.io/en/latest/index.html

簡單介紹
APScheduler具有四種組件

觸發器(triggers) 指定定時任務的執行的時機

存儲器(job stores) 可以定時持久化存儲, 可以保存在數據庫中或redis

# 存儲在redis中
from apscheduler.jobstores.redis import RedisJobStore
# 存儲在mongo中
from apscheduler.jobstores.mongodb import MongoDBJobStore
# 存儲在數據庫中
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore

執行器(executors) 在定時任務執行時, 進程或者線程的方式執行任務

調度器(schedulers)

# 以後臺的方式運行
from apscheduler.schedulers.background import BackgroundScheduler
# 以阻塞的方式運行, 前臺運行
from apscheduler.schedulers.background import BlockingScheduler

對添加的任務可以做持久保存

2.安裝

pip install apscheduler

3. 觸發器 Trigger

date在特定的時間日期執行

from datetime import date
from apscheduler.schedulers.blocking import BlockingScheduler
sched = BlockingScheduler()
def my_job(text):
    print(text)
# 在2019年11月6日00:00:00執行
sched.add_job(my_job, 'date', run_date=date(2019, 11, 6))
# 在2019年11月6日16:30:05, 可以指定運行的詳細時間
sched.add_job(my_job, 'date', run_date=datetime(2009, 11, 6, 16, 30, 5))
# 運行時間也可以是字符串的形式
sched.add_job(my_job, 'date', run_date='2009-11-06 16:30:05', args=['text])
# 立即執行
sched.add_job(my_job, 'date')  
sched.start()

interval：以固定的時間間隔運行作業時使用

weeks (int) – 間隔的週數
days (int) – 間隔的天數
hours (int) – 間隔的小時
minutes (int) –間隔的分鐘
seconds (int) – 間隔的秒
start_date (datetime|str) – 間隔時間的起點
end_date (datetime|str) – 間隔時間的結束點
timezone (datetime.tzinfo|str) – 時區
jitter (int|None) – 將作業執行延遲的時間

from datetime import datetime
# 每兩小時執行一次
sched.add_job(job_function, 'interval', hours=2)
# 在2018年10月10日09:30:00 到2019年6月15日11:00:00的時間內，每兩小時執行一次
sched.add_job(job_function, 'interval', hours=2, start_date='2018-10-10 09:30:00', end_date='2019-06-15 11:00:00')

cron：在一天中的特定時間定期運行作業時使用
常見的參數

year (int|str) – 4位數的年份
month (int|str) – month (1-12)
day (int|str) – day (1-31)
week (int|str) – ISO week (1-53)
day_of_week (int|str) –工作日的編號或名稱（0-6或週一，週二，週三，週四，週五，週六，週日）
hour (int|str) – 小時(0-23)
minute (int|str) – 分鐘 (0-59)
second (int|str) – 秒 (0-59)
start_date (datetime|str) –最早觸發的日期/時間（包括）
end_date (datetime|str) – 結束觸發的日期/時間（包括）
timezone (datetime.tzinfo|str) – 時區
jitter (int|None) – 將執行作業延遲幾秒執行
常見的表達式類型

# 在6、7、8、11、12月的第三個週五的00:00, 01:00, 02:00和03:00 執行
sched.add_job(job_function, 'cron', month='6-8,11-12', day='3rd fri', hour='0-3')
# 在2014年5月30日前的週一到週五的5:30執行
sched.add_job(job_function, 'cron', day_of_week='mon-fri', hour=5, minute=30, end_date='2014-05-30')
# 執行的方式 用裝飾器的形式, 每個月的最後一個星期日執行
@sched.scheduled_job('cron', id='my_job_id', day='last sun')
def some_decorated_task():
    print("I am printed at 00:00:00 on the last Sunday of every month!")
# 可以使用標準的crontab表達式執行
sched.add_job(job_function, CronTrigger.from_crontab('0 0 1-15 may-aug *'))
# 延遲120秒執行
sched.add_job(job_function, 'cron', hour='*', jitter=120)

calendarinterval：在一天的特定時間以日曆爲基礎的間隔運行作業時使用
參數和 interval 中的參數設置相同

from datetime import datetime
from apscheduler.schedulers.blocking import BlockingScheduler
def job_function():
    print("Hello World")
sched = BlockingScheduler()
# 每個月的15:36:00 執行這個任務
sched.add_job(job_function, 'calendarinterval', months=1, hour=15, minute=36)
# 從今天開始 每兩個月的 15點36分執行, 時間範圍是 2019-6-16到 2020-3-26
sched.add_job(job_function, 'calendarinterval', months=2, start_date='2019-06-16',
              end_date='2020-03-16', hour=15, minute=36)
sched.start()

4. 儲存器

REDIS_CONF = {
    "password": "xxxxx",
    "host": "192.168.137.120",
    "port": 6379,
    "db": 0}
from apscheduler.jobstores.redis import RedisJobStore
from apscheduler.jobstores.mongodb import MongoDBJobStore
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore
# 存儲器
job_stores = {
	# 使用redis存儲
    'redis': RedisJobStore(jobs_key=jobs_key, run_times_key=run_times_key, **REDIS_CONF),
    # 使用mongo存儲
    'mongo': MongoDBJobStore(),
    # 數據庫存儲
    'default': SQLAlchemyJobStore(url='sqlite:///jobs.sqlite')
    }
# 執行器
executors = {
    'default': ThreadPoolExecutor(20),  # 20個線程
    'processpool': ProcessPoolExecutor(5)  # 5個進程
}
job_defaults = {
    'coalesce': False,  # 相同任務觸發多次
    'max_instances': 3  # 每個任務最多同時觸發三次
}   
# 使用配置, 啓動
scheduler = BackgroundScheduler(jobstores=jobstores, executors=executors, job_defaults=job_defaults, timezone=utc)

5. 執行器在定時任務該執行時，以進程或線程方式執行任務

# 線程的方式執行
from apscheduler.executors.pool import ThreadPoolExecutor
executors = {
      'default': ThreadPoolExecutor(20) # 最多20個線程同時執行
  }
scheduler = BackgroundScheduler(executors=executors) 
# 進程的方式
executors = {
      'default': ProcessPoolExecutor(5) # 最多5個進程同時執行
  }

6.調度器

BlockingScheduler: 作爲獨立進程時使用

from apscheduler.schedulers.blocking import BlockingScheduler
scheduler = BlockingScheduler()
scheduler.start()  
# 此處程序會發生阻塞複製代碼

BackgroundScheduler 後臺運行, 在框架中使用

from apscheduler.schedulers.background import BackgroundScheduler
scheduler = BackgroundScheduler()
scheduler.start()  
# 此處程序不會發生阻塞複製代碼

AsyncIOScheduler : 當你的程序使用了asyncio的時候使用。
GeventScheduler : 當你的程序使用了gevent的時候使用。
TornadoScheduler : 當你的程序基於Tornado的時候使用。
TwistedScheduler : 當你的程序使用了Twisted的時候使用
QtScheduler : 如果你的應用是一個Qt應用的時候可以使用。

7. 配置的三中方法

方法1

from pytz import utc
from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.jobstores.mongodb import MongoDBJobStore
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore
from apscheduler.executors.pool import ThreadPoolExecutor, ProcessPoolExecutor
jobstores = {
    'mongo': MongoDBJobStore(),
    'default': SQLAlchemyJobStore(url='sqlite:///jobs.sqlite')
}
executors = {
    'default': ThreadPoolExecutor(20),  # 最大線程數
    'processpool': ProcessPoolExecutor(5)  # 最大進程數
}
job_defaults = {
    'coalesce': False,  
    'max_instances': 3  # 同一個任務啓動實例的最大個數
}
# 配置的使用方式
scheduler = BackgroundScheduler(jobstores=jobstores, executors=executors, job_defaults=job_defaults, timezone=utc)

方法2

from apscheduler.schedulers.background import BackgroundScheduler

# 使用字典的形式添加配置
scheduler = BackgroundScheduler({
    'apscheduler.jobstores.mongo': {
         'type': 'mongodb'
    },
    'apscheduler.jobstores.default': {
        'type': 'sqlalchemy',
        'url': 'sqlite:///jobs.sqlite'
    },
    'apscheduler.executors.default': {
        'class': 'apscheduler.executors.pool:ThreadPoolExecutor',
        'max_workers': '20'
    },
    'apscheduler.executors.processpool': {
        'type': 'processpool',
        'max_workers': '5'
    },
    'apscheduler.job_defaults.coalesce': 'false',
    'apscheduler.job_defaults.max_instances': '3',
    'apscheduler.timezone': 'UTC',
})

方法3

from pytz import utc

from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore
from apscheduler.executors.pool import ProcessPoolExecutor

jobstores = {
    'mongo': {'type': 'mongodb'},
    'default': SQLAlchemyJobStore(url='sqlite:///jobs.sqlite')
}
executors = {
    'default': {'type': 'threadpool', 'max_workers': 20},
    'processpool': ProcessPoolExecutor(max_workers=5)
}
job_defaults = {
    'coalesce': False,
    'max_instances': 3
}
scheduler = BackgroundScheduler()
# 使用調度器對象的 configure屬性增加 存儲器, 執行器 存儲器 的配置
scheduler.configure(jobstores=jobstores, executors=executors, job_defaults=job_defaults, timezone=utc)

8. 定時任務啓動

scheduler.start()

對於BlockingScheduler ，程序會阻塞在這，防止退出，作爲獨立進程時使用。
對於BackgroundScheduler，可以在應用程序中使用。不再以單獨的進程使用。

9. 任務管理

方式1

job = scheduler.add_job(myfunc, 'interval', minutes=2)  # 添加任務
job.remove()  # 刪除任務
job.pause() # 暫定任務
job.resume()  # 恢復任務
job.shutdown()  # 關閉調度
job.shutdown(wait=False)  # 不等待正在運行的任務

方式2

scheduler.add_job(myfunc, 'interval', minutes=2, id='my_job_id')  # 添加任務    
scheduler.remove_job('my_job_id')  # 刪除任務
scheduler.pause_job('my_job_id')  # 暫定任務
scheduler.resume_job('my_job_id')  # 恢復任務

修改調度, 修改調度的配置屬性

job.modify(max_instances=6, name='Alternate name')
# 更改觸發器
scheduler.reschedule_job('my_job_id', trigger='cron', minute='*/5')

獲取作業列表 get_jobs() 方法, 返回的是Job實例列表

10.日誌的使用

項目中沒有使用日誌記錄,

import logging

logging.basicConfig()
logging.getLogger('apscheduler').setLevel(logging.DEBUG)

集成到項目中的日誌中

logger = logging.getLogger("django")
......
scheduler = BackgroundScheduler(jobstores=job_stores, executors=executors, job_defaults=job_defaults)
scheduler._logger = logger

11.完整的例子

REDIS_CONF = {
    "password": "xxxxx",
    "host": "192.168.137.120",
    "port": 6379,
    "db": 0}
logger = logging.getLogger("django")
jobs_key = 'collection_api_apscheduler.jobs'
run_times_key = 'collection_api_apscheduler.run_times'
job_stores = {
       'default': RedisJobStore(jobs_key=jobs_key, run_times_key=run_times_key, **REDIS_CONF)
   }
   executors = {
       'default': {'type': 'threadpool', 'max_workers': 60}
   }
   job_defaults = {
       'coalesce': True,  # 相同任務同時觸發多次時，只運行一次
       'max_instances': 3,
       'misfire_grace_time': 30,  # 過期30秒依然執行該任務
   }
scheduler = BackgroundScheduler(jobstores=job_stores, executors=executors, job_defaults=job_defaults)
scheduler._logger = logger
# 如果持久化的調度器中作業列表, 調度器繼續執行
if scheduler.get_jobs():
	scheduler.resume()
# 添加定時任務
scheduler.add_job(handle_news_task, 'date', id='handle_news_task', replace_existing=True)
scheduler.add_job(......)
scheduler.start()

APScheduler的使用詳解

1.簡介

2.安裝

3. 觸發器 Trigger

4. 儲存器

5. 執行器在定時任務該執行時，以進程或線程方式執行任務

6.調度器

7. 配置的三中方法

8. 定時任務啓動

9. 任務管理

10.日誌的使用

11.完整的例子

MySQL 核心模塊揭祕 | 18 期 | 鎖在內存里長什麼樣*

使用perf工具生成火焰圖

HttpSecurity 是如何組裝過濾器鏈的

數說海南——近6年海南各市縣人口簡單看

長序列中Transformers的高級注意力機制總結

大齡程序員思考

響應式界面控件DevExtreme * 更強的數據分析和可視化功能

Django3.0新功能, 支持異步

一.Django介紹

今日頭條爬蟲，signature、as、cp 參數破解，詳情頁__ac_nonce和__ac_signature加密

數據處理—OLTP與OLAP

ElasticSearch7 新特性-type類型報錯

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

APScheduler的使用詳解

1.簡介

2.安裝

3. 觸發器 Trigger

4. 儲存器

5. 執行器 在定時任務該執行時，以進程或線程方式執行任務

6.調度器

7. 配置的三中方法

8. 定時任務啓動

9. 任務管理

10.日誌的使用

11.完整的例子

5. 執行器在定時任務該執行時，以進程或線程方式執行任務