Laravel中使用Queue隊列技巧

本文出自地址:

Laravel 隊列爲不同的後臺隊列服務提供統一的 API,例如 Beanstalk,Amazon SQS,Redis,甚至其他基於關係型數據庫的隊列。隊列的目的是將耗時的任務延時處理,比如發送郵件,從而大幅度縮短 Web 請求和相應的時間。

隊列配置文件存放在 config/queue.php 。每一種隊列驅動的配置都可以在該文件中找到,包括數據庫,Beanstalkd ,Amazon SQS,Redis,以及同步(本地使用)驅動。其中還包含了一個 null 隊列驅動用於那些放棄隊列的任務

爲什麼使用隊列?

一般來說使用隊列是爲了:

異步
重試

也許你還有其他的理由使用隊列,但是這應該是最基本的兩個原因。

什麼情況使用隊列?

瞭解了爲什麼使用隊列,那麼一般有這麼幾類任務使用隊列:

耗時比較久的,比如上傳一個文件後進行一些格式的轉化等。
需要保證送達率的,比如發送短信,因爲要調用別人的 api,總會有機率失敗,那麼爲了保證送達,重試就必不可少了。
使用隊列的時候一定要想明白一個問題,這個任務到底是不是可以異步,如果因爲異步會導致問題,那麼就要放棄使用隊列。

驅動的必要設置

database.php

在 database.php 配置文件中對 redis 數據庫部分進行配置,默認有一個 default 連接,就用這個好了:)

根據這個默認連接中需要的配置項,編輯 .env 配置文件,將其中的 REDIS_HOST、REDIS_PASSWORD、REDIS_PORT 填寫成自己服務器中 Redis 的相應值。

queue.php

首先需要去 .env 中配置 QUEUE_DRIVER,因爲現在打算用 Redis,所以配置成 redis。

接着配置 queue.php 裏 connections 部分的 redis 連接,其中 connection 對應的值就是 database.php 中 redis 的那個 default 連接。

數據庫

要使用 database 這個隊列驅動的話,你需要創建一個數據表來存儲任務。你可以用 queue:table 這個 Artisan

php artisan queue:table

處理失敗的任務

有時候你隊列中的任務會失敗。不要擔心,本來事情就不會一帆風順。

Laravel 內置了一個方便的方式來指定任務重試的最大次數。當任務超出這個重試次數後,它就會被插入到 failed_jobs 數據表裏面。要創建 failed_jobs 表的遷移文件,你可以用 queue:failed-table 命令,接着使用 migrate Artisan 命令生成 failed_jobs 表:

php artisan queue:failed-table

命令來創建這個數據表的遷移。當遷移創建好以後,就可以用 migrate 這條命令來創建數據表:

php artisan migrate

執行命令講解

php artisan queue:work --daemon --quiet --queue=default --delay=3 --sleep=3 --tries=3
--daemon

The queue:work Artisan command includes a --daemon option for forcing the queue worker to continue processing jobs without ever re-booting the framework. This results in a significant reduction of CPU usage when compared to the queue:listen command

總體來說,在 supervisor 中一般要加這個 option,可以節省 CPU 使用。

--quiet

不輸出任何內容

--delay=3

一個任務失敗後,延遲多長時間後再重試,單位是秒。這個值的設定我個人建議不要太短,因爲一個任務失敗(比如網絡原因),重試時間太短可能會出現連續失敗的情況。

--sleep=3

去 Redis 中拿任務的時候,發現沒有任務,休息多長時間,單位是秒。這個值的設定要看你的任務是否緊急,如果是那種非常緊急的任務,不能等待太長時間。

--tries=3

定義失敗任務最多重試次數。這個值的設定根據任務的重要程度來確定,一般 3 次比較適合。

創建任務

生成任務類

在你的應用程序中,隊列的任務類都默認放在 app/Jobs 目錄下。如果這個目錄不存在,那當你運行 make:job Artisan 命令時目錄就會被自動創建。你可以用以下的 Artisan 命令來生成一個新的隊列任務:

php artisan make:job Demo

生成的類實現了 Illuminate\Contracts\Queue\ShouldQueue 接口,這意味着這個任務將會被推送到隊列中,而不是同步執行。

<?php

namespace App\Jobs;

use Illuminate\Bus\Queueable;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Support\Facades\Log;

class Demo implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    public $param;
    /**
     * Create a new job instance.
     *
     * @return void
     */
    public function __construct($param = '')
    {
        $this->param = $param;
    }

    /**
     * Execute the job.
     *
     * @return void
     */
    public function handle()
    {
        Log::info('Hello, '.$this->param);
    }
}

控制器代碼

public function queue_demo()
{
    $num = rand(1,999999999);
    // 這個任務將被分發到默認隊列...
    DemoJob::dispatch($num);
}

開啓隊列

php artisan queue:work --queue=default

由於是本地,需要打開監聽,當訪問到接口時,就會觸發隊列中的任務

線上的話需要用到supervisor的配置

Supervisor 配置

安裝 Supervisor

Supervisor 是一個 Linux 操作系統上的進程監控軟件,它會在 queue:listen 或 queue:work 命令發生失敗後自動重啓它們。在 Ubuntu 安裝 Supervisor,可以用以下命令:

sudo apt-get install supervisor

{tip} 如果自己手動配置 Supervisor 聽起來有點難以應付,可以考慮使用 Laravel Forge,它能給你的 Laravel 項目自動安裝與配置 Supervisor。

配置 Supervisor

Supervisor 的配置文件一般是放在 /etc/supervisor/conf.d 目錄下。在這個目錄中你可以創建任意數量的配置文件來要求 Supervisor 怎樣監控你的進程。例如我們創建一個 laravel-worker.conf 來啓動與監控一個 queue:work 進程:

[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /home/forge/app.com/artisan queue:work sqs --sleep=3 --tries=3
autostart=true
autorestart=true
user=forge
numprocs=8
redirect_stderr=true
stdout_logfile=/home/forge/app.com/worker.log

這個例子裏的 numprocs 命令會要求 Supervisor 運行並監控 8 個 queue:work 進程,並且在它們運行失敗後重新啓動。當然,你必須更改 command 命令的 queue:work sqs ,以顯示你所選擇的隊列驅動。

啓動 Supervisor
當這個配置文件被創建後,你需要更新 Supervisor 的配置,並用以下命令來啓動該進程:

sudo supervisorctl reread

sudo supervisorctl update

sudo supervisorctl start laravel-worker:*

更多有關 Supervisor 的設置與使用,請參考 Supervisor 官方文檔

具體示例代碼參考github倉庫

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章