背景
通常,我們在需要保證代碼在多個異步處理之後執行,會用到:
Promise.all(promises: []).then(fun: function);
Promise.all
可以保證,promises
數組中所有promise對象都達到resolve狀態,才執行then
回調。
這時候考慮一個場景:如果你的promises
數組中每個對象都是http請求,或者說每個對象包含了複雜的調用處理。而這樣的對象有幾十萬個。
那麼會出現的情況是,你在瞬間發出幾十萬http請求(tcp連接數不足可能造成等待),或者堆積了無數調用棧導致內存溢出。
這時候,我們就需要考慮對Promise.all
做併發限制。
Promise.all
併發限制指的是,每個時刻併發執行的promise數量是固定的,最終的執行結果還是保持與原來的Promise.all
一致。
實現
我們知道,promise並不是因爲調用Promise.all
才執行,而是在實例化promise對象的時候就執行了,在理解這一點的基礎上,要實現併發限制,只能從promise實例化上下手。
換句話說,就是把生成promises
數組的控制權,交給併發控制邏輯。
這裏我並不打算一步步實現這個這個功能,npm中有很多實現這個功能的第三方包,比如async-pool、es6-promise-pool、p-limit,這裏我直接拿async-pool的代碼來分析一下實現原理。
代碼很簡單,去掉不必要的代碼,加上自己的註釋,大概內容如下:
function asyncPool(poolLimit, array, iteratorFn) {
let i = 0;
const ret = [];
const executing = [];
const enqueue = function () {
// 邊界處理,array爲空數組
if (i === array.length) {
return Promise.resolve();
}
// 每調一次enqueue,初始化一個promise
const item = array[i++];
const p = Promise.resolve().then(() => iteratorFn(item, array));
// 放入promises數組
ret.push(p);
// promise執行完畢,從executing數組中刪除
const e = p.then(() => executing.splice(executing.indexOf(e), 1));
// 插入executing數字,表示正在執行的promise
executing.push(e);
// 使用Promise.rece,每當executing數組中promise數量低於poolLimit,就實例化新的promise並執行
let r = Promise.resolve();
if (executing.length >= poolLimit) {
r = Promise.race(executing);
}
// 遞歸,直到遍歷完array
return r.then(() => enqueue());
};
return enqueue().then(() => Promise.all(ret));
}
因爲是promise加上遞歸,所以在代碼註釋上不太好標註執行順序,但是大概的邏輯可以總結爲:
- 從
array
第1個元素開始,初始化promise
對象,同時用一個executing
數組保存正在執行的promise - 不斷初始化promise,直到達到
poolLimt
- 使用
Promise.race
,獲得executing
中promise的執行情況,當有一個promise執行完畢,繼續初始化promise並放入executing
中 - 所有promise都執行完了,調用
Promise.all
返回
使用方式就是:
const timeout = i => new Promise(resolve => setTimeout(() => resolve(i), i));
return asyncPool(2, [1000, 5000, 3000, 2000], timeout).then(results => {
...
});
總結
所謂promise併發限制,其實根源上就是控制promise的實例化。如果是通過第三方函數,那麼就把創建promise的控制權交給第三方即可。
然而這樣的實現效果,本質上來說已經拋棄了Promise.all
而另闢蹊徑。所以期待有一天promise標準能提供這個功能