通過一個場景實例 瞭解前端處理大數據的無限可能

隨着前端的飛速發展,在瀏覽器端完成複雜的計算,支配並處理大量數據已經屢見不鮮。那麼,如何在最小化內存消耗的前提下,高效優雅地完成複雜場景的處理,越來越考驗開發者功力,也直接決定了程序的性能。

本文展現了一個完全在控制檯就能模擬體驗的實例,通過一步步優化,實現了生產並操控1000000(百萬級別)個對象的場景。

導讀:這篇文章涉及到 javascript 中 數組各種操作、原型原型鏈、ES6、classes 繼承、設計模式、控制檯分析 等內容。要求閱讀者具有 js 面向對象紮實的基礎知識。如果你是初級前端開發者,很容易被較爲複雜的邏輯繞的雲裏霧裏,“從入門到放棄”,不過建議先收藏。如果你是“老司機”,本文提供的解決思路希望對你有所啓發,拋磚引玉。

場景和初級感知

具體來說,我們需要一個構造函數,或者說類似 factory 模式,實例化1000000個以上對象實例。

先來感知一下具體實現:

Step1

打開你的瀏覽器控制檯,仔細觀察並複製粘貼以下代碼,觸發執行。

a = new Array(1e6).fill(0);複製代碼

我們創建了一個長度爲1000000的數組,數組的每一項元素都爲0。

Step2

在數組 a 的基礎上,再生產一個長度爲1000000的數組 b,數組的每一項元素都是一個普通 javascript object,擁有 id 屬性,並且其 id 屬性值爲其在元素中的 index 值;每天在線直播大數據課程,零基礎到實戰,有需要大數據方面的學習教程,看我主頁獲取

b = a.map((val, ix) => ({id: ix}))複製代碼

Step3

接下來,在 b 的基礎上,再生產一個長度爲1000000的數組 c ,類似於
b,同時我們增加一些其它屬性,使得數組元素對象更加複雜一些:

c = a.map((val, ix) => ({id: ix, shape: 'square', size: 10.5, color: 'green'}))複製代碼

語義上,我們可以更直觀的理解:c 就是包含了1000000個元素的數組,每一項都是一個綠色的、size 爲10.5的小方塊。

如果你按照指示做了下來,控制檯上會有以下內容:

 

控制檯截圖

控制檯截圖

 

深層探究

你也許會想,這麼大的數據量,內存佔用會是什麼樣的情況呢?

好,我來帶你看看,點擊控制檯 Profiles,選擇 Take Shapshot。在Window->Window 目錄下,根據內存進行篩選,你會得到:

 

內存佔用情況

內存佔用情況

 

很明顯,我們看到:

  • a數組:8MB;
  • b數組:40MB;
  • c數組:64MB

也許在實際場景中,除了1000000個綠色的、size爲10.5的小方塊,我們還需要很多不同顏色,不同 size 的形狀。之前,這樣“變態”的需求常見於遊戲應用中。但是現在,複雜項目中類似場景,也許距離你並不遙遠。

ES6 Classes處理需求

簡單“熱身”之後,我們瞭解了實際需求。接下來,我們考察一下 ES6 Classes 處理這個問題的情況。請重新刷新瀏覽器 tab,複製執行以下代碼。

class Shape {
    constructor (id, shape = 'square', size = 10.5, color = 'green') {
        this.x = x; //  座標x軸
        this.y = y; //  座標y軸
        Object.assign(this, {id, shape, size, color})
    }
}

a = new Array(1e6).fill(0);
b = a.map((val, ix) => new Shape(ix));複製代碼

我們使用了ES6 Classes,並擴充了每個形狀的座標信息。
此時,再來看一下內存佔用情況:

 

內存佔用截圖

內存佔用截圖

 

很明顯,此時 b 數組由1000000個形狀組成,佔據內存:80MB,超過了先前數組的內存消耗。也許這並不出乎意料,此時的b數組畢竟又多了兩個屬性。

優化設計:Two-Headed Classes

我們先來分析一下上面的實現,熟悉原型鏈、原型概念的同學也許會明白,之前的方案產生的實例,順着原型鏈上溯,具有三層原型屬性:

第一層屬性:[id, shape, size, color, x, y]; 這一層屬性的 hasOwnproperty 爲 true; 屬性存在於實例本身。

第二層:[Shape]; 順着原型鏈上溯,這一層 instance.proto === Constructor.prototype; ( proto 左右兩邊 __ 被編輯器吃掉了,請見諒,下同)

第三層:[Object]; 這一層: instance.proto.proto === Object.prototype; 如果在向上追溯,就爲 null 了。

這樣的情況下,實際業務數據層只有一層,即爲第一層。

但是,請仔細思考,如果有大量的不同顏色,不同size,不同形狀的情況下。單一數據層,是難以滿足我們需求的。
我們需要,再添加一層數據層,構成所謂的 Two-Headed Classes!同時,還需要對於默認的屬性,實現共享,以節省內存的佔用。

什麼什麼?沒聽明白,那就請看具體操作吧。

如何實現?

我們可以使用 Object.create 方法,這樣使得生產得到的實例的
proto 指向 b 數組的元素,然後在最頂層設計一個 id 屬性。

也許這樣說過於晦澀,那就直接參考代碼吧,請注意,這是本篇文章最難以理解的地方,請務必仔細揣摩:

two = Object.create(b[0]); 
// two.__proto__ === b[0]
two.id = 1;複製代碼

還記得 b 數組是什麼嘛?參考上文,它由

b = a.map((val, ix) => new Shape(ix));複製代碼

得到。

這樣子的話,對於每一個實例,我們有如下關係:

第一層:[id]; 這一層實例的 hasOwnproperty 爲 true;

第二層:[id, shape, size, color, x, y]; 這一層 instance.proto === Constructor.prototype;

第三層:[Shape];

第四層:[Object]; 這一層的再頂層,就爲null了。

我們將 Shape 的一個實例作爲一個新的 object 的原型,並複寫了 id 屬性,原有的 id 屬性將作爲默認 id。

當然,上邊的代碼只是“個案”,我們進行“生產化”:

proto = new Shape(0);
function newTwoHeaded (ix) {
    const obj = Object.create(proto);
    obj.id = ix;
    return obj
}
c = a.map((val, ix) => newTwoHeaded(ix));複製代碼

這麼做多加入了一個數據層,那麼有什麼“收穫”呢?我們來看一下b和c的內存佔用情況吧:

 

內存佔用截圖

內存佔用截圖

 

這表明:我們從80MB的b,優化得到了64MB的c!
原因當然就在於雖然多加了一層原型結構,但是第二層變成了“共享”。

當然,如果到這裏你還沒有暈的話,可能要問:那第二層諸如 shape, size, color 這些屬性變成共享的之後,存在互相干擾怎麼破解呢?

好問題,我先不解答,先給大家看一下最後的final product:

class ShapeMaker {
    constructor () {
        Object.assign(this, ShapeMaker.defaults())
    }
    static defaults () {
        return {
            id: null,
            x: 0,
            y: 0,
            shape: 'square',
            size: 0.5,
            color: 'red',
            strokeColor: 'yellow',
            hidden: false,
            label: null,
            labelOffset: [0, 0],
            labelFont: '10px sans-serif',
            labelColor: 'black'
        }
    }
    newShape (id, x, y) {
        const obj = Object.create(this);
        return Object.assign(obj, {id, x, y})
    }
    setDefault (name, value) {
        this[name] = value;
    }
    getDefault (name) {
        return this[name]
    }
}複製代碼

在實例化的時候,我們便可以這樣使用:

shapeProto = new ShapreMaker();
d = a.map((val, ix) => shapeProto.newShape(ix, ix/10, -ix/10))複製代碼

就像上面所說的,初始化實例時,我們初始化了 id, x, y 這麼三個參數。作爲該實例本身的數據層。這個實例的原型上,也有類似的參數,來保證默認值。這些原型上的屬性,對於實例數組中的每個實例,都是共享的。

爲了更好的對比,如果設計是這樣子:

function fatShape (id, x, y) {
    const a = new shapeMaker();
    return Object.assign(a, {id, x, y})
}
e = a.map((val, ix) => fatShape(ix, ix/10, -ix/10))複製代碼

那麼所有屬性無法共享,而是各自拷貝了一份。在內存的佔用上,將是我們給出方案的三倍之多!

 

內存佔用截圖

內存佔用截圖

 

阿喀琉斯之踵

阿喀琉斯,是凡人珀琉斯和美貌仙女忒提斯的寶貝兒子。忒提斯爲了讓兒子煉成“金鐘罩”,在他剛出生時就將其倒提着浸進冥河,遺憾的是,乖兒被母親捏住的腳後跟卻不慎露在水外,全身留下了惟一一處“死穴”。後來,阿喀琉斯被帕里斯一箭射中了腳踝而死去。
後人常以“阿喀琉斯之踵”譬喻這樣一個道理:即使是再強大的英雄,他也有致命的死穴或軟肋。

就像我們剛纔提的到解決方案一樣,也有一些“不足”。問題其實在之前我也已經拋出:“第二層諸如:shape, size, color 這些屬性變成共享的之後,存在互相干擾怎麼破解呢?”

這個問題的答案其實也隱藏在上面的代碼中,很簡單,就是我們在實例的自身屬性上,進行復寫,而避免更改原型上的屬性造成污染。

如果你看的雲裏霧裏,不要緊,馬上看一下我下面的代碼說明:

d.every((item) => item.shape === 'square') // true複製代碼

打印爲 true,是因爲 d 數組中的每個實例的 shape 屬性,都在原型上,且初始值都爲'square';

現在我們調用 setDefault 方法,實現對默認 shape 的改寫。

shapeProto.setDefault('shape', 'circle');
d.every((item) => item.shape === 'square'); // false複製代碼

因爲此時所有實例的 shape 都在原型上,並共享這個原型。更改之後,我們有:

d.every((item) => item.shape === 'circle'); // true複製代碼

但是,我只想把第一個實例的 shape 設置爲 triangle,其他的不變,該怎麼辦呢?只需要在第一個實例上,增加一個 shape 屬性,進行重寫:

d[0].shape = 'triangle';
d.every((item) => item.shape === 'circle'); // false複製代碼

好吧,嘗試完畢之後,我們在變回來。

d[0].shape = 'circle';複製代碼

這時候,自然有:

d.every((item) => item.shape === 'circle'); // true複製代碼

同時,再折騰一下:

d[0].shape = 'triangle';
d.every((item) => item.shape === 'triangle'); // false複製代碼

相信下面的也不難理解了:

shapeProto.setDefault('shape', 'triangle');
d.every((item) => item.shape === 'triangle'); // true複製代碼

這種模式其實比單純使用ES6 Classes要靈活的多,同時也節省了內存。所有的靜態屬性都是共享的,但是共享的靜態屬性又都是可變的,可複寫的。

總結

這篇文章,我們在開頭部分瞭解到了在大量數據的情況下,內存的佔用是如何一步一步變的沉重。同時,我們提供了一種,在傳統的
Classes 之上增加一個數據層的方法,有效地解決了這個問題。解決方案充分利用了 Object.create 等手段。

當然,理解這些內容並不簡單,需要讀者有比較紮實的 javascript 基礎。在您閱讀過程當中,有任何問題,歡迎與我討論。

內容借鑑了Owen Densmore最新文章,喜歡看英文原版的同學可以直接戳鏈接。中文翻譯版並非直譯,進行了較大幅度的講解和增刪。

發佈了224 篇原創文章 · 獲贊 87 · 訪問量 19萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章