TensorFlow.js 微信小程序插件開始支持模型緩存

原創

2020-02-21 21:32

通常情況下，微信小程序追求的是短小精悍，即開即用，用完即走，適用於一些簡單的應用場景。然而，隨着微信小程序開放能力的提高，人們發現用微信小程序可以實現越來越多的功能，小程序也越來越複雜，越來越龐大起來。這個可以從小程序的大小限制的變化看出，最開始小程序的大小限制爲1M，後來限制爲2M，最新微信又給小程序提供了分包加載機制，開發者將小程序劃分成不同的子包，用戶在使用時按需進行加載，所有分包大小限制提高到8M。

雖然小程序的大小限制已經大大提升，但對於小程序開發者而言，仍然捉襟見肘。隨便幾個圖片資源、js庫就可能導致小程序超重，尤其對於人工智能小程序而言，更是如此。現在的深度學習模型，動輒幾十M，多則一兩百M。這個時候開發人員就需要進行取捨，選擇那些模型規模小，但精度不那麼高的模型。比如圖片分類，我們就不要選擇Inception V3或ResNet之類的超大規模模型，而是選擇針對移動設備優化的MobileNet，也能取得不錯的效果。

不過即使是MobileNet，其模型大小也有好幾M，對於精簡小程序大小仍是一個很大的負擔。一種解決方案是從網絡加載模型，不增加小程序的體積，但這並不是一個完美的解決方案，畢竟每次推導都需要從網絡下載模型，會有一定的網絡延遲。在前端開發中，爲了保持系統的流暢，通常會採用一些緩存技巧來避免每次從網絡加載圖片、JS等文件。那能否將模型也作爲資源緩存起來呢？

Google團隊顯然也意識到了這種需求，先是在TensorFlow.js中增加了對tfjs模型緩存的支持。最近，TensorFlow.js 微信小程序插件也得到了更新，支持微信小程序模型緩存。

模型緩存利用了微信小程序的storage接口，需要注意微信小程序對storage的限制：同一個微信用戶，同一個小程序 storage 上限爲 10MB。storage 以用戶維度隔離，同一臺設備上，A 用戶無法讀取到 B 用戶的數據；不同小程序之間也無法互相讀寫數據。所以我們只能選用小於10M的模型。

啓用模型緩存也非常簡單，步驟如下：

修改app.json文件，將tfjsPlugin的版本修改爲0.0.8.

"plugins": {
  "tfjsPlugin": {
    "version": "0.0.8",
    "provider": "wx6afed118d9e81df9"
  }
}

在app.js中提供localStorageHandler函數.

var fetchWechat = require('fetch-wechat');
var tf = require('@tensorflow/tfjs-core');
var plugin = requirePlugin('tfjsPlugin');
//app.js
App({
  // expose localStorage handler
  globalData: {localStorageIO: plugin.localStorageIO},
  ...
});

在模型加載時加入localStorageHandler邏輯。

const LOCAL_STORAGE_KEY = 'mobilenet_model';
export class MobileNet {
  private model: tfc.GraphModel;
  constructor() { }


  async load() {


    const localStorageHandler = getApp().globalData.localStorageIO(LOCAL_STORAGE_KEY);
    try {
      this.model = await tfc.loadGraphModel(localStorageHandler);
    } catch (e) {
      this.model =
        await tfc.loadGraphModel(MODEL_URL);
      this.model.save(localStorageHandler);
    }
  }

和瀏覽器緩存機制有點不同的是，只有在代碼包被清理的時候本地緩存纔會被清理。如果需要處理緩存，可以通過 wx.setStorage/wx.setStorageSync、wx.getStorage/wx.getStorageSync、wx.clearStorage/wx.clearStorageSync，wx.removeStorage/wx.removeStorageSync 對本地緩存進行讀寫和清理。

另外需要注意的是，當前tfjs模型託管在tfhub上，需要翻牆訪問。項目中的說明文件也提及了這個問題，給出瞭解決方案，但那是針對以前託管在谷歌雲上的模型，建立了中國國內用戶可以訪問到的鏡像。耐心等待吧，相信Google的開發人員會解決tfhub的鏡像問題的。