作者：如切，悟雙，楚哲，曉祥，旭林
引言
天貓精靈（TmallGenie）是阿里巴巴人工智能實驗室（Alibaba A.I.Labs）於2017年7月5日發佈的AI智能語音終端設備。天貓精靈目前是全球銷量第三、中國銷量第一的智能音箱品牌。
在天貓精靈業務系統中，大量使用了算法模型。如領域分類模型，意圖分類模型，槽填充模型，多輪對話模型等。當前天貓精靈後臺有上百個正在使用的算法模型。
在模型服務方面，有兩個問題非常重要：
- 首先，爲了保證服務能夠得到快速響應，模型的 RT 必須儘可能的短。
- 其次，我們希望在硬件資源一定的情況下能夠支持更多的 qps 訪問，從而降低整體成本。
機器學習PAI是阿里巴巴AI開發平臺，爲AI開發者提供軟硬一體的編程環境和高性能訓練與推理引擎框架。
天貓精靈業務 PAI 模型的優化主要通過 AutoAI 接入 PAI Bla