Faiss优化:针对OMP_NUM_THREADS环境变量设置的测试验证

前言

记录一下Faiss在项目使用中的一些优化,对OMP_NUM_THREADS 环境变量参数的测试验证~

   OMP_NUM_THREADS 用于控制线程并发数.

   测试条件:单个循环请求,持续时间大于15m;
   基础数据:200w
   软件环境:docker; ubuntu 16.04 ;python2.7; faiss:1.4.0-cpu
   检索服务功能: (汉明距离计算 + 欧式距离计算 )

结论:

    测试总结如下:
        * CPU=1 & OMP_NUM_THREADS=1时,
         - 1m,5m,15m load average 分布为 31.54,41.16,43.43;
         - CPUs(%) 用户空间占比:32.1;内核空间占比:2.4;空闲占比:65.2;
         - faiss 检索耗时大约在5-6ms左右;
         - 检索服务整体响应时间较平稳,大部分在12ms左右;
    * CPU=3 & OMP_NUM_THREADS=1时,
         - 1m,5m,15m load average 分布为 49.17,48.70,50.54;
         - CPUs(%) 用户空间占比:39.5;内核空间占比:4.2;空闲占比:30.3;
         - faiss 检索耗时大约在5-7ms左右;
         - 检索服务整体响应时间较平稳,大部分耗时在12ms左右;
    * CPU=3 & OMP_NUM_THREADS=10时,
         - 1m,5m,15m load average 分布为 41.33,43.90,55.87;
         - CPUs(%) 用户空间占比:20.7;内核空间占比:2.3;空闲占比:58.0;
         - faiss 检索耗时不稳定,抖动较大, 大约在10-90ms左右;
         - 检索服务整体响应时间存在抖动,大约在14-92ms左右;
    * CPU=1 & OMP_NUM_THREADS=10时,
         - 1m,5m,15m load average 分布为 67.77,61.89,61.07;
         - CPUs(%) 用户空间占比:20.6;内核空间占比:2.9;空闲占比:18.2;
         - faiss 检索耗时不稳定,抖动较大, 大约在5-80ms左右;
         - 检索服务整体响应时间存在抖动,大约在13-99ms左右;

    最终结论:
           a: OMP_NUM_THREADS=1时,faiss检索耗时较稳定;
        b: OMP_NUM_THREADS=10时,faiss检索耗时不稳定,抖动较大;
        b: OMP_NUM_THREADS=1时, 多核CPU相较於单核CPU,负载略高,利用率略高,空闲占比较低;
        c: OMP_NUM_THREADS=10时, 多核CPU相较於单核CPU,负载较低,利用率较低,空闲占比较高;
        d: 优化方向:OMP_NUM_THREADS=1 + 多进程

测试结果统计:

* CPU=1 & OMP_NUM_THREADS=1

  CPU=1 & OMP_NUM_THREADS=1 内存情况
 CPU=1 & OMP_NUM_THREADS=1 faiss 检索时间
CPU=1 & OMP_NUM_THREADS=1 检索服务整体响应时间

* CPU=3 & OMP_NUM_THREADS=1

CPU=3 & OMP_NUM_THREADS=1 内存情况
CPU=3 & OMP_NUM_THREADS=1 faiss 检索时间
CPU=3 & OMP_NUM_THREADS=1 检索服务整体响应时间

* CPU=3 & OMP_NUM_THREADS=10

CPU=3 & OMP_NUM_THREADS=10 内存情况
CPU=3 & OMP_NUM_THREADS=10 faiss 检索时间
CPU=3 & OMP_NUM_THREADS=10 检索服务整体响应时间

* CPU=1 & OMP_NUM_THREADS=10

CPU=1 & OMP_NUM_THREADS=10 内存情况
CPU=1 & OMP_NUM_THREADS=10 faiss 检索时间
CPU=1 & OMP_NUM_THREADS=10 检索服务整体响应时间

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章