一、背景
经监控，标签关系上报20w+的标签关系处理耗时达到3800多秒。约一个小时
二、问题定位
- 经排查定位到以下代码耗时占比最大
- 这段代码没有涉及到任务数据库及外部调用
- 其中的_dataCount总共20w+，证明两个foreach一共循环了20w+次
三、复杂度分析
1 外层Foreach循环复杂度分析
-
Foreach循环20w+次可知 循环的复杂度O(N)≈20w
2 内层GetDTO方法复杂度分析
- 由于里面的GetDTO涉及了4个FirstOrDefault()，最大的为tagRelationsModels，其数据量也为20w+
- FirstOrDefault()源码可知其内部也是根据foreach去查找，因此GetDTO方法的复杂度O(M)约等于20w
- FirstOrDefault源码如下
3 总体复杂度分析
- 总体的复杂度为O(N*M)≈400亿+的计算量
四、优化
1 降低总体复杂度
- 由于外层Foreach的复杂度无法降低，因此主要优化内层GetDTO中的复杂度
- 根据ILookUp源码可知其复杂度为O(log2M)，20w+的数量在O(log2M)下≈18
- 在尽量不改到原逻辑的情况下，将FirstOrDefault改为ILookUp
- ILookUp源码如下
五、总结&数据对比
- 优化后总体的复杂度为O(N*log2M)≈360w的计算量
- 总计算量由400亿降至360万
- 由于此次优化额外引入了ILookUp，会临时占用一部分内存，所以也涉及到了空间换时间的问题
|
数据量
|
优化前
|
优化后
|
|---|---|---|
| 93000 | 1235秒 | 122秒 |
| 68000 | 368秒 | 96秒 |