调参调的是什么？
调整的是损失函数中的参数，这里面包含了正则参数和初始化。
注意
-
调参看验证集。trainset loss通常能够一直降低，但validation set loss在经过一段降低期后会开始逐渐上升，此时模型开始在训练集上过拟合。
-
着重关注val loss变化，val acc可能会突变，但loss衡量的整体目标，但是你的测试集是验证集的话还是看评判标准为佳。
-
优先调参学习率。
-
通过对模型预测结果，可以判断模型的学习程度，如果softmax输出在0或1边缘说明还不错，如果在0.5边缘说明模型有待提高。
-
调参只是为了寻找合适的参数。一般在小数据集上合适的参数，在大数据集上效果也不会太差。因此可以尝试采样部分数据集，以提高速度，在有限的时间内可以尝试更多参数。
-
使用深度框架编程时，尽量使用框架提供的API，如tensor index索引，不要用for循环啥的。速度不是一个级别的。
学习率的重要性：
参考：
1.https://blog.csdn.net/qq_16234613/article/details/79596609