如何根据实际问题训练调优部署机器学习模型

开始细致工作前,需要选择你使用的语言(如R或者python),框架(如tensorflow),算法(如YOLO)

建立一个可以快速迭代的模型结构比一开始就寻找一个完美的方案更加实际

下面进行几步

1.数据采集与收集

以行人检测为例,确定输入数据和输出数据,输入为给定的图片,输出与带有bounding box框的图片,这些框包含行人X/Y座标和长宽数据等

在利用标注数据训练模型之前还需要考虑数据存放比如数据仓库放在哪里,数据如何导入数据仓库并且流向模型?当你在实际中应用模型时是否保留输入数据?在我们的例子中,如果我们用HD图片训练但是实际应用中使用的是更低分辨率的图片时,我们的模型大概率不能用。

组织好数据储存和结构后,我们一般把数据分为80%训练,10%测试和10%验证

要解决数据可能过拟合的问题

2.建立,训练,测试和验证数据

模型过拟合会导致模型只能识别出特定数据场景下的目标,如模型只能识别室内的人而不能识别出室外的人

为了解决这个问题,建立一个基于人类经验,覆盖所有重要的应用场景的ground truth数据集十分重要。这个数据集由有丰富标注经验的人完成。同时这个数据集也会给机器一个目标,是要努力达到人类认知的水平而不是百分之百准确

拆分完数据并且得到groundtruth数据集后,可以开始用标注数据训练模型。在训练过程中,需要确定在训练数据上多余的付出是不是值得,如果提升训练数据的精度只会提高模型百分之一的准确率,影响一千个客户的话,那么多余的投入可能是不必要的 

3.把模型应用于生产

测试和验证了模型后可以开始在生产环境中部署,类似Seldon的ML部署平台可以使用

生产环境的模型需要持续维护

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章