pytorch 使用多块显卡训练模型

一般的程序都是默认了单块显卡训练模型，如果batch_size过大的话，单块显卡是不好使的，这就需要多块显卡并行训练了，如何实现呢，特别简单 ：

net = nn.DataParallel(net).cuda()

上面这行代码就可以实现了，nn.DataParallel()内的参数可以不填，则默认使用所有可以使用的显卡。

如果不设置多显卡并行计算，那么上面的那一句代码改为下面的就行了：

net = net.cuda()