pytorch 使用多塊顯卡訓練模型

一般的程序都是默認了單塊顯卡訓練模型，如果batch_size過大的話，單塊顯卡是不好使的，這就需要多塊顯卡並行訓練了，如何實現呢，特別簡單 ：

net = nn.DataParallel(net).cuda()

上面這行代碼就可以實現了，nn.DataParallel()內的參數可以不填，則默認使用所有可以使用的顯卡。

如果不設置多顯卡並行計算，那麼上面的那一句代碼改爲下面的就行了：

net = net.cuda()