關於pytorch中，dataloader中的num_work運行機制的理解

最近遇到一個問題，發現dataloader中數據加載異常的慢，慢慢的排查到了dataloader這一步，我以前一直以爲num_work共同維護一個大小爲batch size的隊列，但是不是，它每次會開啓num_work個線程，分別去加載dataset裏面的數據，直到每個worker加載數據量爲batch size 大小（num_work*batch_size）纔會進行下一步訓練。而不是我之前理解的，只要總數據量達到batch size就立刻進行下一步訓練。