- 在進行實驗的時候，首先測試baseline，實驗過程中產生的各種想法可以考慮先在baseline上進行實驗。如果確實能夠給baseline的性能帶來一定的提升，那麼我們就可以將想法移植到我們當前已經設計好的新結構上。
- Python中的內存管理機制
- 在提取網絡層的中間輸出的時候，儘量不要把網絡的中間輸出保留在類的成員變量（即__init__函數）當中，應該考慮保留在類的forward函數中。
- 使用git提交時忽略部分文件
- Pytorch中的inplace操作需要注意的地方：https://stackoverflow.com/questions/57631705/runtimeerror-one-of-the-variables-needed-for-gradient-computation-has-been-modi