nohup和&组合使用
nohup python file.py > filelog.txt 2>&1 &
上述代码的组合使用就能够避免终端关闭、服务器断开等情况导致的模型训练终止。
参数解释：
-
filelog.txt：> 表示把标准输出（STDOUT）重定向到这个文件，这里重定向到了当前目录下的filelog.txt里，若没有此文件会自动生成。若没有特别指定，默认将当前的输出打印在当前目录的nohup.out文件里。
- 若无2>&1则错误信息不会重定向。
- 最后的&符号指定让程序后台运行，一定不能省略，否则程序还是运行在前台。
通过 jobs 命令可以看到后台任务的运行状况（running、stopped等），通过 bg [任务号] 可以让后台stopped的命令继续running，通过 fg [任务号] 可以让后台的任务来前台执行。对于前台已经执行起来的任务，可以 ctrl+z 来丢进后台（丢后台时stop了的话用bg让其run起来）。