一開始直接pip install apex。
然後import apex的時候報錯：
TypeError: Class advice impossible in Python3. Use the @implementer class decorator instead.
然後卸載pip uninstall apex，重新安裝。
安裝步驟如下：
git clone https://www.github.com/nvidia/apex
cd apex
python setup.py install
執行第三步的時候報錯：ModuleNotFoundError: No module named ‘pip._internal’。
查了一下，需要升級pip：
python -m ensurepip
python -m pip install --upgrade pip
再次執行python setup.py install安裝成功；然後Python環境下import apex也成功了，說明apex已經安裝成功了！
具體執行過程中，
from apex.optimizers import FP16_Optimizer
報錯：ImportError: cannot import name ‘FP16_Optimizer’
原因是：最新版的apex中，FP16_Optimizer已經被移到contrib/optimizers下面了，因此，修改如下：
from apex.contrib.optimizers import FP16_Optimizer
執行成功，大功告成！真是一波三折。。
更新：在使用bert的預訓練模型pytorch-pretrained-BERT時，報錯如下：
ModuleNotFoundError: No module named ‘fused_layer_norm_cuda’
原因是安裝apex時沒有安裝cuda版本，所以要pip uninstall apex卸載(apex文件夾也一起刪除)後，重新安裝，具體安裝步驟如下：
git clone https://www.github.com/nvidia/apex
cd apex
python setup.py install --cuda_ext --cpp_ext
參考：
TypeError: Class advice impossible in Python3. Use the @implementer class decorator instead.
ModuleNotFoundError: No module named ‘pip._internal’ , pip 無法下載軟件 解決辦法
ImportError: cannot import name ‘FP16_Optimizer’
No module named ‘fused_layer_norm_cuda’
