论文复现：Unsupervised Learning of Depth and Ego-Motion from Video（SfMLearner）

期末作业最后一天，实验总算有点进展，记录下配置过程

环境

• 项目地址：https://github.com/tinghuiz/SfMLearner
• GPU：GTX 950M
• 系统： Win 10
• python：3.5
  建议使用conda 创建虚拟环境
• tensorflow-gpu：1.2.1
  pip install tensorflow-gpu==1.2.1 -i https://mirrors.aliyun.com/pypi/simple/
  项目主页标的1.0，直接安装1.0会报错：ValueError: 'image' must be three-dimensional....
• cuda：8.0.61 win10
  官网下载不了，点击下载总是一个42B大小的损坏文件，所以最后直接找网盘下载
• cudnn：5.1
  最开始安装了6.0，报错：Could no t load dynamic library 'cudart64_101.dll'; dlerror: cudart64_101.dll not found...
  原来又是版本不对，虽然6.0也是对应cuda8.0，但是不对应tensorflow-gpu：1.2.1
• numpy:1.16.4
• scipy: 1.2.1

记录中提到的一些文件：

数据集、cuda、cudnn、和深度估计预训练模型
链接：https://pan.baidu.com/s/19ht5kgVL3ykfFM6hZurcuw 
提取码：phzi

测试Demo

测试Demo其实不用安装gpu版本tensorflow，安装对应版本的cpu版本就行

下载预训练模型

在脚本中可以看到地址：http://people.eecs.berkeley.edu/~tinghuiz/projects/SfMLearner/models/kitti_depth_model.tar
有时候网络会打不开，切换下别的网络试一试，我换成学校网络倒是可以下载了

Demo

用jupyter打开demo.ipynb
jupyter就直接conda或者pip安装，然后输入jupyter notebook,就会起点web服务

打开demo.ipynb

运行第一段就报错：

改成 fh = open('misc/sample.png', 'rb')

然后运行

试一试换monodepth2里的示例图：

效果不太好啊

这是monodepth2跑出来的结果：

数据集下载

使用的kiiti，raw data

百度网盘：

预处理

目录结构：

运行预处理程序

python data/prepare_train_data.py --dataset_dir=data/kitti/dataset/ --dataset_name='kitti_raw_eigen' --dump_root=data/resulting/formatted/data/ --seq_length=3 --img_width=416 --img_height=128 --num_threads=4

训练

出现： The TensorFlow library wasnt compiled to use SSE instructions,...

os.environ['TF_CPP_MIN_LOG_LEVEL']='2'

具体原因不知道

查看tensorflow-gpu是否正常使用gpu

import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
print(tf.test.is_gpu_available())

>>> import tensorflow as tf
>>> import os
>>> os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
>>> print(tf.test.is_gpu_available())
2020-06-27 10:34:18.152335: I c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\35\tensorflow\core\common_runtime\gpu\gpu_device.cc:1030] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 950M, pci bus id: 0000:01:00.0)
True

直接运行出现： The TensorFlow library wasnt compiled to use SSE instructions,...提示，然后在train.py增加

os.environ['TF_CPP_MIN_LOG_LEVEL']='2'

然后又会提示内存不够…

2020-06-27 10:36:29.234645: E c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\35\tensorflow\stream_executor\cuda\cuda_driver.cc:924] failed to allocate 160.63M (168433920 bytes) from device: CUDA_ERROR_OUT_OF_MEMORY
...
...

尝试把jupyter关了，多余命令行窗口关了，(实在不行就重启电脑)，然后电脑就行了。
训练过程：

C:\ProgramData\Miniconda3\envs\SfMLearner\python.exe C:/Users/59610/Desktop/AI/Code/cnn/SfMLearner/train.py --dataset_dir=data/kitti/resulting/formatted/data/ --checkpoint_dir=/where/to/store/checkpoints/ --img_width=416 --img_height=128 --batch_size=4
{'batch_size': 4,
 'beta1': 0.9,
 'checkpoint_dir': '/where/to/store/checkpoints/',
 'continue_train': False,
 'dataset_dir': 'data/kitti/resulting/formatted/data/',
 'explain_reg_weight': 0.0,
 'img_height': 128,
 'img_width': 416,
 'init_checkpoint_file': None,
 'learning_rate': 0.0002,
 'max_steps': 200000,
 'save_latest_freq': 5000,
 'seq_length': 3,
 'smooth_weight': 0.5,
 'summary_freq': 100}
Trainable variables: 
depth_net/cnv1/weights:0
depth_net/cnv1/biases:0
depth_net/cnv1b/weights:0
depth_net/cnv1b/biases:0
depth_net/cnv2/weights:0
depth_net/cnv2/biases:0
depth_net/cnv2b/weights:0
depth_net/cnv2b/biases:0
depth_net/cnv3/weights:0
depth_net/cnv3/biases:0
depth_net/cnv3b/weights:0
depth_net/cnv3b/biases:0
depth_net/cnv4/weights:0
depth_net/cnv4/biases:0
depth_net/cnv4b/weights:0
depth_net/cnv4b/biases:0
depth_net/cnv5/weights:0
depth_net/cnv5/biases:0
depth_net/cnv5b/weights:0
depth_net/cnv5b/biases:0
depth_net/cnv6/weights:0
depth_net/cnv6/biases:0
depth_net/cnv6b/weights:0
depth_net/cnv6b/biases:0
depth_net/cnv7/weights:0
depth_net/cnv7/biases:0
depth_net/cnv7b/weights:0
depth_net/cnv7b/biases:0
depth_net/upcnv7/weights:0
depth_net/upcnv7/biases:0
depth_net/icnv7/weights:0
depth_net/icnv7/biases:0
depth_net/upcnv6/weights:0
depth_net/upcnv6/biases:0
depth_net/icnv6/weights:0
depth_net/icnv6/biases:0
depth_net/upcnv5/weights:0
depth_net/upcnv5/biases:0
depth_net/icnv5/weights:0
depth_net/icnv5/biases:0
depth_net/upcnv4/weights:0
depth_net/upcnv4/biases:0
depth_net/icnv4/weights:0
depth_net/icnv4/biases:0
depth_net/disp4/weights:0
depth_net/disp4/biases:0
depth_net/upcnv3/weights:0
depth_net/upcnv3/biases:0
depth_net/icnv3/weights:0
depth_net/icnv3/biases:0
depth_net/disp3/weights:0
depth_net/disp3/biases:0
depth_net/upcnv2/weights:0
depth_net/upcnv2/biases:0
depth_net/icnv2/weights:0
depth_net/icnv2/biases:0
depth_net/disp2/weights:0
depth_net/disp2/biases:0
depth_net/upcnv1/weights:0
depth_net/upcnv1/biases:0
depth_net/icnv1/weights:0
depth_net/icnv1/biases:0
depth_net/disp1/weights:0
depth_net/disp1/biases:0
pose_exp_net/cnv1/weights:0
pose_exp_net/cnv1/biases:0
pose_exp_net/cnv2/weights:0
pose_exp_net/cnv2/biases:0
pose_exp_net/cnv3/weights:0
pose_exp_net/cnv3/biases:0
pose_exp_net/cnv4/weights:0
pose_exp_net/cnv4/biases:0
pose_exp_net/cnv5/weights:0
pose_exp_net/cnv5/biases:0
pose_exp_net/pose/cnv6/weights:0
pose_exp_net/pose/cnv6/biases:0
pose_exp_net/pose/cnv7/weights:0
pose_exp_net/pose/cnv7/biases:0
pose_exp_net/pose/pred/weights:0
pose_exp_net/pose/pred/biases:0
parameter_count = 33187568
Epoch: [ 1] [  100/ 1208] time: 0.6989/it loss: 0.967
Epoch: [ 1] [  200/ 1208] time: 0.6371/it loss: 1.032
...
...
...