引言
今天在使用Pytorch导入此前保存的模型进行测试，在过程中发现输出的结果与验证结果差距甚大，经过排查后发现是forward与eval()顺序问题。
现象
此前的错误代码是
|
1
2
3
4
5
6
|
input_cpu = torch.ones((1, 2, 160, 160))target_cpu =torch.ones((1, 2, 160, 160))target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()model.set_input_2(input_gpu, target_gpu)model.eval()model.forward() |
应该改为
|
1
2
3
4
5
6
7
|
input_cpu = torch.ones((1, 2, 160, 160))target_cpu =torch.ones((1, 2, 160, 160))target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()model.set_input_2(input_gpu, target_gpu)# 先forward再evalmodel.forward()model.eval() |
当时有个疑虑，为什么要在forward后面再加eval()，查了下相关资料，主要是在BN层以及Dropout的问题。
当使用eval()时，模型会自动固定BN层以及Dropout，选取训练好的值，否则则会取平均，可能导致生成的图片颜色失真。
PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval
使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval，eval（）时，框架会自动把BN和DropOut固定住，不会取平均，而是用训练好的值，不然的话，一旦test的batch_size过小，很容易就会被BN层导致生成图片颜色失真极大！！！！！！
eg：
|
1
2
3
4
5
6
7
8
9
10
|
Class Inpaint_Network()......Model = Inpaint_Nerwoek()#train:Model.train(mode=True).....#test:Model.eval() |
以上为个人经验，希望能给大家一个参考，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/weixin_44975887/article/details/103126926
