Python图片视频超分模型RealBasicVSR的使用教程

前言

很久没更新这个专栏了，最近比较忙。前段时间看到了这个模型觉着很有意思，弄下来自己玩了玩，但是没时间写文章，一直搁置到现在。

废话不多说，先上Github地址： RealBasicVSR地址

从给出的效果来看，还是很不错的，左侧是超分后的画面，右边是原画质，得到明显提升。下面我说一下我的安装过程，还有一些使用中的踩坑，让大家去测试项目的时候可以提前规避。

安装

项目拉下来之后，我们先打开README，看看说明。

安装的步骤不多，但是还是有一些坑的，下面是我的安装步骤，如果你们自己安装的有问题的话，可以参考一下我的步骤。

1、虚拟环境创建

作者没有给出需要的python版本，这里我用的python3.8

conda create -n real python=3.8
conda activate real

2、安装pytorch

这里本来我以为我现在的最新版本可以跑的，后面发现不行，所以老老实实的按照作者的版本安装。

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch

3、安装openmim

这里没什么好说的，装就完了。

pip install openmim -i https://pypi.douban.com/simple

4、安装mmcv-full

同上

mim install mmcv-full

5、安装mmedit

同上

pip install mmedit -i https://pypi.douban.com/simple

6、安装scipy

这个作者没写，但是要装。

pip install scipy -i https://pypi.douban.com/simple

7、模型下载 

嗯，在外网比较难下，我下好了，放到我的百度云盘。

链接 提取码：1234

在项目中创建文件夹checkpoints，把下载的文件放进去。如下图

使用

ok，环境装好了，我们看看怎么使用。 

作者提供了图片文件夹处理方式和视频处理方式，我们挨个测一下。

图片超分

我就不准备用作者提供的demo图了，我自己找了一张，如下图。

图片尺寸

放置目录如下

执行命令如下

python inference_realbasicvsr.py configs/realbasicvsr_x4.py checkpoints/RealBasicVSR_x4.pth data/demo_001 results/demo_001 

执行结果

2022-05-08 10:57:06,303 - mmedit - INFO - load checkpoint from torchvision path: torchvision://vgg19
load checkpoint from local path: checkpoints/RealBasicVSR_x4.pth
/home/zhangmaolin/.local/lib/python3.7/site-packages/torch/functional.py:445: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at  ../aten/src/ATen/native/TensorShape.cpp:2157.)
  return _VF.meshgrid(tensors, **kwargs)  # type: ignore[attr-defined]

结果图如下

可以看出明显的清楚了很多。

结果图尺寸

视频超分

然后我们看看视频超分的情况，这部分是有一些坑的，后面会说到。

首先我准备了一个视频，视频分别率如下。

可以看到视频分辨率540p。

执行命令如下，里面有作者给出样例没有的参数，我后面注意里面会解释。

python inference_realbasicvsr.py configs/realbasicvsr_x4.py checkpoints/RealBasicVSR_x4.pth data/12345.mp4 results/demo_123.mp4 --fps=25 --max_seq_len=2

执行结果

2022-05-08 11:02:01,023 - mmedit - INFO - load checkpoint from torchvision path: torchvision://vgg19
load checkpoint from local path: checkpoints/RealBasicVSR_x4.pth
/home/zhangmaolin/.local/lib/python3.7/site-packages/torch/functional.py:445: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at  ../aten/src/ATen/native/TensorShape.cpp:2157.)
  return _VF.meshgrid(tensors, **kwargs)  # type: ignore[attr-defined]

最终视频分辨率情况 

注意

1、首先，视频原长度是2分钟的，我截取到5s的视频进行超分处理的。不然会显存溢出。

2、--max_seq_len=2参数也是为了避免显存溢出，总的来看，这个模型不太适合直接跑视频，最好的方式还是跑图片序列，然后最后压缩图片为视频比较好。

压缩图片为对比视频样例

作者给了一个demo程序可以将输出的图片压缩为前后对比视频，如下图说明。

我测试了一下，代码这里需要改动一下，代码框出的部分需要把注释取消。

对比视频如下图，左边为超分后效果，右边为原图效果。

总结

总的来说，该模型处理图片还是效果很好的，可以稍微改造一下