详解使用CUDA+OpenCV加速yolo v4性能
YOLO是You-Only-Look-Once的缩写，它无疑是根据COCO数据集训练的最好的对象检测器之一。YOLOv4是最新的迭代版本，它在准确性和性能之间进行了权衡，使其成为最先进的对象检测器之一。在智能视频分析管道中使用任何对象检测器的典型机制包括使用像Tensorflow或PyTorch这样能够在NVIDIA GPU上操作的库来加速模型推理。
OpenCV用于图像/视频流输入，预处理和后处理的视觉效果。如果我告诉你OpenCV现在能够利用NVIDIA CUDA的优点，使用DNN模块本地运行YOLOv4，那会怎样？本文将带你通过使用CUDA和cuDNN构建OpenCV，以使用DNN模块加速YOLOv4推理。
介绍
我认识的大多数爱好者都有支持GPU的设备。我的目标是让GPU加速成为主流。谁不喜欢项目跑快点呢？我已经使用了OpenCV 4.5.1、CUDA 11.2和cuDNN 8.1.0来开始工作，使推理更容易!
首先，你需要设置CUDA，然后安装cuDNN，最后以构建OpenCV结束。此外，这个博客被分成了几个部分，这样更容易理解!
CUDA 11.2和cuDNN 8.1.0安装
最有可能使你的计算机无法启动的部分。开个玩笑啦！把每件事都做好，这应该是轻而易举的事。
安装CUDA 11.2
首先根据你的平台从CUDA存储库下载deb文件。
CUDA存储库：https://developer.nvidia.com/cuda-downloads
正确选择平台后，将会向你提供安装命令。如果你的平台与我的平台相似，则可以按以下方式安装它：
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pinsudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600wget https://developer.download.nvidia.com/compute/cuda/11.2.1/local_installers/cuda-repo-ubuntu2004-11-2-local_11.2.1-460.32.03-1_amd64.debsudo dpkg -i cuda-repo-ubuntu2004-11-2-local_11.2.1-460.32.03-1_amd64.debsudo apt-key add /var/cuda-repo-ubuntu2004-11-2-local/7fa2af80.pubsudo apt updatesudo apt -y install cudasudo reboot
如果操作正确，那么在运行nvidia-smi时应该会有以下输出
最后，将以下内容粘贴到.bashrc或.zshrc中
# CUDA
export CUDA=11.2
export PATH=/usr/local/cuda-$CUDA/bin${PATH:+:${PATH}}
export CUDA_PATH=/usr/local/cuda-$CUDA
export CUDA_HOME=/usr/local/cuda-$CUDA
export LIBRARY_PATH=$CUDA_HOME/lib64:$LIBRARY_PATH
export LD_LIBRARY_PATH=/usr/local/cuda-$CUDA/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH
export NVCC=/usr/local/cuda-$CUDA/bin/nvcc
export CFLAGS="-I$CUDA_HOME/include $CFLAGS"CUDA
别忘了在后面加上source ~/.bashrc或source ~/.zshrc
安装cuDNN 8.1.0
为此，你需要有一个NVIDIA的账户，所以一定要先注册。完成后，前往以下链接并下载标记的文件。
https://developer.nvidia.com/rdp/cudnn-download
下载deb文件后，运行以下命令-
sudo dpkg -i libcudnn8_8.1.0.77-1+cuda11.2_amd64.deb sudo dpkg -i libcudnn8-dev_8.1.0.77-1+cuda11.2_amd64.deb
这标志着NVIDIA CUDA和cuDNN安装的完成！
从源代码构建OpenCV 4.5.1
有趣的是，这让我很兴奋！本节将帮助你用CUDA, GStreamer和FFMPEG从源代码构建OpenCV !有一个很长的命令列表要执行，所以开始吧。
首先，安装python开发人员包
sudo apt install python3-dev python3-pip python3-testresources
接下来，让我们安装构建OpenCV所需的依赖项
sudo apt install build-essential cmake pkg-config unzip yasm git checkinstall sudo apt install libjpeg-dev libpng-dev libtiff-dev sudo apt install libavcodec-dev libavformat-dev libswscale-dev libavresample-dev sudo apt install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev sudo apt install libxvidcore-dev x264 libx264-dev libfaac-dev libmp3lame-dev libtheora-dev sudo apt install libfaac-dev libmp3lame-dev libvorbis-dev sudo apt install libopencore-amrnb-dev libopencore-amrwb-dev sudo apt-get install libgtk-3-dev sudo apt-get install libtbb-dev sudo apt-get install libatlas-base-dev gfortran sudo apt-get install libprotobuf-dev protobuf-compiler sudo apt-get install libgoogle-glog-dev libgflags-dev sudo apt-get install libgphoto2-dev libeigen3-dev libhdf5-dev doxygen
Numpy是此构建的一个关键python包。使用pip安装它
pip3 install numpy
现在，你应该为构建做好了一切准备。运行以下命令下载并解压源代码
mkdir opencvbuild && cd opencvbuild wget -O opencv.zip https://github.com/opencv/opencv/archive/4.5.1.zip wget -O opencv_contrib.zip https://github.com/opencv/opencv_contrib/archive/4.5.1.zip unzip opencv.zip unzip opencv_contrib.zip mv opencv-4.5.1 opencv mv opencv_contrib-4.5.1 opencv_contrib
让我们准备构建吧!
cd opencv mkdir build && cd build
确保CUDA_ARCH_BIN根据你的GPU改变。
cmake \ -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_C_COMPILER=/usr/bin/gcc-7 \ -D CMAKE_INSTALL_PREFIX=/usr/local -D INSTALL_PYTHON_EXAMPLES=ON \ -D INSTALL_C_EXAMPLES=ON -D WITH_TBB=ON -D WITH_CUDA=ON -D WITH_CUDNN=ON \ -D OPENCV_DNN_CUDA=ON -D CUDA_ARCH_BIN=7.5 -D BUILD_opencv_cudacodec=OFF \ -D ENABLE_FAST_MATH=1 -D CUDA_FAST_MATH=1 -D WITH_CUBLAS=1 \ -D WITH_V4L=ON -D WITH_QT=OFF -D WITH_OPENGL=ON -D WITH_GSTREAMER=ON \ -D WITH_FFMPEG=ON -D OPENCV_GENERATE_PKGCONFIG=ON \ -D OPENCV_PC_FILE_NAME=opencv4.pc -D OPENCV_ENABLE_NONFREE=ON \ -D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib/modules \ -D PYTHON_DEFAULT_EXECUTABLE=$(which python3) -D BUILD_EXAMPLES=ON ..
你应该会看到类似这样的成功构建
确保CUDA被检测到并且构建路径是准确的。如果一切正常，继续并执行以下命令来启动构建
make -j$(nproc) sudo make install
要检查是否成功构建了OpenCV，运行这个命令
pkg-config --libs --cflags opencv4
在成功安装时，它应该会给你一个类似这样的输出
很高兴看到你能走到这一步！现在你应该已经完成了运行示例应用程序的所有设置。
运行应用程序
继续并克隆这个存储库并获取权重。从安装git-lfs开始
sudo apt install git git-lfs
使用模型文件克隆存储库
# Using HTTPS git clone https://github.com/aj-ames/YOLOv4-OpenCV-CUDA-DNN.git # Using SSH git clone git@github.com:aj-ames/YOLOv4-OpenCV-CUDA-DNN.git cd YOLOv4-OpenCV-CUDA-DNN/ git lfs install git lfs pull
你可以在图像，视频摄像头，或RTSP输入运行应用程序。
# Image python3 dnn_infernece.py --image images/example.jpg --use_gpu # Video python3 dnn_inference.py --stream video.mp4 --use_gpu # RTSP python3 dnn_inference.py --stream rtsp://192.168.1.1:554/stream --use_gpu # Webcam python3 dnn_inference.py --stream webcam --use_gpu
PS：删除--use-gpu标志来禁用GPU。适得其反，不是吗？
极客们的一些基准!
如果收益不是很大，我们就不会这么做。相信我，在GPU上运行使我的FPS增加了10?C15倍！
我测试了两种配置
英特尔酷睿i5 7300HQ + NVIDIA GeForce GTX 1050Ti
英特尔至强E5?C1650 v4 + NVIDIA Tesla T4
我会让数字来说话的！
| Device | FPS | Device | FPS | | :------------: | :----------: | :------------: | :----------: | | Core i5 7300HQ | 2.1 | GTX 1050 Ti | 20.1 | | Xeon E5-1650 | 3.5 | Tesla T4 | 42.3 |
尾注
GPU加速正在渗透到多个库和应用程序中，使用户能够以前所未有的速度运行更重的工作负载！计算机视觉曾经不是一项所有人都能接触到的技术，但随着神经网络的改进和硬件计算能力的提高，这一差距已经显著缩小。随着人工智能发展的速度，我们的硬件也会发展的越来越灵活！
