python神经网络特征金字塔FPN原理

什么是特征金字塔

很多文章里面写道特征金字塔这个结构，其实这个结构Very-Easy

目标检测任务和语义分割任务里面常常需要检测小目标，但是小目标比较小呀，可能在原图里面只有几十个像素点。就像这个样子。

我不检测这个猫，我就检测这一片片落叶，是不是每个落叶所占的像素点特别少呢。

答案肯定是的。

最关键的问题就是，像素点少会对目标检测有什么影响！

我这里没有严密的数学推导，就从思想上来说，对于深度卷积网络，从一个特征层卷积到另一个特征层，无论步长是1还是2还是更多，卷积核都要遍布整个图片进行卷积，大的目标所占的像素点比小目多，所以大的目标被经过卷积核的次数远比小的目标多，所以在下一个特征层里，会更多的反应大目标的特点。

特别是在步长大于等于2的情况下，大目标的特点更容易得到保留，小目标的特征点容易被跳过。

因此，经过很多层的卷积之后，小目标的特点会越来越少，越小越小。

特征金字塔所做的其实就是下面这幅图。

这个结构与语义分割中的unet结构非常像，其对特征点进行不断的下采样后，拥有了一堆具有高语义内容的特征层，然后重新进行上采样，使得特征层的长宽重新变大，用大size的feature map去检测小目标，当然不可以简单只上采样，因为这样上采样的结果对小目标的特征与信息也不明确了，因此我们可以将下采样中，与上采样中长宽相同的特征层进行堆叠，这样可以保证小目标的特征与信息。

引入FPN的网络结构举例

这是yolo3的网络结构，利用DarkNet53来进行特征提取，总共利用下采样进行五次长宽的收缩。

利用上采样进行三次长宽的扩张，在每次扩张之后，再与对应的下采样特征层进行合并堆叠，最后获得目标检测结果！