当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

swybit 2019-10-29

机器之心发布

作者:罗志鹏

近日,在 ICCV 2019 Workshop 举办的 Vision Meets Drone: A Challenge(简称:VisDrone2019) 挑战赛公布了最终结果,来自深兰科技北京 AI 研发中心的 DeepBlueAI 团队斩获了「视频目标检测」和「多目标追踪」两项冠军。我们可以通过这篇文章来了解一下 DeepBlueAI 团队的解决方案。

当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

The VisDrone2019 挑战赛

如今,配备摄像头的无人机或通用无人机已经广泛地应用在农业、航空摄影、快速交付、监视等多个领域。

挑战赛官网地址:http://aiskyeye.com/

VisDrone2019 数据集由天津大学机器学习与数据挖掘实验室 AISKYEYE 队伍负责收集,全部基准数据集由无人机捕获,包括 288 个视频片段,总共包括 261908 帧和 10209 个静态图像。

这些帧由 260 多万个常用目标(如行人、汽车、自行车和三轮车)的手动标注框组成。为了让参赛队伍能够更有效地利用数据,数据集还提供了场景可见性、对象类别和遮挡等重要属性。

本届挑战赛包含四个任务:

  • 任务 1:图像中的目标检测。任务旨在从无人机拍摄的单个图像中检测预定义类别的对象(例如,汽车和行人);
  • 任务 2:视频中的目标检测。该任务与任务 1 相似,不同之处在于需要从视频中检测对象;
  • 任务 3:单目标跟踪挑战。任务旨在估计后续视频帧中第一个帧中指示的目标状态;
  • 任务 4:多目标跟踪挑战。该任务旨在恢复每个视频帧中对象的轨迹。

数据集下载链接:https://github.com/VisDrone/VisDrone-Dataset

这次比赛的难点主要有:

1. 大量的检测物体

与常规检测数据集不同的是,每张图片包含上百个待检测物体,数据集总共含有 260 万个标注框,如果使用占用显存较大的模型,可能会出现资源不够的情况。同时面对一些重叠的结果时,我们需要选择合适的阈值去过滤出最好的结果。

2. 部分目标过小

因为数据集是由无人机拍摄而来,行人和远景的物体的标注框就非常小,这对模型产生 anchor 的能力形成了一定的挑战,高分辨率的空间信息和高质量的 proposal 在本次赛题中就显得尤为重要。

3. 不同的数据分布

常用的数据集如:COCO 数据集、OBJ365 都是广泛应用的数据集,所以大家经常用它们的预训练来 fine-tune 其他数据集。而这一次的数据集由于拍摄角度问题,预训练所带来的效果不如预期。

评测指标

为了进行综合评估并反映每个对象类别的性能,本次测评采用类似于 MS COCO 数据集的评估方案,使用 AP, APIOU=0.50, APIOU=0.75, ARmax=1, ARmax=10, ARmax=100, 和 ARmax=500,且这些指标是基于 10 个对象类别计算出来的。

当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

最终,来自电子科技大学的李宏亮团队获得了 Task1「图像中的目标检测」的冠军;中科院信息工程研究所的葛仕明团队获得了 Task3「单目标跟踪挑战」的冠军;来自深兰科技北京 AI 研发中心的 DeepBlueAI 团队获得了 Task2「视频目标检测」和 Task4「多目标追踪」两项冠军。以下是 DeepBlueAI 团队分享的解决方案

任务 2:视频中的目标检测

当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

检测器:Cascade RCNN + DCN + FPN + DH

团队基于现有数据集,并结合以往检测经验,打造了一个强大的目标检测器。

1. Cascade RCNN

当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

用低 IoU 阈值进⾏训练会导致效果不好,因为会产⽣很多噪声框;所以我们希望阈值尽量⾼,但 IoU 阀值设过⾼时,训练出的 detector 效果却会呈现下降趋势。Cascade RCNN 将多个阈值越来越⾼的 detector 串联,得到了更好的效果。

⾸先,在每次 detector 计算后,IoU⾼的 bbox 的分布都会提升,使得下⼀阶段更⾼阈值下正样本的数量得到保证;其次,每经过⼀次 detector 计算,bbox 都会变得更准确,更⾼的阈值可保证下⼀次回归效果更好。

2. DCN(Deformable Convolution Network)

当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

deformable convolution network 提出了「deformable convolution」和「deformable RoI pooling」两种网络结构单元,deformable convolution 和 deformable RoI pooling 都是基于通过学习一个额外的偏移(offset),使卷积核对输入 feature map 的采样产生偏移,集中于感兴趣的目标区域, 从而产生更好的感受野。

3. Double Heads

当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

通过对比实验可发现:用 fc-head 去做分类,同时用 conv-head 去做回归,可以实现最好的效果。因为分类更多的需要语义信息,而回归坐标框需要更多的空间信息,这种方法采用「分而治之」的思想,针对不同的需求设计 head 结构,当然这种方法增加了计算量,在平衡速度和准确率的情况下,最后选择了 3 残差、2non-local,共 5 个模块。

实验细节:

1. 我们将 Faster rcnn + DCN + FPN 作为我们的 baseline,因为这两个模块总是能在不同的数据集上起到效果。2. 将原有 head 改为 Double head3. 采用级联检测 (Cascade rcnn)4. 将 ResNeXt101 作为 backbone5. 使用 cascade rcnn COCO-Pretrained weight6. 多尺度训练+Testing tricks

实验结果 (验证集)

当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

任务 4 : 多目标跟踪

当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

跟踪算法:IOU tracker + KCF + tracklet vote

根据赛题描述与数据集分析结果,我们可以知道,如果图中有大量目标且大部分都为小目标,在这种情况下仍然使用 reid 相关跟踪算法的话,不仅最终效果不理想,而且也会在匹配排序的过程中耗费大量的资源,所以我们最终决定使用 iou-tracker。

原因:

  1. 使用不需要图片信息,仅根据检测结果的相邻帧的 iou 进行计算;
  2. iou-tracker 对检测结果有着较高的要求,我们对自己的检测结果有信心;
  3. 运行速度极快,不涉及到神经网络,节省时间和 GPU 资源。

MOT Pipeline:

当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

难点:使用 iou tracker 之后,还是会不可避免地遇到断帧 (一条轨迹无法全部预测,被预测为多个子段) 的问题,这样会大大降低最后的得分,所以我们使用 KCF 对现有结果进行一个更新。

KCF 的原理极为复杂,但 KCF 作用就是根据现有结果使用传统算法,去预测之后几帧的结果,这相当于对一些丢失的信息进行补充的操作。

得到新的轨迹之后再使用 IOU 相关投票融合方法,将更新后的结果融合,融合过程如图所示:

当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

KCF 更新轨迹之后,正常情况下轨迹之间就会有相互重叠的地方,我们使用一个基于 IOU 的投票方法,如果轨迹之间重叠部分的投票结果大于某个阈值,就将这两个轨迹进行融合。

实验细节:

1. 我们将任务二中的检测结果当做输入,先使用 GOG 方法作为我们的 baseline2. 将方法改为 IOU tracker3. 调整阈值,以及一些测试技巧4.+KCF +tracklet voting5. 得到更好的检测结果

实验结果 (验证集)

当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

实验数据。

下一步工作

在检测方面,在网络结构上有一些其他可以使用的模块,例如「PAFPN--FPN 的改进版」,可以在特征提取之后更好地处理各层级之间的信息;以及「GCnet」,一种结合了两个不错的 attention 机制所得到的网络,等等。

由于时间的限制,在更新原有跟踪结果的时候,我们使用的是比较传统的 KCF 算法,这类算法比较节省时间,但同时也有很大的局限性。如果有机会,以后想尝试一些更好的、基于神经网络的方法进行更新。

参考文献

[1]Lin T Y , Dollár, Piotr, Girshick R , et al. Feature Pyramid Networks for Object Detection[J]. 2016.[2]Dai J, Qi H, Xiong Y, et al. Deformable Convolutional Networks[J]. 2017.[3]Cai Z , Vasconcelos N . Cascade R-CNN: Delving into High Quality Object Detection[J]. 2017.[4]Xie S , Girshick R , Dollar P , et al. Aggregated Residual Transformations for Deep Neural Networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2017.[5]Bochinski E , Eiselein V , Sikora T . High-Speed tracking-by-detection without using image information[C]// 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). IEEE, 2017.[6]Henriques J F , Caseiro R , Martins P , et al. High-Speed Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3):583-596.

相关推荐

fengaid / 0评论 2019-11-01
fengaid / 0评论 2019-10-30