arsenicer 2018-11-12
CNN和RNN几乎占据着深度学习的半壁江山,所以本文将着重讲解CNN+RNN的对比,以及各种组合方式。
一、CNN与RNN对比
1. CNN卷积神经网络与RNN递归神经网络直观图
2. 相同点:
3. 不同点
二、CNN+RNN组合方式
1. CNN 特征提取,用于RNN语句生成图片标注。
2. RNN特征提取用于CNN内容分类视频分类。
3. CNN特征提取用于对话问答图片问答。
三、具体应用
1. 图片标注
基本思路:
CNN网络中全连接层特征描述图片,特征与LSTM输入结合。
具体步骤:
(1) 模型设计-特征提取
全连接层特征用来描述原图片
LSTM输入:word+图片特征;输出下一word。
(2) 模型设计-数据准备
(3) 模型训练:
(4) 模型运行:
2. 视频行为识别 :
视频中在发 生什么?
常用方法总结:
(1) RNN用于CNN特征融合:
不同的特征不同输出。
或者:所有特征作为一个输出。
(2) RNN用于CNN特征筛选+融合:
(3) RNN用于目标检测:
(4) 多种模型综合:应用中,为了产生最好结果,多采用多模型ensemble形式。