深度学习必备手册（上）
xfmao 2017-10-19
摘要： 深度学习作为人工智能的前沿技术，虽然一方面推动者人工智能的发展；但是人类的终极目标是强人工智能，最近也有一些关于类似于笔者认为的广度学习的出现，但是宗其所属，还是应该在深度学习发展的历史上前进。
给大家推荐60+篇深度学习的好文。
前言
深度学习的概念源于人工神经网络的研究，如果追溯深度学习的概念还是要回到2006年Hinton那篇论文，基于深信度网（DNB）提出非监督贪心逐层训练算法，未解决深层结构相关的优化难题出现的论文。
其实，对于我们人类而言，很多事情都是经过大脑的深层处理模式的解决的，笔者认为，在未来广度学习一定是深度学习的一个沿伸，为什么？因为人类最显著的特征并不是深度学习，而是广度学习。所谓的广度学习是建立在一系列深度学习的基础上的，广度学习通俗的说法既是联想能力。
联想能力对于人类来说是非常重要的能力，一个领域的解决方法扩展到另外一个领域这种思维方式，在我们人类来说是非常普遍的。但是，对于技术来说，这些能力还需要很长的路来走，起码一点，就是深度学习必须达到非常高的程度。因为之后这样深度学习才能真正的应用于强人工智能，强人工智能要求的就是人工智能具有联想能力，一旦强人工智能具备了强人工智能的基础，那么强人工智能一定会从梦想成为现实。
最受欢迎的张玉宏博士的深度学习入门篇——不看绝对后悔！
博文目录
深度学习框架篇：
1. 机器学习的敲门砖：手把手教你TensorFlow初级入门
摘要：在开始使用机器学习算法之前，我们应该首先熟悉如何使用它们。而本文就是通过对TensorFlow的一些基本特点的介绍，让你了解它是机器学习类库中的一个不错的选择。
2. Windows下如何配置TensorFlow？这有个简单明了的教程（支持GPU哦）
摘要：本文简单介绍如何在windows系统下配置TensorFlow并能使用GPU进行加速运算的过程，文章通俗易懂，更新及时。
3. 实践指南！16位资深行业者教你如何学习使用TensorFlow
摘要：本文整理quora论坛的主题——如何开始学习TensorFlow，16位资深行业者给出了相关的建议以及对应的学习资料链接。读者可以根据自身情况参考合适的建议，是一份不可多得的学习TensorFlow的指南。
4. 一步步带你探究如何高效使用TensorFlow
摘要：正在学习TensorFlow，利用效率不够高？不懂TensorFlow里面的奥秘？看大神如何一步步教你如何高效使用TensorFlow！
5. IOS平台TensorFlow实践：逻辑斯蒂回归（附源码）（一）
摘要：本文是《从零到一：IOS平台TensorFlow入门及应用》系列一，先介绍了逻辑斯蒂回归分类器和TensorFlow的相关知识，然后介绍了在IOS平台如何使用TensorFlow训练分类器，并附上源码。
6. IOS平台TensorFlow实践：实际应用教程（附源码）（二）
摘要：本文是《从零到一：IOS平台TensorFlow入门及应用》系列二，介绍IOS平台TensorFlow的安装，以及将系列一中开发的模型在IOS app上的实际应用
7．一步一步带你用TensorFlow玩转LSTM
摘要：LSTM在解决很多实际问题上效果非常好，通过本文你可以了解到在TensorFlow中，如何实现基本的LSTM网络。
8. 动手实验 - TensorFlow和TensorBoard自然语言分析
摘要：动手实践是学习任何知识的有效途径之一。本文作者通过一个实际的例子让我们大家动手来用TensorFlow 和TensorBoard两个强大的Python工具进行自然语言分析的应用。
9. 一次神经网络的探索之旅-基于Tensorflow的路标识别
摘要：是否觉得理论的神经网络有点抽象呢？是否想知道神经网络具体是怎么应用呢？本文将一步一步引领你完成一个基于TensorFlow的交通路标识别项目。还等什么呢，快来看看吧。
10. TensorFlow的杀虫利器LibFuzzer
摘要：作者从自己的过往经历带领读者了解模糊测试在软件漏洞检测中的作用，并具体到最近火热的TensorFlow中的实际运用。给希望从事机器学习程序开发的人们，在相关的软件测试领域起到了很好的抛砖引玉的作用。
11. 卷积神经网络应用：基于Tensorflow的CNN/CRF图像分割技术
摘要：本篇文章验证了卷积神经网络应用于图像分割领域时存在的一个问题——粗糙的分割结果。根据像素间交叉熵损失的定义，我们在简化的场景下进行了模型的训练，并使用后向传播来更新权重。我们使用条件随机场（CRFs）来解决分割结果粗糙的问题，并取得了很好的效果。本文中的代码注释详细、功能完善，也便于读者阅读。
12. 手把手教你使用TensorFlow生成对抗样本 | 附源码
摘要：本文使用TensorFlow一步一步生成对抗样本，步骤明确清晰。首先生成的对抗样本不具有旋转鲁棒性，后面使用同样的方法生成具有鲁棒性的对抗样本，适合初学者对生成对抗样本的入门及动手实验。
13. 用TensorFlow和TensorBoard从零开始构建ConvNet（CNN）
摘要：Tensorflow作为当下最流行的深度学习框架，实现ConvNet（CNN）自然是轻而易举，但是本文创造性的使用的TensorBoard来图形化展示CNN实现过程，极大的提高了研究者的对自己模型的管理能力。
14.一步一步学用Tensorflow构建卷积神经网络
摘要：本文主要和大家分享如何使用Tensorflow从头开始构建和训练卷积神经网络。这样就可以将这个知识作为一个构建块来创造有趣的深度学习应用程序了。
15. 如何用Tensorflow实现RNN？本文将带你进一步研究
摘要：本文详细介绍了如何用Tensorflow实现RNN，有针对性地介绍了构建个性化的RNN时需要用什么。
16. 看深度学习框架排名第一的TensorFlow如何进行时序预测——第一篇
摘要：2017年深度学习框架关注度排名tensorflow以绝对的优势占领榜首，本文通过一个小例子介绍了TensorFlow在时序预测上的应用。
17．如何使用最流行框架Tensorflow进行时间序列分析——第二篇
摘要：2017年深度学习框架关注度排名tensorflow以绝对的优势占领榜首，本文通过使用tensorflow优化过去一个使用特征提取方法的框架，证实了深度学习的优秀性能。
18. TensorFlow中的那些高级API
摘要：在这篇文章中，我们将看到一个使用了最新高级构件的例子，包括Estimator（估算器）、Experiment（实验）和Dataset（数据集）。值得注意的是，你可以独立地使用Experiment和Dataset。不妨进来看看作者是如何玩转这些高级API的。
19．PyTorch vs TensorFlow，哪个更适合你
摘要：本文将探讨PyTorch和TensorFlow这两种流行深度学习框架之间的关键相似点和不同点。为什么选择这两个框架，而不是其他的呢？
20. 强大的PyTorch：10分钟让你了解深度学习领域新流行的框架
摘要: 今年一月份开源的PyTorch，因为它强大的功能，它现在已经成为深度学习领域新流行框架，它的强大源于它内部有很多内置的库。本文就着重介绍了其中几种有特色的库，它们能够帮你在深度学习领域更上一层楼。
21. 深度学习有很长的一段路要走！Keras作者谈机器学习的局限性
摘要：迄今为止，深度学习唯一真正的成功之处，是在给出了大量的人为标注数据之后，使用连续的几何变换将空间X映射到空间Y。 做好这一切，是每个行业游戏制定者必备的能力，但对于人类级别的AI，仍然有很长的路要走。
22. 用“Keras”11行代码构建CNN
摘要：还在苦恼如何写自己的CNN网络？看大神如何使用keras11行代码构建CNN网络,有源码提供。
23．解读Keras在ImageNet中的应用：详解5种主要的图像识别模型
摘要：自从2012年以来，CNN和其它深度学习技术就已经占据了图像识别的主流地位。本文以Keras为例，介绍了5种主要的图像识别模型，并通过实际案例进行详细介绍。
24. 私人定制——使用深度学习Keras和TensorFlow打造一款音乐推荐系统
摘要：还在为虾米音乐等APP的精准推送感到惊奇嘛？快来瞅瞅，自己也可以私人定制一个音乐推荐系统啦。本文利用深度学习打造一个音乐推荐系统，处理起来不是很复杂，主要是先收集音乐制作成一个音乐库，然后对音乐进行处理转换成相关的频谱图，不同类型的音乐对应不同的频谱图，之后利用这些频谱图训练搭建的卷积神经网络模型，以此实现后续的音乐推荐。
25. 十分钟教程：用Keras实现seq2seq学习
摘要：序列到序列学习（seq2seq）是一种把序列从一个域（例如英语中的句子）转换为另一个域中的序列（例如把相同的句子翻译成法语）的模型训练方法。目前有多种方法可以用来处理这个任务，可以使用RNN，也可以使用一维卷积网络。这里，我们将重点介绍RNN。
26. 两个小例子带你词嵌入层学习入门——Keras版
摘要：本文通过两个小例子介绍了如何使用Keras完成使用词嵌入层的相关方法，对于初学者来说，这种教程最为受用，通过不长的代码来教最难的知识。文中有源码！
27. 惊！C++竟然还能有这种操作——高性能深度学习库（DLL）
摘要：C++也能玩转深度学习了？没错，高性能C++深度学习库（DLL）已经发布了，本文作者为了满足自己的需求，开发了支持C++接口的深度学习库。作者特意用了两个小例子让你见识一下C++也能玩转深度学习，而且玩的比其他库还要6！
28. 如何从TensorFlow迁移到PyTorch
摘要：PyTorch是一个发展迅速的框架，并拥有一个很棒的社区。这个框架很容易使用，编起代码来也很开心。
RNN（循环神经网络）篇：
1. 深度学习界冉冉升起的新星——循环神经网络（RNN）
摘要：随着深度学习的流行，循环神经网络也随之受到了业内人士的广泛关注。目前该技术已经在自然语言处理（NLP）中取得了巨大的成功，想了解么？快来看看吧。
2．简单入门循环神经网络RNN：时间序列数据的首选神经网络
摘要：本文简单介绍循环神经网络RNN的发展过程，分析了梯度下降算法、反向传播及LSTM过程。
3. 深度学习零基础?没关系——面向艺术家的RNN教程
摘要：本文适用于没有任何机器学习背景的读者，目标是向艺术家和设计师展示如何使用一个预训练的神经网络并使用简单的Javascript和p5.js库生成交互式的数字作品。教程简单详细，没有任何的公式与推导。
4. 通过SketchRNN、PCA和t-SNE从Google QuickDraw数据集中显示矢量图的潜在空间|附源码
摘要：本文通过SketchRNN、PCA以及t-SNE这三种方式可视化并分析了谷歌QuickDraw涂鸦数据集的潜层空间，可以从可视化图中找到涂鸦的一些规律，并提炼出语义及更抽象的概念。
5. 如何用Tensorflow实现RNN？本文将带你进一步研究
摘要：本文详细介绍了如何用Tensorflow实现RNN，有针对性地介绍了构建个性化的RNN时需要用什么。
6.看大牛如何复盘递归神经网络！
摘要：复盘递归神经网络，通过复盘，反思，让递归神经网络更完美！
7. 送机器学习电子书——(TensorFlow)RNN入门
摘要：本文作者正在写自己的新书《Machine Learning with TensorFlow》，这篇博文只是他新书的一小部分，作者用简单的语言介绍了RNN，不用一个小例子介绍了如何使用Tensorflow中内置的RNN模型进行预测。
CNN（卷积神经网络）篇：
1. Top100论文导读：深入理解卷积神经网络CNN（Part Ⅰ）
摘要：作者从目前热门的top 100 优秀深度学习论文中选取一组论文为大家进行纯干货总结，该组包含8篇经典论文，主要讲解卷积神经网络CNN的经典结构以及针对不同任务进行的结构上的改进。由浅入深的讲解，适合入门了解卷积神经网络的整体网络结构及发展过程——向着更深、复杂度更低的方向发展。
2. Top100论文导读：深入理解卷积神经网络CNN（PartⅡ）
摘要：作者从目前热门的top 100 优秀深度学习论文中选取一组论文为大家进行纯干货总结，该组包含8篇经典论文，主要讲解卷积神经网络CNN的经典结构以及针对不同任务进行的结构上的改进。由浅入深的讲解，适合入门了解卷积神经网络的整体网络结构及发展过程——向着更深、复杂度更低的方向发展。
3. 深度学习的效果为何如此惊人？看看全息理论怎么说
摘要：大家一定不会对近几年来日益热门的深度学习技术感到陌生。但是大家有没有想过，构成深度学习基础的深层卷积网络并不复杂，为什么这样的结构解决实际问题时能够取得如此神奇的效果？或许，我们可以从全息理论中找到答案。
4. 卷积神经网络实战（可视化部分）——使用keras识别猫咪
摘要：在近些年，深度学习领域的卷积神经网络（CNNs或ConvNets)在各行各业为我们解决了大量的实际问题。但是对于大多数人来说，CNN仿佛戴上了神秘的面纱。我经常会想，要是能将神经网络的过程分解，看一看每一个步骤是什么样的结果该有多好！这也就是这篇博客存在的意义。
5. 基于图卷积网络的图深度学习
摘要：处理图结构数据的佼佼者！
6. 用“Keras”11行代码构建CNN
摘要：还在苦恼如何写自己的CNN网络？看大神如何使用keras11行代码构建CNN网络,有源码提供。
7.一步一步学用Tensorflow构建卷积神经网络
摘要：本文主要和大家分享如何使用Tensorflow从头开始构建和训练卷积神经网络。这样就可以将这个知识作为一个构建块来创造有趣的深度学习应用程序了。
8. 想改进你的卷积神经网络？看看这14种设计模式！
摘要：这14 种原创设计模式可以帮助没有经验的研究者去尝试将深度学习与新应用结合，对于那些没有机器学习博士学位的人来说是一个很好的起点。
9. 论文导读：面向卷积神经网络的卷积核冗余消除策略
摘要: 本篇论文针对卷积神经网络在训练阶段所需的大量存储与计算资源，提出了一种改进的冗余卷积核消除策略，精简每个卷积层中冗余的卷积核，进而降低模型训练开销，使模型训练过程从云端转移至本地成为可能。
10. 能帮你更好理解分析深度卷积神经网络，今天要解读的是一款新型可视化工具——CNNVis，看完就能用！
摘要：深度卷积神经网络（CNNs）在许多模式识别任务中取得了很大的性能突破， 然而高质量深度模型的发展依赖于大量的尝试，这是由于没有很好的理解深度模型是怎么工作的，在本文中，提出了一个可视化分析系统CNNVis，帮助机器学习专家更好的理解、分析、设计深度卷积神经网络。
NLP（自然语言处理）篇：
1. 一篇很好的参考文章：深度学习算法在自然语言处理中的一些心得
摘要：对于初涉深度学习的初学者，本文作者根据自己的学习经验，分享了自己的学习笔记，是一份很好的关于深度学习的学习参考。
2. 深度学习和自然语言处理：诠释词向量的魅力
摘要：本次的主题是“word2vec”，主要是总结了Google公司的Mikolov等人关于词向量的工作（以及你可以用它做什么）。
3. 哪种词向量模型更胜一筹？Word2Vec，WordRank or FastText?
摘要：本文在不同语料库下分析了FastText,Word2Vec和WordRank三种词嵌入模型的性能，发现没有单独的一种模型能够用于不同类型NLP任务。
4．国王-男人+女人=皇后，背后的词向量工作原理
摘要：本文对著名的词向量公式 king-man+woman=queen背后的原理进行了解释。通过文章我们可以一窥词向量算法在机器学习领域中对拼音文字语言处理上的出色结果。
5. 百度Deep Voice详解分析：快速理解语音合成流程
摘要：本文介绍一篇关于Deep Voice的论文，Deep Voice是应用深度学习将文本转换语音的系统，详细分析了论文的创新点及其文本转语音的具体过程，对每一步骤的输入与输出解释得很清楚，相信对Deep Voice入门了解会有所帮助。
6．零基础进行神经网络语言建模
摘要：本文从最简单的语言模型开始介绍，以优化模型性能为目标，由浅到深的介绍了神经网络模型在语言模型中的应用。
7. 2017年ACL的四个NLP深度学习趋势 （一）：语言结构和词汇嵌入（Linguistic Structure and Word Embeddings）
摘要：作者通过分析2017年ACL的论文，以及演讲内容，得出了四个NLP深度学习趋势：Linguistic Structure 、 Word Embeddings、Interpretability 、Attention。今天我们就逐一分析一下这四个深度学习趋势。
8. 2017年ACL的四个NLP深度学习趋势 （二）：可解释性和注意力（Interpretability and Attention）
摘要：作者通过分析2017年ACL的论文，以及演讲内容，得出了四个NLP深度学习趋势：Linguistic Structure 、 Word Embeddings、Interpretability 、Attention。今天我们就逐一分析一下这四个深度学习趋势。
9. 自然语言处理多任务学习目标
摘要：本文作者通过阅读大量关于自然语言处理多任务的论文，并进行系统的整理分析分类。对于想要了解自然语言处理多任务学习的朋友来说，本文会在理论上给予极大的帮助。
10. 用于自然语言处理的数据集集锦
摘要：本文介绍了用于自然语言处理任务的标准数据集，在你研究深度学习的时候可以使用。
11. 词袋模型的通俗介绍
摘要：作者在文章中用浅显的语言介绍了词袋模型是什么、存在的意义是什么等问题，内容丰富，思路清晰，浅显易懂，但又不失文章所述内容的专业性、技术性，值得一读。
LSTM（时间递归神经网络）篇：
1．LSTM的“前生今世”
摘要：本文介绍了LSTM的发展历史，并且深入浅出的介绍了LSTM的核心思想（无非就是几个高深莫测的公式），作者通过图形化的方法解释了公式，使得核心思想更加容易理解。
2. 如何为LSTM重新构建输入数据（Keras）
摘要：对于初入门的开发人员，如何为LSTM准备数据一直是一个问题。在为LSTM准备数据的过程中的确有很多需要注意的问题，阅读本文可能会帮助你解决更多的问题。
3．一步一步带你用TensorFlow玩转LSTM
摘要：LSTM在解决很多实际问题上效果非常好，通过本文你可以了解到在TensorFlow中，如何实现基本的LSTM网络。
4：基于Keras的LSTM多变量时间序列预测
摘要； 还在为设计多输入变量的神经网络模型发愁？来看看大神如何解决基于Keras的LSTM多变量时间序列预测问题！文末附源码！
5. 教你打造股市晴雨表——通过LSTM神经网络预测股市
摘要：神经网络是机器学习中的热门话题。但是网络上有关LSTM在时间序列上的应用却很少，我们不妨透过本文来开拓LSTM的应用视野。
本系列博客内容由北邮@爱可可-爱生活老师推荐，@阿里云云栖社区组织翻译，翻译小组袁虎负责整理，校审：主题曲哥哥。本系列长期更新，更多关于深度学习优质好文，多多推荐！
博文地址：http://click.aliyun.com/m/32699/
