深度学习综述（译）_high way lstm-程序员宅基地

本文参考了Recent Advances in Deep Learning: An Overview，并简单的翻译了一下，供自己学习使用，该论文列举了最近几年深度学习的重要研究成果，从方法、架构、正则化以及技术方面进行了概述，是值得学习的一篇文章，码字不易，且行且珍惜，欢迎交流讨论。

一、摘要

深度学习是机器学习和人工智能研究的最新趋势之一。它也是当今最流行的科学研究趋势之一。深度学习方法带来了计算机视觉和机器学习方面的革命性进步。时不时地，新的深度学习技术应运而生，其性能超过了最先进的机器学习，甚至现有的深度学习技术。近年来，世界在该领域取得了许多重大突破。由于深度学习的发展速度非常快，因此很难跟踪常规的进展，特别是对于新的研究人员而言。在本文中，我们将简要讨论一下深度学习在过去几年中的最新进展。

二、引言

      “深度学习”（DL）一词于1986年首次引入机器学习（ML），随后于2000年用于人工神经网络（ANN）（Schmidhuber，2015年）。深度学习方法由多层组成，以多层抽象的方式学习数据特征（LeCun et al.，2015）。 DL方法允许计算机通过从相对简单的概念来学习复杂的概念（Goodfellow等人，2016）。对于人工神经网络（ANN），深度学习（DL）(又称分层学习（Deng and Yu，2014))是关于在多个计算阶段准确分配信用，以转换网络中的聚合激活（Schmidhuber，2014）。为了学习复杂的功能，将深度架构与多个抽象级别（即非线性操作）结合使用。例如具有许多隐藏层的人工神经网络（Bengio，2009）。准确地说，深度学习是机器学习的一个子领域，它使用许多层次的非线性信息处理和抽象，来进行有监督或无监督的特征学习、表示、分类和模式识别（Deng和Yu，2014年））。
      深度学习，即表示学习是机器学习的分支或子领域。大多数人认为最近的深度学习方法是2006年以来开发的（Deng，2011年）。本文概述了最新的深度学习技术，主要推荐给即将涉足该领域的研究人员。本文包括DL的基本概念，主要方法，最新进展和应用。
      综述论文是非常有益的，特别是对于某一特定领域的新研究人员而言。只要该领域如果在不久的将来和相关应用中具有重大价值的话，通常很难跟踪研究领域的最新进展。如今，科学研究是一种有吸引力的职业，因为知识和教育比以往任何时候都更加容易获得和分享。对于一种技术的研究趋势而言，唯一正常的假设是将它会以各种方式取得许多进步和改进。几年前对某个特定领域的概述，而现在可能已过时了。
      考虑到近年来深度学习的普及和推广，我们简要概述了深度学习和神经网络（NN），以及它在过去几年中的主要进展和重大突破。我们希望本文能为该领域的许多新手研究人员提供帮助，全面了解最新的深度学习研究和技术，并指导他们以正确的方式开始。我们也希望通过这项工作向这个时代的DL和ANN顶级研究人员致敬，例如:Geoffrey Hinton（Hinton），Juergen Schmidhuber（Schmidhuber），Yann LeCun（LeCun），Yoshua Bengio（Bengio）和许多其他研究学者。他们精心打造了现代人工智能（AI）。跟进他们的工作，以保持DL和ML研究的最新水平，对我们来说也很重要。
      在本文中，首先，我们将对过去有关深度学习模型和方法的综述文章进行简短描述。然后，我们将开始描述该领域的最新进展。我们将讨论深度学习（DL）方法，深度架构（即深度神经网络（DNN）和深度生成模型（DGM）），以及重要的正则化和优化方法。另外，有两个简短的部分，对于开源DL框架和重要的DL应用程序进行总结。最后，我们将在最后两个章节（即讨论和结论）中讨论深度学习的现状和未来。

三、相关研究

      在过去几年中，有许多关于深度学习（DL）的综述文章。他们以很好的方式描述了DL方法和方法论，以及它们的应用和未来研究的方向。在这里，我们将简要介绍一些深度学习方面的优秀的综述论文。
      Young等人（2017）讨论了主要用于自然语言处理（NLP）的DL模型和架构。他们展示了DL在各个NLP领域中的应用，比较了DL模型，并讨论了可能的未来趋势。
      Zhang等人（2017）讨论了用于前端和后端语音识别系统的最新深度学习技术。
      Zhu等人（2017）提出了有关DL遥感技术的最新进展。他们还讨论了用于深度学习的开源DL框架和其他技术细节。
      Wang等人（2017）描述了深度学习模型在时间顺序方式上的演变。简要介绍了模型，并介绍了DL研究的突破。如果想以进化的方式了解深度学习的起源，那么这篇论文将是不错的阅读。他们还提到了神经网络的优化和未来的研究。
      Goodfellow等人（2016年）详细讨论了深度网络和生成模型。他们从机器学习（ML）的基础知识，深度架构的优缺点出发，全面总结了最近的DL研究和应用。
       LeCun等人（2015）发表了使用卷积神经网络（CNN）和递归神经网络（RNN）的深度学习（DL）模型的概述。他们从表示学习的角度描述了DL，展示了DL技术是如何工作的以及如何在各种应用中成功使用，并基于无监督学习（UL）预测了未来的学习。他们还指出了文献中DL的重大进展的文章。
       Schmidhuber（2015）对深度学习以及CNN，RNN和深度强化学习（RL）进行了一般性的历史回顾。他强调了序列处理的RNN，同时指出了基本DL和NN的局限性，以及改进它们的技巧。
       Nielsen（2015）详细描述了神经网络以及代码和示例。他还在某种程度上讨论了深度神经网络和深度学习。
       Schmidhuber（2014）讨论了基于时间序列的神经网络、采用机器学习方法进行分类，以及在神经网络中使用深度学

本文链接：https://blog.csdn.net/xiasli123/article/details/102757144

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

艾美捷Epigentek DNA样品的超声能量处理方案-程序员宅基地

文章浏览阅读15次。空化气泡的大小和相应的空化能量可以通过调整完全标度的振幅水平来操纵和数字控制。通过强调超声技术中的更高通量处理和防止样品污染，Epigentek EpiSonic超声仪可以轻松集成到现有的实验室工作流程中，并且特别适合与表观遗传学和下一代应用的兼容性。Epigentek的EpiSonic已成为一种有效的剪切设备，用于在染色质免疫沉淀技术中制备染色质样品，以及用于下一代测序平台的DNA文库制备。该装置的经济性及其多重样品的能力使其成为每个实验室拥有的经济高效的工具，而不仅仅是核心设施。

11、合宙Air模块Luat开发：通过http协议获取天气信息_合宙获取天气-程序员宅基地

文章浏览阅读4.2k次，点赞3次，收藏14次。目录点击这里查看所有博文本系列博客，理论上适用于合宙的Air202、Air268、Air720x、Air720S以及最近发布的Air720U（我还没拿到样机，应该也能支持）。先不管支不支持，如果你用的是合宙的模块，那都不妨一试，也许会有意外收获。我使用的是Air720SL模块，如果在其他模块上不能用，那就是底层core固件暂时还没有支持，这里的代码是没有问题的。例程仅供参考！..._合宙获取天气

EasyMesh和802.11s对比-程序员宅基地

文章浏览阅读7.7k次，点赞2次，收藏41次。1 关于meshMesh的意思是网状物，以前读书的时候，在自动化领域有传感器自组网，zigbee、蓝牙等无线方式实现各个网络节点消息通信，通过各种算法，保证整个网络中所有节点信息能经过多跳最终传递到目的地，用于数据采集。十多年过去了，在无线路由器领域又把这个mesh概念翻炒了一下，各大品牌都推出了mesh路由器，大多数是3个为一组，实现在面积较大的住宅里，增强wifi覆盖范围，智能在多热点之间切换，提升上网体验。因为节点基本上在3个以内，所以mesh的算法不必太复杂，组网形式比较简单。各厂家都自定义了组_802.11s

线程的几种状态_线程状态-程序员宅基地

文章浏览阅读5.2k次，点赞8次，收藏21次。线程的几种状态_线程状态

stack的常见用法详解_stack函数用法-程序员宅基地

文章浏览阅读4.2w次，点赞124次，收藏688次。stack翻译为栈，是STL中实现的一个后进先出的容器。要使用 stack，应先添加头文件include<stack>，并在头文件下面加上“ using namespacestd;"1. stack的定义其定义的写法和其他STL容器相同, typename可以任意基本数据类型或容器：stack<typename> name;2. stack容器内元素的访问..._stack函数用法

2018.11.16javascript课上随笔（DOM）-程序员宅基地

文章浏览阅读71次。<li> <a href = "“#”>-</a></li><li>子节点：文本节点（回车），元素节点，文本节点。不同节点树：　　节点（各种类型节点）childNodes:返回子节点的所有子节点的集合，包含任何类型、元素节点（元素类型节点）：child。node.getAttribute(at...

随便推点

layui.extend的一点知识第三方模块base 路径_layui extend-程序员宅基地

文章浏览阅读3.4k次。//config的设置是全局的layui.config({ base: '/res/js/' //假设这是你存放拓展模块的根目录}).extend({ //设定模块别名 mymod: 'mymod' //如果 mymod.js 是在根目录，也可以不用设定别名 ,mod1: 'admin/mod1' //相对于上述 base 目录的子目录}); //你也可以忽略 base 设定的根目录，直接在 extend 指定路径（主要：该功能为 layui 2.2.0 新增）layui.exten_layui extend

5G云计算：5G网络的分层思想_5g分层结构-程序员宅基地

文章浏览阅读3.2k次，点赞6次，收藏13次。分层思想分层思想分层思想-1分层思想-2分层思想-2OSI七层参考模型物理层和数据链路层物理层数据链路层网络层传输层会话层表示层应用层OSI七层模型的分层结构TCP/IP协议族的组成数据封装过程数据解封装过程PDU设备与层的对应关系各层通信分层思想分层思想-1在现实生活种，我们在喝牛奶时，未必了解他的生产过程，我们所接触的或许只是从超时购买牛奶。分层思想-2平时我们在网络时也未必知道数据的传输过程我们的所考虑的就是可以传就可以，不用管他时怎么传输的分层思想-2将复杂的流程分解为几个功能_5g分层结构