为什么加深神经网络如此有效？从卷积滤波器解释_卷积深度变深什么作用-程序员宅基地
加深层的好处
- 减少网络参数
与没有加深层的网络相比，加深了层的网络可以用更少的参数达到同等水平（或者更强）的表现力。我们通过结合卷积运算中的滤波器大小来理解。如下图展示了由5 × 5的滤波器构成的卷积层。
显然，在上图中每个输出节点都是从输入数据的某个5 × 5 的区域算出来的。接下来我们思考下图中重复两次3 × 3 的卷积运算的情形。
此时，每个输出节点将由中间数据的某个3 × 3 的区域计算出来。那么，可以进一步观察到中间数据的3 × 3 的区域又是由前一个输入数据的一个5 × 5 的区域。也就是说，上图的输出数据是“观察”了输入数据的某个5 × 5 的区域后计算出来的。
| 卷积运算 | 卷积区域大小 | 参数数量 |
|---|---|---|
| 5 x 5 | 一层5 x 5 | 25 |
| 5 x 5 | 两层3 x 3 | 18 |
| 7 x 7 | 一层7 x 7 | 49 |
| 7 x 7 | 三层3 x 3 | 27 |
一次5 × 5 的卷积运算的区域可以由两次3 × 3 的卷积运算抵充。 并且，相对于前者的参数数量25（5 × 5），后者一共是18（2 × 3 × 3），通过叠加卷积层，参数数量减少了。而且，这个参数数量之差会随着层的加深而变大。 比如，重复三次3 × 3 的卷积运算时，参数的数量总共是27。而为了用一次卷积运算“观察”与之相同的区域，需要一个7 × 7 的滤波器，此时的参数数量是49。
“叠加小型滤波器来加深网络的好处是可以减少参数的数量，扩大感受野（receptive field，给神经元施加变化的某个局部空间区域）。并且，通过叠加层，将ReLU 等激活函数夹在卷积层的中间，进一步提高了网络的表现力。这是因为向网络添加了基于激活函数的“非线性”表现力，通过非线性函数的叠加，可以表现更加复杂的东西。”
- 使学习更加高效
CNN的卷积层会分层次地提取信息。具体地说，在前面的卷积层中，神经元会对边缘等简单的形状有响应，随着层的加深，开始对纹理、物体部件等更加复杂的东西有响应。 比如，最开始的层只要专注于学
习边缘就好，这样一来，只需用较少的学习数据就可以高效地进行学习。因为比起特定的训练集，拥有某个特征的数据却十分充足，足够训练。
通过加深层，可以分层次地传递信息。也就是说，通过加深层，可以将各层要学习的问题分解成容易
解决的简单问题，从而可以进行高效的学习。
Reference
斋藤康毅. 《深度学习入门——基于python的理论与实现》[M]. 2016
智能推荐
FX3/CX3 JLINK 调试_ezusbsuite_qsg.pdf-程序员宅基地
文章浏览阅读2.1k次。FX3 JLINK调试是一个有些麻烦的事情，经常有些莫名其妙的问题。 设置参见 c:\Program Files (x86)\Cypress\EZ-USB FX3 SDK\1.3\doc\firmware 下的 EzUsbSuite_UG.pdf 文档。 常见问题： 1.装了多个版本的jlink，使用了未注册或不适当的版本 选择一个正确的版本。JLinkARM_V408l，JLinkA_ezusbsuite_qsg.pdf
用openGL+QT简单实现二进制stl文件读取显示并通过鼠标旋转缩放_qopengl如何鼠标控制旋转-程序员宅基地
文章浏览阅读2.6k次。** 本文仅通过用openGL+QT简单实现二进制stl文件读取显示并通过鼠标旋转缩放， 是比较入门的级别，由于个人能力有限，新手级别，所以未能施加光影灯光等操作， 未能让显示的stl文件更加真实。****效果图：**1. main.cpp```cpp#include "widget.h"#include <QApplication>int main(int argc, char *argv[]){ QApplication a(argc, argv); _qopengl如何鼠标控制旋转
刘焕勇&王昊奋｜ChatGPT对知识图谱的影响讨论实录-程序员宅基地
文章浏览阅读943次，点赞22次，收藏19次。以大规模预训练语言模型为基础的chatgpt成功出圈，在近几日已经给人工智能板块带来了多次涨停，这足够说明这一风口的到来。而作为曾经的风口“知识图谱”而言，如何找到其与chatgpt之间的区别，找好自身的定位显得尤为重要。形式化知识和参数化知识在表现形式上一直都是大家考虑的问题，两种技术都应该有自己的定位与价值所在。知识图谱构建往往是抽取式的，而且往往包含一系列知识冲突检测、消解过程，整个过程都能溯源。以这样的知识作为输入，能在相当程度上解决当前ChatGPT的事实谬误问题，并具有可解释性。
如何实现tomcat的热部署_tomcat热部署-程序员宅基地
文章浏览阅读1.3k次。最重要的一点，一定是degbug的方式启动，不然热部署不会生效，注意，注意！_tomcat热部署
用HTML5做一个个人网站，此文仅展示个人主页界面。内附源代码下载地址_个人主页源码-程序员宅基地
文章浏览阅读10w+次，点赞56次，收藏482次。html5 ，用css去修饰自己的个人主页代码如下：<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xh..._个人主页源码
程序员公开上班摸鱼神器！有了它，老板都不好意思打扰你！-程序员宅基地
文章浏览阅读201次。开发者（KaiFaX）面向全栈工程师的开发者专注于前端、Java/Python/Go/PHP的技术社区来源：开源最前线链接：https://github.com/svenstaro/gen..._程序员怎么上班摸鱼
随便推点
UG\NX二次开发 改变Block UI界面的尺寸_ug二次开发 调整 对话框大小-程序员宅基地
文章浏览阅读1.3k次。改变Block UI界面的尺寸_ug二次开发 调整 对话框大小
基于深度学习的股票预测（完整版，有代码）_基于深度学习的股票操纵识别研究python代码-程序员宅基地
文章浏览阅读1.3w次，点赞18次，收藏291次。基于深度学习的股票预测数据获取数据转换LSTM模型搭建训练模型预测结果数据获取采用tushare的数据接口（不知道tushare的筒子们自行百度一下，简而言之其免费提供各类金融数据 , 助力智能投资与创新型投资。）python可以直接使用pip安装tushare!pip install tushareCollecting tushare Downloading https://files.pythonhosted.org/packages/17/76/dc6784a1c07ec040e74_基于深度学习的股票操纵识别研究python代码
中科网威工业级防火墙通过电力行业测评_电力行业防火墙有哪些-程序员宅基地
文章浏览阅读2k次。【IT168 厂商动态】 近日，北京中科网威(NETPOWER)工业级防火墙通过了中国电力工业电力设备及仪表质量检验测试中心(厂站自动化及远动)测试，并成为中国首家通过电力协议访问控制专业测评的工业级防火墙生产厂商。 北京中科网威(NETPOWER)工业级防火墙专为工业及恶劣环境下的网络安全需求而设计，它采用了非X86的高可靠嵌入式处理器并采用无风扇设计，整机功耗不到22W，具备极_电力行业防火墙有哪些
第十三周 ——项目二 “二叉树排序树中查找的路径”-程序员宅基地
文章浏览阅读206次。/*烟台大学计算机学院 作者:董玉祥 完成日期: 2017 12 3 问题描述：二叉树排序树中查找的路径 */#include #include #define MaxSize 100typedef int KeyType; //定义关键字类型typedef char InfoType;typedef struct node
C语言基础 -- scanf函数的返回值及其应用_c语言ignoring return value-程序员宅基地
文章浏览阅读775次。当时老师一定会告诉你，这个一个"warning"的报警，可以不用管它，也确实如此。不过，这条报警信息我们至少可以知道一点，就是scanf函数调用完之后是有一个返回值的，下面我们就要对scanf返回值进行详细的讨论。并给出在编程时利用scanf的返回值可以实现的一些功能。_c语言ignoring return value
数字医疗时代的数据安全如何保障？_数字医疗服务保障方案-程序员宅基地
文章浏览阅读9.6k次。十四五规划下，数据安全成为国家、社会发展面临的重要议题，《数据安全法》《个人信息保护法》《关键信息基础设施安全保护条例》已陆续施行。如何做好“数据安全建设”是数字时代的必答题。_数字医疗服务保障方案