关于感受野的总结

作者&投稿:尚盲 (若有异议请与网页底部的电邮联系)
~ 感受野是卷积神经网络里面最重要的概念之一,为了更好地理解卷积神经网络结构,甚至自己设计卷积神经网络,对于感受野的理解必不可少。

一、定义

感受野被定义为卷积神经网络特征所能看到输入图像的区域,换句话说特征输出受感受野区域内的像素点的影响。

比如下图(该图为了方便,将二维简化为一维),这个三层的神经卷积神经网络,每一层卷积核的𝑘𝑒𝑟𝑛𝑒𝑙_𝑠𝑖𝑧𝑒 = 3 ,𝑠𝑡𝑟𝑖𝑑𝑒 = 1,那么最上层特征所对应的感受野就为如图所示的7x7。

二、计算方式

第1层感受野[1]

第二层特征,感受野为5

第2层感受野[1]

第三层特征,感受野为7

第3层感受野[1]

如果有dilated conv的话,计算公式为

三、更上一层楼

上文所述的是理论感受野,而特征的有效感受野(实际起作用的感受野)实际上是远小于理论感受野的,如下图所示。具体数学分析比较复杂,不再赘述,感兴趣的话可以参考论文[2]。

有效感受野示例[2]

两层3x3 conv计算流程图

四、应用

分类

Xudong Cao写过一篇叫《A practical theory for designing very deep convolutional neural networks》的technical report,里面讲设计基于深度卷积神经网络的图像分类器时,为了保证得到不错的效果,需要满足两个条件:

Firstly, for each convolutional layer, its capacity of learning more complex patterns should be guaranteed; Secondly, the receptive field of the top most layer should be no larger than the image region .

其中第二个条件就是对卷积神经网络最高层网络特征感受野大小的限制。

目标检测

现在流行的目标检测网络大部分都是基于anchor的,比如SSD系列,v2以后的yolo,还有faster rcnn系列。

基于anchor的目标检测网络会预设一组大小不同的anchor,比如32x32、64x64、128x128、256x256,这么多anchor,我们应该放置在哪几层比较合适呢?这个时候感受野的大小是一个重要的考虑因素。

放置anchor层的特征感受野应该跟anchor大小相匹配,感受野比anchor大太多不好,小太多也不好。如果感受野比anchor小很多,就好比只给你一只脚,让你说出这是什么鸟一样。如果感受野比anchor大很多,则好比给你一张世界地图,让你指出故宫在哪儿一样。

《S3FD: Single Shot Scale-invariant Face Detector》这篇人脸检测器论文就是依据感受野来设计anchor的大小的一个例子,文中的原话是

we design anchor scales based on the effective receptive field

《FaceBoxes: A CPU Real-time Face Detector with High Accuracy》这篇论文在设计多尺度anchor的时候,依据同样是感受野,文章的一个贡献为

We introduce the Multiple Scale Convolutional Layers

(MSCL) to handle various scales of face via enriching

receptive fields and discretizing anchors over layers

引用:

[1] convolutional nerual networks

[2]Understanding the Effective Receptive Field in Deep Convolutional Neural Networks

推荐阅读:

关注SIGAICN公众号,回复文章获取码,即可获得全文链接

[1] 机器学习-波澜壮阔40年 【获取码】SIGAI0413.

[2] 学好机器学习需要哪些数学知识?【获取码】SIGAI0417.

[3] 人脸识别算法演化史 【获取码】SIGAI0420.

[4] 基于深度学习的目标检测算法综述 【获取码】SIGAI0424.

[5] 卷积神经网络为什么能够称霸计算机视觉领域?【获取码】SIGAI0426.

[6] 用一张图理解SVM的脉络 【获取码】SIGAI0428.

[7] 人脸检测算法综述 【获取码】SIGAI0503.

[8] 理解神经网络的激活函数 【获取码】SIGAI0505.

[9] 深度卷积神经网络演化历史及结构改进脉络-40页长文全面解读 【获取码】SIGAI0508.

[10] 理解梯度下降法 【获取码】SIGAI0511.

[11] 循环神经网络综述—语音识别与自然语言处理的利器 【获取码】SIGAI0515.

[12] 理解凸优化 【获取码】SIGAI0518.

[13] 【实验】理解SVM的核函数和参数 【获取码】SIGAI0522.

[14] 【SIGAI综述】行人检测算法 【获取码】SIGAI0525.

[15] 机器学习在自动驾驶中的应用—以百度阿波罗平台为例(上)【获取码】SIGAI0529.

[16] 理解牛顿法 SIGAI 2018.5.31

[17] 【群话题精华】5月集锦—机器学习和深度学习中一些值得思考的问题 【获取码】SIGAI0601.

[18] 大话Adaboost算法 【获取码】SIGAI0602.

[19] FlowNet到FlowNet2.0:基于卷积神经网络的光流预测算法 【获取码】SIGAI0604.

[20] 理解主成分分析(PCA)【获取码】SIGAI0606.

[21] 人体骨骼关键点检测综述 【获取码】SIGAI0608.

[22] 理解决策树 【获取码】SIGAI0611.

[23] 用一句话总结常用的机器学习算法 【获取码】SIGAI0613.

[24] 目标检测算法之YOLO 【获取码】SIGAI0615.

[25] 理解过拟合 【获取码】SIGAI0618.

[26] 理解计算:从√2到AlphaGo ——第1季 从√2谈起 【获取码】SIGAI0620.

[27] 场景文本检测——CTPN算法介绍 【获取码】SIGAI0622.

[28] 卷积神经网络的压缩和加速 【获取码】SIGAI0625.

[29] k近邻算法 【获取码】SIGAI0627.

[30] 自然场景文本检测识别技术综述 【获取码】SIGAI0629.

[31] 理解计算:从√2到AlphaGo ——第2季 神经计算的历史背景 【获取码】SIGAI0702.

[32] 机器学习算法地图 【获取码】SIGAI0704.

[33] 反向传播算法推导-全连接神经网络 【获取码】SIGAI0706.

[34] 生成式对抗网络模型综述 【获取码】SIGAI0709.

[35] 怎样成为一名优秀的算法工程师 【获取码】SIGAI0711.

[36] 理解计算: 从√2到AlphaGo ——第3季 神经网络的数学模型 【获取码】SIGAI0702.

[37] 人脸检测算法之S3FD 【获取码】SIGAI6

[38]基于深度负相关学习的人群计数方法 【获取码】SIGAI0718

[39] 流形学习概述 【获取码】SIGAI0723

链接:https://www.jianshu.com/p/7cfa6bb6d621

来源:


关于感受野的总结
第1层感受野[1]第二层特征,感受野为5 第2层感受野[1]第三层特征,感受野为7 第3层感受野[1]如果有dilated conv的话,计算公式为 三、更上一层楼 上文所述的是理论感受野,而特征的有效感受野(实际起作用的感受野)实际上是远小于理论感受野的,如下图所示。具体数学分析比较复杂,不再赘述,感兴...

AI疯狂进阶——感受野篇
例如《The Receptive Field as a Regularizer in Deep Convolutional Neural Networks for Acoustic Scene Classification》论文通过1*1 Conv替换3*3Conv缩小ResNet和DenseNet等网络的感受野在ASC场景获取了比原始模型更高的精度;《Gated Recurrent Convolution Neural Network for OCR 》论文提出了GRCL 结构来...

交互分割实战知识笔记(1):感受野计算
感受野 是指 特征图 上的一个点在输入空间上所受影响的区域, 用人话说也就是 特征图上的点对应的原始数据上的空间大小 。以上图的标准卷积过程为例, 输出的 是有输入的一个 的区域计算而来的, 也就是它能够 感受到这个区域的信息 。感受野大小的计算公式可简单总结为:, 分别为...

生物学有关动作电位不连续性问题,在线等急急急~
最后,神经元是不是会分成很多组在不同时间发放,这个问题是这样的,神经元之间是存在一定的关联性的,刚才提到的感受野是一个特性,关联性好的神经元会倾向于对于同一刺激进行反应,不是说几个一组,而是反应间隔越低说明相应越是密切。如果你了解大脑,你会知道初级皮层的面积要比高级皮层大,也就应征...

神经系统加工外界信息时,可分为五个阶段,分别是什么?
3)脊髓或大脑通过对“感觉 信息"进行加工,产生“动作指令”。(4)“动作指令”沿神经到达相应的运动器官。(5)运动器官做出必要的反应。[解析][解答]神经加工过程是在脑、脊髓、和神经系统内完成的。反应分为5个阶段:感觉信息--传入信息--处理信息、产生指令传出指令--执行指令 ...

心理学的产生、独立与发展。
休伯尔和维厄瑟的感受野研究,斯佩里的割裂脑的研究最为著名。 在记忆方面,人们相信既然经验可以在头脑中长久地保存下来,那么大脑的生理结构必定发生了某种物质变化,或遗留下某种痕迹。人们设想,核糖核酸就是要寻找的记忆物质。研究还发现,能促进蛋白质合成的药物可以加速学习过程,抑制蛋白质合成的药物则阻止长时记忆的...

无人机、航空图像目标检测总结
6、感受野需根据目标尺度而选取。小感受野捕获不了完整信息,大感受野引入更多背景噪声(小目标对感受野更加敏感);7、Anchor尺度和比例的选取和与GT匹配机制,保证更多的anchor匹配到小目标上;8、可以从定位和识别两个角度单独思考,设计专门的分类头和回归头(分类所需特征与检测所需特征之间具有一定偏移...

【CV论文笔记】Convolutional Pose Machines(CPM理解)
意思就是尽可能的去学习关节点内在的一些依赖关联关系。而作者选择通过增大卷积核的方式来增大感受野也是为了控制整体的参数数量(其他方式还包括,采用pooling操作但是牺牲精度;或者增加卷积层个数,但是会增大参数量)。作者也在论文中贴了一张实验结果图,来证明,增大感受野能够提升最后的准确率,而这种...

一篇文章读懂图像识别算法的来龙去脉
在深度学习的革命中,图像识别模型扮演着至关重要的角色,它们从最初的特征提取工具逐渐演变成端到端的解决方案。传统方法依赖于归纳总结的特征,如边缘和角点,通过机器学习模型进行分类。然而,当深度学习引领潮流,尤其是卷积神经网络(CNN)的出现,它以其特有的卷积操作解决了信息丢失的难题,如LeNet,它...

我所了解的图像分割
因为相邻临的像素对应感受野内的图像信息太过相似了,如果临近的像素都属于所需分割区域的内部,那么这种‘相似’是有利的,但是如果相邻 像素刚好处在所需分割区域的边界上,那么这种相似就是有害的了。上下文特征是很常见的,其实上下文大概去理解就是图像中的每一个像素点不可能是孤立的,一个像素一定...

红旗区17826631231: 读完索溪峪的野你有什么体会? -
咸狱纳可:[答案] 索溪峪的美是一种“野性的美”,是不经过人工修饰的纯天然的美.这种美给人以净化的返朴归真的自然美,是净化到了心灵的美,同时也让人感受到了生活的美.只一个“野”字,就生动地写出了索溪峪的独特的自然风光.索溪峪的...

红旗区17826631231: 感受野的介绍 -
咸狱纳可: 指感受器对适宜刺激发生反应的空间范围.当感受器受刺激兴奋时,通过感受器官中的向心神经元将神经冲动(各种感觉信息)传到上位中枢,一个神经元所反应(支配)的刺激区域就叫做神经元的感受野(receptive field).

红旗区17826631231: 神经细胞的感受野到底是什么意思 -
咸狱纳可: 神经节细胞的其中2个种类:ON中心型,OFF中心型 当在感受野中心把光点撤走时,它会有强烈的发放.(发放的小圆区域为ON区),相反的,如果给光在视野中心,就停止发放,在这个小的中心圆形区域以外,围绕它们有一个环形范围.在...

红旗区17826631231: 人脑是怎样认知图像的?——非经典感受野通俗解释1 -
咸狱纳可:[答案] 不过,我们还是应该试试.1.经典感受野(同心圆结构感受野)的局限性 计算机只会机械的执行程序代码! 但是,请注意!这些代码是用来执行数学运算的,而被运算的数学模型是依据人脑识别图像的原理建立的,更准确的说,是依据我们自以为是...

红旗区17826631231: 神经节细胞感受野问题
咸狱纳可: 小X绵羊 你所理解的不完全正确. 你看到这里,应该首先明白“感受野的同心圆结构” 神经节细胞的其中2个种类:ON中心型,OFF中心型 ON中心型:当一个光点投射到感受野中心时,这种神经节细胞的发放骤然增加.(发放的区域,是以视...

红旗区17826631231: 索溪峪的野读后感一篇200字左右.
咸狱纳可: 索溪峪的野读后感 这儿的山是野的,水是野的,这是一种不加掩饰的磅礴的美,这就是《索溪峪的野》这篇文章带我们领略到的美,文章通过描写索溪峪的秀丽景色,赞颂了索溪峪天然纯朴野性的美,表达了作者畅游其间无比愉快的心情. 这...

红旗区17826631231: 索溪峪的野读后感200字 -
咸狱纳可: 《索溪峪 的“野”》读后感 《索溪峪的“野”》这篇文章,作者详细介绍索溪峪的山、水、人、动物的特点,无论是那一方面的描写,无不透出作者的喜爱,赞美之情,更表现了索溪峪景色的最大物点:“野”.那山是没有一点人工痕迹的纯自然的,水更是如此,而这种没有人工痕迹的自然美是任何东西也取代不了手. 张家界索溪峪的山、水、路、动物都是野的,因为它们都是天然的美,惊险的美,在这充满野性的山水间行走,人们也渐渐变野了.我也想在索溪峪走一走,看一看,要爬一爬惊险的山峰,蹚一蹚野性的索溪,看能不能变成野的,我还要逗一逗野性十足的小动物玩.最后我要在这张家界的索溪峪的山水中返璞归真.望采纳~ 如果还有什么疑问可以继续追问!

红旗区17826631231: 索溪峪的野给你留下了怎样的印象50字以内现在就用拜托了求求了各位各位 -
咸狱纳可: 索溪峪的野,索溪峪的一切都令我感到了无限的回味,心中十分留恋很想亲身体验那种自由与奔放,现在世界中那么美好的景象已经不多了,希望人们能保护她 你们才学吗?我们学完几个月了

红旗区17826631231: 为什么感受野呈同心圆式内圈和外圈有什么不同,为什么 ?请用简单点的语言,不要一大段 谢谢!~ -
咸狱纳可:[答案] 内圈有一个环状上盖,有定位要求的(一般配有定位销),检查一下;它和盖下气道定位密封后迫使或叫分配气体均布;你的情况可能是局部由较大缝隙,再有是否存在气孔有部分堵塞或有气孔(气隙)变大的情况或风门管闭了;红色可调节进入氧...

红旗区17826631231: 通过学习,你对索溪峪的“野”的理解是??这种“野”荡涤着我的胸怀,使我感到??本文着重描写索溪峪的 -
咸狱纳可: 因为索溪峪是天然 野性的美,让每个置身于索溪峪的人脑子里一切意念度都被净化了,人们在这里返璞归真,没有了市井中的那股俗气,使人与人之间多了许多亲热与随和,所以索溪峪的野, 荡涤着我的胸怀

本站内容来自于网友发表,不代表本站立场,仅表示其个人看法,不对其真实性、正确性、有效性作任何的担保
相关事宜请发邮件给我们
© 星空见康网