深度学习基础入门篇[9.2]：卷积之1*1 卷积（残差网络）、2D/3D卷积、转置卷积数学推导、应用实例
探索深度学习基石：一窥1x1卷积的奥秘与应用
1x1卷积，看似简约却蕴含深度：它在神经网络中起着至关重要的作用，通过忽略空间信息，聚焦于通道间的交互。例如，3x3输入通道3，仅用4个1x1核即可生成4通道输出。这种操作旨在整合跨通道信息，实现降维与升维，为GoogLeNet的Inception模块提供了强大支持。
Inception模块的精妙设计在于多路径处理，包括不同大小的卷积核，特别是1x1卷积，它在减小模型参数的同时，确保了表达能力的保持。以GoogLeNet为例，通过减小通道数，Inception模块巧妙地控制了参数膨胀，见代码片段：
```html
代码示例：
Inception(self, c0, c1, c2, c3, c4, **kwargs):...
```
在ResNet的残差网络中，1x1卷积扮演了关键角色。如图3所示，1x1卷积在瓶颈结构中减少中间层通道数，减小了参数，同时维持了模型的深度学习能力。通过对比不同结构的参数变化，1x1卷积成为了高效学习的利器。
```html
ResNet模型片段：
class ResidualBlock(nn.Layer):...
```
2D与3D卷积的差异在于前者处理二维图像，后者则拓展至三维空间，如视频分析与医疗影像分析。3D CNN如在人体行为识别中，由3D卷积层、全连接层和池化层构成，而3D U-Net则在医疗图像分割中应用，将2D U-Net的2D卷积升级为3D版本。
转置卷积，或称上采样，是逆向操作，旨在恢复图像尺寸，如DCGAN生成全尺寸图片。通过矩阵操作，标准卷积的逆运算，即转置卷积，如图6所示，实现了从$16imes16$到$4imes4$的尺寸扩展，反之亦然，且受步长$s$的影响，提供了灵活的上采样控制。
总结来说，1x1卷积、2D/3D卷积和转置卷积是深度学习中不可或缺的构建模块，它们通过数学推导和实际应用展示了深度学习的灵活性和力量。深入理解这些概念，将有助于我们更好地设计和优化深度学习模型。参考文献：[1-4]。
电脑基础知识入门学习
电脑基础知识入门学习：1、学习电脑之前，可以先列一个表，看自己要学习哪些东西，先记录下来。2、鼠标演练是第一步。拖动，复制、粘贴、移动等等。主要是训练对于鼠标功能的了解，以及熟练度。3、开始学习用键盘上打字母，打拼音、打汉字。下载安装一个“打字通”即可，练习对于键盘的熟练度等等。也可以...
深度学习如何入门
深度学习如何入门介绍如下：要想学习深度学习就必须先学习机器学习，学习机器学习，首先需要储备的知识就是高等数学、线性代数以及统计数学的基础知识，其中统计数学最重要，推荐可以看李沐老师的《统计学习方法》，学习概率分布、大数定律等等。机器学习，需要学习监督学习，包括线性回归、逻辑回归、梯度下降方法...
钢琴教学入门零基础
一、学习正确的坐姿 在学习钢琴之前，首先要注意坐姿的正确性。坐姿应自然、端正，有利于弹奏。不要过于紧张或松懈。身体的重心应依靠臀部和脚尖支撑。座位的高度应根据弹奏者的高矮来决定，确保肘、前臂、手与键盘保持一个相同的水平高度。座位的位置也要根据胳膊的长度来调整，以便胳膊可以自如地移动。二...
新手如何快速入门深度学习领域
这里我暂且认为想要入门的同学们的基础都是比较薄弱的，咱们不能跳过传统机器学习这条路直接一大步迈进深度学习这个领域中，我们起码要知道神经网络是怎么一回事。这对于咱们理解以及掌握深度学习有着重要的帮助，比如咱们第一步要做的就是去搞明白什么是前向和反向传播以及从头到尾的自己推导一遍，有了这样...
新手入门快速学习摄影基础知识|零基础
感光度ISO ISO数值越大，进光量越多，照片越亮，画质越差 ISO数值越小，进光量越少，照片越暗。画质越好 对焦模式 单次自动对焦(AF-S)一般半按快门后，相机出现 “滴~ “一声说明对焦成功，这一模式适合拍摄一些静物、人像 、风光推荐新手入门的宝宝用这一模式。连续自动对焦(AF-C)这一模式适合...
零基础入门深度学习 |最终篇:递归神经网络
定义一个TreeNode类，它承载了节点向量维度（node_width）、子节点数量（child_count）和激活函数对象，以及学习率等核心参数。构造函数初始化权重W和偏置b，并定义根节点。前向计算forward函数接收子节点树，计算并存储父节点值于根节点。concatenate函数则将子节点数据整合为一个长向量。BPTS反向传播...
深度学习学习怎么学才能入门?
1、循序渐进，打好数学基础。先将基础的数据分析、线性代数及矩阵等高等数学基础知识学透，入门以后再去学习算法。2、学好Python编程语言。深度学习是人工智能的核心技术，而Python由于具有丰富和强大的库，语法简洁易懂，常常是人工智能新手学习的首选语言。3、加强实操练习。当你掌握了基本的技术理论，就要...
算法入门学习,图解基础知识篇
如常数时间O(1)，线性时间O(n)，对数时间O(log n)等。同样重要的是空间复杂度，衡量算法内存消耗，包括常数空间O(1)、线性空间O(n)等，这些都是评估算法性能的重要指标。现在，你已经对基础概念有了初步了解，准备好跟随ChatGPT的脚步，踏入算法学习的殿堂，一起探索算法的奥秘和魅力吧！
萨克斯学习入门
萨克斯学习入门：一、萨克斯基础：1、口型：口型的正确与否能够影响到发音，不正确的口型会将下唇咬坏，引发感染，甚至引发牙齿的畸形，初学者应牢记口型的注意事项。（1）下颌放松，微收下唇，使下唇的二分之一部分覆盖下牙，嘴呈微笑状自然向两侧微微拉开。（2）将笛头轻攻入口中，上牙和上唇轻触在...
ai新手入门教程
AI新手入门教程分为五个部分：编程基础、机器学习基础、深度学习基础、数据处理技能以及了解应用场景。1. 编程基础 AI开发依赖于编程技能。初学者应选择Python或Java等编程语言，掌握基本的语法和编程逻辑。2. 机器学习基础 机器学习是AI的核心技术之一。初学者需要了解监督学习、无监督学习、半监督学习等概念...
莫实依洁： 深度学习的概念源于人工神经网络的研究.含多隐层的多层感知器就是一种深度学习结构.深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示.多层神经网络是指单计算层感知器只能解决线性...
襄城区15161422547： 深度学习中的卷积层怎么做,有什么作用 - ？
莫实依洁： 那么可以两个设备同时并行.如果cpu也支持,前提是显卡需要支持opencl技术可以使用opencl编写gpu平台kernel代码并行加速计算量
襄城区15161422547： 神经网络(深度学习)的几个基础概念 - ？
莫实依洁： 从广义上说深度学习的网络结构也是多层神经网络的一种.传统意义上的多层神经网络是只有输入层、隐藏层、输出层.其中隐藏层的层数根据需要而定,没有明确的理论推导来说明到底多少层合适.而深度学习中最著名的卷积神经网络CNN,在原来多层神经网络的基础上,加入了特征学习部分,这部分是模仿人脑对信号处理上的分级的.具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层,而且加入的是一个层级.输入层 - 卷积层 -降维层 -卷积层 - 降维层 -- .... -- 隐藏层 -输出层简单来说,原来多层神经网络做的步骤是:特征映射到值.特征是人工挑选.深度学习做的步骤是 信号->特征->值. 特征是由网络自己选择.
襄城区15161422547： 如何理解卷积神经网络中的权值共享 - ？
莫实依洁： 简单谈谈自己的理解吧.池化:把很多数据用最大值或者平均值代替.目的是降低数据量.卷积:把数据通过一个卷积核变化成特征,便于后面的分离.计算方式与信号系统中的相同.
襄城区15161422547： 卷积神经网络和深度神经网络的区别是什么 - ？
莫实依洁： 深度网络是一个大类,传统意义上我们认为隐含层的层数多于3的神经网络都称为深度网络.研究比较火热的深度网络包括:多层感知机,卷积神经网络,深度置信网络,深度玻尔兹曼机等等.
襄城区15161422547： 深度学习CNN,用卷积和下采样,为什么就有效 - ？
莫实依洁： 1.很大. 以CNN为例,训练需要大量数据,大量迭代,对计算能力的要求很高.故GOOGLE有dist-belief, 百度有minwa, 要么是CPU集群要么是GPU集群,计算能力不够根本玩都玩不过来,在IMAGENET上验证下算法就得十天半个月. 2.不太了解.
襄城区15161422547： 深度卷积神经网络的输入可以是手工提取的特征吗 - ？
莫实依洁： 可以啊,但是没必要,卷积网本身就能够自动智能的提取特征,你只要设计好网络结构,每个卷积提取多少个特征就行了.
襄城区15161422547： 深度学习Caffe实战笔记Caffe平台下,怎样调整卷积神经网络结构 - ？
莫实依洁： 调整cnn网络结构需要增加或者减少layer的层数,并且更改layer的类型,比如在现有的conv层和pooling层后面继续增加conv层和pooling层,目的是为了提取更高层次的特征.当然你也可以增加全连接层数目(那么做训练会变慢--、),修改激活函数和填充器类型.建议你还是使用caffe中自带的cifar10_quick和caffenet进行训练,然后针对你的数据修改相应的网络参数和solver参数.
襄城区15161422547： “深度学习”和“多层神经网络”的区别 - ？
莫实依洁： “深度学习”和“多层神经网络”不存在区别关系.深度学习的网络结构是多层神经网络的一种.深度学习中最著名的卷积神经网络CNN,在原来多层神经网络的基础上,加入了特征学习部分,这部分是模仿人脑对信号处理上的分级的.广义...
襄城区15161422547： 深度学习算法有哪些卷积神经网络 - ？
莫实依洁： 这个太多了,卷积是一种结构,凡是包含这种结构的深度网络都是卷积神经网络.比较知名的有:VGG、GoogleNet、Resnet等
