Update 2.4-cnn.ipynb
This commit is contained in:
parent
364b1576bf
commit
6539860362
@ -129,7 +129,7 @@
|
||||
"5. C5层是最后一个卷积层,卷积核大小:5 * 5 卷积核种类:120\n",
|
||||
"6. 最后使用全连接层,将C5的120个特征进行分类,最后输出0-9的概率\n",
|
||||
"\n",
|
||||
"一下代码来自[官方教程](https://pytorch.org/tutorials/beginner/blitz/neural_networks_tutorial.html)"
|
||||
"以下代码来自[官方教程](https://pytorch.org/tutorials/beginner/blitz/neural_networks_tutorial.html)"
|
||||
]
|
||||
},
|
||||
{
|
||||
@ -289,10 +289,10 @@
|
||||
"卷积层的参数减少。相比5x5、7x7和11x11的大卷积核,3x3明显地减少了参数量\n",
|
||||
"\n",
|
||||
"通过卷积和池化层后,图像的分辨率降低为原来的一半,但是图像的特征增加一倍,这是一个十分规整的操作:\n",
|
||||
"分辨率由输入的224->112->56->28->14->7,\n",
|
||||
"分辨率由输入的224->112->56->28->14->7,\n",
|
||||
"特征从原始的RGB3个通道-> 64 ->128 -> 256 -> 512\n",
|
||||
"\n",
|
||||
"这为后面的网络提供了一个标准,我们依旧使用Pytorch官方实现版本来查看"
|
||||
"这为后面的网络提供了一个标准,我们依旧使用Pytorch官方实现版本来查看"
|
||||
]
|
||||
},
|
||||
{
|
||||
@ -366,7 +366,7 @@
|
||||
"- 使用1×1卷积块(NiN)来减少特征数量,这通常被称为“瓶颈”,可以减少深层神经网络的计算负担。\n",
|
||||
"- 每个池化层之前,增加 feature maps,增加每一层的宽度来增多特征的组合性\n",
|
||||
"\n",
|
||||
"googlenet最大的特点就是包含若干个inception模块,所以有时候也称作 inception net\n",
|
||||
"googlenet最大的特点就是包含若干个inception模块,所以有时候也称作 inception net。\n",
|
||||
"googlenet虽然层数要比VGG多很多,但是由于inception的设计,计算速度方面要快很多。\n",
|
||||
"\n",
|
||||
"\n",
|
||||
@ -818,14 +818,14 @@
|
||||
"source": [
|
||||
"### ResNet\n",
|
||||
"2015,Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun [论文](https://arxiv.org/abs/1512.03385)\n",
|
||||
"Kaiming He 何凯明(音译)这个大神大家一定要记住,现在很多论文都有他参与(mask rcnn, focal loss),Jian Sun孙剑老师就不用说了,现在旷世科技的首席科学家\n",
|
||||
"Kaiming He 何凯明(音译)这个大神大家一定要记住,现在很多论文都有他参与(mask rcnn, focal loss),Jian Sun孙剑老师就不用说了,现在旷世科技的首席科学家。\n",
|
||||
"刚才的googlenet已经很深了,ResNet可以做到更深,通过残差计算,可以训练超过1000层的网络,俗称跳连接\n",
|
||||
"\n",
|
||||
"#### 退化问题\n",
|
||||
"网络层数增加,但是在训练集上的准确率却饱和甚至下降了。这个不能解释为overfitting,因为overfit应该表现为在训练集上表现更好才对。这个就是网络退化的问题,退化问题说明了深度网络不能很简单地被很好地优化\n",
|
||||
"\n",
|
||||
"#### 残差网络的解决办法\n",
|
||||
"深层网络的后面那些层是恒等映射,那么模型就退化为一个浅层网络。那现在要解决的就是学习恒等映射函数了。让一些层去拟合一个潜在的恒等映射函数H(x) = x,比较困难。如果把网络设计为H(x) = F(x) + x。我们可以转换为学习一个残差函数F(x) = H(x) - x. 只要F(x)=0,就构成了一个恒等映射H(x) = x. 而且,拟合残差肯定更加容易。\n",
|
||||
"深层网络的后面那些层是恒等映射,那么模型就退化为一个浅层网络。那现在要解决的就是学习恒等映射函数了。让一些层去拟合一个潜在的恒等映射函数H(x) = x,比较困难。如果把网络设计为H(x) = F(x) + x。我们可以转换为学习一个残差函数F(x) = H(x) - x。 只要F(x)=0,就构成了一个恒等映射H(x) = x. 而且,拟合残差肯定更加容易。\n",
|
||||
"\n",
|
||||
"以上又很不好理解,继续解释下,先看图:\n",
|
||||
"\n",
|
||||
|
Loading…
Reference in New Issue
Block a user