前言 训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况： 遇到这样的现象，通常有以下几个原因导致： 梯度爆炸造成Loss爆炸 原因很简单，学…

最近在使用自编码器复原图像，在选择RELU还是LRELU上有一点小区别。 RELU(rectified linear unit)是线性整流单元，与Sigmoid类似但是比Sigmo…

前言 在关于训练神经网路的诸多技巧Tricks(完全总结版)这篇文章中，我们大概描述了大部分所有可能在训练神经网络中使用的技巧，这对如何提升神经网络的准确度是很有效的。 然而在实际…

前言 很多人都说训练神经网络和炼金术师炼药的过程相像，难以破解其中的黑盒子。其实不然，在训练的时候我们依然可以通过大量的技巧去最大化我们的训练效果，从而帮助我们的任务取得不错的精度…

前言 随着Pytorch-1.0预览版的发布，fastai-v1.0版也出世了。 之前的fastai的版本是0.7，而现在最新的fastai是1.0.6版本(稳定版)，最低Pyto…

前言 在即将结束研究生第一年之际，前来谈谈自己的感受。 你可以把这篇文章当做深度学习者、程序员、研究生的简短自白。可能会有点啰嗦，会有点无趣。但如果有时间、感兴趣，不妨阅读阅读，或…

自编码器是什么，自编码器是个神奇的东西，可以提取数据中的深层次的特征。例如我们输入图像，自编码器可以将这个图像上“人脸”的特征进行提取(编码过程)，这个特征就保存为自编码器的潜变量…

前言 偶尔翻翻深度学习方面的新闻信息，不得不再次感慨：深度学习真的是太好玩了！兴趣最重要，抛开深度学习玄妙复杂的内涵不谈，我们不应该咱直接被其复杂公式和理论而吓退。相反，让我们来看…

前言 这两天事情比较多，偶尔玩玩深度学习小游戏也是不错的~ 深度学习吃豆人小游戏 TensorFlow.JS，之前就发现这个好玩的东东，但是一直没有时间去看，作为一名深度学习者，没…

深度学习中，许多的实现并不单单是神经网络的搭建和训练，也包括使用一系列传统的方法与之结合的方式去增强深度学习的实现效果，在语义分割(semantic segmentation)和风…

前言 在上篇文章《浅谈深度学习:如何计算模型以及中间变量的显存占用大小》中我们对如何计算各种变量所占显存大小进行了一些探索。而这篇文章我们着重讲解如何利用Pytorch深度学习框架…

前言 亲，显存炸了，你的显卡快冒烟了！ torch.FatalError: cuda runtime error (2) : out of memory at /opt/conda…

前言 在之前的那篇文章中：深度学习图像分割（一）——PASCAL-VOC2012数据集（vocdevkit、Vocbenchmark_release）详细介绍 我们大概了解了VOC…

前言 深度学习中，设计模型以及保证模型的正确性是首要需要考虑的。当模型设置完成时，理论上模型不存在问题，实现效果也通过计算可以复现出来。一切准备就绪后，那么接下来需要操作的就是——…

前言 数据规范-Normalization是深度学习中我们很容易忽视，也很容易出错的问题。我们训练的所有数据在输入到模型中的时候都要进行一些规范化。例如在pytorch中，有些模型…