前言 TX2作为一个嵌入式平台的深度学习端,具备不错的GPU性能,我们可以发现TX2的GPU的计算能力是6.2。这意味着TX2对半精度运算有着良好的支持,我们完全可以在桌面端训练好…
你在看这个话题:机器学习
利用Pytorch的C++前端(libtorch)读取预训练权重并进行预测
本篇使用的平台为Ubuntu,Windows平台的请看Pytorch的C++端(libtorch)在Windows中的使用 前言 距离发布Pytorch-1.0-Preview版的…
CUDA,CUDNN工具箱多版本安装、多版本切换
前言 cuda版本最新是10.0。 但目前最适合我们的则是9.2或者9.1。 如果我们因为某些原因想同时使用两个版本的话,应该怎么样呢? 很简单!一起按步骤来吧。 安装cuda和c…
我的模型能跑多快——神经网络模型速度调研(一)
前言 对于神经网络,我们更多谈的是其精度怎么样,有百分之零点几的提升。但是如果谈到速度的话,深度学习神经网络相比于传统的算法来说,速度恐怕没有那么快了。 那么我们什么时候需要提升速…
更新深度学习装备:双(1080Ti)显卡装机实录
前言 之前一直在装有一张1080Ti的服务器上跑代码,但是当数据量超过10W(图像数据集)的时候,训练时就稍微有点吃力了。速度慢是一方面,关键显存存在瓶颈,导致每次训练的batch…
警惕!损失Loss为Nan或者超级大的原因
前言 训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况: 遇到这样的现象,通常有以下几个原因导致: 梯度爆炸造成Loss爆炸 原因很简单,学…
非线性激活层:RELU还是LRELU?
最近在使用自编码器复原图像,在选择RELU还是LRELU上有一点小区别。 RELU(rectified linear unit)是线性整流单元,与Sigmoid类似但是比Sigmo…
如何根据训练/验证损失曲线诊断我们的CNN
前言 在关于训练神经网路的诸多技巧Tricks(完全总结版)这篇文章中,我们大概描述了大部分所有可能在训练神经网络中使用的技巧,这对如何提升神经网络的准确度是很有效的。 然而在实际…
关于训练神经网路的诸多技巧Tricks(完全总结版)
前言 很多人都说训练神经网络和炼金术师炼药的过程相像,难以破解其中的黑盒子。其实不然,在训练的时候我们依然可以通过大量的技巧去最大化我们的训练效果,从而帮助我们的任务取得不错的精度…
如何在Pytorch中正确设计并加载数据集
本教程属于Pytorch基础教学的一部分 ————《如何在Pytorch中正确设计并加载数据集》 教程所适合的Pytorch版本:0.4.0 – 1.0.0-pre 前…
如何利用好FASTAI——新版本fastai-v1.0快速入门
前言 随着Pytorch-1.0预览版的发布,fastai-v1.0版也出世了。 之前的fastai的版本是0.7,而现在最新的fastai是1.0.6版本(稳定版),最低Pyto…
2080 Ti TensorFlow GPU基准测试 - 2080 Ti vs V100 vs 1080 Ti vs Titan V
最新的卡皇RTX 2080TI已经出世有一段日子了。 虽然难以买到,但是其对上一代1080TI确实是有不小的提升的。 那么究竟提升多少呢?接下来的文章将对其进行分析。
吴恩达-Machine learning Yearning-机器学习训练秘籍-中文完整版
完整中文版的初稿已经完成,请看最下方 前言 吴恩达的新书出来了,在之前的文章中已经提到过了 吴恩达机器学习新书:MACHINE LEARNING YEARNING免费获取 这本书的…
浅谈深度学习的落地问题
前言 深度学习不不仅仅是理论创新,更重要的是应用于工程实际。 关于深度学习人工智能落地,已经有有很多的解决方案,不论是电脑端、手机端还是嵌入式端,将已经训练好的神经网络权重在各个平…
再次浅谈Pytorch中的显存利用问题(附完善显存跟踪代码)
前言 之前在浅谈深度学习:如何计算模型以及中间变量的显存占用大小和如何在Pytorch中精细化利用显存中我们已经谈论过了平时使用中显存的占用来自于哪里,以及如何在Pytorch中更…