前言 这是一个TVM教程系列,计划从TVM的使用说明,再到TVM的内部源码,为大家大致解析一下TVM的基本工作原理。因为TVM的中文资料比较少,也希望贡献一下自己的力量,如有描述方…
你在看这个分类:深度学习
Pytorch中多GPU训练指北
前言 在数据越来越多的时代,随着模型规模参数的增多,以及数据量的不断提升,使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式,…
Pytorch的C++端(libtorch)在Windows中的使用
前言 填一个之前的坑啊,本篇的姊妹篇——利用Pytorch的C++前端(libtorch)读取预训练权重并进行预测 这篇文章中已经说明了如何在Ubuntu系统中使用libtorch…
利用TensorRT实现神经网络提速(读取ONNX模型并运行)
本文部分内容已经过时,不过仍有参考意义,截止2020.4.19. TRT已经出了7版本。 前言 这篇文章接着上一篇继续讲解如何具体使用TensorRT。 在之前已经写到过一篇去介绍…
Pytorch源码编译简明指南
前言 最近在浅尝Pytorch的源码,利用业余时间去品读品读,看着看着,第一次对Pytorch有了重新的认识。 原来现在Pytorch的版图是如此之大,Pytorch已经不是一年前…
解密Deepfake(深度换脸)-基于自编码器的(Pytorch代码)换脸技术
其实有关深度学习的换脸相关的研究已经很普及了,有基于`GAN`的也有基于`Glow`的,但本质上都是生成模型,只是换了一种实现方式,而这个DeepFake呢,使用的是机器学习中的*…
利用TensorRT对深度学习进行加速
前言 TensorRT是什么,TensorRT是英伟达公司出品的高性能的推断C++库,专门应用于边缘设备的推断,TensorRT可以将我们训练好的模型分解再进行融合,融合后的模型具…
利用Pytorch的C++前端(libtorch)读取预训练权重并进行预测
本篇使用的平台为Ubuntu,Windows平台的请看Pytorch的C++端(libtorch)在Windows中的使用 前言 距离发布Pytorch-1.0-Preview版的…
CUDA,CUDNN工具箱多版本安装、多版本切换
前言 cuda版本最新是10.0。 但目前最适合我们的则是9.2或者9.1。 如果我们因为某些原因想同时使用两个版本的话,应该怎么样呢? 很简单!一起按步骤来吧。 安装cuda和c…
我的模型能跑多快——神经网络模型速度调研(一)
前言 对于神经网络,我们更多谈的是其精度怎么样,有百分之零点几的提升。但是如果谈到速度的话,深度学习神经网络相比于传统的算法来说,速度恐怕没有那么快了。 那么我们什么时候需要提升速…
警惕!损失Loss为Nan或者超级大的原因
前言 训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况: 遇到这样的现象,通常有以下几个原因导致: 梯度爆炸造成Loss爆炸 原因很简单,学…
非线性激活层:RELU还是LRELU?
最近在使用自编码器复原图像,在选择RELU还是LRELU上有一点小区别。 RELU(rectified linear unit)是线性整流单元,与Sigmoid类似但是比Sigmo…
如何根据训练/验证损失曲线诊断我们的CNN
前言 在关于训练神经网路的诸多技巧Tricks(完全总结版)这篇文章中,我们大概描述了大部分所有可能在训练神经网络中使用的技巧,这对如何提升神经网络的准确度是很有效的。 然而在实际…
关于训练神经网路的诸多技巧Tricks(完全总结版)
前言 很多人都说训练神经网络和炼金术师炼药的过程相像,难以破解其中的黑盒子。其实不然,在训练的时候我们依然可以通过大量的技巧去最大化我们的训练效果,从而帮助我们的任务取得不错的精度…
如何在Pytorch中正确设计并加载数据集
本教程属于Pytorch基础教学的一部分 ————《如何在Pytorch中正确设计并加载数据集》 教程所适合的Pytorch版本:0.4.0 – 1.0.0-pre 前…