还是爱折腾… 前一阵子买了个新的笔记本电脑,幻13-3050TI-1T版本,全能本,CPU是8核心16线程的标压版AMD锐龙9-5900HS,显卡是NVIDIA-305…

还是爱折腾… 前一阵子买了个新的笔记本电脑,幻13-3050TI-1T版本,全能本,CPU是8核心16线程的标压版AMD锐龙9-5900HS,显卡是NVIDIA-305…
什么是torch.fx 今天聊一下比较重要的torch.fx,也趁着这次机会把之前的torch.fx笔记整理下,笔记大概拆成三份,分别对应三篇: 什么是torch.fx 基于tor…
好久不见各位~ 这篇文章很久之前写完一直没有整理,最近终于是整理差不多了,赶紧发出来。 本文接着《必看部署系列-神经网络量化教程:第一讲!》这一篇接着来说。上一篇主要说了量化的一些…
老潘刚开始接触神经网络量化是2年前那会,用NCNN和TVM在树莓派上部署一个简单的SSD网络。那个时候使用的量化脚本是参考于TensorRT和NCNN的PTQ量化(训练后量化)模式…
终于把TensorRT的engine模型的结构图画出来了! 大概长这样(截取了最终模型图的输入部分),仔细看看: 可以看到很多层被融合了,比如conv1.weight + Quan…
今天简单聊聊模型权重,也就是我们俗称的weight。 深度学习中,我们一直在训练模型,通过反向传播求导更新模型的权重,最终得到一个泛化能力比较强的模型。同样,如果我们不训练,仅仅随…
不得不相信英伟达总能给我们惊喜,老潘作为一名深度学习从业者以及游戏爱好者,对于这种与AI、GPU、并行计算相关的话题一直都是比较感兴趣。作为深度学习第一大硬件平台的英伟达,我们自然…
简单的Batch Normalization BN、Batch Normalization、批处理化层。 想必大家都不陌生。 BN是2015年论文Batch Normalizati…
Hello我是老潘,好久不见各位。 最近在复盘今年上半年做的一些事情,不管是训练模型、部署模型搭建服务,还是写一些组件代码,零零散散是有一些产出。 虽然有了一点点成果,但仍觉着缺点…
某晚上,老潘正在吭哧吭哧写关于AI部署的文章,突然阿里云给我发了3个邮件,大意就是: 服务器快到期了,该续费了 域名也快到期了,该续费了 SSL证书快到期了,该续费了 噢,又到了一…
前言 大名鼎鼎的TensorRT有多牛逼就不多说了,因为确实很好用。 作为在英伟达自家GPU上的推理库,这些年来一直被大力推广,更新也非常频繁,issue反馈也挺及时…
前言 今儿个聊聊动态链接库。 动态链接库(又简称动态库)是很多工程项目中不可缺少的一部分。俗称.so文件(姑且就以linux系统为例,在windows中称为dll,在mac中为的d…
问题的开始 前些天尝试使用TensorRT转换一个模型,模型用TensorFlow训练,包含LSTM+Transform+CNN,是一个典型的时序结构模型,包含编码解码结构,暂称为…
紧接着前几天的事: 特殊的日子,想起了当年的双(1080TI)显卡装机实录 和 炼丹炉买不起了:聊一聊这段日子的显卡行情 之后,决定买一台整机玩玩。 而现在,主机终于回!来!了!主…