还是爱折腾… 前一阵子买了个新的笔记本电脑，幻13-3050TI-1T版本，全能本，CPU是8核心16线程的标压版AMD锐龙9-5900HS，显卡是NVIDIA-305…

什么是torch.fx 今天聊一下比较重要的torch.fx，也趁着这次机会把之前的torch.fx笔记整理下，笔记大概拆成三份，分别对应三篇： 什么是torch.fx 基于tor…

好久不见各位~ 这篇文章很久之前写完一直没有整理，最近终于是整理差不多了，赶紧发出来。 本文接着《必看部署系列-神经网络量化教程：第一讲！》这一篇接着来说。上一篇主要说了量化的一些…

老潘刚开始接触神经网络量化是2年前那会，用NCNN和TVM在树莓派上部署一个简单的SSD网络。那个时候使用的量化脚本是参考于TensorRT和NCNN的PTQ量化（训练后量化）模式…

终于把TensorRT的engine模型的结构图画出来了！ 大概长这样（截取了最终模型图的输入部分），仔细看看： 可以看到很多层被融合了，比如conv1.weight + Quan…

今天简单聊聊模型权重，也就是我们俗称的weight。 深度学习中，我们一直在训练模型，通过反向传播求导更新模型的权重，最终得到一个泛化能力比较强的模型。同样，如果我们不训练，仅仅随…

不得不相信英伟达总能给我们惊喜，老潘作为一名深度学习从业者以及游戏爱好者，对于这种与AI、GPU、并行计算相关的话题一直都是比较感兴趣。作为深度学习第一大硬件平台的英伟达，我们自然…

大家好我是老潘。 好久不见，各位近来可好？ 马上7月中旬了，老潘是去年7月6号来京的，现在已经满一年了。时间过得真快呀。 老潘是个佛系的人，虽然自己对技术有些追求，也有一些想法，工…

简单的Batch Normalization BN、Batch Normalization、批处理化层。 想必大家都不陌生。 BN是2015年论文Batch Normalizati…

Hello我是老潘，好久不见各位。 最近在复盘今年上半年做的一些事情，不管是训练模型、部署模型搭建服务，还是写一些组件代码，零零散散是有一些产出。 虽然有了一点点成果，但仍觉着缺点…

某晚上，老潘正在吭哧吭哧写关于AI部署的文章，突然阿里云给我发了3个邮件，大意就是： 服务器快到期了，该续费了 域名也快到期了，该续费了 SSL证书快到期了，该续费了 噢，又到了一…

  前言 大名鼎鼎的TensorRT有多牛逼就不多说了，因为确实很好用。 作为在英伟达自家GPU上的推理库，这些年来一直被大力推广，更新也非常频繁，issue反馈也挺及时…

前言 今儿个聊聊动态链接库。 动态链接库(又简称动态库)是很多工程项目中不可缺少的一部分。俗称.so文件(姑且就以linux系统为例，在windows中称为dll，在mac中为的d…

问题的开始 前些天尝试使用TensorRT转换一个模型，模型用TensorFlow训练，包含LSTM+Transform+CNN，是一个典型的时序结构模型，包含编码解码结构，暂称为…

紧接着前几天的事： 特殊的日子，想起了当年的双(1080TI)显卡装机实录 和 炼丹炉买不起了:聊一聊这段日子的显卡行情 之后，决定买一台整机玩玩。 而现在，主机终于回！来！了！主…