借着热点，简单聊聊大模型的部署方案，作为一个只搞过CV部署的算法工程师，在最近LLM逐渐改变生活的大背景下，猛然意识到LLM部署也是很重要的。大模型很火，而且确实有用（很多垂类场景…

最近工作内容陷入了瓶颈，不知道自己想干啥了，总会有些重复性较强的工作。虽然也有些空闲时间看看其他东西，但发现看的东西越多，越发感到迷茫。不清楚自己该学什么，该看什么东西，或者说对自…

好久不见各位~ 这篇文章很久之前写完一直没有整理，最近终于是整理差不多了，赶紧发出来。 本文接着《必看部署系列-神经网络量化教程：第一讲！》这一篇接着来说。上一篇主要说了量化的一些…

终于把TensorRT的engine模型的结构图画出来了！ 大概长这样（截取了最终模型图的输入部分），仔细看看： 可以看到很多层被融合了，比如conv1.weight + Quan…

今天简单聊聊模型权重，也就是我们俗称的weight。 深度学习中，我们一直在训练模型，通过反向传播求导更新模型的权重，最终得到一个泛化能力比较强的模型。同样，如果我们不训练，仅仅随…

不得不相信英伟达总能给我们惊喜，老潘作为一名深度学习从业者以及游戏爱好者，对于这种与AI、GPU、并行计算相关的话题一直都是比较感兴趣。作为深度学习第一大硬件平台的英伟达，我们自然…

简单的Batch Normalization BN、Batch Normalization、批处理化层。 想必大家都不陌生。 BN是2015年论文Batch Normalizati…

Hello我是老潘，好久不见各位。 最近在复盘今年上半年做的一些事情，不管是训练模型、部署模型搭建服务，还是写一些组件代码，零零散散是有一些产出。 虽然有了一点点成果，但仍觉着缺点…

  前言 大名鼎鼎的TensorRT有多牛逼就不多说了，因为确实很好用。 作为在英伟达自家GPU上的推理库，这些年来一直被大力推广，更新也非常频繁，issue反馈也挺及时…

问题的开始 前些天尝试使用TensorRT转换一个模型，模型用TensorFlow训练，包含LSTM+Transform+CNN，是一个典型的时序结构模型，包含编码解码结构，暂称为…

本系列为新TensorRT的第一篇，为什么叫新，因为之前已经写了两篇关于TensorRT的文章，是关于TensorRT-5.0版本的。好久没写关于TensorRT的文章了，所幸就以…

最近看知乎上有一个童鞋这样提问： CV算法岗内卷现象的严重性先不多说。一看这个题目的关键字“部署”和“落地”。这两个关键字就深深吸引到了我 。想想当年(去年)秋招，神仙打架诸神黄昏…

本文部分内容已经过时，不过仍有参考意义，截止2020.4.19. TRT已经出了7版本。 前言 这篇文章接着上一篇继续讲解如何具体使用TensorRT。 在之前已经写到过一篇去介绍…

前言 TensorRT是什么，TensorRT是英伟达公司出品的高性能的推断C++库，专门应用于边缘设备的推断，TensorRT可以将我们训练好的模型分解再进行融合，融合后的模型具…