借着热点，简单聊聊大模型的部署方案，作为一个只搞过CV部署的算法工程师，在最近LLM逐渐改变生活的大背景下，猛然意识到LLM部署也是很重要的。大模型很火，而且确实有用（很多垂类场景…

最近工作内容陷入了瓶颈，不知道自己想干啥了，总会有些重复性较强的工作。虽然也有些空闲时间看看其他东西，但发现看的东西越多，越发感到迷茫。不清楚自己该学什么，该看什么东西，或者说对自…

好久不见各位~ 这篇文章很久之前写完一直没有整理，最近终于是整理差不多了，赶紧发出来。 本文接着《必看部署系列-神经网络量化教程：第一讲！》这一篇接着来说。上一篇主要说了量化的一些…

Hello我是老潘，好久不见各位。 最近在复盘今年上半年做的一些事情，不管是训练模型、部署模型搭建服务，还是写一些组件代码，零零散散是有一些产出。 虽然有了一点点成果，但仍觉着缺点…

  前言 大名鼎鼎的TensorRT有多牛逼就不多说了，因为确实很好用。 作为在英伟达自家GPU上的推理库，这些年来一直被大力推广，更新也非常频繁，issue反馈也挺及时…

前言 前一阵子突然有了配主机的想法。呃，当然是为了搞深度学习。 想象一下，亲手买下自己心仪的配件，然后用心组装起来，闻着显卡的香气，啊，满满的成就感。 显卡预想着上RTX-3080…

前言 TX2作为一个嵌入式平台的深度学习端，具备不错的GPU性能，我们可以发现TX2的GPU的计算能力是6.2。这意味着TX2对半精度运算有着良好的支持，我们完全可以在桌面端训练好…

本篇使用的平台为Ubuntu，Windows平台的请看Pytorch的C++端(libtorch)在Windows中的使用 前言 距离发布Pytorch-1.0-Preview版的…

前言 cuda版本最新是10.0。 但目前最适合我们的则是9.2或者9.1。 如果我们因为某些原因想同时使用两个版本的话，应该怎么样呢？ 很简单！一起按步骤来吧。 安装cuda和c…

老婆，我想要煤气炉 显卡的香气   新显卡出世了，就在前几天。 可以说是万众期待下，老黄发布了消费级（民用级）显卡RTX2070、RTX2080、RTX2080TI，作为…

  前言 之前的文章中：Pytorch拓展进阶(一)：Pytorch结合C以及Cuda语言。我们简单说明了如何简单利用C语言去拓展Pytorch并且利用编写底层的.cu语…

前言 在上篇文章《浅谈深度学习:如何计算模型以及中间变量的显存占用大小》中我们对如何计算各种变量所占显存大小进行了一些探索。而这篇文章我们着重讲解如何利用Pytorch深度学习框架…

前言 亲，显存炸了，你的显卡快冒烟了！ torch.FatalError: cuda runtime error (2) : out of memory at /opt/conda…

前言 Pytorch拓展C语言并不难，因为我们有torch.util.ffi模块；Pytorch拓展cuda语言也不难，因为pytorch的前身为torch，torch是使用lua…

个人收藏的windows、linux平台cuda和对应cudnn包下载： windows ==> cuda9.0+cudnn7.1 linux ==> cuda-9.1…