点击小眼睛开启蜘蛛网特效

馋了馋NVIDIA Jetson Orin嵌入式AI开发板

《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》

最近疯狂迷恋(想买)Jetson Orin,也就是NVIDIA今年新发布的嵌入式AI开发板。
这玩意儿今年3、4月份开始正式销售,官方售价1999美刀,国内嘛,估计16000左右。
性能很美丽,价格当然也很美丽。
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
Jetson Orin是今年的新系列,以往之前的是TX1、TX2、Xavier系列。之前的小米铁蛋就是用的Xavier NX系列。
Orin的性能目前算是嵌入式开发板中的性能天花板了,目前很多的车企用的都是Orin做ADAS,算力还是很强的,比如蔚来称他们用4块orin总算力有1000T。
比如百度、蔚来,理想等等,用的也是Orin系列车载芯片(不过与消费者能买到的有一定区别)。当然也有不用Orin的自动驾驶,有用高通的、也有用自家芯片的,自动驾驶芯片也是百花齐放。
话说回来,看下Orin的性能对比:
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
表面上一看,从32T->275T,提升了8倍。INT8的算力直接干到接近300T了,但是仔细一看,哎这个算力是稀疏算力,如果按照dense算的话,砍一半算130T-INT8算力。
怎么调用稀疏功能我也研究过一段时间,没有深入,感觉效果还不是很明显,可能姿势不对。据官方测试ResNext-101在A100上最高有20%的性能提升:
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
稀疏性目前用的不多,但估计之后可能和量化一样成为“烂大街”的技术吧!目前量化技术已经标配了,200Tops的INT8算力,就是干这的。不过量化掉点稍稍会有一些,通常会有1%以内的掉点,而使用稀疏的话,掉点就可以忽略不计了,精度可以是FP16也可以是INT8,性能在量化基础上再提升一截,训练过程中就可以使用,只不过对硬件的要求比较高。

性能比较

看下64G版本Nvidia orin的AI性能,275T=170T+105T(52.5*2)
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
170的INT8是稀疏算力,换算为dense是85T。一共64个Tensor Core,频率算个1.3GHz:
1.3*64*256*2*2=85196G=85T。其中ampere单 cycle 的吞吐量是 256 个 FP16精度的FMA,INT8是FP16的两倍。
DLA我不熟悉,不过这代的DLA支持稀疏性。
纸面上说着有8倍性能的提升,但其实看看就行。实际提升要考虑很多因素(模型结构、IO、数据)。下图是smartcow对Orin的评测数据:
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
而Orin中安培显卡数据,这个CUDA核的数量很接近3050-laptop,一共是2048个CUDA核,64个Tensor Core:
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
计算能力因为是基于ampere架构,所以开头依然是8。8.7是因为加了DLA,与7.0->7.2类似:
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
DLA换成了第二代,去掉了FP16计算单元,全换成了INT8,这样搞据说是为了降低功耗,看来是全压INT8了啊。
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
DLA新功能:
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》

产品计划

目前只出了32G版本的Orin核心板,64G的核心板在10月份出。
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
而NX系列则是9月份和十月份出:
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
目前卖的Orin开发套件的两个细节不能忽略,所以也贵一些:

  • 是32G内存,但是275T的算力
  • 有1个万兆的网口

购买建议

Jetson Orin官方开发板太贵了,买不起,看了下淘宝价格1w5-1w7的都有,闲鱼上1w3左右,原价是1999美元,加上运费和13税也差不多吧。

要是想自己买的玩的话,建议买NX系列,也考虑了一点原因,就是自己玩的话,Orin的200T算力用不上,性能过剩,没有用武之地(其实主要还是贵)。
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
不过看下面这张图,INT8的性能提升还是挺明显的,期待Orin NX系列早点上市,个人玩家买着可以自己玩:
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
比较重要的一点,Xavier NX的支持到2026年,现在买Xavier NX系列也不亏!
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
当然还有大小,NX系列就是信用卡大小,而AGX系列就是32开书的大小,如果买回来想要自己DIY的,要留意下。
看了下泰瑞新时代Orin的载板RTSO-1002,大小是17cm*13cm,大小应该像一本32开的书,也不小了。
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
而NX的载板就小一半,看下泰瑞新时代的RTSO-6002载板大小。
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
就和信用卡大小一样,很mini很便携。

关于外壳?

买回来肯定要弄个外壳,但是国产的外壳一言难尽,都比较朴实无华。
偶然看到这家出的开发套件就挺好看的,比国产的更青春靓丽点哈哈。
基于Xavier NX,配有很多传感器,比如摄像头、内置音响、话筒、OLED等等。
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
还挺好看的哈?
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
后壳直接裸露..感觉还行?
《馋了馋NVIDIA Jetson Orin嵌入式AI开发板》
看了下这种产品大概率就是自定义了BSP系统,用户可以直接使用他们自定义的系统去开发一些应用,怎么使用摄像头啦、麦克风啦,显示屏啊,会给你提供例程,然后你直接上面改就行。不是单卖外壳的。

总结

总结下,不得不说Jetson系列是理工科男AI爱好者的一大杀器,想买的不行,但是是在没有时间去玩,只能业务折腾折腾。个人建议,如果就是自己玩,没有实际的使用场景,买个NX系列就好,等Orin可以也行,体验下安培架构的特性,直接买Xavier系列也不差,Volta结构也不老。
总之,看了这么一圈,调研了一阵,暂时忍住了哈哈,给想买的兄弟们一点建议,买了尽量不要吃灰!

参考链接

  点赞
本篇文章采用 署名-非商业性使用-禁止演绎 4.0 国际 进行许可
转载请务必注明来源: https://oldpan.me/archives/nvidia-jetson-orin-like

   关注Oldpan博客微信公众号,你最需要的及时推送给你。


 猜你喜欢