拳打Adam,脚踢SGD

中国学霸本科生提出AI新算法:速度比肩Adam,性能媲美SGD

今天被一个名为AdaBound的神经网络优化算法刷屏了:

简单来说,AdaBound就是一个结合了SGD和Adam两种优化算法的一种新型的算法,在训练开始阶段,它能像Adam一样快速,在后期又能像SGD一样有很好的收敛性。下图展示了其特点:

《拳打Adam,脚踢SGD》

作者在中型的CNN数据集和RNN数据集上对此进行了测试,表现均比其两位前辈算法优异,但是目前还未测试在GAN和其他大型数据集中的性能,一些测试数据也有待更新。

AdaBound优化算法还有个优点就是对超参数不是很敏感,可以节省我们的调参时间。

目前提供pip安装和源码使用两种方式,版本为Pytorch版,作者在其Github主页上已经放出。

PS:发明这个算法的两位本科生都是学霸级别的大佬,这种边实践边研究的方式才是学术界应该提倡的教育方式。希望我们也可以向他们学习,不论是算法research还是工程实践,在各自的领域都有所成就。

项目地址:

github源码地址:https://github.com/Luolc/AdaBound

相关讨论reddit地址:https://www.reddit.com/r/MachineLearning/comments/auvj3q/r_adabound_an_optimizer_that_trains_as_fast_as/

  点赞 查看往期