中国学霸本科生提出AI新算法：速度比肩Adam，性能媲美SGD
今天被一个名为AdaBound的神经网络优化算法刷屏了：
简单来说，AdaBound就是一个结合了SGD和Adam两种优化算法的一种新型的算法，在训练开始阶段，它能像Adam一样快速，在后期又能像SGD一样有很好的收敛性。下图展示了其特点：
作者在中型的CNN数据集和RNN数据集上对此进行了测试，表现均比其两位前辈算法优异，但是目前还未测试在GAN和其他大型数据集中的性能，一些测试数据也有待更新。
AdaBound优化算法还有个优点就是对超参数不是很敏感，可以节省我们的调参时间。
目前提供pip安装和源码使用两种方式，版本为Pytorch版，作者在其Github主页上已经放出。
PS：发明这个算法的两位本科生都是学霸级别的大佬，这种边实践边研究的方式才是学术界应该提倡的教育方式。希望我们也可以向他们学习，不论是算法research还是工程实践，在各自的领域都有所成就。
项目地址：
github源码地址：https://github.com/Luolc/AdaBound
相关讨论reddit地址：https://www.reddit.com/r/MachineLearning/comments/auvj3q/r_adabound_an_optimizer_that_trains_as_fast_as/
