萧箫 丽翔 凹非寺
物理位 | 社会公众号 QbitAI
还在困惑是不是给强化器修正更快的模块吗？
那时，Google神经系统弄出了两个捷伊强化器VeLO，无须全自动修正任何人超模块，间接用就谁知了。
与其它育苗结构设计的如Adam、AdaGrad等演算法相同，VeLO全然如前所述AI内部结构，能较好地适应环境各式各样相同的各项任务。
总之，效用也更快。学术论文译者众所周知Lucas Beyer将VeLO与其它“轻度”调参的强化器展开了对照，操控性相差无几：
有网友看见了些许强化器不断进步的黎明：
在Adam后再次出现了许多强化器，却都整体表现得十分失利。那个强化器也许的确能整体表现更快。
因此，那个如前所述AI的强化器是怎样打造出的？
VeLO到底是是不是打造出的？
在体能训练数学模型的操作过程中，强化器（optimizer）是不可或缺的一小部分。
△数学模型体能训练操作过程，图源Thomas Wolf
但AI模型应用都这么广泛了，体能训练AI模型用的强化器却仍然是育苗结构设计的，听起来多少有点不合理。
于是Google神经系统的研究人员灵机一动：为何不用AI来做两个强化器呢？
结构设计上，强化器的原理如前所述元学习的思路，即从相关各项任务上学习经验，来帮助学习目标各项任务。
被泛化到更多各项任务上去。
如前所述这一思想，VeLO也会吸收梯度并自动输出模块更新，无须任何人超模块调优，并自适应环境需要强化的各式各样各项任务。
架构上，AI强化器整体由LSTM（长短期记忆网络）和超网络MLP（多层感知机）构成。
其中每个LSTM负责设置多个MLP的模块，各个LSTM之间则通过全局上下文信息展开相互协作。
体能训练上，AI强化器采用元体能训练的方式，以模块值和梯度作为输入，输出需要更捷伊模块。
经过4000个TPU月（一块TPU运行4000个月的计算量）的体能训练，集各式各样强化各项任务之所长后，VeLO终于横空出世。
比育苗调参强化器效用更快
结果表明，VeLO在83个各项任务上的加速效用超过了一系列当前已有的强化器。
其中y轴是相比Adam加速的倍率，x轴是各项任务的比例。
结果显示，VeLO不仅比无须修正超模块的强化器效用更快，甚至比仔细修正过超模块的一些强化器效用还好：
与“经典老大哥”Adam相比，VeLO在所有各项任务上体能训练加速都更快，其中50%以上的各项任务比修正学习率的Adam快4倍以上，14%以上的各项任务中，VeLO学习率甚至快上16倍。
而在6类学习各项任务（数据集+对应模型）的强化效用上，VeLO在其中5类各项任务上整体表现效用都与Adam相当甚至更快：
值得一提的是，这次VeLO也被部署在JAX中，看来Google是真的很大力推广那个新框架了。
巴特，也有网民认为耗费4000个TPU月来体能训练VeLO，计算量成本过大：
虽然那个进展很重要，但它甚至都快赶上GPT-3的体能训练量了。
目前VeLO已经开放源码，感兴趣的小伙伴们可以去试试那个捷伊AI强化器。
One More Thing
前段时间，一位哈佛博士生提了个有意思的想法，得到许多人赞同：
更多学术论文的译者们也应该像演职员表一样，公开他们在学术论文中的工作内容。
Kareem Carr是生物统计学领域的博士生，译者贡献在生物学术论文中比较常见，不过之前在AI学术论文中见得不多。
那时，这篇Google神经系统学术论文的译者们也这样做了，谁写的学术论文、谁搭建的框架一目了然：
不知道以后会不会成为机器学习圈的新风气（全自动狗头）。
