物联网继续迈向低碳化，MIT团队开发出一次训练

万物互联时代，AI 计算不能仅依赖于云端服务器。例如车辆或执行的物体识别任务，有着较高的实时性需求，需要在这些形态各异的终端设备本地中部署深度（DNN）。但这又会凸显能耗问题，因为终端设备的可用资源往往是受限的。

除了 AI 硬件设计者们在努力开发低功耗的专用芯片以外，还有一组研究人员正想方设法让 DNN 本身更加“低碳化”将 DNN 模型高效地部署到各种硬件平台上，涉及根据具体硬件算力进行重新设计（或裁剪）以及重头训练，由此带来的成本会随着硬件平台的数量而线性增长，造成大量的能源消耗与碳排放。

一次训练就能适应多平台部署的 Once for All（OFA）方案，成为一种解决思路。

最近，来自麻省理工学院的韩松团队就发表了这个方向的一项新成果团队开发了一个适用于多种不同硬件平台的 AutoML 系统，这种系统碳足迹更小，硬件上的计算效率更高。这将是一项颇具应用前景的研究。

该方法训练了一个大型的母网络，其中包含许多不同大小的子网络，就能实现子网无需再训练即可适应不同的硬件平台，从而大幅降低了为新平台 (可能包括数十亿个设备) 训练每个专门的所需的成本。

团队估计，与当今最先进的架构搜索方法（NAS）相比，利用该系统训练一个计算机视觉模型只需要大约原来 1/ 1300 的碳排放（图 1），在不损失准确率的前提下，将推理时间缩短了 1.5-2.6 倍（图 2）。

图 1OFA 和传统 NAS 方法的训练代价比较（以碳排放量计）

图 2OFA 和 EfficientNet, MobileNet-v3 的推理性能比较

“我们的目标是更孝更环保的。目前搜索高效的架构会产生巨大的碳排放，新方法减少了几个数量级的碳排放”，韩松说。

团队基于 AutoML 建立了这个系统，从而可以自动搜索巨大的结构空间，以寻找适合于给定硬件平台的网络结构。这仍然存在效率问题不同硬件平台必须单独选择模型，然后从头开始对选择的模型进行训练。

韩松介绍道“我们如何才能为从 1 美元的设备，到上百美元的智能手机，到上千美元的 GPU 和云 AI 都有效地适配不同的网络？考虑到设备的多样性，神经架构搜索的计算成本将会激增。”

而团队开发的 AutoML 系统之所以能避开这些成本，关键在于只训练作为 OFA 的 “母” 网络。

（来源Han Lab）

这个 “母” 网络嵌套了非常多的子网，与所有的子网络共享所有的学习权值，这意味着子网络基本上是经过预先训练的。，每个子网可以在推理时独立运行而无需再训练。

针对特定的平台，系统会使用 OFA 作为搜索空间，根据与平台的能力和速度限制相吻合的准确性和延迟权衡，找到最佳的子网。例如，对于设备，系统会找到一个较小的子网。对于智能手机，它将选择较大的子网，但根据电池寿命和计算资源的不同，子网的结构也将不同。OFA 将模型训练和架构搜索解耦，并将一次性训练成本分摊到多个推理硬件平台和资源约束上，在需要多平台部署的场景下显现优势。

这依赖于 “渐进收缩” 算法，它能有效地训练 OFA 网络以支持所有的子网。“渐进收缩”算法用最大尺寸训练整个网络，然后逐步缩小网络的大小去覆盖更小的子网。小的子网络在大的子网络的帮助下一起提升。，系统支持不同大小的所有子网络，并允许基于平台的能力和速度限制进行快速定制化。它支持多种硬件设备，在添加新设备时，训练成本为零。

“一个通用的 OFA 网络，支持在大量不同的结构设置下通过截取 OFA 网络的不同部分来进行高效推理”，HAN Lab 博士生蔡涵说。根据论文，一个 OFA 网络可包含超过 10 的 19 次方个结构设置，几乎覆盖了所有需要的平台。

那么成本以外，准确性如何？

结果显示，这种方法在移动设备上提供了目前最优的 ImageNet 精度（图 3）。

蔡涵表示“从计算资源的角度，NAS 方法的总计算资源是随着部署场景数量的增加而线性增长的。当有多个部署场景的时候，OFA 会比 NAS 方法高效得多。具体上，在 40 个部署场景的情况下，OFA 的总计算资源消耗是 ProxylessNAS 的 1/16，MnasNet 的 1/1300”。

图 3OFA 网络只需 595M MACs 即可实现 80.0% ImageNet -1 准确率。

从准确率的角度，OFA 中的子网在经过微调后可以达到比单独从头训练更好的准确率。在 ImageNet 上，OFA 在大量的硬件平台和效率约束下都达到了明显好于 EfficientNet 和 MobileNetV3 的性能（图 2）。在 ImageNet 的 Mobile Vision 条件下（

现在，该研究论文已被 ICLR 2020 大会收录，并在 github 上开源了训练代码以及 50 个用于各种硬件平台的 ImageNet 预训练模型，包括了在 600M MACs 约束下达到 80.0%ImageNet 准确率的模型、预训练的 OFA 网络。

接下来，团队将继续拓展 OFA 在不同应用下的效率提升，让 AI 轻量化，既能运行在云端平台也能运行在边缘设备上。

-End-

参考

https://arxiv./pdf/1908.09791.pdf

http://nes.mit.edu/2020/artificial-intelligence-ai-carbon-footprint-0423

https://github./mit-han-lab/once-for-all)