九游娱乐还是熟悉的团队，还是熟悉的署名，Facebook AI实验室，推陈出新挑战新的网络设计范式。

　　和手动设计网络一样，其目标是可解释性，可以描述一些简单网络的一般设计原则，并在各种设置中泛化。

　　上表就是600MF的RegNet，与这些网络比较的结果。可以看出，无论是基于手动设计还是NAS的网络，RegNe的表现都很出色。

　　何恺明团队强调，RegNet模型使用基本的100 epoch调度(schedule)，除了权重衰减外，没有使用任何正则化。

　　而大多数移动网络使用更长的调度，并进行了各种增强，例如深度监督、Cutout、DropPath等等。

　　研究人员还强调，良好的RegNet模型还适用于广泛的计算环境，包括ResNet和ResNeXT都不太适应的低计算环境。

　　研究人员将activation定义为所有conv层的输出张量的大小，它会对像GPU这样的加速程度运行有较大的影响。

　　研究人员表示，这样设置的意义非常大，因为模型训练时间是一个瓶颈。未来可能在自动驾驶这样场景中，对改进推理时间有所帮助。给定固定的推理或训练时间，RegNet非常有效。

　　其核心思想是，可以在设计空间中对模型进行采样，从而产生模型分布，并可以使用经典统计学中的工具来分析设计空间。

　　在何恺明团队的这项研究中，研究人员提出，设计一个不受限制的初始设计空间的逐步简化版本。这一过程，就称为设计空间设计（design space design）。

　　网络基本设计很简单：主干（步幅为 2 的 3×3 卷积，32个输出通道）+ 执行大量计算的网络主体 + 预测输出类别的头（平均池化，接着完全连接层）。

　　实验大多使用带有分组卷积的标准残差瓶颈块，研究人员称其为X block，在其基础上构建的 AnyNet 设计空间称为 AnyNetX。

　　于是，将初始的 AnyNetX 称作 AnyNetXA，开始进行“A→B→C→D→E”的优化过程。

　　AnyNetXA 和 AnyNetXB 在平均情况和最佳情况下，EDF几乎不变。说明耦合 bi 时精度没有损失。并且，AnyNetXB 更易于分析。

　　于是，他们加入了设计原则 wi + 1 ≥ wi，将具有此约束条件的设计空间称为 AnyNetXD。

　　对于最佳模型，不仅仅是阶段宽度 wi 在增加，研究人员发现，阶段深度 di 也有同样的趋势，最后一阶段除外。

　　于是，在加入 di + 1 ≥ di 的约束条件之后，结果再一次改善。即 AnyNetXE。

　　在对 AnyNetXE 的进一步观察中，就引出了 RegNet 的一个核心观点：好网络的宽度和深度是可以用量化的线性函数来解释的。

　　从下图中可以看出，RegNetX 中的模型相比于 AnyNetX 中的模型，平均误差更低。并且，RegNetX 的随机搜索效率要高得多，搜索约32个随机模型就能产生好的模型。

　　一开始，为了提高效率，研究人员以低计算量、low-epoch 的训练方式设计了 RegNet 设计空间。

　　最后一位作者Piotr Dollar，博士毕业于美国加州大学圣迭戈分校，目前也就职于FAIR。

　　而且此次何恺明团队提出的RegNet，从名字上看，也神似自己当年的力作——ResNet——2016年CVPR最佳论文奖。

　　除此之外，Kaiming大神也分别在2009年和2017年，获得了CVPR和ICCV最佳论文奖，至今仍难有后来者。

　　每个工作日，量子位AI内参精选全球科技和研究最新动态，汇总新技术、新产品和新应用，梳理当日最热行业趋势和政策，搜索有价值的论文、教程、研究等。

　　同时，AI内参群为大家提供了交流和分享的平台，更好地满足大家获取AI资讯、学习AI技术的需求。扫码即可订阅：

　　原标题：《何恺明团队最新力作RegNet：超越EfficientNet，GPU上提速5倍，这是网络设计新范式 CVPR 2020》

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。