几周前，我在推特上发布了一条关于“最常见的神经网络错误”的推文，列举了一些与训练神经网络相关的常见问题。这条推文获得了比我预期多得多的互动（甚至包括一个网络研讨会:））。显然，许多人都亲身遇到了从“这是卷积层的工作原理”到“我们的卷积网络达到了最先进结果”的巨大差距。

因此，我想这可能是一个有趣的机会，把我的推文扩展成这个话题应有的长篇形式。然而，我不想只是列举更多常见的错误或详细解释它们，我更想深入探讨如何避免这些错误，或者非常快速地修正它们。要做到这一点，可以遵循一个特定的流程，据我所知，这个流程并不经常被记录下来。让我们从两个重要的观察开始，这些观察激发了这个流程。

1. 神经网络训练是一个漏洞百出的抽象

据说开始训练神经网络很容易。许多库和框架都以展示可以解决你数据问题的30行奇迹代码片段为荣，给人一种（虚假的）即插即用的印象。常见的情况包括：

>>> your_data = # plug your awesome dataset here
>>> model = SuperCrossValidator(SuperDuper.fit, your_data, ResNet50, SGDOptimizer)
# conquer world here

这些库和示例激活了我们大脑中熟悉标准软件的部分——在这里，通常可以实现干净的 API 和抽象。以 Requests 库为例：

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200

这很酷！一个勇敢的开发者已经帮你承担了理解查询字符串、URL、GET/POST 请求、HTTP 连接等的负担，并在几行代码后面大幅隐藏了复杂性。这正是我们所熟悉和期望的。不幸的是，神经网络完全不是这样。一旦你稍微偏离训练 ImageNet 分类器，它们就不再是“现成”的技术。我在我的博文《是的，你应该理解反向传播》中试图通过挑选反向传播并称之为“漏洞百出的抽象”来阐述这一点，但情况实际上更为严峻。反向传播加上随机梯度下降并不能神奇地使你的网络工作。批量归一化也不能神奇地使其更快收敛。循环神经网络也不会神奇地让你“插入”文本。仅仅因为你可以将问题形式化为强化学习，并不意味着你应该这么做。如果你坚持使用这项技术而不理解其工作原理，你很可能会失败。这就引出了接下来的内容……

2. 神经网络训练的失败是无声的

当你破坏代码或配置错误时，通常会遇到某种异常。你在期望字符串的地方插入了一个整数。函数只期望有3个参数。这个导入失败了。该键不存在。两个列表中的元素数量不相等。此外，通常可以为某些功能创建单元测试。

这只是训练神经网络的开始。所有东西在语法上可能都是正确的，但整体安排可能并不恰当，而这真的很难分辨。可能的错误面很大，是逻辑性的（与语法相对），并且进行单元测试非常棘手。例如，也许在数据增强过程中，你忘记翻转标签就左右翻转了图像。你的网络仍然（令人震惊地）可以工作得很好，因为你的网络可以内部学习到检测翻转图像，然后它就左右翻转其预测。或者你的自回归模型因为一个差一错误，意外地将它试图预测的东西作为输入。或者你试图裁剪你的梯度，但却裁剪了损失，导致训练中忽略了异常样本。或者你从一个预训练的检查点初始化了你的权重，但没有使用原始的均值。或者你只是搞砸了正则化强度、学习率、其衰减率、模型大小等设置。因此，你配置错误的神经网络只有在你幸运的时候才会抛出异常；大多数时候它会训练，但悄无声息地表现得稍差一些。

因此，（而这一点真的很难过分强调）对神经网络的“快速而猛烈”的训练方法是行不通的，只会带来痛苦。现在，痛苦是让神经网络工作良好的一个完全自然的部分，但可以通过彻底、防御性、偏执以及对几乎所有可能的事物进行可视化的痴迷来减轻。根据我的经验，与深度学习成功最强烈相关的品质是耐心和对细节的关注。

方法

鉴于上述两个事实，我为自己开发了一套特定的流程，当我将神经网络应用于新问题时，我会遵循这个流程，现在我将尝试描述它。你会看到，这个过程非常重视上述两个原则。特别是，它从简单到复杂地构建，在每一步我们都会对将发生的事情提出具体的假设，然后通过实验验证它们或调查直到我们找到某些问题。我们极力避免的是一次引入大量的“未经验证”的复杂性，这肯定会引入错误/配置错误，而这些错误可能永远也找不到（如果有的话）。如果编写你的神经网络代码就像训练一个网络一样，你会希望使用一个非常小的学习率，猜测然后在每次迭代后评估整个测试集。

1. 成为数据的一部分

训练神经网络的第一步是根本不接触任何神经网络代码，而是从彻底检查你的数据开始。这一步至关重要。我喜欢花大量的时间（以小时为单位）浏览成千上万的例子，理解它们的分布并寻找模式。幸运的是，你的大脑在这方面相当擅长。有一次，我发现数据中包含重复的例子。另一次，我发现了损坏的图像/标签。我寻找数据不平衡和偏见。我通常还会注意到我自己对数据进行分类的过程，这暗示了我们最终会探索的架构类型。例如 - 是否仅局部特征足够，或者我们需要全局上下文？变化有多大，它采取什么形式？哪些变化是多余的，可以通过预处理消除？空间位置是否重要，或者我们想要平均池化掉它？细节的重要程度如何，我们能承受多大程度的图像降采样？标签有多嘈杂？

此外，由于神经网络实际上是你的数据集的压缩/编译版本，你将能够查看你的网络（错误）预测并理解它们可能来自何处。如果你的网络给出了一些与你在数据中看到的不一致的预测，那么肯定有些地方出了问题。

一旦你得到了定性的感觉，编写一些简单的代码来搜索/过滤/排序任何你能想到的东西（例如标签类型、注释大小、注释数量等），并可视化它们的分布和任何轴上的异常值也是一个好主意。异常值特别几乎总是揭示了数据质量或预处理中的一些错误。

2. 设置端到端的训练/评估框架 + 获取简单基线

现在我们已经了解了我们的数据，我们可以开始使用我们的超级花哨的多尺度 ASPP FPN ResNet 来训练出色的模型了吗？当然不是。那条路只会导致痛苦。我们的下一步是建立一个完整的训练+评估框架，并通过一系列实验来获得对其正确性的信任。在这个阶段，最好选择一些你不可能搞砸的简单模型——例如线性分类器或一个非常小的卷积网络。我们将要训练它，可视化损失和其他指标（例如准确率），模型预测，并进行一系列切除实验，途中提出明确的假设。

这个阶段的技巧和窍门：

固定随机种子。始终使用固定的随机种子，以保证当你运行代码两次时会得到相同的结果。这消除了一个变化因素，有助于保持理智。
简化。确保禁用任何不必要的花哨功能。例如，这个阶段肯定要关闭任何数据增强。数据增强是我们可能稍后会加入的一种正则化策略，但现在它只是引入一些愚蠢错误的另一个机会。
增加你的评估中的有效数字。当绘制测试损失时，对整个（大型）测试集进行评估。不要只是绘制批次的测试损失，然后依赖在 Tensorboard 中对它们进行平滑处理。我们追求的是正确性，并非常愿意为保持理智而牺牲时间。
验证初始化时的损失。验证你的损失是否从正确的损失值开始。例如，如果你正确初始化了最后一层，你应该在初始化时在 softmax 上测量-log(1/n_classes)。对 L2 回归、Huber 损失等也可以推导出相同的默认值。
良好初始化。正确初始化最后一层权重。例如，如果你正在回归一些平均值为50的值，则将最终偏置初始化为50。如果你有一个正负样本比为1:10的不平衡数据集，设置你的逻辑偏置，使你的网络在初始化时预测的概率为0.1。正确设置这些将加速收敛并消除“曲棍球棒”损失曲线，在最初几次迭代中，你的网络基本上只是在学习偏置。
人类基线。监控除损失之外的其他人类可解释和可检查的指标（例如准确率）。只要可能，评估你自己（人类）的准确率并与之比较。或者，对测试数据进行两次标注，对每个示例将一个标注视为预测，另一个作为真值。
输入独立基线。训练一个输入独立的基线，（例如，最简单的方法是将所有输入设置为零）。这应该比你实际插入数据而不是将其归零时表现更差。是这样吗？即你的模型是否真的能从输入中提取出任何信息？
过拟合一个批次。过拟合仅几个示例的单个批次（例如，尽可能少，如两个）。为此，我们增加模型的容量（例如，添加层或滤镜），并验证我们是否能够达到最低可能的损失（例如，零）。我还喜欢在同一图表中可视化标签和预测，并确保一旦我们达到最小损失，它们最终能完美对齐。如果没有，某处存在错误，我们不能继续到下一阶段。
验证训练损失下降。在这个阶段，你希望你的数据集能够在使用玩具模型的情况下欠拟合。尝试稍微增加其容量。你的训练损失是否应该下降？
在网络前可视化。在你的 y_hat = model(x)（或在 tf 中的 sess.run）之前立即可视化你的数据是毋庸置疑的正确位置。也就是说 - 你想要可视化确切输入到你网络中的内容，将那些原始的数据和标签张量解码为可视化图像。这是唯一的“真理来源”。我无法计算这有多少次救了我，并揭示了数据预处理和增强中的问题。
可视化预测动态。我喜欢在训练过程中可视化固定测试批次上的模型预测。这些预测的“动态”将给你提供非常好的直觉，以了解训练是如何进展的。很多时候，如果网络在某些方面摇摆太多，可以感觉到网络“挣扎”以适应你的数据，揭示不稳定性。非常低或非常高的学习率也可以通过抖动的量轻松地被注意到。
使用反向传播来绘制依赖关系。你的深度学习代码通常会包含复杂的、矢量化的、广播的操作。我遇到过几次相对常见的错误，那就是人们在这方面出错（例如，他们在某处使用视图而不是转置/置换），并无意中在批量维度上混合信息。一个令人沮丧的事实是，你的网络通常仍然可以训练得很好，因为它会学会忽略来自其他示例的数据。一种调试这个（和其他相关问题）的方法是设置损失为如示例 i 的所有输出之和，运行反向传递到输入，并确保只在第 i 个输入上得到非零梯度。同样的策略可以用来例如确保你的自回归模型在时间 t 仅依赖于 1..t-1。更一般地说，梯度为你提供了关于你的网络中哪些依赖于哪些的信息，这对调试很有用。
从特例推广。这是一个更通用的编程提示，但我经常看到人们在一开始就试图处理过多的事情时制造错误，从头开始编写相对通用的功能。我喜欢编写一个非常具体的函数来做我现在正在做的事情，让它工作，然后稍后再通用化它，确保我得到相同的结果。这通常适用于矢量化代码，我几乎总是首先写出完全循环的版本，然后一次一个循环地将其转换为矢量化代码。

3. 过拟合

在这个阶段，我们应该已经很好地了解了数据集，并且完整的训练+评估管道已经在工作了。对于任何给定的模型，我们都可以（可重复地）计算出一个我们信任的指标。我们还配备了一个输入独立基线的性能，几个简单基线的性能（我们最好能超过这些），并且我们对人类的大致性能有了一定的了解（我们希望能达到这一点）。现在，为迭代一个好的模型做好了准备。
我喜欢采取的寻找好模型的方法有两个阶段：首先获得一个足够大的模型，使其能够过拟合（即专注于训练损失），然后适当地进行正则化（放弃一些训练损失以改善验证损失）。我喜欢这两个阶段的原因是，如果我们无法用任何模型达到低错误率，这可能再次表明存在一些问题、错误或配置错误。

这个阶段的一些技巧和窍门包括：

选择模型。为了达到良好的训练损失，你需要为数据选择一个合适的架构。在选择架构时，我的第一条建议是：不要试图成为英雄。我见过很多人急于在神经网络工具箱中以各种奇特的架构堆砌积木，这些架构对他们来说似乎很有意义。在项目的早期阶段，强烈抵制这种诱惑。我总是建议人们简单地找到最相关的论文，并复制粘贴他们的最简单架构，该架构已经取得了良好的性能。例如，如果你在分类图像，不要试图成为英雄，而是复制粘贴一个ResNet-50作为你的第一次尝试。稍后你可以自定义更多并超越它。
使用Adam是安全的。在设置基线的初期阶段，我喜欢使用学习率为3e-4的Adam。根据我的经验，Adam对超参数，包括不良学习率的容忍度更高。对于卷积网络，一个调整得很好的SGD几乎总是会略微超过Adam，但是最佳学习率区域更为狭窄且特定于问题。（注意：如果你使用的是RNN和相关的序列模型，使用Adam更为常见。在项目的初期阶段，再次提醒，不要试图成为英雄，而应遵循最相关论文的做法。）
一次只复杂化一个。如果你有多个信号要输入到你的分类器中，我建议你一次插入一个，并且每次确保你获得了预期的性能提升。不要一开始就把所有东西都扔到你的模型中。有其他方法可以逐步增加复杂性——例如，你可以先尝试输入较小的图像，然后再使它们变大等。
不要信任学习率衰减默认值。如果你在重用来自其他领域的代码，一定要非常小心学习率衰减。不仅你会希望对不同的问题使用不同的衰减计划，更糟的是——在典型的实现中，计划将基于当前的周期数，这完全可以根据你的数据集的大小而有很大的变化。例如，ImageNet可能在第30周期衰减10倍。如果你没有训练ImageNet，那么你几乎肯定不希望这样做。如果你不小心，你的代码可能会在过早的时候将你的学习率降到零，不让你的模型收敛。在我自己的工作中，我总是完全禁用学习率衰减（我使用恒定的学习率），并在最后阶段调整这一点。

4. 正则化

理想情况下，我们现在拥有一个能至少拟合训练集的大模型。现在是时候对它进行正则化，并通过放弃一些训练精度来提高验证精度。一些技巧和窍门：

获取更多数据。首先，增加更多实际训练数据是在任何实际环境中对模型进行正则化的最佳和首选方式。一个非常常见的错误是，在你可以收集更多数据的情况下，花费大量工程周期试图从小数据集中挤出更多效果。据我所知，增加更多数据几乎是唯一保证的方式，可以单调地无限期地提高一个配置良好的神经网络的性能。另一个可能是集成学习（如果你能负担得起），但这在大约5个模型后就达到顶峰了。
数据增强。真实数据的下一个最佳选择是半假数据——尝试更激进的数据增强。
创造性增强。如果半假数据不起作用，假数据也可能有所帮助。人们正在找到扩展数据集的创造性方法；例如，域随机化、使用仿真、巧妙的混合体，比如将（可能是模拟的）数据插入场景中，甚至是使用生成对抗网络（GANs）。
预训练。如果可以的话，使用预训练网络很少有害，即使你拥有足够的数据。
坚持使用监督学习。不要对无监督预训练过于兴奋。与2008年的博客文章告诉你的不同，据我所知，现代计算视觉中没有任何版本报告了强大的结果（尽管近来NLP似乎在BERT及其朋友们的帮助下做得很好，很可能归功于文本的更有意图性质和更高的信噪比）。
减小输入维度。移除可能包含伪信号的特征。任何添加的伪输入都是一个过拟合的机会，尤其是当你的数据集较小时。同样，如果低级细节不太重要，尝试输入更小的图像。
减小模型大小。在许多情况下，你可以使用领域知识对网络进行约束以减小其大小。例如，过去流行在ImageNet的主干网络顶部使用全连接层，但这些已被简单的平均池化所取代，从而在过程中消除了大量参数。
减小批量大小。由于批量归一化中的归一化，较小的批量大小在某种程度上对应于更强的正则化。这是因为批量的经验均值/标准差是全均值/标准差的更近似版本，所以缩放和偏移会更多地“晃动”你的批次。
添加Dropout。使用Dropout，对于卷积网络，使用dropout2d（空间Dropout）。由于dropout似乎与批量归一化不太兼容，因此要谨慎/稀少地使用。
增加权重衰减。增加权重衰减惩罚。
早停。基于你测量的验证损失停止训练，以捕捉你的模型刚好开始过拟合的时刻。
尝试更大的模型。我最后提及这一点，仅在早停之后，但我过去发现
更大的模型当然最终会更过拟合，但它们的“早停”性能通常比较小的模型要好得多。

最后，为了增加对你的网络是一个合理分类器的信心，我喜欢可视化网络第一层的权重，确保你得到有意义的漂亮边缘。如果你的第一层滤镜看起来像噪声，那么可能有些问题。同样，网络内的激活有时会显示出奇怪的伪影，并暗示存在问题。

5. 调优

现在，你应该已经“进入循环”，在你的数据集中探索广泛的模型空间，寻找能够实现低验证损失的架构。这一步的一些技巧和窍门：

随机搜索优于网格搜索。同时调整多个超参数时，可能会诱使使用网格搜索以确保覆盖所有设置，但请记住，最好改用随机搜索。直观上讲，这是因为神经网络通常对某些参数比其他参数更敏感。极限情况下，如果参数 a 很重要但改变 b 没有效果，你宁愿比在几个固定点多次采样更彻底地采样 a。
超参数优化。有大量的花哨贝叶斯超参数优化工具箱，我几个朋友也报告了它们的成功，但我个人的经验是，探索一个广阔且优良的模型和超参数空间的最先进方法是使用实习生 :)。只是开个玩笑。

6. 挤压出最后的果汁

一旦找到最佳类型的架构和超参数，你还可以使用一些其他技巧来从系统中挤出最后的果汁：

集成。模型集成几乎可以保证在任何情况下提高2%的准确率。如果你负担不起测试时的计算，考虑使用黑暗知识将你的集成蒸馏成一个网络。
继续训练。我经常看到人们在验证损失似乎趋于平稳时就被诱惑停止模型训练。根据我的经验，网络需要训练的时间远比人们直观感觉的要长。有一次，我在寒假期间不小心让一个模型继续训练，当我一月回来时，它已经达到了SOTA（“最先进的状态”）。

结论

一旦你达到这里，你就拥有了成功的所有要素：你对技术、数据集和问题有深刻的理解，你已经建立了完整的训练/评估基础设施并对其准确性有高度信心，你已经探索了越来越复杂的模型，在这个过程中以你预测的方式获得了性能提升。现在你已经准备好阅读大量的论文，尝试大量的实验，并取得你的SOTA结果。祝你好运！

训练神经网络的方法 #11

Description

Metadata

Metadata

Assignees

Labels

Projects

Milestone

Relationships

Development

Issue actions