摘要

许多公司为用户提供神经网络预测服务，应用范围广泛。然而，目前的预测系统会损害一方的隐私:要么用户必须将敏感输入发送给服务提供商进行分类，要么服务提供商必须将其专有的神经网络存储在用户的设备上。前者损害了用户的个人隐私，而后者暴露了服务提供商的专有模式。

我们设计、实现并评估了DELPHI，这是一个安全的预测系统，允许双方在不泄露任何一方数据的情况下执行神经网络推理。DELPHI通过同时联合设计密码学和机器学习来解决这个问题。我们首先设计了一种混合加密协议，在通信和计算成本上比之前的工作有所提高。其次，我们开发了一个规划器，自动生成神经网络架构配置，导航我们的混合协议的性能精度权衡。与之前最先进的工作相比，这些技术使我们的在线预测延迟提高了22倍。

1 介绍

机器学习的最新进展推动了神经网络推理在语音助手[Bar18]和图像分类[Liu+17b]等流行应用中的越来越多的部署。然而，在许多此类应用程序中使用推理会引起隐私问题。例如，Kuna [Kun]和Wyze [Wyz]等家庭监控系统(HMS)使用专有的神经网络对用户家庭视频流中的物体进行分类，如停在用户家附近的汽车，或到家里参观的人的面孔。这些模型是这些公司业务的核心，培训成本很高。

为了使用这些模型，要么用户必须将他们的流上传到HMS的服务器(然后通过流评估模型)，要么HMS必须将其模型存储在用户的监控设备上(然后执行分类)。这两种方法都不能令人满意:第一种方法要求用户将包含他们日常活动敏感信息的视频流上传到另一方，而第二种方法要求HMS在每台设备上存储其模型，从而允许用户和竞争对手窃取专有模型。

为了缓解这些隐私问题，最近的一些工作提出了(卷积)神经网络[Gil+16;卫生部+ 17;刘+ 17;Juv+18]通过利用专业的安全多方计算(MPC) [Yao86;高尔+ 87]。在较高的级别上，这些协议通过加密用户的输入和服务提供商的神经网络进行操作，然后定制用于计算加密数据的技术(如同态加密或秘密共享)，以对用户的输入运行推断。在协议执行结束时，预期的一方(或几方)学习推断结果;双方都不了解对方的任何信息。该协议流程如图1所示。

不幸的是，这些加密预测协议仍然不适合部署在现实世界的应用程序中，因为它们需要在在线执行期间使用大量的加密工具。这些工具需要大量的计算，通常需要用户和服务提供者之间进行大量的通信。此外，这种成本随着模型的复杂性而增加，使得这些协议不适合用于当今实践中使用的最先进的神经网络架构。例如，使用GAZELLE [Juv+18]这样的最先进的协议来对ResNet-32 [He+16]这样的最先进的深度神经网络执行推理需要约82秒，并导致超过560MB的通信。

我们的贡献。
在本文中，我们提出了DELPHI，一种用于真实神经网络架构的密码预测系统。DELPHI通过密码学和机器学习的精心联合设计来实现其性能。DELPHI提供了一种新的混合密码预测协议，以及一个计划器，可以调整机器学习算法，以利用我们协议的性能精度权衡。我们的技术使我们能够在比以前的工作中考虑的更现实的网络架构上执行加密预测。例如，在ResNet-32上使用DELPHI进行密码预测，在线阶段仅需要3.8秒，通信60MB，分别比GAZELLE提高了22倍和9倍。

1.1技术

我们现在在较高的层次上描述了DELPHI卓越性能背后的技术。

性能目标。
现代卷积神经网络由许多层组成，每个层包含一个子层用于线性操作，一个子层用于非线性操作。常见的线性运算包括卷积、矩阵乘法和平均池化。非线性操作包括激活函数，如流行的ReLU(整流线性单元)函数。

因此，实现现实神经网络的加密预测需要(a)构建用于评估线性和非线性层的有效子协议，以及(b)将这些子协议的结果相互链接。

之前的工作。以往几乎所有的密码预测协议都使用重量级密码工具来实现这些子协议，这导致计算和通信成本远远高于同等的明文成本。更糟糕的是，许多协议在协议的延迟敏感在线阶段使用这些工具，即当用户获取输入并希望获得其分类时。(这与延迟敏感度较低的预处理阶段相反，后者发生在用户输入可用之前)。

例如，最先进的GAZELLE协议的在线阶段使用了大量的加密技术，如线性同态加密和乱码电路。
正如我们在7.4节中所展示的，这会导致大量的预处理和在线成本:对于通过CIFAR-100训练的流行网络架构ResNet-32, GAZELLE在预处理阶段需要~ 158秒和8GB的通信，在预处理阶段需要~ 50秒和5GB的通信，在在线阶段需要~ 82秒和600MB的通信。

1.1.1 DELPHI协议

为了在真实的神经网络上获得良好的性能，DELPHI建立在GAZELLE技术的基础上，开发了用于评估线性和非线性层的新协议，最大限度地减少了重型加密工具的使用，从而最大限度地减少了预处理和在线阶段的通信和计算成本。我们首先简要介绍一下GAZELLE协议，因为它是DELPHI协议的基础。

起点:GAZELLE。
GAZELLE [Juv+18]是一种最先进的卷积神经网络加密预测系统。GAZELLE使用优化的线性同态加密(LHE)方案[Elg85;Pai99;Reg09;Fan+12]，可以直接对密文进行线性操作。为了计算非线性层，GAZELLE使用乱码电路[Yao86]来计算ReLU所需的位操作。最后，由于神经网络中的每一层都由交替的线性和非线性层组成，GAZELLE还描述了如何通过基于相加秘密共享的技术在前面提到的两个原语之间有效地来回切换。

如上所述，GAZELLE在在线阶段使用大量密码学导致了效率和通信开销。为了减少这些管理费用，我们采取如下措施。

降低线性操作的成本。为了降低线性运算的在线计算成本，我们采用GAZELLE将LHE密文上繁重的密码运算转移到预处理阶段。我们的关键见解是，在用户输入可用之前，服务提供者对线性层的输入M(即该层的模型权重)是已知的，因此我们可以在预处理期间使用LHE创建M的秘密共享。之后，当用户的输入在在线阶段可用时，所有线性操作都可以直接在秘密共享数据上执行，而不需要调用像LHE这样的重型加密工具，也不需要执行矩阵向量乘法的交互。

这种技术的好处是双重的。首先，在线阶段只需要传输秘密共享而不是密文，这立即导致线性层的在线通信减少了8倍。其次，由于在线阶段只对素数字段的元素进行计算，并且由于我们的系统使用了具体的32位素数，因此我们的系统可以利用最先进的CPU和GPU库来计算线性层;详见章节7.2和备注4.2。

降低非线性作业的成本。
虽然上述技术已经显著减少了计算时间和通信成本，但两者的主要瓶颈仍然是评估ReLU激活函数的乱码电路的成本。为了使成本最小化，我们使用了另一种方法[Gil+16;刘+ 17;卫生部+ 17;Cho+18]它更适合于有限域元的计算:计算多项式。更详细地说，DELPHI用多项式(具体地说，二次)近似代替ReLU激活。这些可以通过标准协议安全有效地计算[Bea95]。

由于这些协议只需要在每次乘法时通信少量常量的字段元素，因此使用二次近似可以显著降低每次激活时的通信开销，而无需引入额外的通信轮。同样，由于底层乘法协议只需要一些廉价的有限域操作，计算成本也降低了几个数量级。具体而言，安全计算二次近似的在线通信成本和计算成本分别比乱码电路的相应成本小192倍和10000倍。

然而，这种性能的提高是以底层神经网络的准确性和可训练性为代价的。先前的工作已经确定二次近似在某些设置中提供了良好的精度[Moh+17;刘+ 17;Gho + 17;Cho + 18]。与此同时，之前的工作[Moh+17]和我们自己的实验都表明，在许多设置中，简单地用二次近似替换ReLU激活会导致精度严重下降，并且可以将训练时间增加几个数量级(如果训练收敛的话)。为了克服这一问题，我们开发了一种使用ReLUs和二次近似的混合密码协议，以达到良好的精度和效率。

计划有效地使用混合密码协议。
事实证明，确定哪些ReLU激活应该用二次近似代替并不简单。事实上，正如我们在第5节中解释的那样，简单地用二次近似代替任意的ReLU激活会降低结果网络的准确性，甚至会导致网络无法训练。

因此，为了找到合适的位置或网络配置，我们设计了一个规划器，自动发现哪些relu要替换为二次近似，以最大限度地使用近似的数量，同时仍然确保精度保持在指定的阈值以上。

我们的计划背后的洞察力是适应神经结构搜索(NAS)和超参数优化的技术(见[Els+19;Wis+19]用于这些领域的深入调查)。也就是说，我们采用这些技术来发现在给定的神经网络架构中应该近似哪些层，并优化所发现网络的超参数。详见第5节。

整个系统。
DELPHI将上述见解结合到一个内聚系统中，服务提供商可以使用该系统自动生成满足提供商指定的性能和准确性标准的加密预测协议。更详细地说，服务提供者以可接受的精度和性能阈值调用DELPHI的计划器。规划器输出一个满足此目标的优化架构，然后DELPHI使用该架构实例化一个具体的密码预测协议，该协议利用我们上面的密码技术。

这种密码学和机器学习的联合设计使DELPHI能够有效地为网络提供比以往任何工作都更深入的密码预测。例如，在第7节中，我们展示了使用DELPHI为流行的ResNet-32架构提供推理，只需要60MB的通信和3.8秒的时间。

2系统概述

2.1系统设置

在系统设置中有两方:客户端和服务提供者(或服务器)。在我们系统的明文版本中，服务提供者通过API使用其内部模型以服务的形式提供预测。客户端通过将数据传输给服务提供者，使用这个API对自己的数据运行预测。服务提供者使用适当的神经网络运行预测，然后将预测结果发送回客户端。在DELPHI中，双方通过提供各自的输入来共同执行安全预测。服务提供者的输入是神经网络，而客户端的输入是用于预测的私有输入。

2.2威胁模型

DELPHI的威胁模型类似于之前的安全预测作品GAZELLE [Juv+18]和MiniONN [Liu+17a]。更具体地说，DELPHI是为两方半诚实环境设计的，其中只有一方被对手破坏。此外，这个对手永远不会偏离协议，但它将试图从它收到的消息中了解有关其他方私人输入的信息。

2.3隐私目标

DELPHI的目标是让客户只学习两部分信息:神经网络的架构和推理的结果;所有其他关于客户端私有输入和服务器神经网络模型参数的信息都应该被隐藏。具体来说，我们的目标是实现一个强大的基于模拟的安全定义;参见定义4.1。

像之前的所有工作一样，DELPHI并不隐藏关于网络架构的信息，例如网络中每一层的尺寸和类型。对于之前的工作，这通常不是问题，因为体系结构独立于训练数据。然而，由于DELPHI的规划器使用训练数据来优化二次近似，揭示网络架构会揭示关于数据的一些信息。具体地说，在优化“层网络”时，规划者做出“二元选择”，因此最多只能揭示关于训练数据的比特信息。因为'对于实际网络来说非常小(例如，' = 32对于ResNet32)，这个泄漏可以忽略不计。这种泄漏可以通过使用差分私有训练算法[Sho+15;阿坝+ 16]

与大多数先前的密码预测系统一样，DELPHI不隐藏预测结果所揭示的信息。在我们看来，防范利用这种泄漏的攻击是DELPHI解决的一个补充问题。事实上，这种攻击甚至已经成功地针对那些通过要求客户端将其输入上传到服务器而“完美”隐藏模型参数的系统[Fre+14;吃+ 15;Fre + 15;吴+ 16 b;+ 16]。此外，针对这些攻击的常用缓解措施，如差异隐私，可以与DELPHI的协议结合使用。我们将在第8.2节中更详细地讨论这些攻击和可能的缓解措施。

2.4系统架构及工作流程

DELPHI的体系结构由两个部分组成:用于评估神经网络的混合加密协议，以及用于优化给定神经网络以配合我们的协议使用的神经网络配置规划器。下面我们将概述这些组件，然后通过描述家庭监控系统(HMS)中加密预测的端到端工作流程来演示如何在实践中使用这些组件。

混合密码协议。
DELPHI的密码预测协议包括两个阶段:离线预处理阶段和在线推理阶段。离线预处理阶段独立于客户端输入(定期更改)，但假设服务器的模型是静态的;如果这个模型改变了，那么双方都必须重新运行预处理阶段。经过预处理后，在在线推理阶段，客户端向我们专门的安全两方计算协议提供输入，并最终学习推理结果。我们注意到我们的协议提供了两种不同的评估非线性层的方法:第一种以更差的离线和在线效率为代价提供了更好的准确性，而另一种降低了准确性，但提供了更好的离线和在线效率。

计划。
为了帮助服务提供商在这两种互补方法评估非线性层的性能和准确性之间进行权衡，DELPHI采用了一种有原则的方法，设计了一个计划器，生成混合这两种方法的神经网络，以最大限度地提高效率，同时仍能达到服务提供商所需的准确性。我们的规划器将神经结构搜索(NAS)以一种新颖的方式应用于密码设置，以便自动发现正确的架构。

例2.1 (HMS工作流)
。如第1节所述，家庭监控系统(HMS)使用户能够监视房屋内外的活动。近期HMSes [Kun;Wyz]使用神经网络来判断给定的活动是否是恶意的。如果是，他们会提醒用户。在这种情况下，隐私对用户和HMS提供商都很重要，这使得DELPHI成为理想的选择。为了使用DELPHI来提供强大的隐私，HMS提供商按照以下步骤进行。

HMS提供商首先调用DELPHI的规划器来优化其基线全relu神经网络模型。然后，在HMS设备空闲期间，设备和HMS服务器运行此模型的预处理阶段。如果设备在本地检测到可疑活动，它可以运行在线推断阶段以获得分类。根据这个结果，它可以决定是否提醒用户

备注2.2(适用于DELPHI的应用程序)。
例2.1表明，DELPHI最适合于以下应用:有足够的计算能力用于预处理，推理是延迟敏感的，但执行频率不足以耗尽预处理材料的储备。这类应用的其他例子包括谷歌Lens [Goo]等系统中的图像分类。

3 密码原语

4加密协议

在DELPHI中，我们引入了一种用于加密预测的混合加密协议(见图4)。我们的协议对之前工作中提出的协议(如MiniONN [Liu+17a]和GAZELLE [Juv+18])进行了两个关键改进。首先，DELPHI将协议分为预处理阶段和在线阶段，这样大部分繁重的密码计算都在预处理阶段执行。其次，DELPHI引入了两种不同的评估非线性函数的方法，为用户提供了准确性和性能之间的权衡。第一种方法使用乱码电路来评估ReLU激活函数，而第二种方法使用安全评估ReLU的多项式近似。前者提供了最大的精度，但效率低，而后者计算成本低，但降低了精度。(我们注意到，下面我们描述了一个用于评估任何多项式近似的协议，但在本文的其余部分，我们只限制自己使用二次近似，因为这些是最有效的。)

符号。
设R是一个有限环。设HE = (KeyGen, Enc,Dec,Eval)是明文空间R上的线性同态加密。服务器持有一个模型M，由“层M1，…”, M”。客户端持有一个输入向量x∈rn。

我们现在给出一个加密预测协议的正式定义。直观地说，该定义保证了协议执行后，一个半诚实的客户端(即遵循协议规范的客户端)只学习神经网络的架构和推断的结果;关于服务器神经网络模型参数的所有其他信息都是隐藏的。类似地，半诚实的服务器不了解任何关于客户端输入的信息，甚至不了解推断的输出。

定义4.1。
一个服务器之间的协议Π，其输入模型参数为M = (M1，…，M ')，客户端以特征向量x作为输入，如果满足以下保证，则是一个加密预测协议。

正确性。
在服务器持有的每一组模型参数M和客户端的每一个输入向量x上，协议结束时客户端的输出是正确的预测M(x)。
安全性。
- 腐败的客户端。
  我们要求一个损坏的、半诚实的客户端不了解服务器的网络参数M。形式上，我们要求存在一个有效的模拟器
  Sim_C
  ，使得
  View^{\prod}_C\approx Sim_C(x,out)
  ，并且
  View^{\prod}_C
  表示执行Π时客户端的视图(视图包括客户端的输入、随机性和协议的记录)，out表示推理的输出。
- 腐败的服务器。
  我们要求损坏的、半诚实的服务器不了解客户机的私有输入x的任何信息。形式上，我们要求存在一个有效的模拟器
  Sim_S
  ，使
  View^{\prod}_S\approx Sim_S(M)
  ，其中
  View^{\prod}_S
  表示执行Π时服务器的视图。

DELPHI协议分两个阶段进行:预处理阶段和在线阶段，我们将在后面的小节中详细介绍这两个阶段。

4.1预处理阶段

在预处理过程中，客户端和服务器预先计算在线执行过程中可以使用的数据。这个阶段可以独立于输入值执行，也就是说，DELPHI可以在任何一方的输入已知之前运行这个阶段。

1、客户端运行HE.KeyGen获取公钥pk和密钥sk。

2、对于每一个
i\in[l]
，客户端和服务器分别选择随机屏蔽向量
r_i,s_i \gets R^n
。

3、客户端发送
HE.Enc(pk, ri)
到服务器。服务器使用
HE.Eval
计算
HE.Enc(pk, Mi·ri−si)
，并将此密文发送给客户端。

4、客户端对上述密文进行解密，获得每一层的
(Mi·ri−si)
。服务器为每一层保存
si
，因此，客户端和服务器拥有
Mi·ri
的加法秘密共享。

5、这一步取决于激活类型:

(a) ReLU: 服务器通过图5所示的混淆电路C来构造
\tilde{C}
。它将
\tilde{C}
发送到客户端，同时，服务器和客户端通过无关传输(OT)交换对应于
ri+1
和
Mi·ri−si
的输入线的标签。
(b) 多项式近似: 客户端和服务器运行Beaver的三重乘法生成协议来生成一些Beaver的乘法三元组.

4.2在线

在线阶段分为两个阶段:设置和层评估。

4.2.1 启动

客户端在输入x时，将
x−r1
发送给服务器。服务器和客户端现在拥有x的附加秘密共享。

4.2.2 层次评估

在第i层的开始，客户端持有
ri
，服务器持有
xi−ri
，其中xi是通过计算输入x上的神经网络的第(i−1)层(x1设为x)得到的向量。这个不变量将对每一层保持。我们现在描述了第i层的计算协议，它由线性函数和激活函数组成。

线性层。
服务器端计算
Mi (xi−ri) +si
，确保客户端和服务器端共享
Mi·xi
的附加秘密。

非线性层。
线性函数之后，服务器端持有
Mi (xi−ri) + si
，客户端持有
Mi·ri−si
。有两种评估非线性层的方法:用于ReLU的乱码电路，或用于多项式近似的Beaver乘法:

乱码电路
- 服务器将
  Mi (xi−ri) +si
  对应的乱码标签发送给客户端。
- 客户端使用上述标签和OT(脱机阶段)获得的标签对乱码电路
  \tilde{C}
  进行评估，得到一次性的填充密文
  OTP(x_{i+1}−r_{i+1})
  。然后它将此输出发送到服务器。
- 服务器使用一次性填充键获取
  x_{i+1}−r_{i+1}
  。
多项式近似
- 客户端和服务器运行Beaver的乘法过程来计算接近这一层的多项式。在过程结束时，客户端持有
  [xi+1]_1
  ，服务器持有
  [xi+1]_2
  。
- 客户端计算
  [xi+1]_1−r_{i+1}
  并发送给服务器。服务器将该值加上[
  xi+1]_2
  ，得到
  x_{i+1}−r_{i+1}
  。

输出层。
服务器将
x_l−r_l
发送给客户端，客户端将其与
r_l
相加以学习
x_l
。

备注 4.2
（有限域中的定点算法）。到目前为止的讨论假设在有限环上进行算术运算。然而，神经网络推理的流行实现对浮点数执行算术运算。我们通过使用浮点数的定点表示，并将这种定点算法嵌入到我们的环形算法中来解决这个问题。

具体而言，我们的实现工作于由素数 2138816513 定义的 32 位素数有限域，并使用 15 位定点表示。这种参数选择可以在结果溢出素数域的容量之前实现两个定点数的单次乘法。为了防止值随着乘法次数呈指数增长（从而溢出），我们使用了 [Moh+17] 中的一个技巧，它允许我们简单地截断定点值的额外 LSB。即使结果是秘密共享的，这个技巧也能奏效，尽管是以 1 位错误为代价的。

与 Slalom [Tra+19] 类似，我们对素数域的选择也使我们能够将我们的域算法无损地嵌入到 64 位浮点算法中。更详细地说，64 位浮点数可以表示 "
2^{−53} ,...,2^{53}"
范围内的所有整数。因为我们的线性层协议的在线阶段需要一个定点矩阵乘以一个秘密共享向量，结果是一个 ∼ 45 位整数，因此可以用 64 位浮点数完全精确地表示.这使我们的实现能够将最先进的 CPU 和 GPU 库用于线性代数。

4.3 安全

定理 4.3。假设存在乱码电路、线性同态加密和用于 Beaver 的三元组生成和乘法过程的安全协议，上述协议是一个密码预测协议（见定义 4.1）。

证明。
下面我们先针对客户端损坏的情况介绍模拟器，然后针对服务端损坏的情况介绍模拟器。我们在附录 B 中提供了一个依赖于这些模拟器的混合论证。

5 Planner

DELPHI 的规划器采用服务提供商的神经网络模型（以及其他约束）并生成满足服务提供商的准确性和效率目标的新神经网络架构。该规划器的核心是一种神经架构搜索 (NAS) 算法，使服务提供商能够自动找到此类网络架构。下面我们对这个关键组件进行了高度概述，并描述了我们的规划器如何使用它。

背景：神经结构搜索。
最近，机器学习研究在神经架构搜索 (NAS) [Els+19；智慧+19]。 NAS 的目标是自动发现最能满足一组用户指定约束的神经网络架构。大多数 NAS 算法通过（部分）训练许多不同的神经网络、评估它们的准确性并选择性能最好的神经网络来实现这一点.

我们的规划器概述。
DELPHI 的规划器，当输入基线 all-ReLU 神经网络时，以两种模式运行。当再训练不可能或不需要时（例如，如果训练数据不可用，或者如果提供者无法负担 NAS 所需的额外计算），规划器将以第一种模式运行，并简单地输出基线网络。如果再训练（以及 NAS）是可行的，那么规划器将训练数据和最小可接受预测精度 t 的约束作为附加输入，然后使用 NAS 来发现最大化二次近似数量的网络配置，同时仍然实现大于 t 的精度。我们的规划器然后进一步优化此配置的超参数。更详细地说，在第二种模式中，我们的规划器使用 NAS 来优化给定 t 的候选网络配置的以下属性：(a) 二次近似的数量，(b) 这些近似的放置（即，其中的层ReLU 替换为近似值），以及 (c) 训练超参数，如学习率和动量。

前面是一个简短的描述，省略了很多细节。下面，我们将描述我们如何解决使 NAS 适应这种设置所需的挑战（第 5.1 节），我们对 NAS 算法的具体选择（第 5.2 节），以及详细的伪代码最终算法（图 6）。

5.1 为DELPHI的planner适配NAS

挑战 1：训练候选网络。之前的工作 [Moh+17;吉尔+16；高+17； Cho+18] 和我们自己的实验表明，使用二次逼近的网络在训练和部署方面具有挑战性：二次激活会导致底层梯度下降算法发散，从而导致精度低下。直觉上，我们认为这种行为是由这些函数的大而交替的梯度引起的。

为了解决这个问题，我们使用了以下技术：

梯度和激活裁剪：在训练期间，我们修改优化器以使用梯度值裁剪，这有助于防止梯度爆炸 [Ben+94]。特别是，我们将所有梯度的值剪裁为小于 2。我们进一步修改我们的网络以使用 ReLU6 激活函数 [Kri10]，以确保激活后值的幅度最多为 6。这可以防止错误在两者之间复合推理和训练。
渐进式激活交换：我们的实验确定，尽管存在剪裁，但梯度仍在快速爆炸，尤其是在包含更高比例近似值的更深网络中。为了克服这个问题，我们利用了以下见解：直觉上，ReLU6 和 ReLU 的（截断的）二次近似应该共享相对相似的梯度，因此应该可以使用 ReLU6 最初引导下降到一个稳定的区域，其中梯度是更小，然后使用近似的梯度在该区域内进行细粒度调整。

我们通过修改训练过程来利用这种洞察力，逐渐将已经训练过的 allReLU6 网络转换为具有所需数量和二次近似位置的网络。更详细地说，我们的训练过程将每个激活表示为二次和 ReLU6 激活的加权平均值，即
act(x):= wq·quad(x)+wrReLU(x)
使得 wq +wr = 1。一开始，wq = 0 和 wr = 1。然后我们的训练算法逐渐增加 wq 并减少 wr，最终 wq = 1 和 wr = 0。

这种技术还提高了 NAS 的运行时间，因为它不再需要从头开始训练每个候选网络配置。

挑战二：高效优化配置。
回想一下，我们的规划器旨在优化二次近似的数量、它们在网络中的位置以及训练超参数。尝试在单个 NAS 执行中优化所有这些变量会导致很大的搜索空间，而在这个搜索空间中找到有效的网络需要相应较长的时间。

为了解决这个问题，我们将单片 NAS 执行分成独立的运行，负责优化不同的变量。例如，对于具有 n 个非线性层的架构，对于 m < n 的相关选择，我们首先执行 NAS 以找到具有 m 个近似层的高分架构，然后再次执行 NAS 以优化这些架构的训练超参数。在此过程结束时，我们的规划器输出具有不同性能-准确性权衡的各种网络。

挑战 3：优先考虑高效配置。
我们规划者的目标是选择包含最大数量近似值的配置，以最大限度地提高效率。但是，具有大量近似值的网络配置需要更长的训练时间，并且可能比具有较少近似值的网络准确度略低。由于传统的 NAS 文献侧重于简单地最大化效率，因此在此默认设置中使用 NAS 会导致选择较慢的网络而不是更高效的网络，这些网络的准确性略低于较慢的网络。为了克服这个问题，我们通过设计一个新的评分函数 score(·) 来改变 NAS 为候选网络分配“分数”的方式，该函数可以平衡优先精度和性能。我们在第 7 节中的实验表明，此功能使我们能够选择既高效又准确的网络。