.. _sec_what_is_hpo:
ハイパーパラメータ最適化とは何か？
==================================
前の章で見てきたように、深層ニューラルネットワークには、学習中に獲得される多数のパラメータ、すなわち重みがある。これに加えて、すべてのニューラルネットワークには、ユーザーが設定しなければならない追加の
*ハイパーパラメータ*
がある。たとえば、確率的勾配降下法が訓練損失の局所最適に収束するようにするには
（:numref:`chap_optimization`
を参照）、学習率とバッチサイズを調整する必要がある。訓練データセットへの過学習を避けるために、重み減衰
（:numref:`sec_weight_decay`
を参照）やドロップアウト（:numref:`sec_dropout`
を参照）のような正則化パラメータを設定しなければならないこともある。層数や各層あたりのユニット数またはフィルター数（すなわち、実効的な重みの数）を設定することで、モデルの容量と帰納バイアスを定義できる。
残念ながら、これらのハイパーパラメータを訓練損失の最小化によって単純に調整することはできない。そうすると訓練データへの過学習を招くからである。たとえば、ドロップアウトや重み減衰のような正則化パラメータをゼロに設定すると訓練損失は小さくなるが、汎化性能を損なう可能性がある。
.. _ml_workflow:
.. figure:: ../img/ml_workflow.svg
異なるハイパーパラメータでモデルを複数回訓練することから成る、機械学習における典型的なワークフロー。
別の形の自動化がなければ、ハイパーパラメータは試行錯誤によって手動で設定しなければならず、機械学習ワークフローの中でも時間がかかり難しい部分になる。たとえば、CIFAR-10
上で ResNet（:numref:`sec_resnet`
を参照）を学習する場合を考えてみよう。Amazon Elastic Cloud Compute (EC2)
の ``g4dn.xlarge`` インスタンスでは 2 時間以上かかる。たとえ 10
通りのハイパーパラメータ設定を順番に試すだけでも、これだけでおよそ 1
日かかってしまう。さらに悪いことに、ハイパーパラメータは通常、アーキテクチャやデータセットをまたいでそのまま転用できず
:cite:`feurer-arxiv22,wistuba-ml18,bardenet-icml13a`\ 、新しいタスクごとに再最適化する必要がある。また、ほとんどのハイパーパラメータには経験則がなく、妥当な値を見つけるには専門知識が必要である。
*ハイパーパラメータ最適化（HPO）*
アルゴリズムは、この問題に原理的かつ自動化された方法で取り組むよう設計されている
:cite:`feurer-automlbook18a`\ 。これは、これを大域最適化問題として定式化することで実現される。標準的な目的関数はホールドアウトした検証データセット上の誤差であるが、原理的には他のビジネス指標でも構わない。これに、学習時間、推論時間、モデルの複雑さなどの副次的な目的を組み合わせたり、制約として課したりできる。
近年、ハイパーパラメータ最適化は *ニューラルアーキテクチャ探索（NAS）*
:cite:`elsken-arxiv18a,wistuba-arxiv19`
に拡張され、まったく新しいニューラルネットワークアーキテクチャを見つけることが目標になっている。従来の
HPO と比べると、NAS
は計算コストがさらに高く、実用上成立させるためには追加の工夫が必要である。HPO
と NAS の両方は、ML パイプライン全体の自動化を目指す AutoML
:cite:`hutter-book19a` の下位分野とみなせる。
この節では HPO を紹介し、 :numref:`sec_softmax_concise`
で導入したロジスティック回帰の例に対して、最適なハイパーパラメータを自動的に見つける方法を示す。
.. _sec_definition_hpo:
最適化問題
----------
まずは簡単な玩具問題から始めよう。Fashion MNIST データセット上で、
:numref:`sec_softmax_concise` の多クラスロジスティック回帰モデル
``SoftmaxRegression``
の学習率を探索し、検証誤差を最小化する。バッチサイズやエポック数のような他のハイパーパラメータも調整する価値はあるが、簡単のためここでは学習率のみに注目する。
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import torch as d2l
import numpy as np
import torch
from torch import nn
from scipy import stats
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
config_space = {"learning_rate": stats.loguniform(1e-4, 1)}
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
config_space = {"learning_rate": stats.loguniform(1e-4, 1)}
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
config_space = {"learning_rate": stats.loguniform(1e-4, 1)}
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class HPOTrainer(d2l.Trainer): #@save
def validation_error(self):
self.model.eval()
accuracy = 0
val_batch_idx = 0
for batch in self.val_dataloader:
with torch.no_grad():
x, y = self.prepare_batch(batch)
y_hat = self.model(x)
accuracy += self.model.accuracy(y_hat, y)
val_batch_idx += 1
return 1 - accuracy / val_batch_idx
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
errors, values = [], []
num_iterations = 5
for i in range(num_iterations):
learning_rate = config_space["learning_rate"].rvs()
print(f"Trial {i}: learning_rate = {learning_rate}")
y = hpo_objective_softmax_classification({"learning_rate": learning_rate})
print(f" validation_error = {y}")
values.append(learning_rate)
errors.append(y)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
errors, values = [], []
num_iterations = 5
for i in range(num_iterations):
learning_rate = config_space["learning_rate"].rvs()
print(f"Trial {i}: learning_rate = {learning_rate}")
y = hpo_objective_softmax_classification({"learning_rate": learning_rate})
print(f" validation_error = {y}")
values.append(learning_rate)
errors.append(y)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
errors, values = [], []
num_iterations = 5
for i in range(num_iterations):
learning_rate = config_space["learning_rate"].rvs()
print(f"Trial {i}: learning_rate = {learning_rate}")
y = hpo_objective_softmax_classification({"learning_rate": learning_rate})
print(f" validation_error = {y}")
values.append(learning_rate)
errors.append(y)
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
def hpo_objective_softmax_classification(config, max_epochs=8):
learning_rate = config["learning_rate"]
trainer = d2l.HPOTrainer(max_epochs=max_epochs)
data = d2l.FashionMNIST(batch_size=16)
model = d2l.SoftmaxRegression(num_outputs=10, lr=learning_rate)
trainer.fit(model=model, data=data)
return d2l.numpy(trainer.validation_error())
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
best_idx = np.argmin(errors)
print(f"optimal learning rate = {values[best_idx]}")
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
best_idx = np.argmin(errors)
print(f"optimal learning rate = {values[best_idx]}")
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
best_idx = np.argmin(errors)
print(f"optimal learning rate = {values[best_idx]}")
.. raw:: html
.. raw:: html