.. _chap_hyperopt:

ハイパーパラメータ最適化
========================


**Aaron Klein** (*Amazon*), **Matthias Seeger** (*Amazon*), and **Cedric
Archambeau** (*Amazon*)

あらゆる機械学習モデルの性能は、そのハイパーパラメータに依存する。
ハイパーパラメータは、学習アルゴリズムや基礎となる統計モデルの構造を制御する。
しかし、実際にハイパーパラメータを選ぶための一般的な方法はない。
そのため、ハイパーパラメータは試行錯誤で設定されることが多く、場合によっては実務者がデフォルト値のままにしてしまうこともあり、その結果、汎化性能が最適でないものになりがちである。

ハイパーパラメータ最適化は、この問題に対して体系的なアプローチを提供する。これは、この問題を最適化問題として定式化することで実現される。良いハイパーパラメータの組は、少なくとも検証誤差を最小化すべきである。機械学習で生じる他の多くの最適化問題と比べると、ハイパーパラメータ最適化は入れ子構造の最適化であり、各反復で機械学習モデルの学習と検証が必要になる。

この章では、まずハイパーパラメータ最適化の基礎を紹介する。また、元の目的関数の安価に評価できる代理を活用することで、ハイパーパラメータ最適化全体の効率を改善する最近の進展についても説明する。この章の終わりには、自分自身の機械学習アルゴリズムのハイパーパラメータを最適化するために、最先端のハイパーパラメータ最適化手法を適用できるようになっているはずである。

.. toctree::
   :maxdepth: 2

   hyperopt-intro
   hyperopt-api
   rs-async.md
   sh-intro
   sh-async