19. ハイパーパラメータ最適化

Aaron Klein (Amazon), Matthias Seeger (Amazon), and Cedric Archambeau (Amazon)

あらゆる機械学習モデルの性能は、そのハイパーパラメータに依存する。 ハイパーパラメータは、学習アルゴリズムや基礎となる統計モデルの構造を制御する。 しかし、実際にハイパーパラメータを選ぶための一般的な方法はない。 そのため、ハイパーパラメータは試行錯誤で設定されることが多く、場合によっては実務者がデフォルト値のままにしてしまうこともあり、その結果、汎化性能が最適でないものになりがちである。

ハイパーパラメータ最適化は、この問題に対して体系的なアプローチを提供する。これは、この問題を最適化問題として定式化することで実現される。良いハイパーパラメータの組は、少なくとも検証誤差を最小化すべきである。機械学習で生じる他の多くの最適化問題と比べると、ハイパーパラメータ最適化は入れ子構造の最適化であり、各反復で機械学習モデルの学習と検証が必要になる。

この章では、まずハイパーパラメータ最適化の基礎を紹介する。また、元の目的関数の安価に評価できる代理を活用することで、ハイパーパラメータ最適化全体の効率を改善する最近の進展についても説明する。この章の終わりには、自分自身の機械学習アルゴリズムのハイパーパラメータを最適化するために、最先端のハイパーパラメータ最適化手法を適用できるようになっているはずである。

• 19.1. ハイパーパラメータ最適化とは何か？
  • 19.1.1. 最適化問題
  • 19.1.2. ランダム探索
  • 19.1.3. まとめ
  • 19.1.4. 演習
• 19.2. ハイパーパラメータ最適化 API
  • 19.2.1. Searcher
  • 19.2.2. Scheduler
  • 19.2.3. Tuner
  • 19.2.4. HPO アルゴリズムの性能管理
  • 19.2.5. 例: 畳み込みニューラルネットワークのハイパーパラメータ最適化
  • 19.2.6. HPO アルゴリズムの比較
  • 19.2.7. まとめ
  • 19.2.8. 演習
• 19.3. 非同期ランダムサーチ
  • 19.3.1. 目的関数
  • 19.3.2. 非同期スケジューラ
  • 19.3.3. 非同期最適化プロセスの可視化
  • 19.3.4. まとめ
  • 19.3.5. 演習
• 19.4. マルチフィデリティ・ハイパーパラメータ最適化
  • 19.4.1. 逐次半減法
  • 19.4.2. まとめ
• 19.5. 非同期逐次半減法
  • 19.5.1. 目的関数
  • 19.5.2. 非同期スケジューラ
  • 19.5.3. 最適化過程の可視化
  • 19.5.4. まとめ