.. _chap_gp:

ガウス過程
==========


**Andrew Gordon Wilson** (*New York University and Amazon*)

ガウス過程（GP）は至るところに存在する。あなたはすでに、気づかないうちにガウス過程の多くの例に出会っているはずである。パラメータに対してガウス分布を仮定し、かつパラメータに関して線形な任意のモデルは、ガウス過程である。このクラスには、ランダムウォークや自己回帰過程を含む離散モデルだけでなく、ベイズ線形回帰モデル、多項式、フーリエ級数、ラジアル基底関数、さらには無限個の隠れユニットを持つニューラルネットワークのような連続モデルも含まれる。「すべてはガウス過程の特殊ケースである」という冗談がよく言われる。

ガウス過程を学ぶことが重要なのは、次の3つの理由からである。(1)
それらはモデリングに対する *関数空間*
の視点を与え、深層ニューラルネットワークを含むさまざまなモデルクラスの理解をずっと容易にしてくれる。(2)
アクティブラーニング、ハイパーパラメータ学習、AutoML、時空間回帰など、最先端性能を示す応用範囲が非常に広いである。(3)
ここ数年のアルゴリズムの進歩により、ガウス過程はますますスケーラブルで実用的になり、\ `GPyTorch <https://gpytorch.ai>`__
:cite:`Gardner.Pleiss.Weinberger.Bindel.Wilson.2018`
のようなフレームワークを通じて深層学習と調和するようになった。実際、GPと深層ニューラルネットワークは競合する手法ではなく、非常に補完的であり、組み合わせることで大きな効果を発揮できる。これらのアルゴリズムの進歩はガウス過程にだけ関係するのではなく、深層学習全般に広く役立つ数値計算法の基盤も提供する。

この章では、ガウス過程を紹介する。導入ノートブックでは、まずガウス過程とは何か、そしてそれが関数をどのように直接モデル化するのかを直感的に考える。事前分布のノートブックでは、ガウス過程の事前分布をどのように指定するかに焦点を当てる。従来の重み空間でのモデリング手法を関数空間に直接結びつけ、深層ニューラルネットワークを含む機械学習モデルを構築し理解する際の助けとする。次に、ガウス過程の汎化特性を制御する、共分散関数としても知られる人気のある
*カーネル*
を紹介する。与えられたカーネルを持つGPは、関数に対する事前分布を定義する。推論ノートブックでは、予測を行うためにデータを用いて
*事後分布*
を推定する方法を示す。このノートブックには、ガウス過程による予測を行うためのゼロからのコードと、GPyTorch
の入門が含まれている。今後のノートブックでは、ガウス過程の背後にある数値計算を紹介する。これはガウス過程をスケールさせるうえで有用であるだけでなく、深層学習のための強力な一般的基盤でもあり、深層学習におけるハイパーパラメータ調整のような高度なユースケースにも役立ちる。例では、ガウス過程をスケール可能にする
GPyTorch を用い、深層学習機能および PyTorch
と密接に統合された形で説明する。

.. toctree::
   :maxdepth: 2

   gp-intro
   gp-priors
   gp-inference