3. 回帰のための線形ニューラルネットワーク¶

ディープニューラルネットワークを扱う前に、入力と出力が直接結び付く浅いネットワークを実装しておくことは有益である。これにはいくつか重要な理由がある。第一に、複雑なアーキテクチャに注意を奪われることなく、出力層のパラメータ化、データの扱い、損失関数の定義、モデルの学習といった、ニューラルネットワーク学習の基本事項に集中できる。第二に、この種の浅いネットワークは線形モデルそのものであり、線形回帰やソフトマックス回帰を含む多くの古典的な統計的予測手法を包含する。これらの古典的手法を理解することはきわめて重要である。というのも、多くの場面で広く用いられており、より洗練されたアーキテクチャの利用を正当化する際には、しばしばベースラインとして必要になるからである。この章では線形回帰に焦点を当て、次章では分類のための線形ニューラルネットワークを構築することで、モデリング手法の幅を広げる。