3. 回帰のための線形ニューラルネットワーク¶

ディープニューラルネットワークを考える前に、入力が出力に直接つながるような、層の浅いネットワークを実装しておくことは有益である。これにはいくつか重要な理由がある。第一に、複雑なアーキテクチャに気を取られる代わりに、出力層のパラメータ化、データの扱い、損失関数の指定、モデルの学習といった、ニューラルネットワーク学習の基本に集中できる。第二に、この種の浅いネットワークは線形モデルの集合そのものであり、線形回帰やソフトマックス回帰を含む、多くの古典的な統計的予測手法を包含している。これらの古典的な手法を理解することは極めて重要である。なぜなら、それらは多くの場面で広く使われており、より洗練されたアーキテクチャの利用を正当化するときには、しばしばベースラインとして用いる必要があるからである。この章では線形回帰に焦点を当て、次の章で分類のための線形ニューラルネットワークを構築することで、私たちのモデリング手法の幅を広げる。