.. _sec_linear_concise:
線形回帰の簡潔な実装
====================
深層学習は、この10年で一種のカンブリア爆発を経験してきた。
技術、応用、アルゴリズムの数は、過去数十年の進歩をはるかに上回っている。
これは複数の要因が幸運にも組み合わさった結果であり、
その一つが、いくつかのオープンソース深層学習フレームワークが提供する強力で無料のツールである。
Theano :cite:`Bergstra.Breuleux.Bastien.ea.2010`, DistBelief
:cite:`Dean.Corrado.Monga.ea.2012`, および Caffe
:cite:`Jia.Shelhamer.Donahue.ea.2014`
は、広く採用されたそのようなモデルの
第一世代を代表していると言えるだろう。
Lisp風のプログラミング体験を提供した SN2 (Simulateur Neuristique)
:cite:`Bottou.Le-Cun.1988`
のような初期の（先駆的な）研究とは対照的に、
現代のフレームワークは自動微分と Python の利便性を提供する。
これらのフレームワークにより、勾配ベース学習アルゴリズムの実装における
反復的な作業を自動化し、モジュール化できる。
:numref:`sec_linear_scratch` では、 (i)
データ保存と線形代数のためのテンソル、 および (ii)
勾配計算のための自動微分 だけに依拠した。
実際には、データイテレータ、損失関数、最適化器、
ニューラルネットワーク層は
非常に一般的であるため、現代のライブラリはこれらの構成要素も
私たちの代わりに実装してくれる。 この節では、深層学習フレームワークの
高レベル API を使って :numref:`sec_linear_scratch` の線形回帰モデルを
簡潔に実装する方法を示す。
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import torch as d2l
import numpy as np
import torch
from torch import nn
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import mxnet as d2l
from mxnet import autograd, gluon, init, np, npx
from mxnet.gluon import nn
npx.set_np()
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import jax as d2l
from flax import linen as nn
import jax
from jax import numpy as jnp
import optax
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import tensorflow as d2l
import numpy as np
import tensorflow as tf
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class LinearRegression(d2l.Module): #@save
"""The linear regression model implemented with high-level APIs."""
def __init__(self, lr):
super().__init__()
self.save_hyperparameters()
if tab.selected('mxnet'):
self.net = nn.Dense(1)
self.net.initialize(init.Normal(sigma=0.01))
if tab.selected('tensorflow'):
initializer = tf.initializers.RandomNormal(stddev=0.01)
self.net = tf.keras.layers.Dense(1, kernel_initializer=initializer)
if tab.selected('pytorch'):
self.net = nn.LazyLinear(1)
self.net.weight.data.normal_(0, 0.01)
self.net.bias.data.fill_(0)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class LinearRegression(d2l.Module): #@save
"""The linear regression model implemented with high-level APIs."""
def __init__(self, lr):
super().__init__()
self.save_hyperparameters()
if tab.selected('mxnet'):
self.net = nn.Dense(1)
self.net.initialize(init.Normal(sigma=0.01))
if tab.selected('tensorflow'):
initializer = tf.initializers.RandomNormal(stddev=0.01)
self.net = tf.keras.layers.Dense(1, kernel_initializer=initializer)
if tab.selected('pytorch'):
self.net = nn.LazyLinear(1)
self.net.weight.data.normal_(0, 0.01)
self.net.bias.data.fill_(0)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class LinearRegression(d2l.Module): #@save
"""The linear regression model implemented with high-level APIs."""
lr: float
def setup(self):
self.net = nn.Dense(1, kernel_init=nn.initializers.normal(0.01))
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class LinearRegression(d2l.Module): #@save
"""The linear regression model implemented with high-level APIs."""
def __init__(self, lr):
super().__init__()
self.save_hyperparameters()
if tab.selected('mxnet'):
self.net = nn.Dense(1)
self.net.initialize(init.Normal(sigma=0.01))
if tab.selected('tensorflow'):
initializer = tf.initializers.RandomNormal(stddev=0.01)
self.net = tf.keras.layers.Dense(1, kernel_initializer=initializer)
if tab.selected('pytorch'):
self.net = nn.LazyLinear(1)
self.net.weight.data.normal_(0, 0.01)
self.net.bias.data.fill_(0)
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
@d2l.add_to_class(LinearRegression) #@save
def loss(self, y_hat, y):
if tab.selected('mxnet'):
fn = gluon.loss.L2Loss()
return fn(y_hat, y).mean()
if tab.selected('pytorch'):
fn = nn.MSELoss()
return fn(y_hat, y)
if tab.selected('tensorflow'):
fn = tf.keras.losses.MeanSquaredError()
return fn(y, y_hat)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
@d2l.add_to_class(LinearRegression) #@save
def loss(self, y_hat, y):
if tab.selected('mxnet'):
fn = gluon.loss.L2Loss()
return fn(y_hat, y).mean()
if tab.selected('pytorch'):
fn = nn.MSELoss()
return fn(y_hat, y)
if tab.selected('tensorflow'):
fn = tf.keras.losses.MeanSquaredError()
return fn(y, y_hat)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
@d2l.add_to_class(LinearRegression) #@save
def loss(self, params, X, y, state):
y_hat = state.apply_fn({'params': params}, *X)
return d2l.reduce_mean(optax.l2_loss(y_hat, y))
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
@d2l.add_to_class(LinearRegression) #@save
def loss(self, y_hat, y):
if tab.selected('mxnet'):
fn = gluon.loss.L2Loss()
return fn(y_hat, y).mean()
if tab.selected('pytorch'):
fn = nn.MSELoss()
return fn(y_hat, y)
if tab.selected('tensorflow'):
fn = tf.keras.losses.MeanSquaredError()
return fn(y, y_hat)
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
@d2l.add_to_class(LinearRegression) #@save
def get_w_b(self):
if tab.selected('mxnet'):
return (self.net.weight.data(), self.net.bias.data())
if tab.selected('pytorch'):
return (self.net.weight.data, self.net.bias.data)
if tab.selected('tensorflow'):
return (self.get_weights()[0], self.get_weights()[1])
w, b = model.get_w_b()
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
@d2l.add_to_class(LinearRegression) #@save
def get_w_b(self):
if tab.selected('mxnet'):
return (self.net.weight.data(), self.net.bias.data())
if tab.selected('pytorch'):
return (self.net.weight.data, self.net.bias.data)
if tab.selected('tensorflow'):
return (self.get_weights()[0], self.get_weights()[1])
w, b = model.get_w_b()
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
@d2l.add_to_class(LinearRegression) #@save
def get_w_b(self, state):
net = state.params['net']
return net['kernel'], net['bias']
w, b = model.get_w_b(trainer.state)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
@d2l.add_to_class(LinearRegression) #@save
def get_w_b(self):
if tab.selected('mxnet'):
return (self.net.weight.data(), self.net.bias.data())
if tab.selected('pytorch'):
return (self.net.weight.data, self.net.bias.data)
if tab.selected('tensorflow'):
return (self.get_weights()[0], self.get_weights()[1])
w, b = model.get_w_b()
.. raw:: html
.. raw:: html