.. _sec_rnn-concise:
リカレントニューラルネットワークの簡潔な実装
============================================
ほとんどのスクラッチ実装と同様に、 :numref:`sec_rnn-scratch` は
各コンポーネントがどのように動作するかを理解できるように設計されていました。
しかし、日常的にRNNを使うときや 本番コードを書くときには、 実装時間
（一般的なモデルや関数に対するライブラリコードを提供してくれるため）
と計算時間 （これらのライブラリ実装を徹底的に最適化してくれるため）
の両方を削減できるライブラリに、より頼りたくなるだろう。 この節では、
深層学習フレームワークが提供する高水準APIを用いて、
同じ言語モデルをより効率的に実装する方法を示す。
まずはこれまでと同様に、 *タイムマシン* データセットを読み込む。
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
%load_ext d2lbook.tab
tab.interact_select('mxnet', 'pytorch', 'tensorflow', 'jax')
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import torch as d2l
import torch
from torch import nn
from torch.nn import functional as F
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import mxnet as d2l
from mxnet import np, npx
from mxnet.gluon import nn, rnn
npx.set_np()
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import jax as d2l
from flax import linen as nn
from jax import numpy as jnp
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import tensorflow as d2l
import tensorflow as tf
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class RNN(d2l.Module): #@save
"""高水準APIで実装されたRNNモデル。"""
def __init__(self, num_inputs, num_hiddens):
super().__init__()
self.save_hyperparameters()
self.rnn = nn.RNN(num_inputs, num_hiddens)
def forward(self, inputs, H=None):
return self.rnn(inputs, H)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class RNN(d2l.Module): #@save
"""高水準APIで実装されたRNNモデル。"""
def __init__(self, num_hiddens):
super().__init__()
self.save_hyperparameters()
self.rnn = rnn.RNN(num_hiddens)
def forward(self, inputs, H=None):
if H is None:
H, = self.rnn.begin_state(inputs.shape[1], ctx=inputs.ctx)
outputs, (H, ) = self.rnn(inputs, (H, ))
return outputs, H
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class RNN(nn.Module): #@save
"""高水準APIで実装されたRNNモデル。"""
num_hiddens: int
@nn.compact
def __call__(self, inputs, H=None):
raise NotImplementedError
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class RNN(d2l.Module): #@save
"""高水準APIで実装されたRNNモデル。"""
def __init__(self, num_hiddens):
super().__init__()
self.save_hyperparameters()
self.rnn = tf.keras.layers.SimpleRNN(
num_hiddens, return_sequences=True, return_state=True,
time_major=True)
def forward(self, inputs, H=None):
outputs, H = self.rnn(inputs, H)
return outputs, H
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class RNNLM(d2l.RNNLMScratch): #@save
"""高水準APIで実装されたRNNベースの言語モデル。"""
def init_params(self):
self.linear = nn.LazyLinear(self.vocab_size)
def output_layer(self, hiddens):
return d2l.swapaxes(self.linear(hiddens), 0, 1)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class RNNLM(d2l.RNNLMScratch): #@save
"""高水準APIで実装されたRNNベースの言語モデル。"""
def init_params(self):
if tab.selected('mxnet'):
self.linear = nn.Dense(self.vocab_size, flatten=False)
self.initialize()
if tab.selected('tensorflow'):
self.linear = tf.keras.layers.Dense(self.vocab_size)
def output_layer(self, hiddens):
if tab.selected('mxnet'):
return d2l.swapaxes(self.linear(hiddens), 0, 1)
if tab.selected('tensorflow'):
return d2l.transpose(self.linear(hiddens), (1, 0, 2))
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class RNNLM(d2l.RNNLMScratch): #@save
"""高水準APIで実装されたRNNベースの言語モデル。"""
training: bool = True
def setup(self):
self.linear = nn.Dense(self.vocab_size)
def output_layer(self, hiddens):
return d2l.swapaxes(self.linear(hiddens), 0, 1)
def forward(self, X, state=None):
embs = self.one_hot(X)
rnn_outputs, _ = self.rnn(embs, state, self.training)
return self.output_layer(rnn_outputs)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class RNNLM(d2l.RNNLMScratch): #@save
"""高水準APIで実装されたRNNベースの言語モデル。"""
def init_params(self):
if tab.selected('mxnet'):
self.linear = nn.Dense(self.vocab_size, flatten=False)
self.initialize()
if tab.selected('tensorflow'):
self.linear = tf.keras.layers.Dense(self.vocab_size)
def output_layer(self, hiddens):
if tab.selected('mxnet'):
return d2l.swapaxes(self.linear(hiddens), 0, 1)
if tab.selected('tensorflow'):
return d2l.transpose(self.linear(hiddens), (1, 0, 2))
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
model.predict('it has', 20, data.vocab, d2l.try_gpu())
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
'it has it and the pean the'
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
model.predict('it has', 20, data.vocab, d2l.try_gpu())
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
'it has a dimensions the ti'
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
model.predict('it has', 20, data.vocab)
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
'it has in the the the that'
.. raw:: html
.. raw:: html