.. _sec_deep_rnn:
深層再帰ニューラルネットワーク
==============================
| これまで、系列入力、単一の隠れRNN層、および出力層からなるネットワークの定義に焦点を当ててきた。
| 任意の時刻の入力とそれに対応する出力の間に隠れ層が1つしかないにもかかわらず、これらのネットワークには深さがあると言える。
| 最初の時刻の入力は、最終時刻 :math:`T`
の出力（しばしば100ステップや1000ステップも後）に影響を与えることができる。
| これらの入力は、最終出力に到達するまでに再帰層を :math:`T`
回通過する。
| しかし、私たちはしばしば、ある時刻における入力と同じ時刻における出力の間の複雑な関係を表現する能力も保持したいと考える。
| そのため、RNNは時間方向だけでなく、入力から出力への方向にも深いように構成されることがよくある。
| これは、MLPや深層CNNの開発で既に出会ってきた、まさに深さの概念である。
| この種の深いRNNを構築する標準的な方法は驚くほど単純である。RNNを上に積み重ねればよいのである。
| 長さ :math:`T` の系列が与えられると、最初のRNNは長さ :math:`T`
の出力系列を生成する。
| これらは次のRNN層への入力を構成する。
| この短い節では、この設計パターンを示し、そのようなスタック型RNNをどのように実装するかの簡単な例を示す。
| 以下の :numref:`fig_deep_rnn` では、\ :math:`L`
個の隠れ層を持つ深いRNNを示す。
| 各隠れ状態は系列入力を受け取り、系列出力を生成する。
| さらに、各時刻における任意のRNNセル（:numref:`fig_deep_rnn`
の白い箱）は、同じ層の前時刻の値と、同じ時刻の前の層の値の両方に依存する。
.. _fig_deep_rnn:
.. figure:: ../img/deep-rnn.svg
深いRNNのアーキテクチャ。
| 形式的には、時刻 :math:`t` においてミニバッチ入力
:math:`\mathbf{X}_t \in \mathbb{R}^{n \times d}`\ （例の数
:math:`=n`\ 、各例の入力数 :math:`=d`\ ）があるとする。
| 同じ時刻において、\ :math:`l^\textrm{th}`
隠れ層（\ :math:`l=1,\ldots,L`\ ）の隠れ状態を
:math:`\mathbf{H}_t^{(l)} \in \mathbb{R}^{n \times h}`\ （隠れユニット数
:math:`=h`\ ）とし、出力層変数を
:math:`\mathbf{O}_t \in \mathbb{R}^{n \times q}`\ （出力数
:math:`=q`\ ）とする。
| :math:`\mathbf{H}_t^{(0)} = \mathbf{X}_t` とおくと、活性化関数
:math:`\phi_l` を用いる :math:`l^\textrm{th}`
隠れ層の隠れ状態は次のように計算される。
.. math:: \mathbf{H}_t^{(l)} = \phi_l(\mathbf{H}_t^{(l-1)} \mathbf{W}_{\textrm{xh}}^{(l)} + \mathbf{H}_{t-1}^{(l)} \mathbf{W}_{\textrm{hh}}^{(l)} + \mathbf{b}_\textrm{h}^{(l)}),
:label: eq_deep_rnn_H
ここで、重み
:math:`\mathbf{W}_{\textrm{xh}}^{(l)} \in \mathbb{R}^{h \times h}` と
:math:`\mathbf{W}_{\textrm{hh}}^{(l)} \in \mathbb{R}^{h \times h}`\ 、およびバイアス
:math:`\mathbf{b}_\textrm{h}^{(l)} \in \mathbb{R}^{1 \times h}`
は、\ :math:`l^\textrm{th}` 隠れ層のモデルパラメータである。
最後に、出力層の計算は最終の :math:`L^\textrm{th}`
隠れ層の隠れ状態のみに基づく。
.. math:: \mathbf{O}_t = \mathbf{H}_t^{(L)} \mathbf{W}_{\textrm{hq}} + \mathbf{b}_\textrm{q},
ここで、重み
:math:`\mathbf{W}_{\textrm{hq}} \in \mathbb{R}^{h \times q}` とバイアス
:math:`\mathbf{b}_\textrm{q} \in \mathbb{R}^{1 \times q}`
は出力層のモデルパラメータである。
| MLPと同様に、隠れ層の数 :math:`L` と隠れユニット数 :math:`h`
は調整可能なハイパーパラメータである。
| 一般的なRNN層の幅（\ :math:`h`\ ）は :math:`(64, 2056)`
の範囲にあり、一般的な深さ（\ :math:`L`\ ）は :math:`(1, 8)`
の範囲にある。
| さらに、:eq:`eq_deep_rnn_H`
の隠れ状態計算をLSTMやGRUのものに置き換えることで、深いゲート付きRNNを容易に得ることができる。
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
%load_ext d2lbook.tab
tab.interact_select('mxnet', 'pytorch', 'tensorflow', 'jax')
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import torch as d2l
import torch
from torch import nn
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import mxnet as d2l
from mxnet import np, npx
from mxnet.gluon import rnn
npx.set_np()
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import jax as d2l
from flax import linen as nn
import jax
from jax import numpy as jnp
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import tensorflow as d2l
import tensorflow as tf
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class StackedRNNScratch(d2l.Module):
def __init__(self, num_inputs, num_hiddens, num_layers, sigma=0.01):
super().__init__()
self.save_hyperparameters()
self.rnns = nn.Sequential(*[d2l.RNNScratch(
num_inputs if i==0 else num_hiddens, num_hiddens, sigma)
for i in range(num_layers)])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class StackedRNNScratch(d2l.Module):
def __init__(self, num_inputs, num_hiddens, num_layers, sigma=0.01):
super().__init__()
self.save_hyperparameters()
self.rnns = [d2l.RNNScratch(num_inputs if i==0 else num_hiddens,
num_hiddens, sigma)
for i in range(num_layers)]
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class StackedRNNScratch(d2l.Module):
num_inputs: int
num_hiddens: int
num_layers: int
sigma: float = 0.01
def setup(self):
self.rnns = [d2l.RNNScratch(self.num_inputs if i==0 else self.num_hiddens,
self.num_hiddens, self.sigma)
for i in range(self.num_layers)]
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class StackedRNNScratch(d2l.Module):
def __init__(self, num_inputs, num_hiddens, num_layers, sigma=0.01):
super().__init__()
self.save_hyperparameters()
self.rnns = [d2l.RNNScratch(num_inputs if i==0 else num_hiddens,
num_hiddens, sigma)
for i in range(num_layers)]
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class GRU(d2l.RNN): #@save
"""The multilayer GRU model."""
def __init__(self, num_inputs, num_hiddens, num_layers, dropout=0):
d2l.Module.__init__(self)
self.save_hyperparameters()
self.rnn = nn.GRU(num_inputs, num_hiddens, num_layers,
dropout=dropout)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class GRU(d2l.RNN): #@save
"""The multilayer GRU model."""
def __init__(self, num_hiddens, num_layers, dropout=0):
d2l.Module.__init__(self)
self.save_hyperparameters()
self.rnn = rnn.GRU(num_hiddens, num_layers, dropout=dropout)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class GRU(d2l.RNN): #@save
"""The multilayer GRU model."""
num_hiddens: int
num_layers: int
dropout: float = 0
@nn.compact
def __call__(self, X, state=None, training=False):
outputs = X
new_state = []
if state is None:
batch_size = X.shape[1]
state = [nn.GRUCell.initialize_carry(jax.random.PRNGKey(0),
(batch_size,), self.num_hiddens)] * self.num_layers
GRU = nn.scan(nn.GRUCell, variable_broadcast="params",
in_axes=0, out_axes=0, split_rngs={"params": False})
# 最後のGRU層を除く各GRU層の後にdropout層を導入する
for i in range(self.num_layers - 1):
layer_i_state, X = GRU()(state[i], outputs)
new_state.append(layer_i_state)
X = nn.Dropout(self.dropout, deterministic=not training)(X)
# dropoutなしの最終GRU層
out_state, X = GRU()(state[-1], X)
new_state.append(out_state)
return X, jnp.array(new_state)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
class GRU(d2l.RNN): #@save
"""The multilayer GRU model."""
def __init__(self, num_hiddens, num_layers, dropout=0):
d2l.Module.__init__(self)
self.save_hyperparameters()
gru_cells = [tf.keras.layers.GRUCell(num_hiddens, dropout=dropout)
for _ in range(num_layers)]
self.rnn = tf.keras.layers.RNN(gru_cells, return_sequences=True,
return_state=True, time_major=True)
def forward(self, X, state=None):
outputs, *state = self.rnn(X, state)
return outputs, state
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
if tab.selected('tensorflow', 'jax'):
gru = GRU(num_hiddens=32, num_layers=2)
if tab.selected('pytorch'):
gru = GRU(num_inputs=len(data.vocab), num_hiddens=32, num_layers=2)
if tab.selected('pytorch', 'jax'):
model = d2l.RNNLM(gru, vocab_size=len(data.vocab), lr=2)
if tab.selected('tensorflow'):
with d2l.try_gpu():
model = d2l.RNNLM(gru, vocab_size=len(data.vocab), lr=2)
trainer.fit(model, data)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
gru = GRU(num_hiddens=32, num_layers=2)
model = d2l.RNNLM(gru, vocab_size=len(data.vocab), lr=2)
# 実行には1時間以上かかる（MXNet側の修正待ち）
# trainer.fit(model, data)
# model.predict('it has', 20, data.vocab, d2l.try_gpu())
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
if tab.selected('tensorflow', 'jax'):
gru = GRU(num_hiddens=32, num_layers=2)
if tab.selected('pytorch'):
gru = GRU(num_inputs=len(data.vocab), num_hiddens=32, num_layers=2)
if tab.selected('pytorch', 'jax'):
model = d2l.RNNLM(gru, vocab_size=len(data.vocab), lr=2)
if tab.selected('tensorflow'):
with d2l.try_gpu():
model = d2l.RNNLM(gru, vocab_size=len(data.vocab), lr=2)
trainer.fit(model, data)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
if tab.selected('tensorflow', 'jax'):
gru = GRU(num_hiddens=32, num_layers=2)
if tab.selected('pytorch'):
gru = GRU(num_inputs=len(data.vocab), num_hiddens=32, num_layers=2)
if tab.selected('pytorch', 'jax'):
model = d2l.RNNLM(gru, vocab_size=len(data.vocab), lr=2)
if tab.selected('tensorflow'):
with d2l.try_gpu():
model = d2l.RNNLM(gru, vocab_size=len(data.vocab), lr=2)
trainer.fit(model, data)
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
model.predict('it has', 20, data.vocab, d2l.try_gpu())
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
'it has experiment a mather'
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
model.predict('it has', 20, data.vocab, trainer.state.params)
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
'it has i some to the time '
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
model.predict('it has', 20, data.vocab)
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
'it has the time traveller '
.. raw:: html
.. raw:: html