.. _sec_auto_para:
自動並列化
==========
ディープラーニング・フレームワーク（たとえば MXNet や
PyTorch）は、バックエンドで計算グラフを自動的に構築する。計算グラフを用いることで、システムはすべての依存関係を把握でき、相互に依存しない複数のタスクを選択的に並列実行して速度を向上させることができる。たとえば、
:numref:`sec_async` の :numref:`fig_asyncgraph` では 2
つの変数を独立に初期化している。そのため、システムはそれらを並列に実行することを選べる。
通常、単一の演算子は、すべての CPU 上の計算資源、または単一の GPU
上の計算資源をすべて使う。たとえば ``dot`` 演算子は、1
台のマシンに複数の CPU プロセッサがあっても、すべての CPU
の全コア（およびスレッド）を使う。GPU
でも同様である。したがって、単一デバイスのコンピュータでは並列化の有用性はそれほど高くない。複数デバイスがある場合には、事情が変わりる。並列化は通常、複数
GPU 間で最も重要であるが、ローカル CPU
を加えることで性能はわずかに向上する。たとえば、GPU と CPU
を組み合わせてコンピュータビジョンモデルを学習することに焦点を当てた
:cite:t:`Hadjis.Zhang.Mitliagkas.ea.2016`
を参照しよ。自動並列化するフレームワークの利便性があれば、同じ目的を数行の
Python
コードで達成できる。より広く言えば、自動並列計算に関する本節の議論は、CPU
と GPU
の両方を用いた並列計算、および計算と通信の並列化に焦点を当てている。
なお、本節の実験を実行するには少なくとも 2 枚の GPU が必要である。
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import torch as d2l
import torch
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from d2l import mxnet as d2l
from mxnet import np, npx
npx.set_np()
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
devices = d2l.try_all_gpus()
def run(x):
return [x.mm(x) for _ in range(50)]
x_gpu1 = torch.rand(size=(4000, 4000), device=devices[0])
x_gpu2 = torch.rand(size=(4000, 4000), device=devices[1])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
devices = d2l.try_all_gpus()
def run(x):
return [x.dot(x) for _ in range(50)]
x_gpu1 = np.random.uniform(size=(4000, 4000), ctx=devices[0])
x_gpu2 = np.random.uniform(size=(4000, 4000), ctx=devices[1])
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
[07:35:24] ../src/storage/storage.cc:196: Using Pooled (Naive) StorageManager for GPU
[07:35:25] ../src/storage/storage.cc:196: Using Pooled (Naive) StorageManager for GPU
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
run(x_gpu1)
run(x_gpu2) # すべてのデバイスをウォームアップ
torch.cuda.synchronize(devices[0])
torch.cuda.synchronize(devices[1])
with d2l.Benchmark('GPU1 time'):
run(x_gpu1)
torch.cuda.synchronize(devices[0])
with d2l.Benchmark('GPU2 time'):
run(x_gpu2)
torch.cuda.synchronize(devices[1])
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
GPU1 time: 0.4469 sec
GPU2 time: 0.4567 sec
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
run(x_gpu1) # 両方のデバイスをウォームアップ
run(x_gpu2)
npx.waitall()
with d2l.Benchmark('GPU1 time'):
run(x_gpu1)
npx.waitall()
with d2l.Benchmark('GPU2 time'):
run(x_gpu2)
npx.waitall()
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
GPU1 time: 0.4586 sec
GPU2 time: 0.4602 sec
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
with d2l.Benchmark('GPU1 & GPU2'):
run(x_gpu1)
run(x_gpu2)
torch.cuda.synchronize()
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
GPU1 & GPU2: 0.4467 sec
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
with d2l.Benchmark('GPU1 & GPU2'):
run(x_gpu1)
run(x_gpu2)
npx.waitall()
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
GPU1 & GPU2: 0.4642 sec
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
def copy_to_cpu(x, non_blocking=False):
return [y.to('cpu', non_blocking=non_blocking) for y in x]
with d2l.Benchmark('Run on GPU1'):
y = run(x_gpu1)
torch.cuda.synchronize()
with d2l.Benchmark('Copy to CPU'):
y_cpu = copy_to_cpu(y)
torch.cuda.synchronize()
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
Run on GPU1: 0.4480 sec
Copy to CPU: 2.2074 sec
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
def copy_to_cpu(x):
return [y.copyto(npx.cpu()) for y in x]
with d2l.Benchmark('Run on GPU1'):
y = run(x_gpu1)
npx.waitall()
with d2l.Benchmark('Copy to CPU'):
y_cpu = copy_to_cpu(y)
npx.waitall()
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
Run on GPU1: 0.5041 sec
[07:35:27] ../src/storage/storage.cc:196: Using Pooled (Naive) StorageManager for CPU
Copy to CPU: 2.4251 sec
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
with d2l.Benchmark('Run on GPU1 and copy to CPU'):
y = run(x_gpu1)
y_cpu = copy_to_cpu(y, True)
torch.cuda.synchronize()
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
Run on GPU1 and copy to CPU: 1.7105 sec
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
with d2l.Benchmark('Run on GPU1 and copy to CPU'):
y = run(x_gpu1)
y_cpu = copy_to_cpu(y)
npx.waitall()
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
Run on GPU1 and copy to CPU: 0.4647 sec
.. raw:: html
.. raw:: html