.. _sec_multiscale-object-detection:
マルチスケール物体検出
======================
| :numref:`sec_anchor`
では、入力画像の各画素を中心とする複数のアンカーボックスを生成した。
| 本質的には、これらのアンカーボックスは画像のさまざまな領域のサンプルを表している。
| しかし、\ *すべて*\ の画素に対して生成すると、計算すべきアンカーボックスが多すぎる場合がある。
| :math:`561 \times 728` の入力画像を考えてみよう。
| 各画素を中心として、形状の異なる5個のアンカーボックスを生成すると、200万個を超えるアンカーボックス（\ :math:`561 \times 728 \times 5`\ ）に対して、画像上でラベル付けと予測を行う必要がある。
.. _subsec_multiscale-anchor-boxes:
マルチスケールのアンカーボックス
--------------------------------
| 画像上のアンカーボックスを減らすのは、それほど難しくないと気づくかもしれない。
| たとえば、入力画像から画素を少数だけ一様にサンプリングし、その画素を中心とするアンカーボックスを生成すればよいのである。
| さらに、異なるスケールで、異なるサイズのアンカーボックスを異なる個数だけ生成できる。
| 直感的には、小さな物体のほうが大きな物体よりも画像中に現れやすいである。
| 例として、\ :math:`2 \times 2`
の画像には、\ :math:`1 \times 1`\ 、\ :math:`1 \times 2`\ 、\ :math:`2 \times 2`
の物体がそれぞれ 4 通り、2 通り、1 通りの現れ方で存在しえる。
| したがって、小さな物体を検出するために小さなアンカーボックスを使う場合は、より多くの領域をサンプリングでき、
| 一方で大きな物体に対しては、より少ない領域をサンプリングすればよいのである。
| 複数のスケールでアンカーボックスを生成する方法を示すために、画像を読み込みよう。
| その高さと幅はそれぞれ 561 ピクセルと 728 ピクセルである。
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
%matplotlib inline
from d2l import torch as d2l
import torch
img = d2l.plt.imread('../img/catdog.jpg')
h, w = img.shape[:2]
h, w
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
(561, 728)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
%matplotlib inline
from d2l import mxnet as d2l
from mxnet import image, np, npx
npx.set_np()
img = image.imread('../img/catdog.jpg')
h, w = img.shape[:2]
h, w
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
[06:59:11] ../src/storage/storage.cc:196: Using Pooled (Naive) StorageManager for CPU
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
(561, 728)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
display_anchors(fmap_w=4, fmap_h=4, s=[0.15])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
display_anchors(fmap_w=4, fmap_h=4, s=[0.15])
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
def display_anchors(fmap_w, fmap_h, s):
d2l.set_figsize()
# Values on the first two dimensions do not affect the output
fmap = d2l.zeros((1, 10, fmap_h, fmap_w))
anchors = d2l.multibox_prior(fmap, sizes=s, ratios=[1, 2, 0.5])
bbox_scale = d2l.tensor((w, h, w, h))
d2l.show_bboxes(d2l.plt.imshow(img).axes,
anchors[0] * bbox_scale)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
def display_anchors(fmap_w, fmap_h, s):
d2l.set_figsize()
# Values on the first two dimensions do not affect the output
fmap = np.zeros((1, 10, fmap_h, fmap_w))
anchors = npx.multibox_prior(fmap, sizes=s, ratios=[1, 2, 0.5])
bbox_scale = np.array((w, h, w, h))
d2l.show_bboxes(d2l.plt.imshow(img.asnumpy()).axes,
anchors[0] * bbox_scale)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
display_anchors(fmap_w=2, fmap_h=2, s=[0.4])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
display_anchors(fmap_w=2, fmap_h=2, s=[0.4])
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
display_anchors(fmap_w=4, fmap_h=4, s=[0.15])
.. figure:: output_multiscale-object-detection_f4262f_33_0.svg
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
display_anchors(fmap_w=4, fmap_h=4, s=[0.15])
.. figure:: output_multiscale-object-detection_f4262f_36_0.svg
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
display_anchors(fmap_w=1, fmap_h=1, s=[0.8])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
display_anchors(fmap_w=1, fmap_h=1, s=[0.8])
.. raw:: html
.. raw:: html