20. 生成的敵対的ネットワーク
クイック検索
code
ソースコードを表示
PDF ノートブック GitHub English 中文版
ディープラーニングを深く学ぶ
Table Of Contents
  • 序文
  • インストール
  • 記法
  • 1. はじめに
  • 2. 前提知識
    • 2.1. データ操作
    • 2.2. データ前処理
    • 2.3. 線形代数
    • 2.4. 微分積分
    • 2.5. 自動微分
    • 2.6. 確率と統計
    • 2.7. ドキュメント
  • 3. 回帰のための線形ニューラルネットワーク
    • 3.1. 線形回帰
    • 3.2. 実装のためのオブジェクト指向設計
    • 3.3. 合成回帰データ
    • 3.4. 線形回帰のスクラッチ実装
    • 3.5. 線形回帰の簡潔な実装
    • 3.6. 汎化
    • 3.7. 重み減衰
  • 4. 分類のための線形ニューラルネットワーク
    • 4.1. ソフトマックス回帰
    • 4.2. 画像分類データセット
    • 4.3. 分類の基礎モデル
    • 4.4. スクラッチからのソフトマックス回帰の実装
    • 4.5. Softmax回帰の簡潔な実装
    • 4.6. 分類における汎化
    • 4.7. 環境と分布シフト
  • 5. 多層パーセプトロン
    • 5.1. 多層パーセプトロン
    • 5.2. 多層パーセプトロンの実装
    • 5.3. 順伝播、逆伝播、および計算グラフ
    • 5.4. 数値安定性と初期化
    • 5.5. ディープラーニングにおける汎化
    • 5.6. ドロップアウト
    • 5.7. Kaggleで住宅価格を予測する
  • 6. ビルダーのためのガイド
    • 6.1. 層とモジュール
    • 6.2. パラメータ管理
    • 6.3. パラメータの初期化
    • 6.4. 遅延初期化
    • 6.5. カスタム層
    • 6.6. ファイル入出力
    • 6.7. GPU
  • 7. 畳み込みニューラルネットワーク
    • 7.1. 全結合層から畳み込みへ
    • 7.2. 画像のための畳み込み
    • 7.3. パディングとストライド
    • 7.4. 複数入力チャネルと複数出力チャネル
    • 7.5. プーリング
    • 7.6. 畳み込みニューラルネットワーク(LeNet)
  • 8. 現代的な畳み込みニューラルネットワーク
    • 8.1. 畳み込み深層ニューラルネットワーク(AlexNet)
    • 8.2. ブロックを用いたネットワーク(VGG)
    • 8.3. Network in Network(NiN)
    • 8.4. マルチブランチネットワーク(GoogLeNet)
    • 8.5. バッチ正規化
    • 8.6. 残差ネットワーク(ResNet)と ResNeXt
    • 8.7. 密に接続されたネットワーク(DenseNet)
    • 8.8. 畳み込みネットワークのアーキテクチャ設計
  • 9. 再帰ニューラルネットワーク
    • 9.1. シーケンスの扱い
    • 9.2. 生テキストを系列データに変換する
    • 9.3. 言語モデル
    • 9.4. 再帰型ニューラルネットワーク
    • 9.5. ゼロからの再帰ニューラルネットワークの実装
    • 9.6. リカレントニューラルネットワークの簡潔な実装
    • 9.7. 時間を通した逆伝播
  • 10. 現代的な再帰型ニューラルネットワーク
    • 10.1. 長短期記憶(LSTM)
    • 10.2. ゲート付き再帰ユニット(GRU)
    • 10.3. 深層再帰ニューラルネットワーク
    • 10.4. 双方向リカレントニューラルネットワーク
    • 10.5. 機械翻訳とデータセット
    • 10.6. エンコーダ–デコーダアーキテクチャ
    • 10.7. 機械翻訳のためのシーケンス・ツー・シーケンス学習
    • 10.8. ビームサーチ
  • 11. 注意機構と Transformer
    • 11.1. クエリ、キー、値
    • 11.2. 類似度によるアテンションプーリング
    • 11.3. アテンションのスコアリング関数
    • 11.4. バーダナウ注意機構
    • 11.5. マルチヘッドアテンション
    • 11.6. 自己注意機構と位置エンコーディング
    • 11.7. Transformerアーキテクチャ
    • 11.8. 画像向けTransformer
    • 11.9. Transformerによる大規模事前学習
  • 12. 最適化アルゴリズム
    • 12.1. 最適化と深層学習
    • 12.2. 凸性
    • 12.3. 勾配降下法
    • 12.4. 確率的勾配降下法
    • 12.5. ミニバッチ確率的勾配降下法
    • 12.6. モメンタム
    • 12.7. Adagrad
    • 12.8. RMSProp
    • 12.9. Adadelta
    • 12.10. Adam
    • 12.11. 学習率スケジューリング
  • 13. 計算性能
    • 13.1. コンパイラとインタプリタ
    • 13.2. 非同期計算
    • 13.3. 自動並列化
    • 13.4. ハードウェア
    • 13.5. 複数GPUでの学習
    • 13.6. 複数GPUのための簡潔な実装
    • 13.7. パラメータサーバー
  • 14. コンピュータビジョン
    • 14.1. 画像拡張
    • 14.2. ファインチューニング
    • 14.3. 物体検出とバウンディングボックス
    • 14.4. アンカーボックス
    • 14.5. マルチスケール物体検出
    • 14.6. 物体検出データセット
    • 14.7. シングルショット・マルチボックス検出
    • 14.8. Region-based CNNs (R-CNNs)
    • 14.9. セマンティックセグメンテーションとデータセット
    • 14.10. 転置畳み込み
    • 14.11. 完全畳み込みネットワーク
    • 14.12. ニューラル・スタイル変換
    • 14.13. Kaggle における画像分類(CIFAR-10)
    • 14.14. Kaggle における犬種識別(ImageNet Dogs)
  • 15. 自然言語処理: 事前学習
    • 15.1. 単語埋め込み(word2vec)
    • 15.2. 近似学習
    • 15.3. 単語埋め込みの事前学習のためのデータセット
    • 15.4. word2vec の事前学習
    • 15.5. グローバルベクトル(GloVe)による単語埋め込み
    • 15.6. サブワード埋め込み
    • 15.7. 単語の類似性とアナロジー
    • 15.8. Transformerによる双方向エンコーダ表現(BERT)
    • 15.9. BERTの事前学習のためのデータセット
    • 15.10. BERTの事前学習
  • 16. 自然言語処理: 応用
    • 16.1. 感情分析とデータセット
    • 16.2. 感情分析: 再帰型ニューラルネットワークの使用
    • 16.3. 畳み込みニューラルネットワークを用いた感情分析
    • 16.4. 自然言語推論とデータセット
    • 16.5. 自然言語推論: Attention の利用
    • 16.6. 系列レベルおよびトークンレベルのアプリケーションのための BERT のファインチューニング
    • 16.7. 自然言語推論: BERTのファインチューニング
  • 17. 強化学習
    • 17.1. マルコフ決定過程(MDP)
    • 17.2. 値反復
    • 17.3. Q学習
  • 18. ガウス過程
    • 18.1. ガウス過程入門
    • 18.2. ガウス過程の事前分布
    • 18.3. ガウス過程推論
  • 19. ハイパーパラメータ最適化
    • 19.1. ハイパーパラメータ最適化とは何か?
    • 19.2. ハイパーパラメータ最適化 API
    • 19.3. 非同期ランダムサーチ
    • 19.4. マルチフィデリティ・ハイパーパラメータ最適化
    • 19.5. 非同期逐次半減法
  • 20. 生成的敵対的ネットワーク
    • 20.1. 生成的敵対的ネットワーク
    • 20.2. Deep Convolutional Generative Adversarial Networks
  • 21. レコメンデーションシステム
    • 21.1. レコメンダーシステムの概要
    • 21.2. MovieLens データセット
    • 21.3. 行列分解
    • 21.4. AutoRec: オートエンコーダによるレーティング予測
    • 21.5. レコメンダシステムのための個人化ランキング
    • 21.6. パーソナライズドランキングのためのニューラル協調フィルタリング
    • 21.7. シーケンスを考慮した推薦システム
    • 21.8. 特徴豊富な推薦システム
    • 21.9. 因子分解機
    • 21.10. Deep Factorization Machines
  • 22. 付録: 深層学習のための数学
    • 22.1. 幾何と線形代数的操作
    • 22.2. 固有分解
    • 22.3. 単変数微積分
    • 22.4. 多変数微積分
    • 22.5. 積分計算
    • 22.6. 確率変数
    • 22.7. 最尤推定
    • 22.8. 分布
    • 22.9. ナイーブベイズ
    • 22.10. 統計学
    • 22.11. 情報理論
  • 23. 付録: ディープラーニングのためのツール
    • 23.1. Jupyter Notebook の使用
    • 23.2. Amazon SageMaker の使用
    • 23.3. AWS EC2 インスタンスの使用
    • 23.4. Google Colab を使う
    • 23.5. サーバーとGPUの選択
    • 23.6. この本への貢献
    • 23.7. ユーティリティ関数とクラス
    • 23.8. d2l API ドキュメント
  • 参考文献
ディープラーニングを深く学ぶ
Table Of Contents
  • 序文
  • インストール
  • 記法
  • 1. はじめに
  • 2. 前提知識
    • 2.1. データ操作
    • 2.2. データ前処理
    • 2.3. 線形代数
    • 2.4. 微分積分
    • 2.5. 自動微分
    • 2.6. 確率と統計
    • 2.7. ドキュメント
  • 3. 回帰のための線形ニューラルネットワーク
    • 3.1. 線形回帰
    • 3.2. 実装のためのオブジェクト指向設計
    • 3.3. 合成回帰データ
    • 3.4. 線形回帰のスクラッチ実装
    • 3.5. 線形回帰の簡潔な実装
    • 3.6. 汎化
    • 3.7. 重み減衰
  • 4. 分類のための線形ニューラルネットワーク
    • 4.1. ソフトマックス回帰
    • 4.2. 画像分類データセット
    • 4.3. 分類の基礎モデル
    • 4.4. スクラッチからのソフトマックス回帰の実装
    • 4.5. Softmax回帰の簡潔な実装
    • 4.6. 分類における汎化
    • 4.7. 環境と分布シフト
  • 5. 多層パーセプトロン
    • 5.1. 多層パーセプトロン
    • 5.2. 多層パーセプトロンの実装
    • 5.3. 順伝播、逆伝播、および計算グラフ
    • 5.4. 数値安定性と初期化
    • 5.5. ディープラーニングにおける汎化
    • 5.6. ドロップアウト
    • 5.7. Kaggleで住宅価格を予測する
  • 6. ビルダーのためのガイド
    • 6.1. 層とモジュール
    • 6.2. パラメータ管理
    • 6.3. パラメータの初期化
    • 6.4. 遅延初期化
    • 6.5. カスタム層
    • 6.6. ファイル入出力
    • 6.7. GPU
  • 7. 畳み込みニューラルネットワーク
    • 7.1. 全結合層から畳み込みへ
    • 7.2. 画像のための畳み込み
    • 7.3. パディングとストライド
    • 7.4. 複数入力チャネルと複数出力チャネル
    • 7.5. プーリング
    • 7.6. 畳み込みニューラルネットワーク(LeNet)
  • 8. 現代的な畳み込みニューラルネットワーク
    • 8.1. 畳み込み深層ニューラルネットワーク(AlexNet)
    • 8.2. ブロックを用いたネットワーク(VGG)
    • 8.3. Network in Network(NiN)
    • 8.4. マルチブランチネットワーク(GoogLeNet)
    • 8.5. バッチ正規化
    • 8.6. 残差ネットワーク(ResNet)と ResNeXt
    • 8.7. 密に接続されたネットワーク(DenseNet)
    • 8.8. 畳み込みネットワークのアーキテクチャ設計
  • 9. 再帰ニューラルネットワーク
    • 9.1. シーケンスの扱い
    • 9.2. 生テキストを系列データに変換する
    • 9.3. 言語モデル
    • 9.4. 再帰型ニューラルネットワーク
    • 9.5. ゼロからの再帰ニューラルネットワークの実装
    • 9.6. リカレントニューラルネットワークの簡潔な実装
    • 9.7. 時間を通した逆伝播
  • 10. 現代的な再帰型ニューラルネットワーク
    • 10.1. 長短期記憶(LSTM)
    • 10.2. ゲート付き再帰ユニット(GRU)
    • 10.3. 深層再帰ニューラルネットワーク
    • 10.4. 双方向リカレントニューラルネットワーク
    • 10.5. 機械翻訳とデータセット
    • 10.6. エンコーダ–デコーダアーキテクチャ
    • 10.7. 機械翻訳のためのシーケンス・ツー・シーケンス学習
    • 10.8. ビームサーチ
  • 11. 注意機構と Transformer
    • 11.1. クエリ、キー、値
    • 11.2. 類似度によるアテンションプーリング
    • 11.3. アテンションのスコアリング関数
    • 11.4. バーダナウ注意機構
    • 11.5. マルチヘッドアテンション
    • 11.6. 自己注意機構と位置エンコーディング
    • 11.7. Transformerアーキテクチャ
    • 11.8. 画像向けTransformer
    • 11.9. Transformerによる大規模事前学習
  • 12. 最適化アルゴリズム
    • 12.1. 最適化と深層学習
    • 12.2. 凸性
    • 12.3. 勾配降下法
    • 12.4. 確率的勾配降下法
    • 12.5. ミニバッチ確率的勾配降下法
    • 12.6. モメンタム
    • 12.7. Adagrad
    • 12.8. RMSProp
    • 12.9. Adadelta
    • 12.10. Adam
    • 12.11. 学習率スケジューリング
  • 13. 計算性能
    • 13.1. コンパイラとインタプリタ
    • 13.2. 非同期計算
    • 13.3. 自動並列化
    • 13.4. ハードウェア
    • 13.5. 複数GPUでの学習
    • 13.6. 複数GPUのための簡潔な実装
    • 13.7. パラメータサーバー
  • 14. コンピュータビジョン
    • 14.1. 画像拡張
    • 14.2. ファインチューニング
    • 14.3. 物体検出とバウンディングボックス
    • 14.4. アンカーボックス
    • 14.5. マルチスケール物体検出
    • 14.6. 物体検出データセット
    • 14.7. シングルショット・マルチボックス検出
    • 14.8. Region-based CNNs (R-CNNs)
    • 14.9. セマンティックセグメンテーションとデータセット
    • 14.10. 転置畳み込み
    • 14.11. 完全畳み込みネットワーク
    • 14.12. ニューラル・スタイル変換
    • 14.13. Kaggle における画像分類(CIFAR-10)
    • 14.14. Kaggle における犬種識別(ImageNet Dogs)
  • 15. 自然言語処理: 事前学習
    • 15.1. 単語埋め込み(word2vec)
    • 15.2. 近似学習
    • 15.3. 単語埋め込みの事前学習のためのデータセット
    • 15.4. word2vec の事前学習
    • 15.5. グローバルベクトル(GloVe)による単語埋め込み
    • 15.6. サブワード埋め込み
    • 15.7. 単語の類似性とアナロジー
    • 15.8. Transformerによる双方向エンコーダ表現(BERT)
    • 15.9. BERTの事前学習のためのデータセット
    • 15.10. BERTの事前学習
  • 16. 自然言語処理: 応用
    • 16.1. 感情分析とデータセット
    • 16.2. 感情分析: 再帰型ニューラルネットワークの使用
    • 16.3. 畳み込みニューラルネットワークを用いた感情分析
    • 16.4. 自然言語推論とデータセット
    • 16.5. 自然言語推論: Attention の利用
    • 16.6. 系列レベルおよびトークンレベルのアプリケーションのための BERT のファインチューニング
    • 16.7. 自然言語推論: BERTのファインチューニング
  • 17. 強化学習
    • 17.1. マルコフ決定過程(MDP)
    • 17.2. 値反復
    • 17.3. Q学習
  • 18. ガウス過程
    • 18.1. ガウス過程入門
    • 18.2. ガウス過程の事前分布
    • 18.3. ガウス過程推論
  • 19. ハイパーパラメータ最適化
    • 19.1. ハイパーパラメータ最適化とは何か?
    • 19.2. ハイパーパラメータ最適化 API
    • 19.3. 非同期ランダムサーチ
    • 19.4. マルチフィデリティ・ハイパーパラメータ最適化
    • 19.5. 非同期逐次半減法
  • 20. 生成的敵対的ネットワーク
    • 20.1. 生成的敵対的ネットワーク
    • 20.2. Deep Convolutional Generative Adversarial Networks
  • 21. レコメンデーションシステム
    • 21.1. レコメンダーシステムの概要
    • 21.2. MovieLens データセット
    • 21.3. 行列分解
    • 21.4. AutoRec: オートエンコーダによるレーティング予測
    • 21.5. レコメンダシステムのための個人化ランキング
    • 21.6. パーソナライズドランキングのためのニューラル協調フィルタリング
    • 21.7. シーケンスを考慮した推薦システム
    • 21.8. 特徴豊富な推薦システム
    • 21.9. 因子分解機
    • 21.10. Deep Factorization Machines
  • 22. 付録: 深層学習のための数学
    • 22.1. 幾何と線形代数的操作
    • 22.2. 固有分解
    • 22.3. 単変数微積分
    • 22.4. 多変数微積分
    • 22.5. 積分計算
    • 22.6. 確率変数
    • 22.7. 最尤推定
    • 22.8. 分布
    • 22.9. ナイーブベイズ
    • 22.10. 統計学
    • 22.11. 情報理論
  • 23. 付録: ディープラーニングのためのツール
    • 23.1. Jupyter Notebook の使用
    • 23.2. Amazon SageMaker の使用
    • 23.3. AWS EC2 インスタンスの使用
    • 23.4. Google Colab を使う
    • 23.5. サーバーとGPUの選択
    • 23.6. この本への貢献
    • 23.7. ユーティリティ関数とクラス
    • 23.8. d2l API ドキュメント
  • 参考文献

20. 生成的敵対的ネットワーク¶

  • 20.1. 生成的敵対的ネットワーク
    • 20.1.1. いくつかの「実データ」を生成する
    • 20.1.2. 生成器
    • 20.1.3. 識別器
    • 20.1.4. 訓練
    • 20.1.5. まとめ
    • 20.1.6. 演習
  • 20.2. Deep Convolutional Generative Adversarial Networks
    • 20.2.1. ポケモンデータセット
    • 20.2.2. 生成器
    • 20.2.3. 識別器
    • 20.2.4. 学習
    • 20.2.5. まとめ
    • 20.2.6. 演習
Previous
19.5. 非同期逐次半減法
Next
20.1. 生成的敵対的ネットワーク