20.
生成的敵対的ネットワーク
search
クイック検索
code
ソースコードを表示
PDF
ノートブック
GitHub
English
中文版
Table Of Contents
序文
インストール
記法
1. はじめに
2. 前提知識
2.1. データ操作
2.2. データ前処理
2.3. 線形代数
2.4. 微分積分
2.5. 自動微分
2.6. 確率と統計
2.7. ドキュメント
3. 回帰のための線形ニューラルネットワーク
3.1. 線形回帰
3.2. 実装のためのオブジェクト指向設計
3.3. 合成回帰データ
3.4. 線形回帰のスクラッチ実装
3.5. 線形回帰の簡潔な実装
3.6. 汎化
3.7. 重み減衰
4. 分類のための線形ニューラルネットワーク
4.1. ソフトマックス回帰
4.2. 画像分類データセット
4.3. 分類の基礎モデル
4.4. スクラッチからのソフトマックス回帰の実装
4.5. Softmax回帰の簡潔な実装
4.6. 分類における汎化
4.7. 環境と分布シフト
5. 多層パーセプトロン
5.1. 多層パーセプトロン
5.2. 多層パーセプトロンの実装
5.3. 順伝播、逆伝播、および計算グラフ
5.4. 数値安定性と初期化
5.5. ディープラーニングにおける汎化
5.6. ドロップアウト
5.7. Kaggleで住宅価格を予測する
6. ビルダーのためのガイド
6.1. 層とモジュール
6.2. パラメータ管理
6.3. パラメータの初期化
6.4. 遅延初期化
6.5. カスタム層
6.6. ファイル入出力
6.7. GPU
7. 畳み込みニューラルネットワーク
7.1. 全結合層から畳み込みへ
7.2. 画像のための畳み込み
7.3. パディングとストライド
7.4. 複数入力チャネルと複数出力チャネル
7.5. プーリング
7.6. 畳み込みニューラルネットワーク(LeNet)
8. 現代的な畳み込みニューラルネットワーク
8.1. 畳み込み深層ニューラルネットワーク(AlexNet)
8.2. ブロックを用いたネットワーク(VGG)
8.3. Network in Network(NiN)
8.4. マルチブランチネットワーク(GoogLeNet)
8.5. バッチ正規化
8.6. 残差ネットワーク(ResNet)と ResNeXt
8.7. 密に接続されたネットワーク(DenseNet)
8.8. 畳み込みネットワークのアーキテクチャ設計
9. 再帰ニューラルネットワーク
9.1. シーケンスの扱い
9.2. 生テキストを系列データに変換する
9.3. 言語モデル
9.4. 再帰型ニューラルネットワーク
9.5. ゼロからの再帰ニューラルネットワークの実装
9.6. リカレントニューラルネットワークの簡潔な実装
9.7. 時間を通した逆伝播
10. 現代的な再帰型ニューラルネットワーク
10.1. 長短期記憶(LSTM)
10.2. ゲート付き再帰ユニット(GRU)
10.3. 深層再帰ニューラルネットワーク
10.4. 双方向リカレントニューラルネットワーク
10.5. 機械翻訳とデータセット
10.6. エンコーダ–デコーダアーキテクチャ
10.7. 機械翻訳のためのシーケンス・ツー・シーケンス学習
10.8. ビームサーチ
11. 注意機構と Transformer
11.1. クエリ、キー、値
11.2. 類似度によるアテンションプーリング
11.3. アテンションのスコアリング関数
11.4. バーダナウ注意機構
11.5. マルチヘッドアテンション
11.6. 自己注意機構と位置エンコーディング
11.7. Transformerアーキテクチャ
11.8. 画像向けTransformer
11.9. Transformerによる大規模事前学習
12. 最適化アルゴリズム
12.1. 最適化と深層学習
12.2. 凸性
12.3. 勾配降下法
12.4. 確率的勾配降下法
12.5. ミニバッチ確率的勾配降下法
12.6. モメンタム
12.7. Adagrad
12.8. RMSProp
12.9. Adadelta
12.10. Adam
12.11. 学習率スケジューリング
13. 計算性能
13.1. コンパイラとインタプリタ
13.2. 非同期計算
13.3. 自動並列化
13.4. ハードウェア
13.5. 複数GPUでの学習
13.6. 複数GPUのための簡潔な実装
13.7. パラメータサーバー
14. コンピュータビジョン
14.1. 画像拡張
14.2. ファインチューニング
14.3. 物体検出とバウンディングボックス
14.4. アンカーボックス
14.5. マルチスケール物体検出
14.6. 物体検出データセット
14.7. シングルショット・マルチボックス検出
14.8. Region-based CNNs (R-CNNs)
14.9. セマンティックセグメンテーションとデータセット
14.10. 転置畳み込み
14.11. 完全畳み込みネットワーク
14.12. ニューラル・スタイル変換
14.13. Kaggle における画像分類(CIFAR-10)
14.14. Kaggle における犬種識別(ImageNet Dogs)
15. 自然言語処理: 事前学習
15.1. 単語埋め込み(word2vec)
15.2. 近似学習
15.3. 単語埋め込みの事前学習のためのデータセット
15.4. word2vec の事前学習
15.5. グローバルベクトル(GloVe)による単語埋め込み
15.6. サブワード埋め込み
15.7. 単語の類似性とアナロジー
15.8. Transformerによる双方向エンコーダ表現(BERT)
15.9. BERTの事前学習のためのデータセット
15.10. BERTの事前学習
16. 自然言語処理: 応用
16.1. 感情分析とデータセット
16.2. 感情分析: 再帰型ニューラルネットワークの使用
16.3. 畳み込みニューラルネットワークを用いた感情分析
16.4. 自然言語推論とデータセット
16.5. 自然言語推論: Attention の利用
16.6. 系列レベルおよびトークンレベルのアプリケーションのための BERT のファインチューニング
16.7. 自然言語推論: BERTのファインチューニング
17. 強化学習
17.1. マルコフ決定過程(MDP)
17.2. 値反復
17.3. Q学習
18. ガウス過程
18.1. ガウス過程入門
18.2. ガウス過程の事前分布
18.3. ガウス過程推論
19. ハイパーパラメータ最適化
19.1. ハイパーパラメータ最適化とは何か?
19.2. ハイパーパラメータ最適化 API
19.3. 非同期ランダムサーチ
19.4. マルチフィデリティ・ハイパーパラメータ最適化
19.5. 非同期逐次半減法
20. 生成的敵対的ネットワーク
20.1. 生成的敵対的ネットワーク
20.2. Deep Convolutional Generative Adversarial Networks
21. レコメンデーションシステム
21.1. レコメンダーシステムの概要
21.2. MovieLens データセット
21.3. 行列分解
21.4. AutoRec: オートエンコーダによるレーティング予測
21.5. レコメンダシステムのための個人化ランキング
21.6. パーソナライズドランキングのためのニューラル協調フィルタリング
21.7. シーケンスを考慮した推薦システム
21.8. 特徴豊富な推薦システム
21.9. 因子分解機
21.10. Deep Factorization Machines
22. 付録: 深層学習のための数学
22.1. 幾何と線形代数的操作
22.2. 固有分解
22.3. 単変数微積分
22.4. 多変数微積分
22.5. 積分計算
22.6. 確率変数
22.7. 最尤推定
22.8. 分布
22.9. ナイーブベイズ
22.10. 統計学
22.11. 情報理論
23. 付録: ディープラーニングのためのツール
23.1. Jupyter Notebook の使用
23.2. Amazon SageMaker の使用
23.3. AWS EC2 インスタンスの使用
23.4. Google Colab を使う
23.5. サーバーとGPUの選択
23.6. この本への貢献
23.7. ユーティリティ関数とクラス
23.8.
d2l
API ドキュメント
参考文献
Table Of Contents
序文
インストール
記法
1. はじめに
2. 前提知識
2.1. データ操作
2.2. データ前処理
2.3. 線形代数
2.4. 微分積分
2.5. 自動微分
2.6. 確率と統計
2.7. ドキュメント
3. 回帰のための線形ニューラルネットワーク
3.1. 線形回帰
3.2. 実装のためのオブジェクト指向設計
3.3. 合成回帰データ
3.4. 線形回帰のスクラッチ実装
3.5. 線形回帰の簡潔な実装
3.6. 汎化
3.7. 重み減衰
4. 分類のための線形ニューラルネットワーク
4.1. ソフトマックス回帰
4.2. 画像分類データセット
4.3. 分類の基礎モデル
4.4. スクラッチからのソフトマックス回帰の実装
4.5. Softmax回帰の簡潔な実装
4.6. 分類における汎化
4.7. 環境と分布シフト
5. 多層パーセプトロン
5.1. 多層パーセプトロン
5.2. 多層パーセプトロンの実装
5.3. 順伝播、逆伝播、および計算グラフ
5.4. 数値安定性と初期化
5.5. ディープラーニングにおける汎化
5.6. ドロップアウト
5.7. Kaggleで住宅価格を予測する
6. ビルダーのためのガイド
6.1. 層とモジュール
6.2. パラメータ管理
6.3. パラメータの初期化
6.4. 遅延初期化
6.5. カスタム層
6.6. ファイル入出力
6.7. GPU
7. 畳み込みニューラルネットワーク
7.1. 全結合層から畳み込みへ
7.2. 画像のための畳み込み
7.3. パディングとストライド
7.4. 複数入力チャネルと複数出力チャネル
7.5. プーリング
7.6. 畳み込みニューラルネットワーク(LeNet)
8. 現代的な畳み込みニューラルネットワーク
8.1. 畳み込み深層ニューラルネットワーク(AlexNet)
8.2. ブロックを用いたネットワーク(VGG)
8.3. Network in Network(NiN)
8.4. マルチブランチネットワーク(GoogLeNet)
8.5. バッチ正規化
8.6. 残差ネットワーク(ResNet)と ResNeXt
8.7. 密に接続されたネットワーク(DenseNet)
8.8. 畳み込みネットワークのアーキテクチャ設計
9. 再帰ニューラルネットワーク
9.1. シーケンスの扱い
9.2. 生テキストを系列データに変換する
9.3. 言語モデル
9.4. 再帰型ニューラルネットワーク
9.5. ゼロからの再帰ニューラルネットワークの実装
9.6. リカレントニューラルネットワークの簡潔な実装
9.7. 時間を通した逆伝播
10. 現代的な再帰型ニューラルネットワーク
10.1. 長短期記憶(LSTM)
10.2. ゲート付き再帰ユニット(GRU)
10.3. 深層再帰ニューラルネットワーク
10.4. 双方向リカレントニューラルネットワーク
10.5. 機械翻訳とデータセット
10.6. エンコーダ–デコーダアーキテクチャ
10.7. 機械翻訳のためのシーケンス・ツー・シーケンス学習
10.8. ビームサーチ
11. 注意機構と Transformer
11.1. クエリ、キー、値
11.2. 類似度によるアテンションプーリング
11.3. アテンションのスコアリング関数
11.4. バーダナウ注意機構
11.5. マルチヘッドアテンション
11.6. 自己注意機構と位置エンコーディング
11.7. Transformerアーキテクチャ
11.8. 画像向けTransformer
11.9. Transformerによる大規模事前学習
12. 最適化アルゴリズム
12.1. 最適化と深層学習
12.2. 凸性
12.3. 勾配降下法
12.4. 確率的勾配降下法
12.5. ミニバッチ確率的勾配降下法
12.6. モメンタム
12.7. Adagrad
12.8. RMSProp
12.9. Adadelta
12.10. Adam
12.11. 学習率スケジューリング
13. 計算性能
13.1. コンパイラとインタプリタ
13.2. 非同期計算
13.3. 自動並列化
13.4. ハードウェア
13.5. 複数GPUでの学習
13.6. 複数GPUのための簡潔な実装
13.7. パラメータサーバー
14. コンピュータビジョン
14.1. 画像拡張
14.2. ファインチューニング
14.3. 物体検出とバウンディングボックス
14.4. アンカーボックス
14.5. マルチスケール物体検出
14.6. 物体検出データセット
14.7. シングルショット・マルチボックス検出
14.8. Region-based CNNs (R-CNNs)
14.9. セマンティックセグメンテーションとデータセット
14.10. 転置畳み込み
14.11. 完全畳み込みネットワーク
14.12. ニューラル・スタイル変換
14.13. Kaggle における画像分類(CIFAR-10)
14.14. Kaggle における犬種識別(ImageNet Dogs)
15. 自然言語処理: 事前学習
15.1. 単語埋め込み(word2vec)
15.2. 近似学習
15.3. 単語埋め込みの事前学習のためのデータセット
15.4. word2vec の事前学習
15.5. グローバルベクトル(GloVe)による単語埋め込み
15.6. サブワード埋め込み
15.7. 単語の類似性とアナロジー
15.8. Transformerによる双方向エンコーダ表現(BERT)
15.9. BERTの事前学習のためのデータセット
15.10. BERTの事前学習
16. 自然言語処理: 応用
16.1. 感情分析とデータセット
16.2. 感情分析: 再帰型ニューラルネットワークの使用
16.3. 畳み込みニューラルネットワークを用いた感情分析
16.4. 自然言語推論とデータセット
16.5. 自然言語推論: Attention の利用
16.6. 系列レベルおよびトークンレベルのアプリケーションのための BERT のファインチューニング
16.7. 自然言語推論: BERTのファインチューニング
17. 強化学習
17.1. マルコフ決定過程(MDP)
17.2. 値反復
17.3. Q学習
18. ガウス過程
18.1. ガウス過程入門
18.2. ガウス過程の事前分布
18.3. ガウス過程推論
19. ハイパーパラメータ最適化
19.1. ハイパーパラメータ最適化とは何か?
19.2. ハイパーパラメータ最適化 API
19.3. 非同期ランダムサーチ
19.4. マルチフィデリティ・ハイパーパラメータ最適化
19.5. 非同期逐次半減法
20. 生成的敵対的ネットワーク
20.1. 生成的敵対的ネットワーク
20.2. Deep Convolutional Generative Adversarial Networks
21. レコメンデーションシステム
21.1. レコメンダーシステムの概要
21.2. MovieLens データセット
21.3. 行列分解
21.4. AutoRec: オートエンコーダによるレーティング予測
21.5. レコメンダシステムのための個人化ランキング
21.6. パーソナライズドランキングのためのニューラル協調フィルタリング
21.7. シーケンスを考慮した推薦システム
21.8. 特徴豊富な推薦システム
21.9. 因子分解機
21.10. Deep Factorization Machines
22. 付録: 深層学習のための数学
22.1. 幾何と線形代数的操作
22.2. 固有分解
22.3. 単変数微積分
22.4. 多変数微積分
22.5. 積分計算
22.6. 確率変数
22.7. 最尤推定
22.8. 分布
22.9. ナイーブベイズ
22.10. 統計学
22.11. 情報理論
23. 付録: ディープラーニングのためのツール
23.1. Jupyter Notebook の使用
23.2. Amazon SageMaker の使用
23.3. AWS EC2 インスタンスの使用
23.4. Google Colab を使う
23.5. サーバーとGPUの選択
23.6. この本への貢献
23.7. ユーティリティ関数とクラス
23.8.
d2l
API ドキュメント
参考文献
20.
生成的敵対的ネットワーク
¶
20.1. 生成的敵対的ネットワーク
20.1.1. いくつかの「実データ」を生成する
20.1.2. 生成器
20.1.3. 識別器
20.1.4. 訓練
20.1.5. まとめ
20.1.6. 演習
20.2. Deep Convolutional Generative Adversarial Networks
20.2.1. ポケモンデータセット
20.2.2. 生成器
20.2.3. 識別器
20.2.4. 学習
20.2.5. まとめ
20.2.6. 演習
Previous
19.5. 非同期逐次半減法
Next
20.1. 生成的敵対的ネットワーク