自己教師あり学習 (self-supervised learning)

定義 (Definition)

教師なし学習におけるさらなる進展は、ラベルなしデータの何らかの側面を利用して教師（supervision）を提供する技術である自己教師あり学習（self-supervised learning）の台頭である。テキストの場合、ラベル付けの労力を一切かけずに、大規模コーパスにおいて周囲の単語（文脈）を使用して、ランダムにマスクされた単語を予測することにより、「空白を埋める」ようにモデルを訓練できる (Devlin et al., 2018)! 画像の場合、同じ画像の2つの切り抜かれた領域の間の相対位置を見分けるようにモデルを訓練したり (Doersch et al., 2015)、画像の残りの部分に基づいて隠された部分を予測したり、2つのデータ例が同じ元の画像の摂動されたバージョンであるかどうかを予測したりできる。自己教師ありモデルはしばしば表現を学習し、その結果得られたモデルを興味のある下流のタスクでファインチューニング（微調整）することによって、その表現がその後活用される。

参照 (Reference)

この用語の詳細な文脈については Dive into Deep Learning の対応する章を参照してください: - 元章で読む