Self-Supervised Learning 용어 정리

지금이야 덜하지만 처음 공부를 할 때는 용어를 몰라 헤매는 일이 많이 생긴다.

이것저것 얕게나마 알게 된 지금, 한번 용어들을 정리해 보려 한다.

 

- Human-annotated label

사람이 직접 레이블링을 한(어떤 사진인지 구분해둔) 것들을 의미한다.

 

- Pseudo label

pretext tasks를 위해 data attributes 가 된 것들의 레이블을 뜻한다. 아주 쉬운 예를 들면 개 사진을 90도 회전시킨 뒤 수도레이블을 '90도'라고 할 수 있을 것이다. (pretext task가 몇 도 회전시킨 것인지 맞추는 거라 생각하자.)

 

- Pretext Task

무언가 문제를 풀기 위해서 pre-designed된 tasks를 뜻한다. visual features가 pretext tasks의 objective functions을 배우기 위해 학습된다.

 

- Downstream Task

self-supervised learning으로 학습된 features들이 얼마나 잘 학습되었는지 판단하기 위해 사용되는 Task이다. 보통은 classification 문제가 사용되지만 그때그때 다르다.

 

- Supervised Learning

learning methods using data with fine-grained human-annotated labels to train networks.

즉, 사람이 레이블링한 데이터를 가지고 학습한 네트워크이다.

 

- Semi-supervised Learning

using a small amount of labeled data in conjunction with a large amount of unlabeled data.

즉, 적은 양의 레이블링 된 데이터와 많은 양의 레이블링 되어있지 않은 데이터들을 사용하여 학습하는 방식이다.

 

- Weakly-supervised Learning

Weakly supervised learning refers to learning methods to learn with coarse-grained labels or inaccurate labels.

한마디로 말해서 바운딩 박스를 주고 누끼 따보라는 것이다.(sementic segmentation) 좀 더 쉬운 레이블을 주고 어려운 정답을 찾아야 하는 학습이다.

 

- Unsupervised Learning

사람이 레이블링 한 데이터를 하나도 쓰지 않고 학습한다.

 

- Self-supervised Learning

subset of unsupervised learning methods 이다. trained with automatically generated labels라고 이해하면 쉽다.