구르는돼지

개인적으로는 계속 작성하고 있으나 점점 세부적인 아이디어나 개인적인 내용들이 증가함에 따라 이를 필터링 하여 블로그에 올리는 것이 의미가 없다 판단하여 중단합니다.

6월 첫째 주 읽은 논문 Diffusion Models Beat GANs on Image Synthesis https://arxiv.org/abs/2105.05233 Denoising Diffusion Probabilistic Models https://arxiv.org/abs/2006.11239 Improved Denoising Diffusion Probabilistic Models https://arxiv.org/abs/2102.09672 ViT - An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ICLR 2021 Oral) SiT: Self-supervised vIsion Transformer 요녀석 재밌다. 한..

5월 넷째 주 읽은 논문 Feature Statistics Mixing Regularization for Generative Adversarial Networks 재밌었다. Discriminator에 집중한 논문은 오랜만이다. FNet: Mixing Tokens with Fourier Transforms 제대로 읽은 건 아니다. NLP관련 논문이고 어텐션 부분에서 푸리에변환을 사용한다. 읽고 싶은 논문 Diffusion Models Beat GANs on Image Synthesis https://arxiv.org/abs/2105.05233 Denoising Diffusion Probabilistic Models https://arxiv.org/abs/2006.11239 Improved Denoising..

5월 셋째 주 읽은 논문 SPECTRAL NORMALIZATION FOR GENERATIVE ADVERSARIAL NETWORKS 수학이 포인트가 되는 논문은 조금 더 시간을 가지고 읽어야 할 듯 함. 읽었고, 다 봤는데, 다 본 뒤에 머릿속에 남는게 별로 없던 논문. 분명 읽은 당일은 좀 기억에 남았는데 몇일 지나니까 거의 사라짐. MLP-Mixer: An all-MLP Architecture for Vision -> 논문투척을 통해 봤습니당 https://arxiv.org/abs/2105.01601?utm_source=aidigest&utm_medium=email&utm_campaign=155 흥미로운 논문. 요즘 트렌드는 MLP인 듯 함. 기존 ViT 구조에서 어텐션 부분을 MLP로 바꿈. 패치를 ..

5월 둘째 주 읽은 논문 Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey 한번 쭉 읽으면서 정리가 잘 되는 기분이었다. Survey 논문들도 몇 개 읽어봐야겠다. Unsupervised Learning of Visual Features by Contrasting Cluster Assignments 배치마다 배치 안에 있는 이미지들을 클러스터링 하여 K개의 프로토타입 벡터들을 만든다. {c1.....ck} 이후 이미지를 aug시켜서 representation을 뽑아낸 2개를 맞는 c와 가까워지도록, 다른 c와는 멀어지도록 한 뒤 두 벡터를 바꾼다. 바꿨을 때의 Loss를 줄인다. 즉, 바꿔도 대체되어야 한다. DETR ..

5월 첫째 주 읽은 논문 ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness Imagenet을 학습한 CNN이 texture에 biased 되어있다는 내용의 논문. 논문에서 말하는 cue란 모델이 class를 판단할 때 중요하게 작용한 것을 뜻한다. 이 논문 전에는 몇몇 논문들을 통해 CNN이 shape가 중요하게 작용하는 즉, shape가 cue인 모델이라 여겨졌다. 그러나 이 논문에서는 texture가 cue로써 작용함을 주장하고 있으며 이를 뒷받침 하기 위해 cue conflict를 사용하였다. 서로 다른 이미지에서 shape와 texture를 각각 가져와 섞음으로..

4월 넷째 주 읽은 논문 BigGAN Self-Attention GAN(SA-GAN) 기반 (28 Sep 2018) Training Generative Adversarial Networks with Limited Data (https://arxiv.org/abs/2006.06676) Neurips 2020 p값에 따라 학습을 진행하면서 데이터 어그를 변화시킴. Differentiable Augmentation for Data-Efficient GAN Training (https://hanlab.mit.edu/projects/data-efficient-gans/) 이 친구는 제대로 못읽음. 개념만 받아들인 정도...? ContraGAN: Contrastive Learning for Conditional I..

4월 셋째 주 읽은 논문 imprinting 관련 논문들을 읽긴 했는데 과연 읽은 논문이라 적어놓을 수 있을지 모르겠어서 생략.. 그렇게 따지니 읽은 논문이 없음. 읽고 싶은 논문 기존 내용 접기/펼치기 버튼 글을 사진으로 노트 제목 : nlp 함치기 (03.16) nlp 수업 듣다가 그냥 막 이것저것 합쳐서 그려봄. 구체화해보고 싶다면... CLIP: Connecting Text and Images https://arxiv.org/abs/2103.00020 블로그 https://openai.com/blog/clip/ 사진 각도를 바꿔보자. 노트 제목 : gan회전(03.05) , 차원을 늘리면?(03.21) gan 회전은 wgan 읽고 두가지 방식의 거리를 적절히 혼용해볼 생각을 했었음. 구에다가 맵핑..

4월 둘째 주 개인적으로 이번주는 과제와 발표 및 해야 할 일들이 겹쳐 목요일까지 너무 바빴음. 그 후유증으로 몸 상태가 엉망이 되어 주말동안 휴식을 취함...ㅎ 읽은 논문 (ICCV 2019) (Best paper award) SinGAN: Learning a Generative Model from a Single Natural Image 이미지를 생성하는데 노이즈에서 시작하여 작은 이미지를 먼저 생성하고 점점 사이즈를 키워가면서 노이즈 + 이전 생성한 이미지를 생성하는 방식. Discriminator는 패치갠처럼 패치를 보고 판단을 하는데 처음에는 그 패치 사이즈가 상대적으로 커서 이미지 전체를 판단함. 이로써 전반적인 형태가 잡힘. 이후 나중에는 패치 사이즈가 점점 작아져서 (어디까지나 상대적으로 ..

4월 첫째 주 읽은 논문 Attention is all you need 완전히 이해함. 누가 물어봐도 설명 가능 읽고 싶은 논문 기존 내용 접기/펼치기 버튼 글을 사진으로 노트 제목 : nlp 함치기 (03.16) nlp 수업 듣다가 그냥 막 이것저것 합쳐서 그려봄. 구체화해보고 싶다면... CLIP: Connecting Text and Images https://arxiv.org/abs/2103.00020 블로그 https://openai.com/blog/clip/ 사진 각도를 바꿔보자. 노트 제목 : gan회전(03.05) , 차원을 늘리면?(03.21) gan 회전은 wgan 읽고 두가지 방식의 거리를 적절히 혼용해볼 생각을 했었음. 구에다가 맵핑 시키면 어떨까 하는 이야기가 나옴. Sphere G..