구르는돼지

3월 5째 주 ~ 4월 초반 읽은 논문 How Much Position Information Do Convolutional Neural Networks Encode? (ICLR 2020 spotlight) [arXiv] TransGAN: Two Transformers Can Make One Strong GAN Generative Adversarial Transformers - https://arxiv.org/abs/2103.01209 Training GANs with Stronger Augmentations via Contrastive Discriminator (https://arxiv.org/abs/2103.09742) => 4/5 밤까지 내용 정리해 놓을 예정 읽고 싶은 논문 계획을 조금 다르게 세우..

3월 넷째 주 읽은 논문 Unsupervised Domain Adaptation by Backpropagation (2015) -Yaroslav Ganin 구현을 위해 다시 읽었음. 사실 읽었다기 보다는 봤다고 표현하는게 더 맞는 것 같기도 함. A neuronal circuit for colour cision based on rod-cone opponency 뒤쪽에 필요없는 부분 빼면 고작 3장짜리 분량의 논문인데 읽는데 몇주는 걸린 듯함. 결과적으론 cone 주변에 있는 rod가 빛량이 적을 때 cone에게 신호를 주더라. 라는 이야기였으며 어떤 식으로 주는 것 같다는 이야기와 함께 약간의 공식도 소개되어있음. TransGaGa: Geometry-Aware Unsupervised Image-to-Im..

3월 셋째 주 늦어서 죄송합니다.. 읽은 논문 이번주는 논문을 읽는 것 보다는 개념을 파악하는데 시간을 더 많이 썼음. Efficient Estimation of Word Representations in Vector Space Distributed Representations of Words and Phrases and their Compositionality Supervised Learning of Universal Sentence Representations from Natural Language Inference Data 이 3개 논문이 NLP 수업 발표 논문들 이었는데 전반적으로 모르는게 많아서 임베딩과 Manifold Learning을 시작으로 Autoencoders와 Variational A..

3월 둘째 주 읽은 논문 딥러닝기반 컴퓨터비전특록 (김선주교수님) BAM : 읽은 정도 (중하) pooling 하기 전에 BAM을 추가해서 attention을 가지고 어디가 더 중요한지 알아냄. 중요한 부분 값을 크게 만들고 덜 중요한 곳은 작게 만드는 것. 채널과 spatial의 어텐션을 나눠서 계산함. 더해서 시그모이드. 소프트맥스 안쓴건 뭐가 제일 큰지 알아내려는게 아니기 떄문. CBAM : 읽은 정도 (중하) BAM은 채널과 스파셜을 하나로 더했는데 CBAM은 그걸 채널 먼저 시작해서 순차적으로 바꿈. Squeeze and Excitation Network : 읽은 정도 (하) - Abstract와 result만 훑어봄 Attention Is All You Need : 읽은 정도 (중중) 사전지식..

3월 첫째 주 읽은 논문 pretext Discriminative Unsupervised Feature Learning with Exemplar Convolutional Neural Networks(2014 NIPS) (paper) 이미지 하나에서 가장 active되는 부분을 가지고 여러가지 aug를 시행하여 그 모든 이미지들이 하나의 클래스에 있도록 학습시킴. 이를 잘 할 수 있다면 representation을 학습할 수 있을 것이라는 아이디어. Unsupervised Visual Representation Learning by Context Prediction(2015 ICCV) (paper) 이미지의 중심을 기준으로 8개의 부분으로 나눠서 한 부분을 주었을 때 어느 위치에 있는지 알아맞추게 학습을 ..

2월 넷째 주 읽은 논문 A Style-Based Generator Architecture for Generative Adversarial Networks 세미나 발표 논문. - 신민정님 비고 : styleGAN2를 제대로 못읽음. SEAN: Image Synthesis with Semantic Region-Adaptive Normalization (CVPR 2020 Oral) You Only Need Adversarial Supervision for Semantic Image Synthesis 세미나 발표 논문 - 배정민님 CycleGAN 읽는 중인 논문 WGAN-GP 비고 : WGAN을 읽긴 읽었음. 구현중인 논문 CycleGAN 모델 구현은 다 하였고 train 코드 수정중. 원래는 styleGAN..

2월 셋째 주 읽은 논문 Momentum Contrast for Unsupervised Visual Representation Learning A Simple Framework for Contrastive Learning of Visual Representations 세미나 발표 논문. - 채정우님 비고 : 깊게 읽지 못하고 대강 읽음. 세미나에서 발표가 미뤄짐. 다음에 다시 제대로 읽을 예정. Pix2Pix 구현하기 위해 다시 읽어봄. 읽는 중인 논문 WGAN 구현한 논문 Pix2Pix 코드 구현은 다 하였고 학습을 시켜보고 코드 돌려보며 검증을 해봐야하는 단계임. 저번에 읽었을 때 UNet구조를 discriminator에 사용하길래 저번에 UNet을 먼저 해봤었는데 다시 읽어보니 UNet을 사용 안하..

2월 둘째 주 읽은 논문 Image Style Transfer Using Convolutional Neural Networks(Gatys), Perceptual Losses for Real-Time Style Transfer and Super-Resolution(Johnson), Instance Normalization: The Missing Ingredient for Fast Stylization, A Learned Representation For Artistic Style, Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization(AdaIN) 세미나 발표 논문. - 어영정 교수님 (세미나 발표 자료 링크 : https://..

2월 첫째 주 읽은 논문 pix2pix, pix2pixHD, SPADE 세미나 발표 논문. - 배정민 (세미나 발표 자료 링크 : https://github.com/yj-uh/vi-lab/issues/16) SPADE 까지만 읽었는데 실제 세미나 발표도 SPADE까지만 진행됨. pix2pix: Image-to-Image Translation with Conditional Adversarial Nets (CVPR 2017) conditional GAN을 이용하여 image translation을 구현함. 간단한 framwork로 구성됨. U-Net based architecture 사용, PatchGAN을 classifier로 사용. U-Net 기반은 encoder-decoder with skip conn..

1월 마지막 주 읽은 논문 YOLACT: Real-time Instance Segmentation 세미나에서 발표함. 관련 논문으로 R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN을 읽음. (세미나 발표 자료 링크 : https://github.com/yj-uh/vi-lab/issues/9) 실시간 instance segmentation을 위해 backbone으로 ResNet을 사용한 뒤 이를 FPN(Feature Pyramid Network)를 통해 5개의 feature map을 생성한다. 그 중에서 가장 깊은 feature map인 P3를 이용하여 공간적, 의미적으로 분할된 prototype mask를 k개 만든다. 이와 동시에 병렬적으로 5개의 feature map 모..