2월 첫째 주

2월 첫째 주

읽은 논문

• pix2pix, pix2pixHD, SPADE
  세미나 발표 논문. - 배정민
  (세미나 발표 자료 링크 : https://github.com/yj-uh/vi-lab/issues/16)
  SPADE 까지만 읽었는데 실제 세미나 발표도 SPADE까지만 진행됨.

  • pix2pix: Image-to-Image Translation with Conditional Adversarial Nets (CVPR 2017)
    conditional GAN을 이용하여 image translation을 구현함.
    간단한 framwork로 구성됨.
    U-Net based architecture 사용, PatchGAN을 classifier로 사용.
    U-Net 기반은 encoder-decoder with skip connections임 이를 통해 low-level information의 전달이 잘 이뤄짐.
    log D(x, G(x, z))를 maximize하게 만듬. 거기에다가 D를 최적화하면서 objective를 2개로 나눠 D의 학습속도를 G에 비해 낮도록 만듬.
  • pix2pixHD: pix2pixHD: High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs (CVPR 2018)
    produces high-resolution images from semantic label map
    semantic segmentation을 활용하여 이미지를 sementic label domain으로 바꾸고 이를 통해 image domain으로 다시 바꿈.
    CRN은 변형된 perceptual loss를 활용하였음.
    GANs로는 고해상도 이미지 합성이 어려움. + 디테일과 실제 질감이 떨어짐.
    핸드크래프트 로스나 프리트레인 네트워크 없이 결과물을 얻어낼 수 있다.
    pre-trained networks를 이용하면 약간의 성능 향상이 생김.
    G는 global generator network G1과 local enhancer network G2로 나뉨
    conditional GAN loss에 feature matching loss를 추가
    결과적으로 고해상도의 이미지 합성을 해냄.
    Generator의 pipeline은 라플라시안 피라미드 방식을 참고한 것이라 함.
  • SPADE: Semantic Image Synthesis With Spatially-Adaptive Normalization (CVPR 2019)
    spatially-adaptive normalization for synthesizing phothrealistic images given an input semantic layout.
    whak away를 피하기 위해 시맨틱 인포메이션을 사용
    결과적으로 semantic layout이 주어졌을 때 realisitc한 image를 만듬.
    기존 pix2pixHD에서 decoder 구조만 따옴.

• MixMatch, ReMixMatch, FixMatch
  세미나 발표 논문. - 조현인
  (세미나 발표 자료 링크 : https://github.com/yj-uh/vi-lab/issues/17)

  • MixMatch
    semi-supervised learning 논문.
    Mixup을 사용하여 2가지 사진의 labels probabilities를 구해냄. 나중에 기억하기 위한 사진
    
    low-entropy labels를 추측함을쏘 unlabeled된 데이터들을 효과적으로 학습.
  • ReMixMatch
    MixMatch에서 Distribution alignment과 Augmentation anchoring을 추가.
    Distribution alignment는 개수를 맞춰줘서 데이터의 분포를 맞춰준다고 생각하면 됨. 논문을 읽을때는 확실하게 이해했는데 몇 주 지나니까 까먹음.. 데이터 그 자체 개수를 조절하다는 건 아니었고 노말라이제이션을 통해서 맞춰줬던 것 같음.
    Augmentation Anchoring은 Stronger augmentation이 적용된 것들에 대한 분포를 weak augmentation을 적용한 것에 맟추는 과정. 즉 변형을 심하게 한 사진들의 레이블을 약하게 변형시킨 사진의 레이블을 따르게 만들어서 조금 더 잘 학습할 수 있도록 하는 것.
  • FixMatch
    Consistency regularization과 pseudo-labeling을 활용한 모델의 도입
    Consistency regularization은 잘 기억 안남.
    pseudo-labeling은 weak augmentation한 것에 대한 예측치가 threshhold를 넘어가게 되면 Stronger augmentation의 레이블들을 모두 weak augmentation한 것과 같게 맞춰주는 것. 이게 디게 직관적이고 인상적이였음.

• Batch normalization: Accelerating deep network training by reducing internal covariate shift (PMLR 2015)

읽는 중인 논문

• Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

구현한 논문

• ResNet (code)

지난주 계획 체크

• Batch normalization(01.29~01.31 까지)
  • 구현은 직접 하지 않았고, 간단한 미분 계산만 따로 해봄. 대신 ResNet을 구현함. -> 내부적인 이해를 한 뒤 살펴본 결과 구현의 의미는 크게 없을 듯 하여 안함.
• DCGAN (02.01~02.02), WGAN(02.03 ~)
  • 못함. 못한 이유 : 세미나 발표 예정 논문을 읽느라 시간이 많지 않았고 논문 구현 경험이 아직 적어 계획이 조금 무리했었던 듯 함.
• 총 평
  하루에 논문 1개 이상 읽는 것은 현재로써 버거움. 이마저도 수학 공식이 많으면 하루가 넘어감.
  논문 구현은 아직 경험이 부족하여 천천히 해볼 예정.

구현할 논문

• DCGAN, WGAN
  • ~02.07 두 논문 읽어보기, ~02.11 DCGAN 구현한거 손보기, WGAN은 설날 일정에 따라 달라질 듯 함.

읽을 논문

• DCGAN, WGAN
  ~02.07 두 논문 읽어보기
• 세미나 예정 논문들
  (CVPR 2018) StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation (paper link)
  (CVPR 2020) StarGAN v2: Diverse Image Synthesis for Multiple Domains (paper link)
  ~02.08 읽을 예정.
  교수님께서 발표하실 논문 ~02.10 읽을 예정
• CGAN
  ~02.12 읽어보기 (불확실)
• One Shot 3D Photography
  대략적으로 살펴만 보았음.