5월 첫째 주
읽은 논문
ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness
Imagenet을 학습한 CNN이 texture에 biased 되어있다는 내용의 논문.
논문에서 말하는 cue란 모델이 class를 판단할 때 중요하게 작용한 것을 뜻한다. 이 논문 전에는 몇몇 논문들을 통해 CNN이 shape가 중요하게 작용하는 즉, shape가 cue인 모델이라 여겨졌다. 그러나 이 논문에서는 texture가 cue로써 작용함을 주장하고 있으며 이를 뒷받침 하기 위해 cue conflict를 사용하였다.
서로 다른 이미지에서 shape와 texture를 각각 가져와 섞음으로써 만약 shape을 따라 class를 판단한다면 shape가 cue라는 반증이 될 것이며 texture를 따라 class를 판단하면 texture가 cue임을 반증하는 것이다.
(c) 그림을 통해 알 수 있듯이 shape와 texture가 섞였을 때 texture가 더 많은 영향을 끼치는 것을 볼 수 있다.
Cue Conflict된 data를 사람과 ImageNet-trained CNN모델들에게 제공했을경우 Shape에 의존하는 것과 texture에 의존하는 것의 비율 Red Circle이 Observer(사람)은 대체로 Shape에 의존하여 classify내리며 대부분 CNN모델들의 경우 Texture에 의존함. 우측의 bar plot은 texture또는 shape 둘 중 하나라도 맞춘 것에 대한 비율을 나타낸 것.
읽고 싶은 논문
기존 내용 접기/펼치기 버튼
글을 사진으로
노트 제목 : nlp 함치기 (03.16)
nlp 수업 듣다가 그냥 막 이것저것 합쳐서 그려봄. 구체화해보고 싶다면...
- CLIP: Connecting Text and Images https://arxiv.org/abs/2103.00020 블로그 https://openai.com/blog/clip/
사진 각도를 바꿔보자.
노트 제목 : gan회전(03.05) , 차원을 늘리면?(03.21)
gan 회전은 wgan 읽고 두가지 방식의 거리를 적절히 혼용해볼 생각을 했었음. 구에다가 맵핑 시키면 어떨까 하는 이야기가 나옴.
- Sphere Generative Adversarial Network Based on Geometric Moment Matching
- HoloGAN
차원을 늘리는 생각은 조금 더 구체화 해봐야 하지만 - Nerf, Nerf++. nerf-- 얘네랑 비슷한 개념. -> https://github.com/yj-uh/vi-lab/issues/26#issuecomment-792227996
- [ ] https://arxiv.org/abs/2103.07751 이것도 참고하자. Unsupervised Image Transformation Learning via Generative...
Contrastive랑 GAN이랑
- [ ] Training GANs with Stronger Augmentations via Contrastive Discriminator (https://arxiv.org/abs/2103.09742)
중요 포인트를 태우자
노트 제목 : 패치 트랜스포머?
Vision Transformer (VIT) 보고 떠올림 이미지 패치로 넣는데 이걸 좀 다른 영역도 같이 넣어주면 좋을텐데... 라는 것임. 구체화된 생각 하나도 없음.
focus 된 convolution 관련 논문으로
- Deformable Convolutional Networks
AE 또는 VAE랑 GAN을 합치면?
노트제목 : 이게뭐람(03.19)
- introvae https://arxiv.org/abs/1807.06358
- adversarial autoencoder https://arxiv.org/abs/1511.05644
- bigan https://arxiv.org/abs/1605.09782
흑인 왜 없음
- Reliable Fidelity and Diversity Metrics for Generative Models
제대로 안읽어봤으니 읽어보자... - Extended Isolation Forest
분류를 이렇게도 할 수 있더라 읽어보자.
K-means 하면서 classification
노트제목 : 크게 분류해보면서 작은걸로
- SWAV
- Towards Open World Object Detection 참고
- Network dissection
- GAN dissection
구현한 논문
(code) - 구현 코드 저장 repo
구현중인 코드
- 기존의 코드에 FID 적용시키기.
- imprinting 관련 아이디어 코드화 시키기
(code) - 구현 코드 저장 repo
지난주 계획 체크
- LGD 연구에서 파생된 연구 -> 진행중
- 개인연구 -> 당분간 보류
- 꾸준히 지식의 폭을 넓혀야 함. 공부. -> 흠.. 나름 최선을 다함.
해야하는 과제 + a
NLP 중간 대체 과제. (3일 남음)-> 끝- 딥러닝 이론 과제 -> 해야됨..
- 인공지능 수학 과제 채점하기. -> 어이쿠.. 까먹었다.
- 인공지능 수학 듣다 만거 마저 듣기 (마음 편히 들으니 생각보다 꿀잼) -> 과제 채점하면서 같이 하자.
총 평 : 주말에 치통에 의해 어제/오늘 아침 동안 거의 아무것도 못함.
계획
오늘 할 일 : 파생 연구 실험.
해야 할 일
- 파생 연구
- 딥러닝 이론 과제
- 인공지능 수학 과제 채점하기 + 인공지능 수학 듣다 만거 마저 듣기 (마음 편히 들으니 생각보다 꿀잼)
- 다음주 발표 준비.(변혜란 교수님 수업)
Brainstorm
- 뫼비우스의 띠
폐곡선 상의 순서를 상관하지 않는 점 쌍들이 뫼비우스의 띠와 일대일 대응이라고 합니다.