3월 셋째 주
늦어서 죄송합니다..
읽은 논문
이번주는 논문을 읽는 것 보다는 개념을 파악하는데 시간을 더 많이 썼음.
Efficient Estimation of Word Representations in Vector Space
Distributed Representations of Words and Phrases and their Compositionality
Supervised Learning of Universal Sentence Representations from Natural Language Inference Data
이 3개 논문이 NLP 수업 발표 논문들 이었는데 전반적으로 모르는게 많아서 임베딩과 Manifold Learning을 시작으로 Autoencoders와 Variational Autoencoders의 개념과 약간의 논문들과(직접 읽지는 않고 블로그 등을 통해 정리된 개념을 봄.) GAN에 어떻게 적용했는지 그리고 최근엔 어떻게 사용되는지 살펴보는데 이틀 정도 소요함.
Unsupervised Domain Adaptation by Backpropagation (2015) -Yaroslav Ganin
Flexibly Fair Representation Learning by Disentanglement
이게 디게 신기했음. 보틀넥 정보를 반으로 쪼개서 스왑하여도 똑같게 유도하여 특정 부분의 정보가 공통적인 정보를 담도록 하는 아주 흥미로운 방법이었음.
이걸 보고 지난주에 Brainstorm에서 언급했던 의미적인 outlier와 화질적인 outlier를 구분할 방법을 비슷한 방식으로 해결할 수 있지 않을까 라는 생각을 함.
BYOL과 SimSiam 다시 읽음.
읽는 중인 논문
Low-shot Learning with Imprinted Weights - (link)
구현중인 논문
변혜란 교수님 수업에서 내주신 과제 코드 구현중. (오늘 마무리 예정)
세미나 코드 구현 이번주에 해볼 예정.
(code) - 구현 코드 저장 repo
지난주 계획 체크
1주일간 해야할 일 우선순위 + 기한 별 나열. (괄호 내 기한)
1. LGD (금)
2. 발표준비 (금)
3. 김선주 교수님 수업 논문 읽기 (수,목)
4. 딥러닝 이론 수업 듣기 (금)
5. 여진영 교수님 수업 논문 읽기 (다음주 화)
6. Coursera 강의 듣기 (기한 없음)
시간이 안남..
7. 개인적으로 읽어보고 싶은 논문들 읽기
한동안 포기
8. 운동 및 영어공부
운동은 이번주 4회 하였고 영어공부는 대중교통 이용 시간을 활용하여 틈틈히 하는 중(5일 함.)
- 총 평
그냥저냥 열심히 하고 있음. 약간씩 전체적인 지식이 잡혀가는 듯한 기분이 듬.
문제는 코드 구현단에서 pytorch를 너무 모르는 것 같음. + python의 정말 편리한 기능들을 모르는게 많다는 생각 듬. -> 시간 내서 기본 문법과 형태를 한번 훑어봐야 할지 아니면 그냥 지금처럼 코드 보면서 하나씩 알아가는게 나을지 고민중. (사실 이미 대부분 알게 된 것 같기도 함...)
구현할 논문
- 교수님께서 주신 것.
계획
1주일간 해야할 일 우선순위 + 기한 별 나열. (괄호 내 기한)
- LGD 관련 그리기 + 논문 찾아보기 + imprinting 개념 알아두기 (화)
- 자연어처리를 위한 딥러닝 수업 논문 살펴보기 (화)
- 딥러닝기반컴퓨터비전특론 수업 논문 살펴보기 (수, 목)
- 딥러닝이론 수업 듣고 + 과제 (금)
- 랩 코딩 해보기 (금)
- 랩세미나 논문 읽기 (금)
- Color constancy 관련 연구 코드 한번 짜보기 (기한은 없음)
- 운동 및 영어공부
- 다음주 Weeklog는 시간 들여서 논문 정리도 해서 쓰기 + git 업데이트 하기
Brainstorm
- 삭제