구르는돼지

지금이야 덜하지만 처음 공부를 할 때는 용어를 몰라 헤매는 일이 많이 생긴다. 이것저것 얕게나마 알게 된 지금, 한번 용어들을 정리해 보려 한다. - Human-annotated label 사람이 직접 레이블링을 한(어떤 사진인지 구분해둔) 것들을 의미한다. - Pseudo label pretext tasks를 위해 data attributes 가 된 것들의 레이블을 뜻한다. 아주 쉬운 예를 들면 개 사진을 90도 회전시킨 뒤 수도레이블을 '90도'라고 할 수 있을 것이다. (pretext task가 몇 도 회전시킨 것인지 맞추는 거라 생각하자.) - Pretext Task 무언가 문제를 풀기 위해서 pre-designed된 tasks를 뜻한다. visual features가 pretext tasks의 ..

4월 넷째 주 읽은 논문 BigGAN Self-Attention GAN(SA-GAN) 기반 (28 Sep 2018) Training Generative Adversarial Networks with Limited Data (https://arxiv.org/abs/2006.06676) Neurips 2020 p값에 따라 학습을 진행하면서 데이터 어그를 변화시킴. Differentiable Augmentation for Data-Efficient GAN Training (https://hanlab.mit.edu/projects/data-efficient-gans/) 이 친구는 제대로 못읽음. 개념만 받아들인 정도...? ContraGAN: Contrastive Learning for Conditional I..

4월 셋째 주 읽은 논문 imprinting 관련 논문들을 읽긴 했는데 과연 읽은 논문이라 적어놓을 수 있을지 모르겠어서 생략.. 그렇게 따지니 읽은 논문이 없음. 읽고 싶은 논문 기존 내용 접기/펼치기 버튼 글을 사진으로 노트 제목 : nlp 함치기 (03.16) nlp 수업 듣다가 그냥 막 이것저것 합쳐서 그려봄. 구체화해보고 싶다면... CLIP: Connecting Text and Images https://arxiv.org/abs/2103.00020 블로그 https://openai.com/blog/clip/ 사진 각도를 바꿔보자. 노트 제목 : gan회전(03.05) , 차원을 늘리면?(03.21) gan 회전은 wgan 읽고 두가지 방식의 거리를 적절히 혼용해볼 생각을 했었음. 구에다가 맵핑..

이전 글을 쓰면서 돌리던 학습이 아직도 안끝났다. 2편을 썼는데 기어코 오늘 3편을 쓰게 만드는 녀석이다. 그래도 기분이 조금 들뜨는게 지금까지 중에서 최고의 결과가 나오는 중이다. 잡설은 여기까지 하고 다시 NLP로 돌아가보자. 이번 포스팅에서는 RNN과 LSTM이라는 NLP의 기초중의 기초인 녀석들을 알아 볼 것이다. CV에선 Max pooling 정도 되는 녀석들 일 것 같다. 과거의 영광을 누렸으나 지금은 잘 안보이는... 일단 이녀석들을 알기 위해서는 Feed-forward Neural Network를 알아야 한다. 사실 이미 알고 있다. 주구장창 말했던 딥러닝 네트워크가 Feed forward 이다. 요런 녀석들 말이다. 그저 입력넣고 출력 나오는 녀석들이 바로 피드포워드 네트워크이다. 핵심적..

이 글은 Word Embedding을 CV의 관점에서 풀어보려 한다. 사실 지금 NIPS를 쓸 수도 있는(한 달 밖에 안남아서 교수님께서 일단 써보고 안되면 다른곳에 내자 하신) 실험을 진행중이다. 사람 마음이 참 그런게 학습 로그가 계속 눈에 들어온다... 내가 보고있으나 안보고 있으나 어차피 결과는 똑같을 것이고 학습이 끝난 뒤에 확인하면 될텐데 그게 안된다.. 그래서 학습 돌리는 중에는 다른 일을 못하겠어서 결과 확인을 계속 하면서 NLP를 정리하려 한다. 예전에 주식을 처음 시작했을 때, 정말 하루종일 차트에서 눈을 떼지 못했던 기억이 난다. 주식도 한 한달~두 달 지나니 차트를 하루에 한번 두달~6달 지나니 일주일에 한번만 봐도 괜찮은 상태가 되었었는데 학습돌리는 것도 같지 않을까 싶다. 잡소리..

이전 글에서도 언급했지만 이 포스팅은 기본적으로 컴퓨터비전을 연구하는 사람의 NLP 정리 글이다. 우선 딥러닝에 대해 짧게 짚고 넘어가려 한다. 인공지능, 머신러닝, 딥러닝의 차이에 대한 글들은 정말 도처에 널려있으니 필요하시다면 검색을 바란다. 딥러닝 부터 시작해보자. 딥러닝 하면 이런 그림들을 자주 보게 된다. 기본적으로 우리의 뇌 속에 있는 뉴런이라는 신경세포가 동작하는 모습을 가져와 만든것이 딥러닝이다! 라고들 많이 말한다. 하지만 정확하게는 반은 맞고 반은 틀린 이야기이다. 그 정확한 역사와 흐름은 공부해보면 나름 재미있기도 하고 흥미롭지만 지금은 자세히는 다루지 않겠다. 다만 예전에 수학적으로 사진을 판단하는 시도들이 연구비를 많이 타갔었는데(연구도 다 돈이다.) 언젠가 무슨 심리학자가 최근에..

2021.05.01 현재 인공지능 대학원 첫학기를 보내는 중이다. 기껏 해봐야 학기 시작한 지 2달 지난 셈이다. 2달 남짓한 시간동안 CV 분야에서 많은 지식들을 쌓으려 노력했고 확실히 2달 전에 비하면 아는 지식의 양이 차원이 다르게 늘었다. 현재 관심을 가지고 연구하는 분야는 여러 분야이지만.. 그 중에서도 지도교수님의 분야인 GAN 관련 연구가 당연스럽게도 메인 분야이다. 이전부터 공부를 했었긴 했지만 2015년 군대를 기점으로 정보 업데이트가 안되어 있었다. 고작 5년이라 생각했는데 5년동안 정말 많은 일들이 일어났었다.. 꾸역꾸역 공부 한 뒤 최근 들어서야 최근 동향을 파악중이다. 요즘 들어 재미있는 트렌드가 CV에서 자리잡고 있다. 바로 Transform을 응용하는 방향이다. 이와 관련해서는..

하스펀컵 5회 - 2위 저 당시 시간이 살짝 남아 평소 즐겨하던 게임 대회를 신청하였다. 공부와 연구에 치이며 잠깐씩 즐기던 게임 점수가 생각보다 높아져 대회 출전이 가능한 수준이 되었달까...(턱걸이로) 사실 술 한잔 한 상태에서 기분이 좋아 신청했는데 의외로 예선을 뚫고 결승까지 올라갔었다. 아쉽게 마지막 판을 꼴등을 하며 33점으로 2위를 달성했다... (좀 많이 아쉬웠다.) 하스펀컵 윈터 파이널 - 4위 5회 경기에서 2등을 해서 초청받아 나가게 된 윈터파이널. 바빴지만 게임 5판 정도 할 수 있는 시간은 낼 수 있었기에 (운동을 안하면 된다는 마인드로) 가볍게 출전했다. 결과는 4등이었다. 푸사 선수가 참 잘한다고 느꼈다. 그리고 어제 저녁 하스펀컵 6회에 초청받아 결승에 진출하였고 오늘 저녁 ..

4월 둘째 주 개인적으로 이번주는 과제와 발표 및 해야 할 일들이 겹쳐 목요일까지 너무 바빴음. 그 후유증으로 몸 상태가 엉망이 되어 주말동안 휴식을 취함...ㅎ 읽은 논문 (ICCV 2019) (Best paper award) SinGAN: Learning a Generative Model from a Single Natural Image 이미지를 생성하는데 노이즈에서 시작하여 작은 이미지를 먼저 생성하고 점점 사이즈를 키워가면서 노이즈 + 이전 생성한 이미지를 생성하는 방식. Discriminator는 패치갠처럼 패치를 보고 판단을 하는데 처음에는 그 패치 사이즈가 상대적으로 커서 이미지 전체를 판단함. 이로써 전반적인 형태가 잡힘. 이후 나중에는 패치 사이즈가 점점 작아져서 (어디까지나 상대적으로 ..

4월 첫째 주 읽은 논문 Attention is all you need 완전히 이해함. 누가 물어봐도 설명 가능 읽고 싶은 논문 기존 내용 접기/펼치기 버튼 글을 사진으로 노트 제목 : nlp 함치기 (03.16) nlp 수업 듣다가 그냥 막 이것저것 합쳐서 그려봄. 구체화해보고 싶다면... CLIP: Connecting Text and Images https://arxiv.org/abs/2103.00020 블로그 https://openai.com/blog/clip/ 사진 각도를 바꿔보자. 노트 제목 : gan회전(03.05) , 차원을 늘리면?(03.21) gan 회전은 wgan 읽고 두가지 방식의 거리를 적절히 혼용해볼 생각을 했었음. 구에다가 맵핑 시키면 어떨까 하는 이야기가 나옴. Sphere G..