구르는돼지

이제 드디어 정말 드디어 Transformer에 다가갈 수준이 되었다. 때는 2017년 아주 제목 어그로를 기똥차게 끈 논문이 하나 등장한다. 바로 이쪽 계열 사람들이라면 안들어본 사람이 없다는 'Attention is all you need'이다. 자 본격적으로 시작하기 전에 이 논문 이전에 해왔던 것들을 다시 정리해보자. RNN을 사용했고, LSTM을 사용했다. 그리고 그걸 조금씩 발전시켰고, 다양한 데이터셋들이 등장하고, Task들이 정립되어가고 있었다. Attentive니 뭐니 이야기 했지만 결과적으로는 LSTM의 연장선이었고 성능이 좋았으나 문제점이 있었다. RNN과 LSTM 모두의 문제점은 바로 '느리다'는 것이다. 사실 느린것을 제외하더라도 vanishing or exploding gradi..

이번 포스팅은 NLP에는 어떤 Task들이 있는지 한번 간략하게나마 정리해보려 한다. 매번 말하지만 이 글은 CV를 전공하는 사람이 작성하는 NLP 정리이다. 따라서 깊은 개념은 지양하고 이해에 목적을 뒀다. 또한 관점이 CV관점의 글일 수 있다. CV에 classification, detection(segment, instance ... ), generate, denising, SR... 등등의 다양한 Task가 있는 것 처럼 당연히 NLP에도 다양한 Task들이 있다. 다양한 모델들을 이해하기 위해서는 어떤 Task들이 무엇을 목표로 하는지 알아두는 것이 좋다. 그 자세한 내막은 모를지언정 전체적인 큰 그림을 알기 위해서는 필수적이다. 하나씩 용어와 개념을 정리하며 큰 그림을 그려보자. Q. 읽는다는..

이 시리즈의 최종목표인 Transformer 하면 빠뜨릴 수 없는 녀석이 바로 attention이다. 이놈의 어텐션은 이곳 저곳에서 끊임없이 등장한다. 그도 그럴것이 매우 직관적인 개념이며, 핵심적인 녀석이기도 하기 때문이다. 오늘은 한번 이 어텐션에 대한 대략적인 개념을 알아보자. 우선 글을 작성하기에 앞서 이 글은 CV를 전공하는 사람이 작성한 NLP 글임을 밝힌다. 개념을 이해하는 것이 주 목적이며 따라서 설명의 편의를 위해 다소 주관적인 해석이 들어있을 수 있다. 또한 CV 관련 내용이 포함되어 있을 수 있다. 자 저번 글에서 설명했었던 RNN을 다시금 떠올려보자. 번역을 해 주는 RNN이 있다고 해보자. 이녀석은 입력받은 단어들의 과거 정보들을 지속적으로 옆으로 전달시켜 준다. 위 사진을 자세히..

6월 첫째 주 읽은 논문 Diffusion Models Beat GANs on Image Synthesis https://arxiv.org/abs/2105.05233 Denoising Diffusion Probabilistic Models https://arxiv.org/abs/2006.11239 Improved Denoising Diffusion Probabilistic Models https://arxiv.org/abs/2102.09672 ViT - An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ICLR 2021 Oral) SiT: Self-supervised vIsion Transformer 요녀석 재밌다. 한..

5월 넷째 주 읽은 논문 Feature Statistics Mixing Regularization for Generative Adversarial Networks 재밌었다. Discriminator에 집중한 논문은 오랜만이다. FNet: Mixing Tokens with Fourier Transforms 제대로 읽은 건 아니다. NLP관련 논문이고 어텐션 부분에서 푸리에변환을 사용한다. 읽고 싶은 논문 Diffusion Models Beat GANs on Image Synthesis https://arxiv.org/abs/2105.05233 Denoising Diffusion Probabilistic Models https://arxiv.org/abs/2006.11239 Improved Denoising..

5월 셋째 주 읽은 논문 SPECTRAL NORMALIZATION FOR GENERATIVE ADVERSARIAL NETWORKS 수학이 포인트가 되는 논문은 조금 더 시간을 가지고 읽어야 할 듯 함. 읽었고, 다 봤는데, 다 본 뒤에 머릿속에 남는게 별로 없던 논문. 분명 읽은 당일은 좀 기억에 남았는데 몇일 지나니까 거의 사라짐. MLP-Mixer: An all-MLP Architecture for Vision -> 논문투척을 통해 봤습니당 https://arxiv.org/abs/2105.01601?utm_source=aidigest&utm_medium=email&utm_campaign=155 흥미로운 논문. 요즘 트렌드는 MLP인 듯 함. 기존 ViT 구조에서 어텐션 부분을 MLP로 바꿈. 패치를 ..

오랜만에 다시 시작해본다. 사실 NLP의 벤치마크는 별로 관심도 없을 뿐더러 정리하고자 하는 마음도 거의 없었다. 그런데... 최근 자꾸 GLUE 라는 단어가 여기저기서 들려와서 찾아보다가 짧게 정리하고자 한다. A benchmark of nine sentence- or sentence-pair language understanding tasks built on established existing datasets and selected to cover a diverse range of dataset sizes, text genres, and degrees of difficulty, A diagnostic dataset designed to evaluate and analyze model performa..

사실 이 블로그를 만들고 글을 몇 개 올려둔 뒤 2년 넘게 방치해놨었다. 그런데 고작 10개 조금 넘는 게시물들만으로 매일 방문자수가 20명을 넘기는 모습을 보며 + 가끔 사람들의 질문과 여러 요청 댓글들이 달리는 것을 보며 조금 관리해 보면 어떨까 생각이 들었다. 개인 블로그이기 때문에 매주 나의 Log를 올렸다. (사실 다른 곳에 작성중이던 Log였기 때문에 3달치를 거의 한번에 올린 뒤 이후 매주 작성중이다.) 또한 공부하는 내용을 살짝 정리하여 포스팅을 시작하였다. 아마 드문드문 계속 올릴 예정이다. 결과적으론 포스팅의 시작과 함께 방문자수가 계속 늘어나는 모습을 보며 수익신청을 해볼까? 라는 생각이 들었다. 아무 생각 없이 Adfit을 신청하였더니 바로 통과가 되었다. 생각보다 쉽게 되는 것을 ..

5월 둘째 주 읽은 논문 Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey 한번 쭉 읽으면서 정리가 잘 되는 기분이었다. Survey 논문들도 몇 개 읽어봐야겠다. Unsupervised Learning of Visual Features by Contrasting Cluster Assignments 배치마다 배치 안에 있는 이미지들을 클러스터링 하여 K개의 프로토타입 벡터들을 만든다. {c1.....ck} 이후 이미지를 aug시켜서 representation을 뽑아낸 2개를 맞는 c와 가까워지도록, 다른 c와는 멀어지도록 한 뒤 두 벡터를 바꾼다. 바꿨을 때의 Loss를 줄인다. 즉, 바꿔도 대체되어야 한다. DETR ..

5월 첫째 주 읽은 논문 ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness Imagenet을 학습한 CNN이 texture에 biased 되어있다는 내용의 논문. 논문에서 말하는 cue란 모델이 class를 판단할 때 중요하게 작용한 것을 뜻한다. 이 논문 전에는 몇몇 논문들을 통해 CNN이 shape가 중요하게 작용하는 즉, shape가 cue인 모델이라 여겨졌다. 그러나 이 논문에서는 texture가 cue로써 작용함을 주장하고 있으며 이를 뒷받침 하기 위해 cue conflict를 사용하였다. 서로 다른 이미지에서 shape와 texture를 각각 가져와 섞음으로..