NLP 벤치마크 GLUE

오랜만에 다시 시작해본다.

 

사실 NLP의 벤치마크는 별로 관심도 없을 뿐더러 정리하고자 하는 마음도 거의 없었다.

그런데... 최근 자꾸 GLUE 라는 단어가 여기저기서 들려와서 찾아보다가 짧게 정리하고자 한다.

https://gluebenchmark.com/

• A benchmark of nine sentence- or sentence-pair language understanding tasks built on established existing datasets and selected to cover a diverse range of dataset sizes, text genres, and degrees of difficulty,
• A diagnostic dataset designed to evaluate and analyze model performance with respect to a wide range of linguistic phenomena found in natural language, and
• A public leaderboard for tracking performance on the benchmark and a dashboard for visualizing the performance of models on the diagnostic set.

GLUE는 간단히 말하면 NLP계의 ImageNet 같은 느낌인 것 같다.. (아님말고..ㅎ)

Corpus of Linguistic Acceptability를 측정하는 CoLA, Sentiment Classification을 목표로 하는 SST-2, Paraphrase Identification을 하는 MRPC, QQP, Similarity Prediction을 하는 STS-B, Natural Language Inference를 제공하는 MNLI, QNLI, RTE, XNLI 등이 포함되어있는 듯 하다.

 

사실 각각 뭐가 뭔지 정확하고 엄밀하게 짚고 넘어가지는 않고 그저 열거하는 형식으로 끝마치려 한다. 다만 저러한 단어들을 보면 아... 이런거구나 하고 넘어가면 될 듯 하다. (나는 NLP를 연구하는 사람이 아니므로)