one by one ◼◻◼◻

제목 : BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 저자 : Jacob Devlin Ming-Wei Chang Kenton Lee Kristina Toutanova 링크 : https://arxiv.org/pdf/1810.04805.pdf 아직 뚝딱석사 1학기긴 하지만(이제 곧 2학기).. 그래도 제가 생각하기에 NLP가 최근 사람들에게 핫 해지고, 한단계 성장을 이루게 된 것은 BERT의 영향이 크다고 생각합니다. 한국에서도 BERT와 관련된 좋은 책들이 많이 나오고 있구요! 그래서 이번에는 제가 이해한 BERT논문을 정리하고, 요약해 보았습니다. 논문을 읽어보니, 유튜브에서 설명 들었던것, 각종 블로..

저자 : Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin 링크 : https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder t..

이번 주에는 Multi tasking에 관한 review 블로그를 읽어보았습니다. 같은 저자가 만든 review paper 도 있지만, 좀더 접근이 쉬운 블로그 글로 읽고 정리해 보았습니다. Multi Task Learning 에 대한 정보가 필요해서 구글링하다 찾은 블로그인데 생각보다 엄청 유명한 글이더군요! 버트, 엘모 등 많은 언어모델이 Multi Task Learning을 했다는 점에서 한번쯤 읽어보면 도움이 될 것 같습니다 review paper : Sebastian Ruder (2017). An Overview of Multi-Task Learning in Deep Neural Networks. arXiv preprint arXiv:1706.05098. blog : https://ruder.i..

제목 : Attention Is All you Need 저자 : Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin 링크 : https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also co..

제목 : UBAR: Towards Fully End-to-End Task-Oriented Dialog System with GPT-2 저자 : Yunyi Yang,Yunhao Li, Xiaojun Quan* 리뷰! 이 논문은 크게 리뷰할게 없어서 짧게 하려고 한다. 이전과 같이 TOD sytem을 end to end로 만든 논문인데 GPT-2에 정보를 마구 넣어준 뒤, 대답해라! 하는 형식의 방법을 사용했다. 아래는 모델 구조이다. 복잡한 구조 없이, 많~은 정보를 넣어주고, 그거에 맞게 결과를 출력하도록 만들었다. 그러나 GPT-2를 TOD에 어떻게 쓸 것인지, 기초를 마련했다는 점에서 의의가 있는듯 하다. 그리고 UBAR구조로 다양한 실험을 했는데, 이 실험들이 실행활에서 모델이 사용될 때 어떤 성능..

제목 : Improving End-to-End Task-Oriented Dialogue System with A Simple Auxiliary Task 링크 : https://aclanthology.org/2021.findings-emnlp.112.pdf 이 논문은 TOD(Task Oriented Dialog)의 generation 부분에서 현재 SOTA를 달성한 모델입니다. 리뷰 시작하겠습니다. 다른논문과의 차별성 = auxiliary task 이 논문이 다른 논문들보다 좋은 성능이 나올 수 있었던 것은, 논문 제목에서도 볼 수 있듯, 좋은 Auxiliary Task의 역할이 컸습니다. Auxiliary Task란 본 task는 아니지만, 본 task에서의 성능이 더 잘 나올 수 있도록 도와주는 보조 ..

저자: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu 링크 : https://arxiv.org/abs/1910.10683 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful techniq..

제목 : Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System 저자 : Yixuan Su, Lei Shu, Elman Mansimov, Arshit Gupta, Deng Cai, Yi-An Lai, Yi Zhang 링크 : https://arxiv.org/abs/2109.14739 Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System Pre-trained language models have been recently shown to benefit task-oriented dialogue (TOD) systems. Despite their success, e..

저자: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu 링크 : https://arxiv.org/abs/1910.10683 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful techniq..