one by one ◼◻◼◻

논문 : BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 저자 : Mike Lewis*, Yinhan Liu*, Naman Goyal*, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, Luke Zettlemoyer 링크 : https://arxiv.org/pdf/1910.13461.pdf 1. Introduction Self-supervised 방법으로 pre trained 된 모델들은 다양한 NLP task에서 성능을 성장시켰지만, BERT 와 같은 모델들은 특정 타입에 en..

제목:The Natural Language Decathlon: Multitask Learning as Question Answering 저자:Bryan McCann, Nitish Shirish Keskar, Caiming Xiong, Richard Socher 이번에 리뷰해 볼 논문은 Natural Language Decathlon, 한국말로는 자연어 10종 종합경기 라는 제목을 가지고 있는 논문입니다. 이 논문은 제가 하고 있는 연구주제(QA 를 대화시스템에 적용)와 주제가 비슷하기도 하고, 그리고 Multitask Learning의 내용을 다루고 있다는 점에서 T5 와 GPT-2,3 등의 논문에서도 인용하였던 중요한 논문이라 리뷰해 보게 되었습니다. (전체 내용을 세세하게 리뷰하기 보다는 제 연구에 ..

논문 제목 : Zero-shot Generalization in Dialog State Tracking through Generative Question Answering 저자 : Shuyang Li,, Jin Cao, Mukund Sridhar, Henghui Zhu, Shang-Wen Li, Wael Hamza, Julian McAuley 제가 연구하고 있는 분야인 TOD(Task Oriented Dialogue), 그 중에서도 DST(Dialogue State Tracking)에 관련된 논문입니다. DST는 대화안에 있는 중요한 내용을 찾아서 기록하는 모델을 말하는데, 이 논문은 Question Answering을 통해서 Zero-shot DST를 구현하였습니다. 그럼 리뷰 시작하도록 하겠습니다. ..

제목 : BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 저자 : Jacob Devlin Ming-Wei Chang Kenton Lee Kristina Toutanova 링크 : https://arxiv.org/pdf/1810.04805.pdf 아직 뚝딱석사 1학기긴 하지만(이제 곧 2학기).. 그래도 제가 생각하기에 NLP가 최근 사람들에게 핫 해지고, 한단계 성장을 이루게 된 것은 BERT의 영향이 크다고 생각합니다. 한국에서도 BERT와 관련된 좋은 책들이 많이 나오고 있구요! 그래서 이번에는 제가 이해한 BERT논문을 정리하고, 요약해 보았습니다. 논문을 읽어보니, 유튜브에서 설명 들었던것, 각종 블로..

저자 : Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin 링크 : https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder t..

이번 주에는 Multi tasking에 관한 review 블로그를 읽어보았습니다. 같은 저자가 만든 review paper 도 있지만, 좀더 접근이 쉬운 블로그 글로 읽고 정리해 보았습니다. Multi Task Learning 에 대한 정보가 필요해서 구글링하다 찾은 블로그인데 생각보다 엄청 유명한 글이더군요! 버트, 엘모 등 많은 언어모델이 Multi Task Learning을 했다는 점에서 한번쯤 읽어보면 도움이 될 것 같습니다 review paper : Sebastian Ruder (2017). An Overview of Multi-Task Learning in Deep Neural Networks. arXiv preprint arXiv:1706.05098. blog : https://ruder.i..

제목 : Attention Is All you Need 저자 : Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin 링크 : https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also co..

제목 : UBAR: Towards Fully End-to-End Task-Oriented Dialog System with GPT-2 저자 : Yunyi Yang,Yunhao Li, Xiaojun Quan* 리뷰! 이 논문은 크게 리뷰할게 없어서 짧게 하려고 한다. 이전과 같이 TOD sytem을 end to end로 만든 논문인데 GPT-2에 정보를 마구 넣어준 뒤, 대답해라! 하는 형식의 방법을 사용했다. 아래는 모델 구조이다. 복잡한 구조 없이, 많~은 정보를 넣어주고, 그거에 맞게 결과를 출력하도록 만들었다. 그러나 GPT-2를 TOD에 어떻게 쓸 것인지, 기초를 마련했다는 점에서 의의가 있는듯 하다. 그리고 UBAR구조로 다양한 실험을 했는데, 이 실험들이 실행활에서 모델이 사용될 때 어떤 성능..

제목 : Improving End-to-End Task-Oriented Dialogue System with A Simple Auxiliary Task 링크 : https://aclanthology.org/2021.findings-emnlp.112.pdf 이 논문은 TOD(Task Oriented Dialog)의 generation 부분에서 현재 SOTA를 달성한 모델입니다. 리뷰 시작하겠습니다. 다른논문과의 차별성 = auxiliary task 이 논문이 다른 논문들보다 좋은 성능이 나올 수 있었던 것은, 논문 제목에서도 볼 수 있듯, 좋은 Auxiliary Task의 역할이 컸습니다. Auxiliary Task란 본 task는 아니지만, 본 task에서의 성능이 더 잘 나올 수 있도록 도와주는 보조 ..

저자: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu 링크 : https://arxiv.org/abs/1910.10683 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful techniq..