티스토리

one by one ◼◻◼◻

검색하기

블로그 홈

one by one ◼◻◼◻

jihyunlee.tistory.com/m

JihyunLee 님의 블로그입니다.

구독자: 10

방명록 방문하기

주요 글 목록

[NLP 논문리뷰] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 논문 : BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 저자 : Mike Lewis*, Yinhan Liu*, Naman Goyal*, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, Luke Zettlemoyer 링크 : https://arxiv.org/pdf/1910.13461.pdf 1. Introduction Self-supervised 방법으로 pre trained 된 모델들은 다양한 NLP task에서 성능을 성장시켰지만, BERT 와 같은 모델들은 특정 타입에 en.. 공감수 2 댓글수 0 2022. 4. 13.
[NLP 논문 리뷰]The Natural Language Decathlon:Multitask Learning as Question Answering 제목:The Natural Language Decathlon: Multitask Learning as Question Answering 저자:Bryan McCann, Nitish Shirish Keskar, Caiming Xiong, Richard Socher 이번에 리뷰해 볼 논문은 Natural Language Decathlon, 한국말로는 자연어 10종 종합경기 라는 제목을 가지고 있는 논문입니다. 이 논문은 제가 하고 있는 연구주제(QA 를 대화시스템에 적용)와 주제가 비슷하기도 하고, 그리고 Multitask Learning의 내용을 다루고 있다는 점에서 T5 와 GPT-2,3 등의 논문에서도 인용하였던 중요한 논문이라 리뷰해 보게 되었습니다. (전체 내용을 세세하게 리뷰하기 보다는 제 연구에 .. 공감수 0 댓글수 0 2022. 1. 12.
[NLP논문리뷰]Zero-shot Generalization in Dialog State Tracking through GenerativeQuestion Answering 논문 제목 : Zero-shot Generalization in Dialog State Tracking through Generative Question Answering 저자 : Shuyang Li,, Jin Cao, Mukund Sridhar, Henghui Zhu, Shang-Wen Li, Wael Hamza, Julian McAuley 제가 연구하고 있는 분야인 TOD(Task Oriented Dialogue), 그 중에서도 DST(Dialogue State Tracking)에 관련된 논문입니다. DST는 대화안에 있는 중요한 내용을 찾아서 기록하는 모델을 말하는데, 이 논문은 Question Answering을 통해서 Zero-shot DST를 구현하였습니다. 그럼 리뷰 시작하도록 하겠습니다. .. 공감수 0 댓글수 0 2022. 1. 9.
[NLP 논문리뷰] BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding 제목 : BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 저자 : Jacob Devlin Ming-Wei Chang Kenton Lee Kristina Toutanova 링크 : https://arxiv.org/pdf/1810.04805.pdf 아직 뚝딱석사 1학기긴 하지만(이제 곧 2학기).. 그래도 제가 생각하기에 NLP가 최근 사람들에게 핫 해지고, 한단계 성장을 이루게 된 것은 BERT의 영향이 크다고 생각합니다. 한국에서도 BERT와 관련된 좋은 책들이 많이 나오고 있구요! 그래서 이번에는 제가 이해한 BERT논문을 정리하고, 요약해 보았습니다. 논문을 읽어보니, 유튜브에서 설명 들었던것, 각종 블로.. 공감수 0 댓글수 2 2021. 12. 31.
[NLP 논문리뷰] Attention Is All You Need(2) 저자 : Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin 링크 : https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder t.. 공감수 0 댓글수 1 2021. 12. 26.
[Article 리뷰] Multi Task Learning Objectives for Natural Language Processing 이번 주에는 Multi tasking에 관한 review 블로그를 읽어보았습니다. 같은 저자가 만든 review paper 도 있지만, 좀더 접근이 쉬운 블로그 글로 읽고 정리해 보았습니다. Multi Task Learning 에 대한 정보가 필요해서 구글링하다 찾은 블로그인데 생각보다 엄청 유명한 글이더군요! 버트, 엘모 등 많은 언어모델이 Multi Task Learning을 했다는 점에서 한번쯤 읽어보면 도움이 될 것 같습니다 review paper : Sebastian Ruder (2017). An Overview of Multi-Task Learning in Deep Neural Networks. arXiv preprint arXiv:1706.05098. blog : https://ruder.i.. 공감수 0 댓글수 0 2021. 12. 26.
[NLP 논문리뷰] Attention Is All You Need(1) 제목 : Attention Is All you Need 저자 : Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin 링크 : https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also co.. 공감수 0 댓글수 8 2021. 12. 16.
[NLP논문리뷰]UBAR: Towards Fully End-to-End Task-Oriented Dialog System with GPT-2 제목 : UBAR: Towards Fully End-to-End Task-Oriented Dialog System with GPT-2 저자 : Yunyi Yang,Yunhao Li, Xiaojun Quan* 리뷰! 이 논문은 크게 리뷰할게 없어서 짧게 하려고 한다. 이전과 같이 TOD sytem을 end to end로 만든 논문인데 GPT-2에 정보를 마구 넣어준 뒤, 대답해라! 하는 형식의 방법을 사용했다. 아래는 모델 구조이다. 복잡한 구조 없이, 많~은 정보를 넣어주고, 그거에 맞게 결과를 출력하도록 만들었다. 그러나 GPT-2를 TOD에 어떻게 쓸 것인지, 기초를 마련했다는 점에서 의의가 있는듯 하다. 그리고 UBAR구조로 다양한 실험을 했는데, 이 실험들이 실행활에서 모델이 사용될 때 어떤 성능.. 공감수 0 댓글수 0 2021. 12. 13.
[NLP 논문리뷰] MMTOD : Improving End-to-End Task-Oriented Dialogue System with A Simple Auxiliary Task 제목 : Improving End-to-End Task-Oriented Dialogue System with A Simple Auxiliary Task 링크 : https://aclanthology.org/2021.findings-emnlp.112.pdf 이 논문은 TOD(Task Oriented Dialog)의 generation 부분에서 현재 SOTA를 달성한 모델입니다. 리뷰 시작하겠습니다. 다른논문과의 차별성 = auxiliary task 이 논문이 다른 논문들보다 좋은 성능이 나올 수 있었던 것은, 논문 제목에서도 볼 수 있듯, 좋은 Auxiliary Task의 역할이 컸습니다. Auxiliary Task란 본 task는 아니지만, 본 task에서의 성능이 더 잘 나올 수 있도록 도와주는 보조 .. 공감수 0 댓글수 0 2021. 12. 9.
[NLP 논문리뷰]Shades of BLEU, Flavours of Success: The Case of MultiWOZ 저자: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu 링크 : https://arxiv.org/abs/1910.10683 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful techniq.. 공감수 0 댓글수 0 2021. 12. 9.
[NLP] Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System, PPTOD 리뷰 제목 : Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System 저자 : Yixuan Su, Lei Shu, Elman Mansimov, Arshit Gupta, Deng Cai, Yi-An Lai, Yi Zhang 링크 : https://arxiv.org/abs/2109.14739 Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System Pre-trained language models have been recently shown to benefit task-oriented dialogue (TOD) systems. Despite their success, e.. 공감수 0 댓글수 0 2021. 12. 8.
[NLP] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 리뷰(T5)-3 저자: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu 링크 : https://arxiv.org/abs/1910.10683 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful techniq.. 공감수 0 댓글수 0 2021. 12. 5.
[NLP] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 리뷰(T5)-2 저자: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu 링크 : https://arxiv.org/abs/1910.10683 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful techniq.. 공감수 0 댓글수 0 2021. 11. 27.
[NLP] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 리뷰(T5)-1 저자: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu 링크 : https://arxiv.org/abs/1910.10683 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful techniq.. 공감수 0 댓글수 0 2021. 11. 20.
[CNN] ImageNet Classification with Deep ConvolutionalNeural Networks 제목 : ImageNet Classification with Deep ConvolutionalNeural Networks 저자 : Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton 링크 : https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf 이번주에는 Alex Net 으로도 알려져 있는 ImageNet Classification with Deep ConvolutionalNeural Networks 논문을 읽어 보았습니다. 무려 2021년 11월 기준 90000회가 넘는 인용수를 가진 엄청난 논문이었습니다. 논문을 읽으면서 느낀점은, 논문을 읽는다는 느낌이.. 공감수 0 댓글수 0 2021. 11. 13.
[Summarazation] A Neural Attention Model for Abstractive Sentence Summarization 논문 링크 : https://arxiv.org/abs/1509.00685 A Neural Attention Model for Abstractive Sentence Summarization Summarization based on text extraction is inherently limited, but generation-style abstractive methods have proven challenging to build. In this work, we propose a fully data-driven approach to abstractive sentence summarization. Our method utilizes a loca arxiv.org 2015 년에 나온 논문으로 인용수가 무려 20.. 공감수 0 댓글수 0 2021. 11. 3.
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 논문 링크 : https://arxiv.org/abs/1502.03167 이번주에 공부한 내용은 Batch Normalization입니다. 처음에는 논문만 읽고 내용을 이해해 보려고 했는데 지식이 부족해서 논문만 읽고 전체 내용을 이해하기에 한계가 있어서 블로그 글을 몇개 더 읽어보고 내용을 정리 해 보았습니다. 일단 이 논문을 읽어보고 싶었던 이유는! bert에 들어가는 구조이었기 때문입니다.! 리뷰! 신경망 학습은 loss function을 미분한 뒤, 이 기울기를 parameter에 반영하는 방식으로 이루어집니다. 이 기울기가 너무 크거나 작은 경우 학습이 제대로 이뤄지지 않습니다. 그래서 이 문제를 해결하기 위해 ReLU와 같은 활성화 함수를 쓰기도 하고, 가중치 초기값을 잘 두는 방법, smal.. 공감수 0 댓글수 0 2021. 10. 22.
[NLP 논문리뷰]STraTA: Self-Training with Task Augmentation for Better Few-shot Learning 제목 : HowMuchKnowledge Can You Pack Into the Parameters of a Language Model? 저자 : Tu Vu, Minh-Thang Luong, Quoc V. Le, Grady Simon, Mohit Iyyer, Noam Shazeer 발행년도 : 2021 paper : https://arxiv.org/abs/2109.06270 code : https://github.com/google-research/google-research/tree/master/TA-ST Review Abstract 최근의 발전이 NLP task에서 많은 발전을 이뤘지만, Large scale의 pretrained 언어 모델이 few shot 세팅에서는 그리 좋은 성능을 보이지 못하고 .. 공감수 0 댓글수 0 2021. 9. 23.
[NLP논문리뷰]How Much Knowledge Can You Pack Into the Parameters of a Language Model? 제목 : HowMuchKnowledge Can You Pack Into the Parameters of a Language Model? 저자 : Adam Roberts, Colin Raffel, Noam Shazeer 발행년도 : 2020 paper : https://arxiv.org/abs/2002.08910 code : https://github.com/google-research/google-research/tree/master/t5_closed_book_qa Review QA모델에 대한 논문 중 google에서 출간한 논문. 기존의 QA task는 passage를 보여주고 이에 대한 답을 찾아가는 방식이었다. 그러나 이 논문은 passage를 보여주지 않고 질문 부터 한다. 즉 다양한 task에 .. 공감수 0 댓글수 0 2021. 9. 12.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.