| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
- The Natural Language Decathlon:Multitask Learning as Question Answering
- Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 리뷰
- 다양한 모듈에서 log쓰기
- 길찾기
- T5 논문 리뷰
- BERT 사용방법
- Attention Is All You Need 리뷰
- 뉴텝스 400
- Evaluate Multiwoz
- ImageNet Classification with Deep ConvolutionalNeural Networks 리뷰
- BART 논문리뷰
- Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
- BERT란
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 리뷰
- MMTOD
- Attention Is All You Need
- RuntimeError: DataLoader worker (pid(s) ) exited unexpectedly
- A Neural Attention Model for Abstractive Sentence Summarization
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 논문리뷰
- UBAR: Towards Fully End-to-End Task-Oriented Dialog System with GPT-2
- CNN 논문리뷰
- 정책기반 agent
- attention 설명
- Zero-shot Generalization in Dialog State Tracking through GenerativeQuestion Answering
- NLP 논문 리뷰
- Multi Task Learning Objectives for Natural Language Processing
- TOD 논문리뷰
- Multi Task Learning Objectives for Natural Language Processing 리뷰
- hugging face tokenizer에서 special case 추가하기
- 바닥부터 배우는 강화 학습
- Today
- Total
one by one ◼◻◼◻
[NLP 논문 리뷰]The Natural Language Decathlon:Multitask Learning as Question Answering 본문
[NLP 논문 리뷰]The Natural Language Decathlon:Multitask Learning as Question Answering
JihyunLee 2022. 1. 12. 01:54제목:The Natural Language Decathlon: Multitask Learning as Question Answering
저자:Bryan McCann, Nitish Shirish Keskar, Caiming Xiong, Richard Socher
이번에 리뷰해 볼 논문은 Natural Language Decathlon, 한국말로는 자연어 10종 종합경기 라는 제목을 가지고 있는 논문입니다.
이 논문은 제가 하고 있는 연구주제(QA 를 대화시스템에 적용)와 주제가 비슷하기도 하고, 그리고 Multitask Learning의 내용을 다루고 있다는 점에서 T5 와 GPT-2,3 등의 논문에서도 인용하였던 중요한 논문이라 리뷰해 보게 되었습니다.
(전체 내용을 세세하게 리뷰하기 보다는 제 연구에 유용한 부분을 중점적으로 리뷰했는데, 생략된 내용도 궁금하시다면 논문을 찾아서 읽어보시는 것을 추천드립니다😊)
1. Introduction
해당 논문은 모델이 NLP task에 얼마나 잘 일반화 될 수 있는지 알아보기 위해 NLP 10종경기라는 논문을 만들게 되었습니다. 그리고 이 10종경기의 format을 모두 QA형태로 만들었습니다. 예를 들어, 문장의 긍 부정을 평가하는 NLP task는 Question : 이 문장이 긍정적인가? 와 같은 질문을 통해서 Answer을 얻어내는 방식으로 만들었습니다
또한 데이터와 평가 지표만을 개발한 것이 아니라 MQAN(multitask question answering network)라는 다양한 task에 잘 적용되는 네트워크 또한 만들어 좋은 성능을 보였습니다.
2. Tasks and Metics
10종 경기에 포함된 NLP task는 아래 표와 같습니다.
10개 모두 0~100 사이의 점수로 나오는 metric을 가지고 있기 때문에 총점은 1000점이 되게 됩니다.
3. Multitask Question Answering Network(MQAN)
논문의 절반 이상에서 언급하는 중요한 내용이지만, 저는 network와 관련된 부분은 꼼꼼하게 읽지 않았습니다. 왜냐하면.. 지금은 처음부터 새로운 모델을 만드는 방식보다는 pre training된 모델을 잘 이용하는 것이 좀더 머신러닝에서 우세한 방법이기 때문이기 때문입니다. 그래도 혹시나 Multitask를 잘 수행하는 모델의 Architecture가 궁금하시다면 읽어보세요
4. Experiments and Analysis
4.1 Baselines and MQAN
다른 base line들과 성능을 비교하는 부분입니다.
4.2 Optimization Strategies and Curriculum Learning
제 개인적으로 이 논문에서 가장 중요하다고 생각하는 부분입니다.
Multitask training을 진행 할 때, 어떤 한 task에 대해서는 충분히 학습되었지만, 다른 task에 대해서는 학습이 부족할 수 있습니다. 하지만 여러 task를 섞어서 진행하는 경우, 어떤 부분을 더 학습시켜야하는지가 명확하지 않습니다. 쉬운 task -> 어려운 task 를 순서대로 해서 학습시키는 방법을 curriculum task, 랜덤하게 학습시키는 것을 anti-curriculum task라고 하는데 실험 결과, 랜덤하게 학습시키는 anti-curriculum 방식이 더 좋은 성능을 보였습니다.
4.3 Analysis
다양한 task로 pre training 된 MQAN은 랜덤하게 initialized 된 MQAN보다 새로운 task 에 더 적응을 잘했고, Zero shot Classification task 에서도 새로운 값을 잘 생성해 내는 결과를 보였습니다. (이러한 결과가 있었기 때문에 Language model 논문에서도 다양한task를 한번에 섞어서 학습시키는 방법을 택한 것 같습니다.👍🏻)
이 논문에서 만든 10종 경기 데이터셋은 그 후에 그렇게 널리 사용되지는 못했습니다(최근에는 잘 못봤어요..). 그렇지만 여러개의 task를 동시에 학습하면 좋은 성능을 낼 수있다는 것, 그리고 실험을 통해 밝힌 multi task learning 의 성질들은 후에 거대 Language Model논문이 나오는 데 도움이 되었습니다
