| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
- 다양한 모듈에서 log쓰기
- Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 리뷰
- Multi Task Learning Objectives for Natural Language Processing
- attention 설명
- The Natural Language Decathlon:Multitask Learning as Question Answering
- Zero-shot Generalization in Dialog State Tracking through GenerativeQuestion Answering
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 논문리뷰
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 리뷰
- Evaluate Multiwoz
- 뉴텝스 400
- A Neural Attention Model for Abstractive Sentence Summarization
- hugging face tokenizer에서 special case 추가하기
- NLP 논문 리뷰
- Attention Is All You Need 리뷰
- 바닥부터 배우는 강화 학습
- Attention Is All You Need
- BERT란
- 길찾기
- BART 논문리뷰
- ImageNet Classification with Deep ConvolutionalNeural Networks 리뷰
- MMTOD
- UBAR: Towards Fully End-to-End Task-Oriented Dialog System with GPT-2
- BERT 사용방법
- Multi Task Learning Objectives for Natural Language Processing 리뷰
- CNN 논문리뷰
- T5 논문 리뷰
- 정책기반 agent
- TOD 논문리뷰
- RuntimeError: DataLoader worker (pid(s) ) exited unexpectedly
- Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
- Today
- Total
one by one ◼◻◼◻
[NLP 논문리뷰] MMTOD : Improving End-to-End Task-Oriented Dialogue System with A Simple Auxiliary Task 본문
[NLP 논문리뷰] MMTOD : Improving End-to-End Task-Oriented Dialogue System with A Simple Auxiliary Task
JihyunLee 2021. 12. 9. 21:53제목 : Improving End-to-End Task-Oriented Dialogue System with A Simple Auxiliary Task
링크 : https://aclanthology.org/2021.findings-emnlp.112.pdf
이 논문은 TOD(Task Oriented Dialog)의 generation 부분에서 현재 SOTA를 달성한 모델입니다.
리뷰 시작하겠습니다.
다른논문과의 차별성 = auxiliary task
이 논문이 다른 논문들보다 좋은 성능이 나올 수 있었던 것은, 논문 제목에서도 볼 수 있듯, 좋은 Auxiliary Task의 역할이 컸습니다.
Auxiliary Task란 본 task는 아니지만, 본 task에서의 성능이 더 잘 나올 수 있도록 도와주는 보조 task를 의미합니다. MMTOD논문에서는 span prediction을 auxiliary task로 사용하였습니다. 여기서 span matching은 slot tagging과 비슷한 방법으로 span prediction을 사용하였습니다.
위 모델 전체 구조에서 보라색 부분이 auxilary task를 의미합니다. Response generation이나 belef traking에 도움이 되는 결과물을 전달하는 구조는 아니지만, slot tagging을 이용해서, 어떤 부분에 '음식' 정보, '시간' 정보가 있는지를 알려주어, Encoder가 문장을 더 잘 이해하도록 만들었습니다.
사실 놀랍게도(?) 이 논문에서 이 이외의 구조나 방법의 특이점은 찾지 못했습니다. 그러나 여기서 사용한 auxiliary task가 정말로 창의적이고, 그러면서도 모델의 학습에 도움이 되었다는 점이 재미있었고, 제 연구에도 적용 할 방법을 찾을 수 있겠다는 생각을 하게 되었습니다.
한가지 아쉬운점은 이렇게 학습을 하게 되면, 1. ontology파일(유저가 말하는 중요 정보(=음식이름, 가게이름, 시간 등)을 미리 정의한 파일)가 있어서 어느 부분이 음식이고, 시간인지 미리 알아야 한다는점, 2. few shot trainning에도 이 방법이 먹힐까? 하는 의문이 남습니다.
