one by one ◼◻◼◻

제목 : Attention Is All you Need 저자 : Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin 링크 : https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also co..

제목 : UBAR: Towards Fully End-to-End Task-Oriented Dialog System with GPT-2 저자 : Yunyi Yang,Yunhao Li, Xiaojun Quan* 리뷰! 이 논문은 크게 리뷰할게 없어서 짧게 하려고 한다. 이전과 같이 TOD sytem을 end to end로 만든 논문인데 GPT-2에 정보를 마구 넣어준 뒤, 대답해라! 하는 형식의 방법을 사용했다. 아래는 모델 구조이다. 복잡한 구조 없이, 많~은 정보를 넣어주고, 그거에 맞게 결과를 출력하도록 만들었다. 그러나 GPT-2를 TOD에 어떻게 쓸 것인지, 기초를 마련했다는 점에서 의의가 있는듯 하다. 그리고 UBAR구조로 다양한 실험을 했는데, 이 실험들이 실행활에서 모델이 사용될 때 어떤 성능..

제목 : Improving End-to-End Task-Oriented Dialogue System with A Simple Auxiliary Task 링크 : https://aclanthology.org/2021.findings-emnlp.112.pdf 이 논문은 TOD(Task Oriented Dialog)의 generation 부분에서 현재 SOTA를 달성한 모델입니다. 리뷰 시작하겠습니다. 다른논문과의 차별성 = auxiliary task 이 논문이 다른 논문들보다 좋은 성능이 나올 수 있었던 것은, 논문 제목에서도 볼 수 있듯, 좋은 Auxiliary Task의 역할이 컸습니다. Auxiliary Task란 본 task는 아니지만, 본 task에서의 성능이 더 잘 나올 수 있도록 도와주는 보조 ..

저자: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu 링크 : https://arxiv.org/abs/1910.10683 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful techniq..

제목 : Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System 저자 : Yixuan Su, Lei Shu, Elman Mansimov, Arshit Gupta, Deng Cai, Yi-An Lai, Yi Zhang 링크 : https://arxiv.org/abs/2109.14739 Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System Pre-trained language models have been recently shown to benefit task-oriented dialogue (TOD) systems. Despite their success, e..

저자: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu 링크 : https://arxiv.org/abs/1910.10683 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful techniq..

저자: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu 링크 : https://arxiv.org/abs/1910.10683 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful techniq..

저자: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu 링크 : https://arxiv.org/abs/1910.10683 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful techniq..

데이터 로더가 RuntimeError: DataLoader worker (pid(s) ) exited unexpectedly 라고 하면서 갑자기 죽는 경우가 있다. train_loader = DataLoader(dataset=dataset, batch_size=100, shuffle=True, num_workers=0) # num workers를 0 으로 바꿔주면 해결이 된다. https://github.com/pytorch/pytorch/issues/5301

제목 : ImageNet Classification with Deep ConvolutionalNeural Networks 저자 : Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton 링크 : https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf 이번주에는 Alex Net 으로도 알려져 있는 ImageNet Classification with Deep ConvolutionalNeural Networks 논문을 읽어 보았습니다. 무려 2021년 11월 기준 90000회가 넘는 인용수를 가진 엄청난 논문이었습니다. 논문을 읽으면서 느낀점은, 논문을 읽는다는 느낌이..