one by one ◼◻◼◻

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 from collections import defaultdict def solution(id_list, report, k): singoed = set() answer = [] singoed_cnt = defaultdict(int) # 신고당한 횟수 mail_cnt = defaultdict(int) # 받은 메일의 수 report = list(set(report)) for item in report: person_A, person_B = item.split(" ")[0],item.split(" ")[1] singoed_cnt[person_B] +=1 if singoed_cnt[person_B] >= ..

바닥부터 배우는 강화 학습(노승은) 을 읽고 정리한 페이지 내용입니다. 코드는 https://github.com/seungeunrho를 참고하였습닌다. 정책기반 Agent 예시 코드 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 import gym import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim f..

논문 : BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 저자 : Mike Lewis*, Yinhan Liu*, Naman Goyal*, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, Luke Zettlemoyer 링크 : https://arxiv.org/pdf/1910.13461.pdf 1. Introduction Self-supervised 방법으로 pre trained 된 모델들은 다양한 NLP task에서 성능을 성장시켰지만, BERT 와 같은 모델들은 특정 타입에 en..

프로그래머스에서 문제를 풀어보았다. queue를 이용해서 풀어보았다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 from collections import deque def solution(progresses, speeds): jobque = deque(progresses) speedque = deque(speeds) time =0 answer = [] go = 0 while jobque: job = jobque.popleft() speed = speedque.popleft() while True: if job + speed*time >= 100: go+=1 break else: if go != 0: answer.append(go) go =0 t..

제목:The Natural Language Decathlon: Multitask Learning as Question Answering 저자:Bryan McCann, Nitish Shirish Keskar, Caiming Xiong, Richard Socher 이번에 리뷰해 볼 논문은 Natural Language Decathlon, 한국말로는 자연어 10종 종합경기 라는 제목을 가지고 있는 논문입니다. 이 논문은 제가 하고 있는 연구주제(QA 를 대화시스템에 적용)와 주제가 비슷하기도 하고, 그리고 Multitask Learning의 내용을 다루고 있다는 점에서 T5 와 GPT-2,3 등의 논문에서도 인용하였던 중요한 논문이라 리뷰해 보게 되었습니다. (전체 내용을 세세하게 리뷰하기 보다는 제 연구에 ..

논문 제목 : Zero-shot Generalization in Dialog State Tracking through Generative Question Answering 저자 : Shuyang Li,, Jin Cao, Mukund Sridhar, Henghui Zhu, Shang-Wen Li, Wael Hamza, Julian McAuley 제가 연구하고 있는 분야인 TOD(Task Oriented Dialogue), 그 중에서도 DST(Dialogue State Tracking)에 관련된 논문입니다. DST는 대화안에 있는 중요한 내용을 찾아서 기록하는 모델을 말하는데, 이 논문은 Question Answering을 통해서 Zero-shot DST를 구현하였습니다. 그럼 리뷰 시작하도록 하겠습니다. ..

아래 코드대로 하면 tokenize 해도 [C1] 은 tokenize되지 않고 유지된다. special_tokens_dict = {'additional_special_tokens': ['[C1]','[C2]','[C3]','[C4]']} num_added_toks = tokenizer.add_special_tokens(special_tokens_dict) model.resize_token_embeddings(len(tokenizer)) 출처 : https://github.com/huggingface/tokenizers/issues/247

제목 : BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 저자 : Jacob Devlin Ming-Wei Chang Kenton Lee Kristina Toutanova 링크 : https://arxiv.org/pdf/1810.04805.pdf 아직 뚝딱석사 1학기긴 하지만(이제 곧 2학기).. 그래도 제가 생각하기에 NLP가 최근 사람들에게 핫 해지고, 한단계 성장을 이루게 된 것은 BERT의 영향이 크다고 생각합니다. 한국에서도 BERT와 관련된 좋은 책들이 많이 나오고 있구요! 그래서 이번에는 제가 이해한 BERT논문을 정리하고, 요약해 보았습니다. 논문을 읽어보니, 유튜브에서 설명 들었던것, 각종 블로..

저자 : Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin 링크 : https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder t..

이번 주에는 Multi tasking에 관한 review 블로그를 읽어보았습니다. 같은 저자가 만든 review paper 도 있지만, 좀더 접근이 쉬운 블로그 글로 읽고 정리해 보았습니다. Multi Task Learning 에 대한 정보가 필요해서 구글링하다 찾은 블로그인데 생각보다 엄청 유명한 글이더군요! 버트, 엘모 등 많은 언어모델이 Multi Task Learning을 했다는 점에서 한번쯤 읽어보면 도움이 될 것 같습니다 review paper : Sebastian Ruder (2017). An Overview of Multi-Task Learning in Deep Neural Networks. arXiv preprint arXiv:1706.05098. blog : https://ruder.i..