one by one ◼◻◼◻

python 에서 log를 만드는 (경험상) 가장 편리한 방법을 정리해 보았다. 왜 print()를 안쓰는가? - print도 간단하고 좋은 방법이지만, 따로 관리하기 어렵고, 지저분하고.. 언제 남겨진 log인지 알아보기 힘든 단점이 있다! logger를 쓰면 좋은점? logger를사용하면 하나의 폴더안에 있는 다양한 모듈(main.py, util.py, dataset.py 등등..) 에서 하나의 logger를 사용할 수 있다. 큰 프로그램으 관리하기 쉬워진다 등등.. 여러 장점이 있다 사용방법 일단 폴더안에 아래 코드를 만든다. log_conf.py #/temp/log_conf.py import logging def init_logger(): mylogger = logging.getLogger("my..

논문 링크 : https://arxiv.org/abs/1509.00685 A Neural Attention Model for Abstractive Sentence Summarization Summarization based on text extraction is inherently limited, but generation-style abstractive methods have proven challenging to build. In this work, we propose a fully data-driven approach to abstractive sentence summarization. Our method utilizes a loca arxiv.org 2015 년에 나온 논문으로 인용수가 무려 20..

논문 링크 : https://arxiv.org/abs/1502.03167 이번주에 공부한 내용은 Batch Normalization입니다. 처음에는 논문만 읽고 내용을 이해해 보려고 했는데 지식이 부족해서 논문만 읽고 전체 내용을 이해하기에 한계가 있어서 블로그 글을 몇개 더 읽어보고 내용을 정리 해 보았습니다. 일단 이 논문을 읽어보고 싶었던 이유는! bert에 들어가는 구조이었기 때문입니다.! 리뷰! 신경망 학습은 loss function을 미분한 뒤, 이 기울기를 parameter에 반영하는 방식으로 이루어집니다. 이 기울기가 너무 크거나 작은 경우 학습이 제대로 이뤄지지 않습니다. 그래서 이 문제를 해결하기 위해 ReLU와 같은 활성화 함수를 쓰기도 하고, 가중치 초기값을 잘 두는 방법, smal..

이번 방학에 저번에 시험을 쳤던 토익 점수가 만료되어서, 이번 방학에 영어성적을 다시 만들기로 했다. 토익은 한번 쳐봤기도 하고, 대학원 진학에는 텝스성적이 필요해서 텝스를 먼저 공부했다. 그리고 목표였던 360점보다 더 좋은 점수를 받을 수 있었다! 😀 공부기간 : 약 3주(계절학기, 졸업과제와 병행했다) 파트별 공부방법 문법, 어휘 파트 문법과 어휘를 공부하면서 사용한책은 다락원에서 나온 The NEW TEPS 실전연습 300 문법, 어휘를 사용했다. 처음 치는 텝스라 크게 욕심을 안부려서 300점대의 점수를 목표를 하는 책을 샀는데 , 그럼에도 문법 정리가 굉장히 잘 되어있고, 시험에 빈출되는 내용이 잘 나와있어서 도움이 많이 되었다. 하지만 단어파트는 조금 쉬운감이 있었다. http://www.y..

학과 할동을 많이 한 편도 아니고, 주변에 대학원 간 선배가 있던 것도 아니라서 혼자서 고군분투하며 대학원을 준비했다! 이 글은 나처럼 혼자 대학원을 준비하는 사람들의 막막함을 덜어주고자, 그리고 4.5년간의 대학생활을 마무리하고자 작성하게 되었다. 아직 대학원 정식 입학도 안한 대학원새내기지만, 이 글이 막막한 다른 사람들에게 도움이 되었으면 좋겠다! 1. 연구분야 및 랩실 찾기 내가 대학원에 진학하고자 마음 먹은 후, 가장 먼저 한 일은 가고싶은 대학원을 찾는 것이었다. 4년동안 공부를 하고 캡스톤 연구를 진행하면서, 나는 자연어 처리 분야에 관심을 가지게 되었고, 대학원에서도 이를 더 공부해 보고 싶었다. 그래서 전국 대학에 있는 자연어 처리 연구실을 찾아보았다. 대부분의 컴공 연구실은 연구실 홈페..

앞의 포스트에서는 연구실을 찾고 컨택했던 경험에 대해 작성했다! 이번포스트는 자기소개서는 건너뛰고(다음 포스트 예정) 면접준비와 면접 과정에 대한 이야기이다. 참고로 나는 자기소개서 작성보다는 면접준비를 먼저했다. 자기소개서를 쓰기 싫어서도 있고, 면접에서 출제되는 과목들을 복습하는게 자기소개서작성하는것 보다 오래 걸릴것 같았기 때문이다 서울대학교 전기 모집에 지원한다면 카이스트가 여름방학에 시작해서 가장 먼저 합격 준비해야 할 학교이지만, 나처럼 후기 모집에 지원한다면 서울대가 가장 먼저 대학원생 입학 프로세스가 진행되게 된다. 서울대학교 컴공 대학원은 1. OS 2. 컴퓨터구조 3. 알고리즘 4. 회로이론 이렇게 4가지의 과목을 골라서 시험을 치게 된다. 여기서 나는 OS 와 컴구를 선택해서 방학때 ..

다음학교는 포항공대 AI 대학원 합격후기 및 준비방법이다. 포항공과대학교에 지원할때는 컴퓨터공학과가 아닌 AI대학원에 지원했다. 처음에는 컴퓨터 공학과에 지원하려고 했는데 컴퓨터 공학과의 면접 문제들을 보니 내가 학부에서 배우지 않은 수업(전공 과목 편식을 좀 했다.., 논리회로 이런거 안들었음..)에 대한 질문도 많이 나와서 면접을 위해 공부할게 너무 많았다. 차라리 수학, 알고리즘을 물어보는 AI대학원의 면접이 좀 더 유리할 것 같아서 AI대학원으로 지원하였다. 포항공과대학교 인공지능 대학원 포항공과 대학교(이하 포스텍) AI대학원에서는 수학, 알고리즘 능력을 평가한다. 포스텍은 1차 서류 평가에서 합격한 사람을 대상으로 면접의 기회가 주어진다. 수학은 "mathematics for machine l..

2021 인공지능 데이터 활용 경진대회에 참여했다. 아쉽게도.. 예선에서 시간부족으로 모델을 제출하지 못해 결과를 알 수 없었다. 하지만 텍스트 요약 이라는 새로운 분야에 도전해서 결과를 얻었다는 점에서(비록 결과가 좋은지 어떤지는 모르지만..) 좋은 경험이었다! 예선대회는 dacon 플랫폼에서 이뤄졌고, 시간은 3일이 주어졌다. https://dacon.io/competitions/official/235818/overview/description "훈민정음에 스며들다"-문서요약 역량평가 - DACON 좋아요는 1분 내에 한 번만 클릭 할 수 있습니다. dacon.io 코드 공유에서 달린 댓글들을 보니 나 말고도 시간 부족으로 당황한 사람이 많은 듯 했다. (여담이지만.. 시간이 안그래도 부족한데 실수로..

제목 : HowMuchKnowledge Can You Pack Into the Parameters of a Language Model? 저자 : Tu Vu, Minh-Thang Luong, Quoc V. Le, Grady Simon, Mohit Iyyer, Noam Shazeer 발행년도 : 2021 paper : https://arxiv.org/abs/2109.06270 code : https://github.com/google-research/google-research/tree/master/TA-ST Review Abstract 최근의 발전이 NLP task에서 많은 발전을 이뤘지만, Large scale의 pretrained 언어 모델이 few shot 세팅에서는 그리 좋은 성능을 보이지 못하고 ..

제목 : HowMuchKnowledge Can You Pack Into the Parameters of a Language Model? 저자 : Adam Roberts, Colin Raffel, Noam Shazeer 발행년도 : 2020 paper : https://arxiv.org/abs/2002.08910 code : https://github.com/google-research/google-research/tree/master/t5_closed_book_qa Review QA모델에 대한 논문 중 google에서 출간한 논문. 기존의 QA task는 passage를 보여주고 이에 대한 답을 찾아가는 방식이었다. 그러나 이 논문은 passage를 보여주지 않고 질문 부터 한다. 즉 다양한 task에 ..