one by one ◼◻◼◻

아래 코드대로 하면 tokenize 해도 [C1] 은 tokenize되지 않고 유지된다. special_tokens_dict = {'additional_special_tokens': ['[C1]','[C2]','[C3]','[C4]']} num_added_toks = tokenizer.add_special_tokens(special_tokens_dict) model.resize_token_embeddings(len(tokenizer)) 출처 : https://github.com/huggingface/tokenizers/issues/247

python 에서 log를 만드는 (경험상) 가장 편리한 방법을 정리해 보았다. 왜 print()를 안쓰는가? - print도 간단하고 좋은 방법이지만, 따로 관리하기 어렵고, 지저분하고.. 언제 남겨진 log인지 알아보기 힘든 단점이 있다! logger를 쓰면 좋은점? logger를사용하면 하나의 폴더안에 있는 다양한 모듈(main.py, util.py, dataset.py 등등..) 에서 하나의 logger를 사용할 수 있다. 큰 프로그램으 관리하기 쉬워진다 등등.. 여러 장점이 있다 사용방법 일단 폴더안에 아래 코드를 만든다. log_conf.py #/temp/log_conf.py import logging def init_logger(): mylogger = logging.getLogger("my..