https://huggingface.co/docs/transformers/main/tokenizer_summary Summary of the tokenizers Reinforcement learning models huggingface.co 이번 글에서는 BPE(Byte-Pair Encoding), WordPiece, SentencePiece 에 대해 다룰것이다. text를 분할하여 조각을 내는 것(Tokenizing)은 생각보다 어렵다. 예를들어 "Don't you love 🤗 Transformers? We sure do." 위와 같은 문장을 공백기준으로 분할한다 하자. 그럼 다음과 같을 것이다. ["Don't", "you", "love", "🤗", "Transformers?", "We", "s..
