0.15.1

bab2min released this 07 May 11:36

· 254 commits to main since this release

6e3de32

Kiwi 0.15.1의 기능들(https://github.com/bab2min/Kiwi/releases/tag/v0.15.1 )이 반영되었습니다.
Subword Tokenizer를 제공하는 모듈인 kiwipiepiy.sw_tokenizer이 추가되었습니다.
huggingface의 tokenizer와 호환가능한 Subword Tokenizer를 제공하는 모듈인 kiwipiepy.transformers_addon이 추가되었습니다.

Assets 2