0.20.2

• Kiwi 0.20.2의 기능들(https://github.com/bab2min/Kiwi/releases/tag/v0.20.2 )이 반영되었습니다.
  • SN이나 W 태그가 나타날 위치에서 종종 바로 앞의 문자열이 중복되어 엉뚱한 태그가 발생하는 버그 수정

0.20.1

• Kiwi 0.20.1의 기능들(https://github.com/bab2min/Kiwi/releases/tag/v0.20.1 )이 반영되었습니다.
  • Continual Typo 사용시 Z_CODA, Z_SIOT 태그가 제대로 매칭되지 않는 버그 수정
  • splitSaisiot, mergeSaisiot 사용시의 정확도 개선
  • saisiot 기능 추가 이후 GCC에서 Pretokenized Span을 사용할때 발생하는 segmentation fault 해결
  • 누락되었던 C API 상수 보완
• Kiwi.space() 버그 수정
  • 0.20.0에서 새로 발생한, space()시 내용이 바뀌는 버그 수정

0.20.0

• Kiwi 0.20.0의 기능들(https://github.com/bab2min/Kiwi/releases/tag/v0.20.0 )이 반영되었습니다.
  • 사이시옷을 위한 품사 태그인 Z_SIOT 추가
  • 사이시옷이 포함된 합성명사를 분할하거나, 사이시옷 앞뒤의 명사를 결합하여 출력하는 옵션 추가
• Kiwi.space() 버그 수정
  • 공백이 있는 사용자 단어를 등록해도 space()시 공백이 사라지는 버그 수정
  • 숫자 + 의존명사는 붙여적도록 수정

0.19.1

• Kiwi 0.19.1의 기능들(https://github.com/bab2min/Kiwi/releases/tag/v0.19.1 )이 반영되었습니다.
  • 앞쪽의 특수 문자가 형태소와 잘못 결합하여 분석되는 버그 수정
  • 오타 교정을 켠 상태에서 PretokenizedSpan 혹은 blocklist를 사용할때 오류가 발생하는 버그 수정
  • XSM 태그가 종종 접두사 위치에 등장하는 버그 수정
  • 서툰, 내민 등의 형태가 명사로 잘못 분석되는 버그 수정

0.19.0

• Kiwi 0.19.0의 기능들(https://github.com/bab2min/Kiwi/releases/tag/v0.19.0 )이 반영되었습니다.
  • 장음화 오타 정정 기능 추가(ex: 지인짜 -> 진짜). Kiwi 초기화 시 typos='lengthening' 옵션으로 사용 가능합니다.
  • 분석 속도 평균 30% 향상
  • 순서 있는 글머리가 여럿 섞인 문장을 분석할 때 종결어미 -다.가 종종 SB 태그로 오분석되는 버그 수정
• Match.JOIN_* 옵션으로 생성된 형태소 분석결과를 다시 Kiwi.join에 넣을 경우 크래시가 발생하던 버그 수정
• TypoTransformer에 copy(), update(), scale_cost() 메소드 및 | 연산자, * 연산자 오버로딩이 추가되었습니다.
• Python>=3.9용 패키지에 대해 numpy 2와 호환성을 갖췄습니다.

0.18.1

• Kiwi 0.18.1의 기능들(https://github.com/bab2min/Kiwi/releases/tag/v0.18.1 )이 반영되었습니다.
  • PreTokenizedSpan과 SPLIT_COMPLEX를 동시에 사용시 종종 빈 결과값이 나오던 버그가 수정되었습니다.
  • 공백 없이 길게 이어진 텍스트를 분석할때 종종 std::length_error가 발생하던 오류가 수정되었습니다.
  • 문장 분리 시 여는 따옴표가 종종 잘못된 문장에 붙던 버그가 수정되었습니다.
• Kiwi.tokenize()에 compatible_jamo 인자가 추가되었습니다. compatible_jamo를 True로 설정하면 첫가끝 자모를 호환용 자모로 변환하여 출력합니다.

0.18.0

• Kiwi 0.18.0의 기능들(https://github.com/bab2min/Kiwi/releases/tag/v0.18.0 )이 반영되었습니다.
  • 이모지를 분리하는 Match.EMOJI 옵션과 이모지에 해당하는 태그인 W_EMOJI가 추가되었습니다.
  • 외국어 및 특수 기호 태그(SL, SH, SW, W_EMOJI)에 대해 해당 문자가 속한 언어 집합을 나타내는 script 필드가 추가되었습니다. 전체 script의 목록은 Kiwi.list_all_scripts() 메소드를 통해 확인할 수 있습니다.
  • 이제 라틴 문자 사이에 악센트가 붙은 문자가 섞여 있는 경우에도 전체 단어가 하나의 형태소로 분석됩니다.
• KiwiTokenizer가 transformers>=4.41에서 작동하지 않는 버그가 수정되었습니다.

0.17.1

• Kiwi 0.17.1의 기능들(https://github.com/bab2min/Kiwi/releases/tag/v0.17.1 )이 반영되었습니다.
  • 연철 오타를 교정하는 기능이 추가되었습니다.
  • 문장 분리 정확도가 향상되었습니다.

0.17.0

• Kiwi 0.17.0의 기능들(https://github.com/bab2min/Kiwi/releases/tag/v0.17.0 )이 반영되었습니다.
  • 공백이 포함된 단어를 사전에 등록할 수 있도록 개선되었습니다.
  • 기본 다어절 명사 사전이 추가되었습니다. Kiwi.__init__()의 load_multi_dict 인자를 통해 기본 다어절 명사 사전의 로드 유무를 설정할 수 있습니다.
  • 공백이 없는 긴 문자열을 분석할 때 크래시가 발생하거나 속도가 느려지는 버그를 수정했습니다.
• Kiwi.join()에 return_positions 인자가 추가되었습니다. 이 인자를 통해 각 형태소들의 결합 후 위치를 구할 수 있습니다.
• Kiwi.load_user_dictionary()를 비롯한 일부 메소드에서 잘못된 값이 입력된 경우 크래시가 발생하던 버그가 수정되었습니다.
• KiwiTokenizer가 transformers>=4.29에서 호환되지 않는 버그를 수정했습니다.

0.16.2

• Stopwords와 blocklist를 동시에 사용할 때 종종 크래시가 발생하던 문제가 수정되었습니다.