CRF 레이어 추가 실험

[krikit]

#78 이슈에 이어서 CRF(conditional random field) 레이어를 추가하는 실험을 진행합니다.

[Kyeongpil]

@krikit 혹시 언제쯤 완료될지 알 수 있을까요? 0.5 버전을 빨리 쓰고 싶어서요 ㅎㅎ

[krikit]

@rudvlf0413

실은 지난 1월에 학습구조 리팩토링을 완료하고 간단히 CRF 레이어를 올려서 실험을 해봤습니다.
결과는 오히려 나빠져서 멘붕에 빠진 후 한참을 손 놓고 있었네요.

이유는 아무래도 500 x 500 개나 되는 transition matrix를 이용하여 학습했던 부분이 잘 동작하지 않은 것으로 생각합니다.
50여개의 품사 셋에 B-, I-를 포함하면 100여개의 simple tag만을 이용한 transition matrix를 구성하여 진행해야 할텐데,
이렇게 하려면 lattice가 문자 수 만큼 정확하게 나오지 않아 알고리즘을 (이렇게 한참동안) 고민 중에 있습니다.

기다리고 계셨다면 죄송하단 말씀을 드립니다.