'토큰화' 태그의 글 목록

본문 바로가기

728x90

토큰화

10/27 목 1. SoyNLP 지난번 배웠던 koNLPy의 형태소분석기로 토큰화가 잘 되지 않는 신조어를 응집 확률(cohesion probability)과 브랜칭 엔트로피(branching entropy)를 기반으로 단어에 점수를 부여해서 토큰화를 할 수 있도록 지원하는 SoyNLP 패키지를 배웠다! 강사님이 진행하신 코드와 거의 유사하고, 기법과 용어에 대한 설명이 자세하게 나온 페이지가 있어, 역시 참고하였다. - 응집 확률(cohesion probability) : 왼쪽부터 순서대로 문자를 추가하면서 각 문자열이 주어졌을 때 그다음 문자가 나올 확률을 계산하여 누적곱을 한 값. 값이 높을수록 해당 문자열 시퀀스가 하나의 단어로 등장할 가능성이 높아짐 - 브랜칭 엔트로피(branching entropy) : 만.. 더보기

이전 1 다음

728x90

티스토리툴바