반응형
목록 n-gram (1)
KEEP GOING
[nlp] 자연어처리 기초 용어 모음집(token, pos tagging, stopword, corpus, stemming, ...)
목차 0. nlp(자연어처리) 인간의 언어를 컴퓨터가 이해할 수 있도록 처리하는 기술 1. nltk 토크나이징, 어간 추출, 품사 태깅 등 자연어 처리에 사용하는 파이썬 모듈 import nltk print(dir(nltk.corpus)) # 말뭉치 목록 확인 2. 말뭉치(corpus) 자연어처리를 위한 목적으로 정리해놓은 문서 집합 import nltk nltk.download('movie_reviews') # 말뭉치 중 'movie_reviews' 다운로드 from nltk.corpus import movie_reviews nltk.corpus 패키지는 다양한 연구용 말뭉치를 제공합니다. 말뭉치 자료를 사용하려면 nltk.download 명령으로 다운받으면 됩니다. 3. 토크나이징(tokenizing..
인공지능/nlp
2023. 4. 28. 19:01
