[멋사] AI SCHOOL 5기_ Day 12

The process of data analysis for text data

Tokenize → POS Tagging → Stopwords 제거 →단어사전 생성 → 사전 기반 데이터 시각화  → 머신러닝/딥러닝 모델 적용

 

NLTK

NLTK는 Natural Language Toolkit의 약자로, 자연어 처리 및 문서 분석용 파이썬 패키지다.

(자연어는 일상적인 생활에서 사용하는 언어를 말한다)

분석을 위해서는 긴 문자열을 작은 단위로 나눠야 하는데, 이 단위를 token(토큰)이라 하고

그 작업을 tokenizing(토큰 생성)이라고 한다.

 

word_tokenize() 를 사용하면 문장을 토큰화할 수 있다.

word_tokenize() 예시

 

품사(POS, part-of-speech)

pos_tag() 를 사용하면 토큰화한 문장을 대상으로 각각의 품사를 알 수 있다.

• N : Noun (명사)
• V : Verb (동사)
• J/A : Adjective (형용사)

pos_tag() 예시

 

Stopwords(불용어) 제거

nltk 모듈에서 stopwords 를 불러와 사용할 수 있다. 

from nltk.corpus import stopwords

stopWords = stopwords.words('english')

지원 언어는 stopwords.fileids() 를 통해 알 수 있다. (한글은 없다)

분석을 하며 제거되어야 하는 불용어들을 가져온 불용어 리스트에 추가하는 방식으로 진행한다.

 

Lemmatization(표제어 추출)

Lemma는 한글로 '표제어' 또는 '기본 사전형 단어' 라고 한다.  

표제어 추출은 코퍼스에 있는 단어의 개수를 줄일 수 있는 기법으로써 중요하다.

WordNetLemmatizer 객체를 생성해 사용할 수 있고, pos 정보를 추가로 입력하면 더 정확한 결과가 나온다.

---

정규표현식

정규표현식(Regular expression)은 텍스트 데이터를 대상으로 특정 패턴을 따르고 있는지 확인하는 용도로 쓰인다.

http://pythonstudy.xyz/python/article/401-%EC%A0%95%EA%B7%9C-%ED%91%9C%ED%98%84%EC%8B%9D-Regex

예제로 배우는 파이썬 프로그래밍 - 정규 표현식 Regex

필요할 때 패턴들을 찾아가며 사용하면 될 것 같다!

---

Text Similarity Analysis

TF-IDF

TF-IDF(Term Frequency - Inverse Document Frequency)는 

특정 단어가 문서에서 어떤 중요도를 가지는지를 나타내는 지표다.

많은 문서에 공통적으로 들어있는 단어의 경우

문서 구별 능력이 떨어진다고 보아 가중치를 축소하는 방법이다.

TF-IDF 값은 단어마다 계산된다.

출처_ https://blog.naver.com/PostView.nhn?blogId=hobby-explorer&logNo=222213301125&categoryNo=13&parentCategoryNo=0

scikit-learn에서 TFIDF Vectorizer 를 제공한다.

from sklearn.feature_extraction.text import TfidfVectorizer

 

Cosine similarity

코사인 유사도는 거리 계산 방법 중 하나다. 

두 벡터 사이 각도의 코사인 값을 이용해 두 벡터의 유사한 정도를 파악한다.

https://wikidocs.net/24603

1) 코사인 유사도(Cosine Similarity)

계산된 값은 0에서 1사이이고, 1에 가까울수록 유사한 것이다.

from sklearn.metrics.pairwise import cosine_similarity

사이킷런에서 cosine_similarity를 가져와 사용할 수 있다.