[멋사] AI SCHOOL 5기_ Day 15

Web scraping Tips

 

1️⃣ 오류 예외 처리

다량의 데이터를 수집하기위해 크롤링을 하다보면 예상치 못한 일로 에러가 나서 중단되어 버렸을 때

이미 쌓아왔던 데이터가 날라가거나 혹은 특정 시점 이후로 데이터가 꼬여버리는 일이 생긴다.

그럴 때를 위해 사용하는 것이 try, except 문이다.

try:
	# 일단 실행해 볼 코드

except:
	# 오류가 발생했을 때 수행할 코드

 

2️⃣ time.sleep()

크롤링을 하면서 쉴틈없이 서버에 요청을 보내면 기계인걸 눈치채서 막아버리는 경우가 생긴다.

그래서 time.sleep을 이용해 잠시 작동을 쉴 수 있게 해줘야한다. 

 

3️⃣ pickle

파이썬은 객체를 파일에 저장하는 pickle 모듈을 제공한다.

출처_ https://docs.python.org/ko/3/library/pickle.html

거의 모든 것을 피클로 저장하고, 불러올 수 있다.

https://docs.python.org/ko/3/library/pickle.html#module-pickle

pickle — 파이썬 객체 직렬화 — Python 3.10.4 문서

 

4️⃣ Selenium

셀레니움은 원래 웹 프론트엔드 개발자들이 화면을 수정할 때, 번거러운 브라우저 호환성 검사의 수고를 덜기 위해 제작된 것이다.

웹 브라우저 강제 조종이 가능하다는 큰 특징을 갖는데, 느리고 튕기는 일이 많다는 큰 단점도 있다.

그래서 웹 스크래핑을 할때는 웬만해선 셀레니움을 안쓰는 쪽으로 해보고 정 안된다싶을때 사용하는 것이 좋다고 한다.

셀레니움을 사용하기 위해서는 웹 드라이버가 필요한데 예전에는 직접 다운로드를 받아 실행시키는 코드를 넣어야 했다.

하지만 이제는 좋은 라이브러리가 생겨서 그럴 필요가 없다.

# 자동으로 크롬드라이버(가상브라우저) 파일을 다운로드해주는 라이브러리
from webdriver_manager.chrome import ChromeDriverManager 

# 다운로드된 크롬드라이버 파일을 연결하기 위해 활용
from selenium.webdriver.chrome.service import Service 


# 자동으로 크롬드라이버(가상브라우저) 파일을 다운로드 후 세팅
service = Service(executable_path=ChromeDriverManager().install()) 

# 세팅된 크롬드라이버를 연결해 가상브라우저 실행
driver = webdriver.Chrome(service=service)

이렇게 가상 브라우저를 열어 똑같이 크롤링을 진행하면 된다.

주의할 점은, 이 가상 브라우저는 창을 이동시킬 때만 만지고, 안만지는게 베스트다. 

그리고 자동으로 컨트롤 될 때, 가상 브라우저 창을 가장 앞쪽에 두는게 좋다. 

---

Word Cloud

 

Konlpy

KoNLPy(코엔엘파이)는 한국어 정보처리를 위한 파이썬 패키지다.

https://konlpy.org/ko/latest/

KoNLPy: 파이썬 한국어 NLP — KoNLPy 0.6.0 documentation

from konlpy.tag import Okt

tokenizer = Okt() # 객체 생성후 사용
tokens = tokenizer.pos("문장", norm=True, stem=True)
print(tokens) # 각각의 토큰과 품사를 튜플로 묶어 보여준다

• norm(normalization, 정규화) 
• stem(stemming, 어근화) 

 

WordCloud

워드클라우드를 만들기 위해서는 WordCloud 라이브러리를 설치해줘야한다.

pip install wordcloud==1.5.0

다음은 워드클라우드를 원하는 모양으로 만드는 코드다.

from wordcloud import WordCloud
from wordcloud import ImageColorGenerator

# 바꾸고 싶은 모양이 그려진 사진을 array로 변환
mask_image = np.array(Image.open("원하는 모양 사진"))

# 원본 사진의 색깔을 가져옴
image_colors = ImageColorGenerator(mask_image)

# WordCloud 객체 생성
word_cloud = WordCloud(font_path="사용할폰트경로", 
                        max_words='최대단어갯수',
                        max_font_size='최대글자크기',
                        width='가로길이',
                        height='세로길이',
                        mask=mask_image,
                        background_color="뒷배경색",
                        ).generate_from_frequencies('만들어 놓은 단어사전')

# 워드클라우드 크기
plt.figure(figsize=(15,15))

# 원본 사진의 색깔 입히기
plt.imshow(word_cloud.recolor(color_func=image_colors), interpolation='bilinear')

# 완성된 워드클라우드 출력
plt.show()

'데이터 분석' 키워드로 검색한 60개의 기사에 나온,

최다 사용 빈도 단어 상위 100개를 파이썬 로고에 씌워 만든 워드클라우드다.