[Python] 파이썬 크롤링, 웹 스크래핑 예제 - 네이버 영화 (코코) 리뷰(BeautifulSoup, Pandas)

네이버 영화 사이트에서 코코(Coco)의 관람객 평점과 한줄평을

총 100개를 긁어와 엑셀 파일로 저장하는 코드다.

https://movie.naver.com/movie/bi/mi/basic.naver?code=151728

코코

 

해당 사이트에 접속한 뒤, "평점"을 클릭해 긁어와야하는 데이터인, 평점과 한줄평을 살펴보았다.

 

한 페이지당 10개씩 리뷰가 달려있었는데,

중요한건 페이지 하단의 버튼을 눌렀을때 전체 url 주소가 달라지지 않았다.

그래서 인스펙터(크롬 개발자도구)를 가지고 살펴봤는데 페이지 버튼의 href가 눈에 띄었다!

하이퍼링크의 마지막 옵션인 page 값으로 구분할 수 있을 것 같았다.

 

하이퍼링크를 클릭해 접속하니 관람객 리뷰가 10개씩 보여지는 페이지였다. 

그리고 예상대로 page 옵션 값으로 페이지가 달라졌다.

 

평점은 div class = "star_score" 를 사용하면 될 것 같아 ctrl+F 로 찾아보니 딱 10개가 나왔다. (당첨!!)

한줄평은 id로 구분하면 될 것 같았다. _filtered_ment_0~9 까지로 이루어져 있었기 때문이다.

---

완성 코드

from bs4 import BeautifulSoup
from urllib.request import urlopen
import pandas as pd

# 관람객 평점을 보여주는 url
url_pre = 'https://movie.naver.com/movie/bi/mi/pointWriteFormList.naver?code=151728&type=after&isActualPointWriteExecute=false&isMileageSubscriptionAlready=false&isMileageSubscriptionReject=false&page='

rate = []
review = []

for page in range(10):
    url = url_pre + str(page+1)  # page별 url 생성
    web = urlopen(url)
    web_page = BeautifulSoup(web, 'html.parser')
    
    scores = web_page.select('div.star_score em') # 평점을 모두 찾아 리스트로 만듦
    
    for num in range(10):
        score = scores[num].get_text()
        review_id = '_filtered_ment_'+str(num) # 한줄평 id 생성
        contents = web_page.find('span',{'id':f'{review_id}'}) # 만든 id를 가지고 한줄평 찾아냄
        content = contents.get_text().strip() # 태그 떼고 텍스트의 양쪽 공백 제거
        rate.append(score)
        review.append(content)

# 데이터프레임 만들기
result = pd.DataFrame({'평점':rate,'한줄평':review})

# 엑셀 저장
result.to_excel('영화 코코 리뷰.xlsx', index=False) # 인덱스 미포함

# 완료 시그널
print("스크래핑이 성공적으로 종료되었습니다.")

---

실행 결과

주피터 노트북에서 돌려본 결과 성공적으로 완료 시그널이 떴고,

해당 파일이 들어있는 폴더를 살펴보니 "영화 코코 리뷰.xlsx" 파일이 생성된 것을 볼 수 있었다.

 

엑셀 파일을 열어 평점과 한줄평이 총 100개 저장된 것을 확인했다😁

(중간부분은 숨김 처리하고 캡쳐했다.)