[Python / Mac] 파이썬 크롤링 예제 - VIBE(바이브) 음원차트 TOP 100 (BeautifulSoup, Selenium)

⚠️ Mac(맥북) m1에서 아나콘다를 사용하여 제작했습니다

 

제목에는 파이썬 크롤링이라 작성했지만 정확히 말하자면 웹 스크래핑 이다. 

음원 사이트에서 TOP 100 차트 노래 제목과 아티스트 정보를 긁어와 txt 파일 형식으로 저장하는 코드다.

 

대부분의 사이트들이 자바스크립트를 사용하기 때문에,

동적인 페이지의 데이터를 가져오기 위해선 Selenium을 사용해야한다. (셀레니움은 pip 설치 후 사용해야 한다!)

pip install selenium

 

그리고 크롬 드라이버를 설치해줬다.

https://chromedriver.chromium.org/downloads

ChromeDriver - WebDriver for Chrome - Downloads

위 사이트에서 크롬 버전에 맞는 드라이버를 다운받아 작성할 코드 파일과 같은 폴더에 넣어줬다.

여기서 주의할 점은, 처음 크롬 드라이버를 설치 후 사용하게 되면 다음과 같은 오류가 발생한다.

WebDriverException: Message: Service ./chromedriver unexpectedly exited. Status code was: -9

그러면, 시스템 환경설정 > 보안 및 개인 정보 보호 에 들어가 해결해주면 된다.

"확인 없이 허용" 을 누르고 다시 실행시키면,

이런 경고창이 뜨고 여기서 "열기"를 누르면 정상적으로 작동하는 것을 볼 수 있다.

---

완성 코드

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from datetime import datetime

# 바이브 차트 페이지 URL
url = "https://vibe.naver.com/chart/total"

# 웹 페이지 열기
driver = webdriver.Chrome("./chromedriver")
driver.get(url)
driver.implicitly_wait(5)  

# HTML 소스 받기
html = driver.page_source
soup = BeautifulSoup(html,'html.parser')

# 곡 제목 가져오기
spans = soup.findAll('span','inner_cell')
titles = []
for span in spans:
    title = span.select_one('span > a').get_text()
    titles.append(title)

# 가수 가져오기
divs = soup.findAll('div','artist_sub')
artists = []
for div in divs:
    artist = div.select_one('div > span > span > a > span').get_text()
    artists.append(artist)

# 브라우저 닫기
driver.quit()

# 파일 열기
vibe_file = open("VIBE_TOP100_List.txt","a")

# 파일 작성
head = datetime.today().strftime("%Y년 %m월 %d일의 VIBE 차트 TOP 100 입니다"+"\n")
vibe_file.write(head)
print(head)

rank = 1
for i in range(100):
    vibe_file.write(str(rank)+"위"+"\t"+titles[i]+" - "+artists[i]+"\n")
    print(rank,"위","\t",titles[i]," - ",artists[i],"\n",sep='')
    rank += 1
    
# 파일 닫기
vibe_file.close()

---

실행 결과

VIBE 음원 차트 Top 100 사이트 화면이다.

Jupyter notebook에서 코드를 실행하고 나면 성공적으로 불러온다.

크롤링 코드가 있는 폴더에 들어가보면 성공적으로 top 100 차트가 텍스트 파일로 만들어진 것 또한 확인할 수 있다😊

( 실행 결과 화면 캡쳐를 안해놨어서 다시 돌려서 추가했다 - 22.03.18)