본문 바로가기

TIL🔥/멋쟁이사자처럼_AI School 5기20

[멋사] AI SCHOOL 5기_ Day 17 기술통계분석 DataFrame의 기술통계량 함수다. # 화장품 구매 관련 정보가 들어있는 csv파일을 불러와 데이터프레임으로 만들어줌 df = pd.read_csv('cosmetices_csv') # '1회 평균 구매 비용' 기준 # 최댓값 df['amount'].max() # 최솟값 df['amount'].min() # 합계 df['amount'].sum() # 평균값 df['amount'].mean() # 분산(variance) df['amount'].var() # 표준편차(standard deviation) df['amount'].std() 기술통계를 할 때는 왜도와 첨도를 첨부하는 경우가 많다. 왜도 (Skewness) : 분포가 좌우로 치우쳐진 정도! 0에 가까울수록 정규분포라고 가정할 수 있다.. 2022. 3. 30.

[멋사] AI SCHOOL 5기_ Day 16 NumPy NumPy(Numerical Python)는 거의 모든 과학 및 공학 분야에서 사용되는 오픈 소스 파이썬 라이브러리다. NumPy 라이브러리에는 다차원 배열 및 행렬 데이터 구조가 포함되어 있다. import numpy as np # 보통 이렇게 np 로 줄여 사용한다 # 배열(Array) 만들기 v1 = np.array([ 1, 2, 3, 4, 5 ]) # array 내부 아이템의 데이터 타입을 알고 싶다면?! v1.dtype numpy array에는 서로 다른 데이터 타입이 들어갈 수 없다!! (리스트와 다른 점) # 행렬 만들기 matrix = np.array ([ [1, 2, 3], [4, 5, 6], [7, 8, 9] ]) # 모양 확인 matrix.shape # 2열 전체 - [행,.. 2022. 3. 29.

[멋사] AI SCHOOL 5기_ Day 15 Web scraping Tips 1️⃣ 오류 예외 처리 다량의 데이터를 수집하기위해 크롤링을 하다보면 예상치 못한 일로 에러가 나서 중단되어 버렸을 때 이미 쌓아왔던 데이터가 날라가거나 혹은 특정 시점 이후로 데이터가 꼬여버리는 일이 생긴다. 그럴 때를 위해 사용하는 것이 try, except 문이다. try: # 일단 실행해 볼 코드 except: # 오류가 발생했을 때 수행할 코드 2️⃣ time.sleep() 크롤링을 하면서 쉴틈없이 서버에 요청을 보내면 기계인걸 눈치채서 막아버리는 경우가 생긴다. 그래서 time.sleep을 이용해 잠시 작동을 쉴 수 있게 해줘야한다. 3️⃣ pickle 파이썬은 객체를 파일에 저장하는 pickle 모듈을 제공한다. 거의 모든 것을 피클로 저장하고, 불러올 수 있.. 2022. 3. 28.

[멋사] AI SCHOOL 5기_ Day 12 The process of data analysis for text data Tokenize → POS Tagging → Stopwords 제거 →단어사전 생성 → 사전 기반 데이터 시각화 → 머신러닝/딥러닝 모델 적용 NLTK NLTK는 Natural Language Toolkit의 약자로, 자연어 처리 및 문서 분석용 파이썬 패키지다. (자연어는 일상적인 생활에서 사용하는 언어를 말한다) 분석을 위해서는 긴 문자열을 작은 단위로 나눠야 하는데, 이 단위를 token(토큰)이라 하고 그 작업을 tokenizing(토큰 생성)이라고 한다. word_tokenize() 를 사용하면 문장을 토큰화할 수 있다. 품사(POS, part-of-speech) pos_tag() 를 사용하면 토큰화한 문장을 대상으로 .. 2022. 3. 25.

[멋사] AI SCHOOL 5기_ Day 11 데이터 시각화(Data visualization) GeoJSON GeoJSON(지오제이슨)은 JSON(JavaScript Object Notation)에 기반한 지리 공간 데이터 교환 포맷이다. 지리 좌표 참조 시스템인 World Geodetic을 사용한다. https://geojson.org/ GeoJSON GeoJSON GeoJSON is a format for encoding a variety of geographic data structures. { "type": "Feature", "geometry": { "type": "Point", "coordinates": [125.6, 10.1] }, "properties": { "name": "Dinagat Islands" } } GeoJSON supp.. 2022. 3. 24.

[멋사] AI SCHOOL 5기_ Day 10 Pandas(판다스) 인덱스 설정 데이터프레임의 column(열)을 index로 가져오고 싶을 땐, df.set_index('열 이름', inplace=Ture) 로 사용한다. 설정했던 인덱스를 초기화하고 싶을 때는 df.reset_index(inplace=True)를 사용한다. 그런데 만약 인덱스로 설정하려는 열 값의 중복이 있다면 pivot_table을 추천한다. pd.pivot_table(데이터프레임, index='열 이름', aggfunc=np.sum) 결측치(N/A) 값 채우기 NaN(숫자가 아님) 타입의 결측치를 특정 값으로 채우고 싶을 때는 df.fillna('원하는 값')를 사용한다. 조건 검색 df[ (df['열 이름1'] 100) ] 두개 이상.. 2022. 3. 23.

이전 1 2 3 4 다음

티스토리툴바