본문 바로가기

TIL🔥23

[멋사] AI SCHOOL 5기_ Day 12 The process of data analysis for text data Tokenize → POS Tagging → Stopwords 제거 →단어사전 생성 → 사전 기반 데이터 시각화 → 머신러닝/딥러닝 모델 적용 NLTK NLTK는 Natural Language Toolkit의 약자로, 자연어 처리 및 문서 분석용 파이썬 패키지다. (자연어는 일상적인 생활에서 사용하는 언어를 말한다) 분석을 위해서는 긴 문자열을 작은 단위로 나눠야 하는데, 이 단위를 token(토큰)이라 하고 그 작업을 tokenizing(토큰 생성)이라고 한다. word_tokenize() 를 사용하면 문장을 토큰화할 수 있다. 품사(POS, part-of-speech) pos_tag() 를 사용하면 토큰화한 문장을 대상으로 .. 2022. 3. 25.

[멋사] AI SCHOOL 5기_ Day 11 데이터 시각화(Data visualization) GeoJSON GeoJSON(지오제이슨)은 JSON(JavaScript Object Notation)에 기반한 지리 공간 데이터 교환 포맷이다. 지리 좌표 참조 시스템인 World Geodetic을 사용한다. https://geojson.org/ GeoJSON GeoJSON GeoJSON is a format for encoding a variety of geographic data structures. { "type": "Feature", "geometry": { "type": "Point", "coordinates": [125.6, 10.1] }, "properties": { "name": "Dinagat Islands" } } GeoJSON supp.. 2022. 3. 24.

[멋사] AI SCHOOL 5기_ Day 10 Pandas(판다스) 인덱스 설정 데이터프레임의 column(열)을 index로 가져오고 싶을 땐, df.set_index('열 이름', inplace=Ture) 로 사용한다. 설정했던 인덱스를 초기화하고 싶을 때는 df.reset_index(inplace=True)를 사용한다. 그런데 만약 인덱스로 설정하려는 열 값의 중복이 있다면 pivot_table을 추천한다. pd.pivot_table(데이터프레임, index='열 이름', aggfunc=np.sum) 결측치(N/A) 값 채우기 NaN(숫자가 아님) 타입의 결측치를 특정 값으로 채우고 싶을 때는 df.fillna('원하는 값')를 사용한다. 조건 검색 df[ (df['열 이름1'] 100) ] 두개 이상.. 2022. 3. 23.

[멋사] AI SCHOOL 5기_ Day 9 람다 함수 람다(lambda) 함수는 익명 함수(Anonumous function)로 이름 없는 함수다. 1회용으로 잠깐만 쓰는 함수를 만들 때 사용한다. 그래서 코드가 굉장히 간결하다! 하지만 사람마다 코딩 스타일이 다르다보니 많은 코드들을 보다보면 아주 긴 람다 함수를 마주칠 때가 있다고한다. 그 때 가장 중요한건 " : " 을 찾는 것이다..! 콜론을 기준으로 왼쪽은 인풋, 오른쪽은 아웃풋을 나타내기 때문이다. 모듈? 라이브러리? 패키지?! 헷갈리는 용어들을 쉽게 정리해주셨다. 모듈은 가장 작은 단위로 python 파일 하나를 말한다. 그리고 그 파일들을 모아놓은 폴더를 라이브러리 또는 패키지 라고 말한다. 데이터 데이터의 종류는 크게 3가지로 분류할 수 있다. 정형 데이터 : 행과 열이 있는 데이.. 2022. 3. 22.

[멋사] AI SCHOOL 5기_ Day 8 함수(function, method) 함수를 만들 때 생각해야될 4가지 x값 → y = test() y값 → test(x) 필요한 내부 처리 함수 이름 : 최대한 의미있게 쓰는게 좋다 * 참고) x 나 y 값이 없을 수도 있다 def total_nums(num1, num2=7): # 디폴트 값 지정도 가능하나 뒤에서부터 지정해야한다 total = num1 + num2 return total # return 값은 여러 개 만들 수 있다 total_nums(13) # 함수를 실행(호출)할 때 num1, num2 변수가 생기고, # return을 하는 순간 total이라는 변수가 아니라 그 안에 담긴 "값"이 나간다 매개변수(parameter) : 함수에 입력으로 전달된 값을 받는 변수. (여기서는 num1,.. 2022. 3. 21.

[멋사] AI SCHOOL 5기_ Day 6 Numpy(넘파이) Numpy는 Numerical Python의 줄임말로 수치 계산을 위해 만들어진 라이브러리다. 넘파이의 자료구조는 Pandas, Matplotlib 라이브러리의 기본 데이터 타입으로 사용되기도 한다. 넘파이에서는 배열(array) 개념으로 변수를 사용하는데 이 배열은 넘파이 배열(Numpy array)이며, 파이썬의 기본 자료구조와는 다른 데이터 타입이다. 즉, 파이썬이라는 언어가 기본 자료구조인 리스트, 딕셔너리 등을 갖고 있는 것과 마찬가지로 데이터 분석이라는 언어가 기본 자료구조로 넘파이 배열을 갖고 있다. (출처: 이것이 데이터 분석이다 with 파이썬 - 윤기태) 슬라이싱 변수명[ 행의 범위, 열의 범위] # 마지막 값을 포함하지 않는 모든 값이 해당된다면?! data[ : .. 2022. 3. 19.

이전 1 2 3 4 다음

티스토리툴바