본문 바로가기

빅데이터 분석기사11

[빅분기 실기] 머신러닝 분류 1. 문제 정의미국의 인구조사 데이터 (1994)를 바탕으로 만들어진 데이터이다.데이터에서 각 사람의 소득을 예측한다.나이, 결혼 여부, 직종 등의 컬럼이 있다. 2. 라이브러리 및 데이터 불러오기import pandas as pdtrain = pd.read_csv('train.csv')test = pd.read_csv('test.csv') train  test  3. 탐색적 데이터 분석 (EDA)데이터 크기, 자료형, 기초 통계 등 데이터가 어떻게 구성되었는지 파악하고 결측치, 이상치 등을 발견한다. 3-1. 데이터 샘플데이터를 확인하면 id, age, workclass,... , income 컬럼과 데이터를 확인할 수 있다.수치형 (Numerical) 변수와 범주형 (categorical) 변수가 함.. 2024. 11. 23.
[빅분기 실기] 판다스 (Pandas) 데이터 프레임 합치기 1. 단순 병합데이터 프레임을 위-아래 또는 왼쪽-오른쪽으로 연결할 때 concat()을 사용한다.다음과 같이 데이터를 입력한다. import pandas as pdappetizer = pd.DataFrame({ 'Menu' : ['Salad', 'Soup', 'Bread'], 'Price' : [5000, 3000, 2000]})main = pd.DataFrame({ 'Menu' : ['Steak', 'Pasta', 'Chicken'], 'Price' : [15000, 12000, 10000]})print(appetizer)print(main) concat()은 기본적으로 위-아래로 합친다.합쳤을 때 기존 데이터에서 갖고 있던 인덱스 번호를 유지한다.인덱스 번호를 새롭게 설정하려면 ignore_.. 2024. 11. 16.
[빅분기 실기] 판다스 (pandas) 시계열 데이터 (datetime, Timedelta) 1. 시계열 데이터 (datetime)날짜와 시간 관련 데이터는 시간의 순서에 따른 측정값, 기간 설정 등의 다양한 분석과 작업에 사용된다. 1-1. 날짜와 시간 데이터일반적으로 날짜는 하이픈 (-)을 사용해 연도-월-일 형태로 만든다.시간은 콜론 (:)을 사용해 시간:분:초 형태로 만든다. 다음과 같이 데이터를 생성한다. import pandas as pddata = { 'Date1' : ['2024-02-17', '2024-02-18', '2024-02-19', '2024-02-20'], 'Date2' : ['2024:02:17', '2024:02:18', '2024:02:19', '2024:02:20'], 'Date3' : ['24/02/17', '24/02/18', '24/02/19', '2.. 2024. 11. 10.
[빅분기 실기] 판다스 (pandas) 그룹핑 1. 그룹핑 (Grouping)데이터를 다양한 방식으로 집계하고 분석하는 데는 groupby()를 사용한다.특정 컬럼을 기준으로 여러 그룹을 나누고 각 그룹에 대한 합계, 평균, 최대, 최소, 빈도 등을 구할 수 있다. 데이터를 불러온다. import pandas as pddf = pd.read_csv('cafe4.csv') # https://kdh9797-devwiki.tistory.com/85df.head() 1-1. 그룹 기준 1개원산지를 기준으로 평균값을 계산해 보자. df.groupby('원산지').mean(numeric_only=True)  원산지를 기준으로 그룹이 만들어진다.수치형 데이터인 '가격', '칼로리', '이벤트가'의 평균을 확인할 수 있다. 1-2. 집계 연산mean()평균sum.. 2024. 11. 9.
[빅분기 실기] 판다스 (pandas) 내장 함수 1. 내장 함수데이터를 불러온다. import pandas as pddf = pd.read_csv('cafe4.csv') # https://kdh9797-devwiki.tistory.com/85df.head()  1-1. len()데이터프레임에서 행(row)의 수를 반환한다.행의 수를 구하는 다른 방법은 df.shape을 사용한다.df.shape [0]은 행의 수, df.shape [1]은 열의 수이다. # 데이터프레임의 행의 수 구하기print(len(df))print(df.shape[0]) 88 1-2. sum()sum()은 합계 함수이다.예를 들어 '가격이 5000보다 크다'라는 조건에 맞는 데이터 수를 구한다고 하자. df['가격'] > 5000  이때 True는 1, False는 0이므로 조건.. 2024. 11. 9.
[빅분기 실기] 판다스 (pandas) 값 변경. 문자열 1. 값 변경데이터를 불러온다.import pandas as pddf = pd.read_csv('cafe3.csv') # https://kdh9797-devwiki.tistory.com/84 cafe3.csv 참고df.head()  1-1. replace 활용특정 값을 찾아 대체가 필요하다면 replace()를 활용한다.replace()는 변경 전 값과 변경 후 값 순서로 입력해 사용한다.여러 개의 값을 변경하기 위해 replace()를 여러 번 사용한다. df.replace('아메리카노', '룽고', inplace=True)df.replace('녹차', '그린티', inplace=True)df   딕셔너리를 활용한 후 replace() 괄호 안에 넣어 사용할 수 있다. change = {'룽고' : '.. 2024. 11. 9.

티스토리툴바