파이썬 – Lecture Note

Part 6. 데이터프레임의 다양한 응용

map(), apply(), applymap() 함수 map() : Series에서만 사용가능 apply() : Series, DataFrame 둘 다 사용 가능 applymap() : DataFrame에서만 사용 가능 apply() 함수도바 빠름 map() 함수

import seaborn as sns
import pandas as pd

def gender(s):
  if s == 'male':
    return "남자"
  else:
    return "여자"

df = sns.load_dataset('titanic')
df = df.loc[:, 'survived':'age']

df['성별1'] = df['sex'].map({'male':'남자', 'female':'여자'})

d = {'male':'남자', 'female':'여자'}
df['성별2'] = df['sex'].map(d)

sr = pd.Series({'male':'남자', 'female':'여자'})
df['성별3'] = df['sex'].map(sr)

df['성별4'] = df['sex'].map(gender)

df['성별5'] = df['sex'].map(lambda x: '남자' if x=='male' else '여자')

df

import seaborn as sns

import pandas as pd

def gender(s):

if s == 'male':

return "남자"

else:

return "여자"

df = sns.load_dataset('titanic')

df = df.loc[:, 'survived':'age']

df['성별1'] = df['sex'].map({'male':'남자', 'female':'여자'})

d = {'male':'남자', 'female':'여자'}

df['성별2'] = df['sex'].map(d)

sr = pd.Series({'male':'남자', 'female':'여자'})

df['성별3'] = df['sex'].map(sr)

df['성별4'] = df['sex'].map(gender)

df['성별5'] = df['sex'].map(lambda x: '남자' if x=='male' else '여자')

apply() 함수

import seaborn as sns
import pandas as pd
import numpy as np

df = sns.load_dataset('titanic')
df = df.loc[:, ['survived', 'pclass', 'age', 'fare']]

def add_10(n):
    return n + 10

def add_two_obj(a, b): 
    return a * b

add_10(10)
df.apply(add_10)
df['age'].apply(add_10)

add_two_obj(10, 20)
df.apply(add_two_obj, b=10)
df['age'].apply(add_two_obj, b=10)

df.apply(lambda x: add_10(x))  # axis=0 or 1 의미 없음
df['age'].apply(lambda x: add_10(x))
df.apply(lambda x: add_two_obj(x['age'], x['fare']), axis=1)

df.apply(np.sqrt)
df.apply(np.sum, axis=0)
df.apply(np.sum, axis=1)

import seaborn as sns

import pandas as pd

import numpy as np

df = sns.load_dataset('titanic')

df = df.loc[:, ['survived', 'pclass', 'age', 'fare']]

def add_10(n):

return n + 10

def add_two_obj(a, b):

return a * b

add_10(10)

df.apply(add_10)

df['age'].apply(add_10)

add_two_obj(10, 20)

df.apply(add_two_obj, b=10)

df['age'].apply(add_two_obj, b=10)

df.apply(lambda x: add_10(x)) # axis=0 or 1 의미 없음

df['age'].apply(lambda x: add_10(x))

df.apply(lambda x: add_two_obj(x['age'], x['fare']), axis=1)

df.apply(np.sqrt)

df.apply(np.sum, axis=0)

df.apply(np.sum, axis=1)

Series.str string 관련 함수를 모두 사용할 수 있음 Series.str.get() 함수

import pandas as pd
sr = pd.Series(["String",
              (1, 2, 3),
              ["a", "b", "c"],
              123,
              -456,
              {0: "Hello", 2: "World"}])
sr

[출력]
0                      String
1                   (1, 2, 3)
2                   [a, b, c]
3                         123
4                        -456
5    {0: 'Hello', 2: 'World'}

import pandas as pd

sr = pd.Series(["String",

(1, 2, 3),

["a", "b", "c"],

123,

-456,

{0: "Hello", 2: "World"}])

[출력]

0 String

1 (1, 2, 3)

2 [a, b, c]

3 123

4 -456

5 {0: 'Hello', 2: 'World'}

sr.str.get(2)

[출력]
0        r
1        3
2        c
3      NaN
4      NaN
5    World

sr.str.get(2)

[출력]

0 r

1 3

2 c

3 NaN

4 NaN

5 World

누락 데이터 확인 df.info() df.value_counts(dropna=False) df.isnull() df.notnull() df.isnull().sum(axis=0) df[‘deck’].value_counts(dropna=False) df[‘deck’].isnull() df[‘deck’].notnull() df[‘deck’].isnull().sum() 누락 데이터 제거 df.dropna() df.dropna(axis=0) df.dropna(axis=1) df.dropna(axis=1, thresh=750) df.dropna(how=’any’) df.dropna(how=’any’, axis=1) df.dropna(how=’all’) df[‘age’].dropna() df.dropna(subset=’age’) df[[‘age’,’deck’]].dropna() df[[‘age’,’deck’]].dropna(how=’all’) df.dropna(subset=[‘age’,’deck’]) df.dropna(subset=[‘age’,’deck’], how=’all’) df.dropna(subset=[‘age’,’deck’], how=’all’, ignore_index=True) df.dropna(subset=[‘age’,’deck’], how=’all’, inplace=True) 누락 데이터 치환 df.fillna(100, inplace=True) df[‘age’].fillna(100, inplace=True) m = df[‘age’].mean(axis=0) df[‘age’].fillna(m, inplace=True) m… Continue Reading Part 5. 데이터 사전 처리

Part 4. 시각화 도구

Matplotlib 그래프 그리기 기초 titanic 데이터 불러오기

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

df = sns.load_dataset('titanic')

df10 = df.iloc[:10]

import pandas as pd

import matplotlib.pyplot as plt

import seaborn as sns

df = sns.load_dataset('titanic')

df10 = df.iloc[:10]

그래프 1

plt.figure(figsize=(4,3))
plt.plot(df10['fare'])
plt.show()

plt.figure(figsize=(4,3))

plt.plot(df10['fare'])

plt.show()

그래프 2

plt.figure(figsize=(4,3))
plt.plot(df10['fare'])
plt.plot(df10['age'])
plt.show()

plt.figure(figsize=(4,3))

plt.plot(df10['fare'])

plt.plot(df10['age'])

plt.show()

그래프 3

plt.figure(figsize=(8,3))
plt.subplot(1,2,1)
plt.plot(df10['fare'])
plt.subplot(1,2,2)
plt.plot(df10['age'])
plt.show()

plt.figure(figsize=(8,3))

plt.subplot(1,2,1)

plt.plot(df10['fare'])

plt.subplot(1,2,2)

plt.plot(df10['age'])

plt.show()

그래프 4

plt.figure(figsize=(8,3))

plt.subplot(1,2,1)
plt.plot(df10['fare'])
plt.title('titanic fare')
plt.xlabel('index')
plt.ylabel('fare')
plt.ylim(0, 100)
plt.legend(labels=['fare'], loc='best')

plt.subplot(1,2,2)
plt.plot(df10['age'])
plt.title('titanic age')
plt.xlabel('index')
plt.ylabel('age')
plt.ylim(0, 100)
plt.legend(labels=['age'], loc='best')

plt.show()

plt.figure(figsize=(8,3))

plt.subplot(1,2,1)

plt.plot(df10['fare'])

plt.title('titanic fare')

plt.xlabel('index')

plt.ylabel('fare')

plt.ylim(0, 100)

plt.legend(labels=['fare'], loc='best')

plt.subplot(1,2,2)

plt.plot(df10['age'])

plt.title('titanic age')

plt.xlabel('index')

plt.ylabel('age')

plt.ylim(0, 100)

plt.legend(labels=['age'], loc='best')

plt.show()

그래프 5

plt.figure(figsize=(3,2))
plt.plot([1,3,2,4])
plt.show()

plt.figure(figsize=(3,2))

plt.plot([1,3,2,4])

plt.show()

그래프 6

import matplotlib.pyplot as plt

x = [1,2,3,4]
y = [2,4,6,8]
plt.figure(figsize=(3,2))
plt.plot(x, y)
plt.show()

import matplotlib.pyplot as plt

x = [1,2,3,4]

y = [2,4,6,8]

plt.figure(figsize=(3,2))

plt.plot(x, y)

plt.show()

그래프 7

import matplotlib.pyplot as plt
import numpy as np

x = np.linspace(-10,10,100)
y = x * 2
y2 = 2 * x * x
y3 = np.sin(x) * 100

plt.figure(figsize=(3,2))
plt.plot(x, y)
plt.plot(x, y2)
plt.plot(x, y3)
plt.show()

import matplotlib.pyplot as plt

import numpy as np

x = np.linspace(-10,10,100)

y = x * 2

y2 = 2 * x * x

y3 = np.sin(x) * 100

plt.figure(figsize=(3,2))

plt.plot(x, y)

plt.plot(x, y2)

plt.plot(x, y3)

plt.show()

그래프 8

import matplotlib.pyplot as plt

plt.figure(figsize=(3,2), facecolor='g', edgecolor='r')
plt.plot([1,2,3,4], [1,4,9,16], 'gx-')
plt.show()

import matplotlib.pyplot as plt

plt.figure(figsize=(3,2), facecolor='g', edgecolor='r')

plt.plot([1,2,3,4], [1,4,9,16], 'gx-')

plt.show()

그래프 9

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']
kor = [100, 50, 100, 90]
eng = [90, 86, 94, 79]

xpos = np.arange(len(kor))
plt.figure(figsize=(3,2))
plt.bar(xpos, kor, width=0.3)
plt.bar(xpos+0.32, eng, width=0.3)
plt.xticks(xpos, name)
plt.show()

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']

kor = [100, 50, 100, 90]

eng = [90, 86, 94, 79]

xpos = np.arange(len(kor))

plt.figure(figsize=(3,2))

plt.bar(xpos, kor, width=0.3)

plt.bar(xpos+0.32, eng, width=0.3)

plt.xticks(xpos, name)

plt.show()

그래프 10

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']
kor = [100, 50, 100, 90]
eng = [90, 86, 94, 79]

ypos = np.arange(len(kor))
plt.figure(figsize=(3,2))
plt.barh(ypos, kor, height=0.3)
plt.barh(ypos+0.32, eng, height=0.3)
plt.yticks(xpos, name)
plt.title('Sungjuk')
plt.show()

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']

kor = [100, 50, 100, 90]

eng = [90, 86, 94, 79]

ypos = np.arange(len(kor))

plt.figure(figsize=(3,2))

plt.barh(ypos, kor, height=0.3)

plt.barh(ypos+0.32, eng, height=0.3)

plt.yticks(xpos, name)

plt.title('Sungjuk')

plt.show()

그래프 11

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']
kor = [100, 50, 100, 90]
eng = [90, 86, 94, 79]

plt.figure(figsize=(3,2))
plt.pie(kor, labels=name)
plt.title('Sungjuk')
plt.show()

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']

kor = [100, 50, 100, 90]

eng = [90, 86, 94, 79]

plt.figure(figsize=(3,2))

plt.pie(kor, labels=name)

plt.title('Sungjuk')

plt.show()

그래프 12

import matplotlib.pyplot as plt
import numpy as np
import math

#X = range(100)
#Y = [math.sin(v) for v in X]
#X = np.arange(100)
#Y = np.sin(X)
X = np.linspace(0,100,101)
Y = np.sin(X)

plt.figure(figsize=(3,2))
plt.plot(X, Y)
plt.show()

import matplotlib.pyplot as plt

import numpy as np

import math

#X = range(100)

#Y = [math.sin(v) for v in X]

#X = np.arange(100)

#Y = np.sin(X)

X = np.linspace(0,100,101)

Y = np.sin(X)

plt.figure(figsize=(3,2))

plt.plot(X, Y)

plt.show()

그래프 13

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']
kor = [100, 50, 100, 90]
eng = [90, 86, 94, 79]

plt.figure(figsize=(2,2))
plt.scatter(kor, eng)
plt.title('Sungjuk')
plt.show()

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']

kor = [100, 50, 100, 90]

eng = [90, 86, 94, 79]

plt.figure(figsize=(2,2))

plt.scatter(kor, eng)

plt.title('Sungjuk')

plt.show()

그래프 14

import seaborn as sns
import matplotlib.pyplot as plt

df = sns.load_dataset('titanic')

plt.figure(figsize=(3,3))
plt.scatter(df['age'], df['fare'], marker='o', s=15, alpha=0.1)
plt.show()

import seaborn as sns

import matplotlib.pyplot as plt

df = sns.load_dataset('titanic')

plt.figure(figsize=(3,3))

plt.scatter(df['age'], df['fare'], marker='o', s=15, alpha=0.1)

plt.show()

… Continue Reading Part 4. 시각화 도구

Part 3. 데이터 살펴보기

데이터 일부 보기 df.head(n) : 앞부분 미리 보기 df.tail(n) : 뒷부분 미리 보기 데이터 요약 정보 확인 df.shape df.dtypes / df[열이름].dtypes df.info() df.describe() 데이터 개수 확인 df.count() : 각 열의 데이터 개수를 Series 형으로 반환 df[‘열이름’].value_counts() : 열의 고유값의 개수 통계함수 df.mean() / df[‘열이름’].mean() : 평균 df.median() / df[‘열이름’].median() :… Continue Reading Part 3. 데이터 살펴보기

Part 2. 데이터 입출력

외부 파일 읽어오기 CSV : read_csv(), to_csv() JSON : read_json(), to_json() HTML : read_html(), to_html() Local Clipboard : read_clipboard(), to_clipboard() MS Excel : read_excel(), to_excel() HDF5 Format : read_hdf(), to_hdf() SQL : read_sql(), to_sql() pd.read_csv() 매개변수들 path : 파일 위치 sep or delimiter : 구분 문자 header : 열이름(기본 0),… Continue Reading Part 2. 데이터 입출력

Part 1. 판다스 입문

판다스 자료구조 Series Series의 구조 Series 만들기 : pd.Series() 인덱스 구조 : sr.index, sr.values 원소 선택 : sr[‘c’], sr[1] DataFrame DataFrame의 구조 DataFrame 만들기 : pd.DataFrame() 행이름, 열이름 지정 : pd.DataFrame(2차원배열, index=??, columns=??) 행 인덱스 변경 : df.index = [] 열 이름 변경 : df.columns = [] 행 인덱스 일부… Continue Reading Part 1. 판다스 입문

파이썬 프로그래밍 예제 모음

도서의 ISBN 생성규칙에 맞는지 검증하기 주민등록번호 생성규칙에 맞는지 검증하기 신용카드번호 생성규칙에 맞는지 검증하기 성적 파일을 읽어와서 성적처리하기1 (Pandas 활용하지 않기) 성적.zip sungjuk1.csv 를 읽어와서 성적처리하기 sungjuk2.csv 를 읽어와서 성적처리하기 sungjuk3.csv 를 읽어와서 성적처리하기(오류 추가한 파일이니 오류 해결 방법 찾아서) 성적 파일을 읽어와서 성적처리하기2 (Pandas 활용)

공공데이터 포털에서 XML과 JSON 데이터 읽어오기

농업기상 조회월별 일 기본 관측데이터(XML) 조회

api_key = '발급받은 api_key 입력'

import requests
import bs4
import pandas as pd
from lxml import html

page_no = 1
page_size = 100
my_url = 'http://apis.data.go.kr/1390802/AgriWeather/WeatherObsrInfo/GnrlWeather/getWeatherYearDayList'
params = {
    'ServiceKey' : api_key ,
    'Page_No' : page_no,
    'Page_Size' : page_size,
    'search_Year' : 2020,
    'obsr_Spot_Code' : '565862A001'
    }

lst_rows = []

for i in range(1, 1000000):
  params['Page_No'] = i

  response = requests.get(my_url, params=params, verify=False) #verify설정 추가
  content = response.text
  xml_obj = bs4.BeautifulSoup(content,'lxml-xml')

  result_Code = int(xml_obj.findAll('result_Code').pop().text)
  if result_Code != 200:
    print('Error')
    break

  #total_Count = int(xml_obj.findAll('total_Count').pop().text)
  rows = xml_obj.findAll('item')
  if len(rows) <= 0: break

  for r in rows:
    dict_row = dict()
    for t in r.contents:
      if t.name is not None:
        dict_row[t.name] = t.text

    lst_rows.append(pd.Series(dict_row))

df = pd.concat(lst_rows, axis=1)
df = df.T
df.to_csv('result.csv')

print(df)

api_key = '발급받은 api_key 입력'

import requests

import bs4

import pandas as pd

from lxml import html

page_no = 1

page_size = 100

my_url = 'http://apis.data.go.kr/1390802/AgriWeather/WeatherObsrInfo/GnrlWeather/getWeatherYearDayList'

params = {

'ServiceKey' : api_key ,

'Page_No' : page_no,

'Page_Size' : page_size,

'search_Year' : 2020,

'obsr_Spot_Code' : '565862A001'

}

lst_rows = []

for i in range(1, 1000000):

params['Page_No'] = i

response = requests.get(my_url, params=params, verify=False) #verify설정 추가

content = response.text

xml_obj = bs4.BeautifulSoup(content,'lxml-xml')

result_Code = int(xml_obj.findAll('result_Code').pop().text)

if result_Code != 200:

print('Error')

break

#total_Count = int(xml_obj.findAll('total_Count').pop().text)

rows = xml_obj.findAll('item')

if len(rows) <= 0: break

for r in rows:

dict_row = dict()

for t in r.contents:

if t.name is not None:

dict_row[t.name] = t.text

lst_rows.append(pd.Series(dict_row))

df = pd.concat(lst_rows, axis=1)

df = df.T

df.to_csv('result.csv')

print(df)

기상청_지상(종관, ASOS) 일자료(JSON) 조회서비스

api_key = ''

import requests
import json
import pandas as pd

lst_rows = []

page_no = 1
page_size = 20
my_url = 'http://apis.data.go.kr/1360000/AsosDalyInfoService/getWthrDataList'
params = {
    'ServiceKey' : api_key ,
    'numOfRows' : page_size,
    'pageNo' : page_no,
    'dataType' : 'JSON',
    'dataCd' : 'ASOS',
    'dateCd' : 'DAY',
    'startDt' : '20100101',
    'endDt' : '20100601',
    'stnIds' : '108'
}

for i in range(1, 1000000):
  params['pageNo'] = i
  response = requests.get(my_url, params=params, verify=False) #verify설정 추가
  html = json.loads(response.text)

  resultCode = html['response']['header']['resultCode']
  if resultCode != '00':
    break

  items = html['response']['body']['items']['item']
  for item in items:
    lst_rows.append(pd.Series(item))

df = pd.concat(lst_rows, axis=1)
df = df.T
df.to_csv('result.csv')
print(df)

api_key = ''

import requests

import json

import pandas as pd

lst_rows = []

page_no = 1

page_size = 20

my_url = 'http://apis.data.go.kr/1360000/AsosDalyInfoService/getWthrDataList'

params = {

'ServiceKey' : api_key ,

'numOfRows' : page_size,

'pageNo' : page_no,

'dataType' : 'JSON',

'dataCd' : 'ASOS',

'dateCd' : 'DAY',

'startDt' : '20100101',

'endDt' : '20100601',

'stnIds' : '108'

}

for i in range(1, 1000000):

params['pageNo'] = i

response = requests.get(my_url, params=params, verify=False) #verify설정 추가

html = json.loads(response.text)

resultCode = html['response']['header']['resultCode']

if resultCode != '00':

break

items = html['response']['body']['items']['item']

for item in items:

lst_rows.append(pd.Series(item))

df = pd.concat(lst_rows, axis=1)

df = df.T

df.to_csv('result.csv')

print(df)

공공데이터 활용 과제

국토교통부_아파트 매매 실거래 상세 전라북도 전주시_실시간 운행정보 서비스 농촌진흥청 국립농업과학원_농업기상 기본 관측데이터 조회 한국공항공사_항공기운항정보 국립중앙의료원-자동심장충격기정보조회서비스(AED)

엑셀, 데이터베이스, 판다스를 활용한 검색

사용 파일 : 엑셀 샘플 파일 사용 시트 : tbook 다양한 검색 방법 엑셀의 고급 필터 데이터베이스의 SQL 판다스의 필터 출판사가 성안당인 것만 검색 엑셀 SQL : SELECT * FROM tbook WHERE 출판사=”성안당”; 판다스 WHERE 절에 사용할 수 있는 연산자 비교 : =, <>, <, <=, >, >= 범위 :… Continue Reading 엑셀, 데이터베이스, 판다스를 활용한 검색