파이썬(Python) - 스크래핑 ③ JSON을 이용한 크롤링

 

JSON(Java Object Notation)

• 텍스트 데이터를 기반으로 한다.
• 자바 스크립트에서 사용하는 객체 표기 방법을 기반으로 한다.
• 자바스크립트 전용 데이터 형식은 아니고 다양한 소프트웨어와 프로그래밍 언어끼리 데이터 교환할때 샤용을 많이 한다.

 

# 파이썬에서는 json 라이브러리를 기본으로 제공한다.

import json

import urllib.request as req

 

 

# url 오픈하고 json 형식으로 불러오기

url = "http://www.krei.re.kr:18181/chart/main_chart/index/kind/W/sdate/2020-01-01/edate/2020-03-31"

res = req.urlopen(url)
json_obj = json.load(res)
json_obj

 

# 데이터 타입 확인하기

json_obj[0]
json_obj[1:3]
print(type(json_obj))
print(type(json_obj[0]))

 

# 원하는 컬럼만 추출하기

for i in json_obj:
    print(i['date'],i['settlement'])

 

 

# url 열고 내용 읽어들이기 res = req.urlopen(url) j = res.read() type(j)     #byte j
# DataFrame형태로 읽어들이기 df = pd.read_json(j) df
# 데이터 정보 확인하기 print(df.info()) print(df.dtypes)
# 그래프로 출력 # x축은 날짜 / y축은 가격 plt.plot(pd.to_datetime(df['date'],format='%Y%m%d'),          df['settlement']) plt.title('세계곡물(밀)가격') plt.xlabel("날짜") plt.ylabel("가격") plt.xticks(rotation='vertical')