파이썬 특강(Naver 영화목록 크롤링)

Posted on: 2019년 07월 26일 2019년 07월 26일
Categories: 강의자료, 파이썬

파이썬 설치하기 : URL
네이버 영화 목록
1. URL : https://movie.naver.com/movie/sdb/browsing/bmovie.nhn?open=2019
2. 소스보기

크롤링(Crawling) : 무수히 많은 컴퓨터에 분산 저장되어 있는 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술(네이버 지식백과)

파이썬에서 사용할 라이브러리
1. requests
2. bs4
라이브러리 설치
1. CMD에서 pip.exe가 있는 폴더로 이동
2. pip install requests
3. pip install bs4

영화코드, 제목, URL을 가져오는 소스 코드

# -*- coding:utf-8 -*-
# https://movie.naver.com/movie/sdb/browsing/bmovie.nhn?open=2018&page=1

import requests
import bs4


def get_html(movie_url):
    resp = requests.get(movie_url)
    html = resp.content
    bs = bs4.BeautifulSoup(html, 'html.parser')

    ul_dir = bs.find('ul', {'class': 'directory_list'})  # <ul class='directory_list'>를 찾아라
    items = ul_dir.find_all('li')

    lst_movie = []
    for item in items:
        f_code = 0
        f_title = ''
        f_url = ''

        if item.find('ul'):
            a_tags = item.find_all('a')
            for a_tag in a_tags:
                # 코드
                if a_tag['href'].find('?code=') > 0:
                    idx = a_tag['href'].find('?code=')
                    f_code = int(a_tag['href'][idx + 6:])
                    f_title = a_tag.get_text()
                    f_url = a_tag['href']

            lst_movie.append([f_code,
                              f_title,
                              f_url])
    return lst_movie


url = 'https://movie.naver.com/movie/sdb/browsing/bmovie.nhn?open=2019&page=1'
lst = get_html(url)
for rss in lst:
    print(rss)

# -*- coding:utf-8 -*-

# https://movie.naver.com/movie/sdb/browsing/bmovie.nhn?open=2018&page=1

import requests

import bs4

def get_html(movie_url):

resp = requests.get(movie_url)

html = resp.content

bs = bs4.BeautifulSoup(html, 'html.parser')

ul_dir = bs.find('ul', {'class': 'directory_list'}) # <ul class='directory_list'>를 찾아라

items = ul_dir.find_all('li')

lst_movie = []

for item in items:

f_code = 0

f_title = ''

f_url = ''

if item.find('ul'):

a_tags = item.find_all('a')

for a_tag in a_tags:

# 코드

if a_tag['href'].find('?code=') > 0:

idx = a_tag['href'].find('?code=')

f_code = int(a_tag['href'][idx + 6:])

f_title = a_tag.get_text()

f_url = a_tag['href']

lst_movie.append([f_code,

f_title,

f_url])

return lst_movie

url = 'https://movie.naver.com/movie/sdb/browsing/bmovie.nhn?open=2019&page=1'

lst = get_html(url)

for rss in lst:

print(rss)

whan0623

517