[Web Scraping 기초] BeautifulSoup
1) BeautifulSoup 라이브러리
- 스크래핑 하고자 하는 사이트에 get 요청을 보내서 받은 문서에서 .body를 할 경우 길고 정리되지 않은 텍스트로
인해 분석하기 힘들어 진다
- HTML, XML 등 긴 텍스트를 분석할 수 있도록 Parser를 사용할 수 있게 해주는 Python 패키지가 BeautifulSoup이다
- pip install을 통해 간단하게 실행할 수 있다 (cmd창에 아래 코드 입력, Jupyter Notebook에선 맨 앞에 % 붙임)
pip install bs4
2) BeatifulSoup 객체 만들기
- https://www.example.com 사이트에 get 요청을 보내 응답을 받아 requests 객체를 생성하고 이 객체를 활용하여
get요청으로 받은 문서를 BeautifulSoup 패키지를 활용해 parser하는 과정이다
- 추가로, perser된 문서를 그대로 print해도 상관없지만, prettify 메소드를 이용하면 더욱 보기 편하게 볼 수 있다.
# www.example.com 사이트를 요청한 후 응답 받아보기
import requests
res = requests.get("https://www.example.com")
# BeautifulSoup4 - bs4를 불러와봅시다.
from bs4 import BeautifulSoup
# BeautifulSoup객체를 만들어봅시다.
# 첫번째 인자로는 response의 body를 텍스트로 전달합니다.
# 두번째 인자로는 "html"로 분석한다는 것을 명시해줍니다.
soup = BeautifulSoup(res.text, "html.parser")
# 객체 soup의 .prettify()를 활용하면 분석된 HTML을 보기 편하게 반환해줍니다.
print(soup.prettify())
# print(soup)
3) 특정 요소 가져오기
- Beautiful 패키지는 parser 뿐만 아니라 html의 특정 요소를 가지고 올 수 있다
① <title> 가져오기
② <head> 가져오기
③ <body> 가져오기
④ find("tag")
- 찾고자 하는 Tag를 문서에서 찾아 첫번째로 나온 Tag와 그것으로 감싸져 있는 Contents를 함께 반환해준다
⑤ find_all("tag")
- 찾고자 하는 Tag를 문서에서 찾고, 찾아진 모든 Tag와 그것으로 감싸져 있는 Contents를 함께 반환해준다
⑥.name Tag 이름 가져오기
⑦.text Tag내용 가져오기
