[Web Scraping 기초] HTTP - Python을 활용하여 간단한 HTTP 요청 주고받기

1) requests 라이브러리

  - Python을 이용해서 간단한 HTTP 통신을 진행할 수 있는 라이브러리

 

※ requests 라이브러리 설치

  - requests 라이브러리는 표준 라이브러리가 아니기 때문에 따로 설치를 진행해야 한다

  - pip install을 통해 간단하게 실행할 수 있다 (cmd창에 아래 코드 입력, Jupyter Notebook에선 맨 앞에 % 붙임)

pip install requests

 

2) Get - 정보를 달라고 요청하기

  - 아래 코드는 작성자 블로그에 get 방식으로 요청한 후 결과를 보는 코드이다

  - get 방식으로 요청 시 '객체'를 반환 받게되며 응답코드가 '200' 일 경우 해당 URL로 부터 정상적으로 정보를 받은것이다

#requess 라이브러리을 불러온 후, Naver의 홈 페이지를 요청한 후 응답 받기
import requests
# https://namuna.tistory.com에 get 요청
res = requests.get("https://namuna.tistory.com")      
res    # http 응답이 담김
res.text

 

3) Post - 정보 갱신하는 것을 요청하기

  - 정보를 제공해주면서 서버로 하여금 무언가를 요청을 진행할 경우 사용하는 메소드  ex) 로그인

  - 아래 코드는 작성자 https://webhook.site에 post 방식으로 요청한 후 결과를 보는 코드이다.

    ※ webhook.site는 webhook 기능을 테스트 사이트로서, 이 글에선 post 요청 시 보낸 데이터가 제대로 수신됐는지

      확인하기 위해 사용한다. webhook.site에는 개개인 마다 다른 url를 제공해준다.

# webhook.site로 부터 받은 url 주소로 payload와 함께 post를 보내줌
payload = {"name" : "Hello", "age" : 13}
# 정보와 함께 요청
res = requests.post("https://webhook.site/...", payload) 
res
res.status_code