[파이썬 크롤링] 07 - CSS 셀렉터

안녕하세요! 일호15 입니다!

BeautifulSoup을 이용한 파이썬 크롤링 마무리 단계입니다ㅎㅎ

지난 6개의 포스팅으로 파이썬 크롤링 개념은 거의 다 잡았고, CSS 셀렉터에 대한 설명까지 보충해 보겠습니다.

 

from bs4 import BeautifulSoup
import requests

url = 'https://dlfgh15.tistory.com/category/%ED%8C%8C%EC%9D%B4%EC%8D%AC%20%EC%B2%AB%EA%B1%B8%EC%9D%8C%3A/a%20%3D%20%27%EA%B0%9C%EB%85%90%27'
selector = 'div.inner span.title'  #HTML과 CSS를 알아야 제목 정보를 고를 수 있다.

R = requests.get(url)
B = BeautifulSoup(R.content, 'html.parser')
titles = B.select(selector)

for title in titles:
	print(title.get_text())

크롤링 개요 포스팅에서 살펴본 코드로 차분히 해치워볼까요.

 

>> [파이썬 크롤링] 01 - 개요

 

1 지금까지 배운 것들

 

requests 라이브러리, BeautifulSoup 클래스, select 메서드 등 코드에 대한 이해는 지난 포스팅에서 다 다루었는데요. 카테고리의 글을 처음부터 차근차근 읽어보신다면, selector를 제외한 모든 부분을 이해할 수 있을 것이라고 생각해요.

 

selector는 CSS셀렉터를 의미하며, 홈페이지 화면에서 내가 원하는 부분을 선택할 수 있게 해주는 요소라고 생각하시면 좋을 것 같습니다. 한국을 웹사이트 라고 하면, CSS 셀렉터를 활용해 서울만 딱 짚을 수 있는거죠. 이번엔 서울을 웹사이트2라고 하면, CSS 셀렉터2를 활용해 넓디넓은 서울에서 서울시청만 딱 짚을 수 있는 느낌!

 

 

 

2 CSS 셀렉터란?

 

혹시 키르기스스탄이라는 나라의 수도가 어디인지 아시나요? 저는 몰라서 네이버에 검색해보니 '비슈케크'라고 하네요.

 

자 CSS 셀렉터가 어떤 느낌이냐면요.

selector = <키르기스스탄.수도>

 

selector라는 변수에 담아보았습니다. 키르기스스탄의 수도를 지칭한 selector의 값은 '비슈케크'가 되겠네요. 우리는 '비슈케크'라는 값을 얻어내기 위해, '키르기스스탄'과 '수도' 두 가지 검색 키워드를 필요로 했는데요. '키르기스스탄'이라는 검색어를 모른 채, '수도'라는 키워드만 가지고는 비슈케크라는 검색결과를 얻어내기 까다롭겠죠?

 

 

 

3 HTML / CSS

 

CSS 셀렉터는 한두가지 정보를 요구합니다. HTML과 CSS가 바로 그 주인공인데요.

CSS_selector = <#css_id html.css_class>

 

이 한 줄 코드가 CSS 셀렉터의 대부분을 함축하고 있습니다. 오늘의 메인디쉬는 바로 이 단락입니다. 간단한 설명과 함께 검색어를 남겨드릴테니, 모르는 부분은 검색을 통해 채워가시면 좋겠습니다!

 

<#css_id html.css_class>

① 공백을 기준으로 왼쪽과 오른쪽이 나뉘었다. -> '자식 선택자'

② 왼쪽은 #이라는 기호와 id를 썼다. -> 'CSS id'  //  id는 대개 한 번만 쓰이므로, HTML까지 입력하지 않아도 좋다.

③ 오른쪽은 css_class라는 클래스를 가지고있는 html요소를 선택했다. -> 'CSS class'

 

 

 

4 검색 키워드

 

위에서 소개해드린 코드 외에, 추가로 알아두면 좋은 것들이 있는데요. 검색해가면서 공부하실 수 있게끔 검색 키워드를 남겨드릴게요!

 

디테일한 선택 : '인접 형제 선택자', '일반 형제 선택자'

주소 크롤링 : 'href 크롤링'

한글 깨짐 : 'euc-kr'

여백 제거 : '.strip()'      #파이썬 문자열 메서드입니다!

줄바꿈 : 'print() 자동개행'

 

이는 실제로 제가 크롤링 공부하면서 어려움을 겪었던 부분들이고, 검색 키워드를 몰라 난감했던 부분들입니다. 하나하나 알아가는 재미가 쏠쏠하니 필요할때마다 꺼내어 공부해보시기 바랍니다!

 

 

 

 

셀렉터.. 잘 찾아왔나?

 

 

참고 >> [파이썬 크롤링] 02 - HTML/CSS