본문 바로가기

웹 스크래핑2

[Python] 파이썬으로 크롤링하기 / 웹 데이터 추출 / 업무자동화 - 2. 요소 추출 / 검색 / Selenium 사용하기 / XPath 문법 정리 [Python] 파이썬으로 크롤링하기 / 웹 데이터 추출 / 업무자동화 - 2. 요소 추출 / 검색 / Selenium 사용하기 / XPath 문법 정리 Selenium Selenium이란? 웹 테스트 자동화 도구이다. 브라우저를 제어하는 기능이 있기 때문에, 웹 스크래핑에 용이한 도구이다. *브라우저는 Android, Safari,Chrome..등 다양한 브라우저가 지원된다. 파이썬이나 자바 라이브러리로, 요즘은 파이썬이 사용하기 쉽게 만들어진 언어이기 때문에, 파이썬에 조금 더 특화되어있다. 웹 스크래핑 순서는 다음과 같다.웹정보 요청 -> Selenium으로 브라우저안 원하는 정보 선택 -> 내용 추출 그럼 이제부터 웹 정보를 요청하는 것부터, 내용을 추출하는 방법까지 알아보자. Selenium 설.. 2022. 5. 18.

[Python] 파이썬으로 크롤링하기 / 웹 데이터 추출 / 업무자동화 - 1. 크롤링이란 무엇인가? HTML 기본문법 알아보기. [Python] 파이썬으로 크롤링하기 / 웹 데이터 추출 / 업무자동화 크롤링이란? 웹상에 존재하는 콘텐츠들을 탐험하고 수집하는 작업이다. 웹상에는 수많은 데이터들이 존재한다. 내가 연구하고자하는 분야의 정보를 일일히 컴퓨터 앞에 앉아가며 데이터를 수집할 수 없기 때문에 웹 크롤링을 통해서, 자동으로 원하는 데이터를 수집할 수 있다. 크롤링을 하기에 앞서서 웹에대한 사전지식이 있어야한다. 왜냐하면, 앞서 말했듯이 웹상에 존재하는 콘텐츠를 탐험하고 수집하는 기술이기 때문이다. 웹은 무엇으로 구성이 되어있는가? 크게 html, css, javascript파일로 구성되어있다 html : 정보제공 및 웹페이지 설계 - 건물의 설계도 css : 디자인과 스타일링 - 인테리어 디자인 javascript : 기능과 .. 2022. 5. 17.

이전 1 다음

티스토리툴바