본문 바로가기

웹크롤링2

[Python] 파이썬으로 크롤링하기 / 웹 데이터 추출 / 업무자동화 - 3. Selenium 활용 및 브라우저 제어 / ActionChains [Python] 파이썬으로 크롤링하기 / 웹 데이터 추출 / 업무자동화 - 3. Selenium 활용 및 브라우저 제어/ ActionChains Selenium에서 브라우저 제어가 필요한 이유. 앞선 포스팅에서 selenium으로 요소를 불러오고 정보를 뽑아오는 문법들을 간단히 알아보았다. 정보를 이렇게 쉽게 모을 수 있다면 좋을테지만, 그렇게 호락호락한 웹 세상이 아니라는 점! 브라우저 제어가 따로 필요한 상황을 알아보자. 1. 로그인이 필요한 경우(ex. 내 메일함의 받은 메일 제목을 추출) -> 로그인 자동화 필요 (아이디입력 -> 비밀번호입력 ->로그인 버튼 클릭하기) 2. 동적으로 렌더링되는 페이지( ex. 드랍다운 버튼을 클릭해야 html 요소가 나타나는 경우) -> 드랍다운 버튼을 클릭해주는.. 2022. 5. 20.

[Python] 파이썬으로 크롤링하기 / 웹 데이터 추출 / 업무자동화 - 1. 크롤링이란 무엇인가? HTML 기본문법 알아보기. [Python] 파이썬으로 크롤링하기 / 웹 데이터 추출 / 업무자동화 크롤링이란? 웹상에 존재하는 콘텐츠들을 탐험하고 수집하는 작업이다. 웹상에는 수많은 데이터들이 존재한다. 내가 연구하고자하는 분야의 정보를 일일히 컴퓨터 앞에 앉아가며 데이터를 수집할 수 없기 때문에 웹 크롤링을 통해서, 자동으로 원하는 데이터를 수집할 수 있다. 크롤링을 하기에 앞서서 웹에대한 사전지식이 있어야한다. 왜냐하면, 앞서 말했듯이 웹상에 존재하는 콘텐츠를 탐험하고 수집하는 기술이기 때문이다. 웹은 무엇으로 구성이 되어있는가? 크게 html, css, javascript파일로 구성되어있다 html : 정보제공 및 웹페이지 설계 - 건물의 설계도 css : 디자인과 스타일링 - 인테리어 디자인 javascript : 기능과 .. 2022. 5. 17.

이전 1 다음

티스토리툴바