'프로그래밍/파이썬' 카테고리의 글 목록 (2 Page)

-->

프로그래밍/파이썬 (19)

[파이썬] Selenium alert 경고창 처리하기

leeforest
프로그래밍 / 파이썬
2020. 2. 7. 02:48

개인적으로 하고싶은 것이 있어서 파이썬 Selenium(셀레니움) 모듈을 사용해서 크롤링을 하던 중, alert 창을 마주했다. 간단히 응답 코드를 받아와서 처리해주면 되겠지 했는데 응답이 '200 OK' 이다. 어떻게 해야하나 했는데, 역시 파이썬 역시 Selenium !!! alert 경고창에 관련한 API를 제공하고 있다. 여기에 간단히 정리한다. alert 경고창 객체 얻기 alert 객체는 switch_to_alert()를 써서 간단히 가져올 수 있다. alert 창이 있는지 그 유무를 체크하기 위해 try, excepy 문을 사용했다. from selenium import webdriver from webdriver_manager.chrome import ChromeDriverManager u..

[파이썬] 동적 웹 크롤링 (4) - Selenium을 이용한 비트코인 거래소 크롤링

leeforest
프로그래밍 / 파이썬
2020. 2. 1. 13:43

이전 포스팅에서 알아보았던 Selenium(셀레니움) 사용법을 활용해서 비트코인 거래소 중 하나인 고팍스 메인페이지의 암호화폐 테이블 전체를 크롤링해서 엑셀에 저장해보려 한다. 참고로, webdriver를 설치하고 사용하는 방법과, Selenium(셀레니움) 을 사용해 element에 접근하는 방법 등은 페이지 하단의 '이전포스팅' 링크를 확인하길 바란다. 크롤링 대상 페이지 크롤링 대상 페이지는 이전 포스팅에서와 동일하게, 비트코인 거래소 중 하나인 '고팍스'이다. 많은 비트코인 거래소 중 이 페이지를 선택한 이유는 그냥 webdriver로 접근했을때 여기가 반응이 제일 빨랐기 때문이다. 제일 덜 복잡하고 가벼운 페이지 중 하나인 것 같다. 테이블 위치 확인 단순히 BeautifulSoup를 사용할때는..

[파이썬] winreg 모듈을 사용한 레지스트리 등록 (윈도우 자동업데이트 해제)

leeforest
프로그래밍 / 파이썬
2020. 1. 30. 23:10

파이썬으로 윈도우 레지스트리를 다뤄보는 이유는 보통 윈도우 배치파일(.bat) 을 생성할 때 필요하기 때문이다. 이번 포스팅에서는 파이썬 winreg 모듈을 사용해 '윈도우10 자동 업데이트 비활성화'를 가정하고 이를 위한 레지스트리 키를 생성하고 값을 등록해보려 한다. winreg 모듈 winreg는 윈도우 레지스터리에 관한 API를 제공하는 파이썬 모듈로 아래 링크에서 제공되는 API를 확인할 수 있다. Python 공식 홈페이지, winreg winreg — Windows registry access — Python 3.8.1 documentation winreg — Windows registry access These functions expose the Windows registry API to..

[파이썬] 동적 웹 크롤링 (3) - Selenium 사용법 (tag, class, xpath 등)

leeforest
프로그래밍 / 파이썬
2020. 1. 26. 21:06

아래의 이전 포스팅에서 Selenium 및 브라우저 드라이버 설치, webdriver 객체 생성방법까지 알아보았다. webdriver 객체가 브라우저 제어권을 얻고 타겟 URL에 접근까지 했기 때문에 오늘은 그 후 작업으로 크롤링하고 싶은 각 Element에 접근하는 방법, Selenium 모듈의 사용법을 알아본다. 함께보면 좋은 포스팅! [파이썬] 동적 웹 크롤링 (1) - Selenium webdriver 설치 및 사용 [파이썬] 동적 웹 크롤링 (2) - Selenium 을 활용해야 하는 이유? 자바스크립트 실행 find_element_by_id 'id'를 통해 Element에 접근하는 방법이다. # 'id' 로 Element에 접근하는 방법 result=driver.find_element_by_i..

[파이썬] 동적 웹 크롤링 (2) - Selenium 을 활용해야 하는 이유? 자바스크립트 실행

leeforest
프로그래밍 / 파이썬
2020. 1. 24. 17:22

Selenium webdriver를 사용해서 웹크롤링을 수행할 경우 일반 크롤링과 어떻게 다르고, 어떤 경우에 활용되어야 좋은지 확인해본다. 다음 포스팅들에서는 Selenium으로 각 Element에 접근하는 방법 등 실제 사용방법을 알아보고 해당 내용과 연계하여 코인마켓캡의 시가총액 등 관련 데이터들을 직접 크롤링하는 코드를 작성해보려 한다. 이전포스팅 [파이썬] 동적 웹 크롤링 (1) - Selenium webdriver 설치 및 사용 [파이썬] 동적 웹 크롤링 (1) - Selenium webdriver 설치 및 사용 파이썬 Selenium(셀레니움) webdriver를 사용해서 웹크롤링을 수행하기 위해 Selenium 모듈 설치, 사용할 브라우저, 브라우저의 드라이버를 설치해보고 사용방법을 간단히..

[파이썬] 동적 웹 크롤링 (1) - Selenium webdriver 설치 및 사용

leeforest
프로그래밍 / 파이썬
2020. 1. 23. 22:05

파이썬 Selenium(셀레니움) webdriver를 사용해서 웹크롤링을 수행하기 위해 Selenium 모듈 설치, 사용할 브라우저, 브라우저의 드라이버를 설치해보고 사용방법을 간단히 알아본다. 추가적으로 chromedriver 경로 입력시 발생했던 에러에 대한 해결방법도 제시한다. Selenium 설치 selenium 설치는 아래와 같이 pip로 간단히 할 수 있다. pip install selenium 사용할 브라우저 준비 어떤 브라우저를 사용하던 자유이다. 다만, 크롤링할 때 브라우저를 제어하기 위해 사용할 해당 브라우저의 드라이버를 다운받아야 한다. 난 처음에 드라이버를 사용하는지 모르고 계속 브라우저 자체 exe의 경로를 넘겨주어서 계속 에러가 났었다. 각 브라우저 드라이버는 아래 링크에서 다운..

[파이썬] 파이썬 독학, 진짜 누구나 할 수 있다 :) 초간단 파이썬 설치, IDE 개발 환경, 공부 사이트 추천

leeforest
프로그래밍 / 파이썬
2020. 1. 21. 01:43

이 포스팅을 보기 위해 들어오신, 파이썬을 독학하고 싶은 모든 분들! 공부하고 싶은데 막상 하려니 막막하셔서 이것저것 검색하고 계셨을 것이라고 예상합니다. 저도 파이썬을 처음 독학할 때, 혼자서 이런저런 난항을 겪은 적이 있습니다. 제가 2015년부터 기록 형식으로 정리하던 블로그인데 2016년 12월에 파이썬 문법부터 차근차근 공부하기 시작했었네요. 저는 개발자는 아니지만 정보보안 직종 특성상, 혹은 개인적인 목적으로 스크립트를 제작할 일이 많아서 시작하게 되었습니다. 파이썬 독학에 있어서 제가 겪었던 여러 삽질들을 겪지 않으시길 바라면서 이 포스팅을 제작합니다 :) 비전공자의 입장에서, 파이썬 설치부터 개발툴, 책, 웹페이지 추천 그리고 크롤러 제작 등 여러 활용법까지 포스팅할 생각입니다. 파이썬 설..

1
2

Copyright © Live Your IT All Rights Reserved

Designed by JB FACTORY

티스토리툴바