반응형 구글 뉴스기사 크롤링 (Selenium 문법 변경) 구글 뉴스기사 크롤링 [목차] 1. 셀레니움 및 구글 변경사항 2. 크롤링 코드 1. 셀레니움 및 구글 변경사항 최근 크롤링할 일이 있어 코드를 짜는 중 예전 코드가 작동하지 않는 것을 발견했습니다. 셀레니움이 업데이트되면서 문법 중 변경된 사항이 많았습니다. chromedriver.exe로 활용하지 않음 find_element 문법 변경 구글 또한 크롤링에 대응하고자 변동된 것이 많았습니다. 첫번째 뉴스 페이지 내에 css 문법 미통일 5페이지 단위로 10번째 기사의 css 변동 2. 크롤링 코드 구글의 크롤링 방지 css를 우회하여 특정 키워드 관련 뉴스기사 제목을 수집하는 코드를 작성하였습니다. (2023.11.11. 기준) from seleniumbase import Driver from sele.. 2023. 12. 31. 이전 1 다음 반응형
