SMALL 크롤링2 request로 웹크롤링 저번에 selenium으로 웹크롤링하는 코드를 올렸었는데, request로 크롤링이 더 빠르다고 해서 같은 코드를 다른 방식으로 한번 수정해보았다. 이전내용은 여기에! https://yuna96.tistory.com/66 selenium으로 웹 크롤링 실시간으로 올라오는 데이터를 수집하기 위해 크롤링을 시작하기로..! 언어는 python을 사용했고 여러 개의 창으로 나뉘어 있어 반복해서 수집하되, 30초 간격으로 수집을 수행하였다. from selenium i yuna96.tistory.com 수정하면서 살짝 바뀐 부분이 있을 수 있으므로 그 부분은 유의바람! import csv import requests from bs4 import BeautifulSoup import datetime import u.. 2021. 6. 9. selenium으로 웹 크롤링 실시간으로 올라오는 데이터를 수집하기 위해 크롤링을 시작하기로..! 언어는 python을 사용했고 여러 개의 창으로 나뉘어 있어 반복해서 수집하되, 30초 간격으로 수집을 수행하였다. from selenium import webdriver #웹크롤링을 수행해주는 놈! from bs4 import BeautifulSoup #웹크롤링을 수행해주는 놈22! import csv import time path="chromedriver.exe 설치 경로" #검색해서 파일 위치 열어서 그대로 복사! 없으면 다운받기! page = ['A04','A01','A02','A03','A05','A06'] #창이 여러개인데 뒤에 숫자만 달라서 배열로 저장 pageName = ['a','b','c','d','e','f'] #파일.. 2021. 3. 8. 이전 1 다음