목록웹 크롤링 (5)
나홀로 데이터 분석가의 1인 연구실
[올리브영] 내 피부에 맞는 화장품 직접 찾아보자 - 3
0-1. 수집 데이터 정의 수집 대상 URL: 올리브영 스토어(www.oliveyoung.co.kr) 수집 대상: 스킨케어 제품에 대한 사용자 평가 및 정보 * 단 사용자의 피부 정보가 있는 경우에 한해서 수집 1-1. 데이터 수집 계획 수집 시기: 특정 불가 수집 대상: [표1] 수집대상 사용 소프트웨어: Python3(Webdriver) [표1] 수집 대상 사용자 정보 및 리뷰의 경우 버튼을 클릭과 같은 웹 페이지와의 상호작용이 필요합니다. 따라서 이번 크롤링에는 Requests가 아닌 Webdriver를 사용할 예정입니다. 1-2. 데이터 수집 Python 3.8.5 selenium 4.7.2 bs4 4.9.3 pandas 1.1.3 사용자의 피부 타입 정보를 추출하기 위해 [리뷰 검색 필터]를 사..
[올리브영] 내 피부에 맞는 화장품 직접 찾아보자 - 2
0-1. 수집 데이터 정의 수집 대상 URL: 올리브영 스토어(www.oliveyoung.co.kr) 수집 대상: 스킨케어 제품에 대한 기본 정보 수집 대상을 스킨케어 제품으로 한정한 이유는 2가지이다. 스킨케어 제품은 대부분 무색무취이기에 색조나 피부톤에 대한 고려를 일부 배제할 수 있음. 매일 밤낮으로 사용하기에, 다른 뷰티제품 대비 사용빈도가 높음. 1-1. 데이터 수집 계획 수집 시기: 2022.12.24 수집 대상: 제품명, 브랜드, 제품 링크 사용 소프트웨어: Python3(Requests) 1-2. 데이터 수집 Python 3.8.5 Requests 2.24.0 bs4 4.9.3 pandas 1.1.3 # One Page Crawler Source def crawling_products(so..
[웹 크롤링] Requests를 통한 데이터 수집하기
0-1. 학습 목표 Requests 라이브러리를 활용하여 경희대학교 블로그 웹 크롤링 해보기 Webdriver를 사용한 웹 크롤링 2022.12.27 - [Python/Practice] - [웹 크롤링] Webdriver를 통한 데이터 수집하기 [웹 크롤링] Webdriver를 통한 데이터 수집하기 0-1. 학습 목표 Webdriver 라이브러리를 활용하여 경희대학교 블로그 웹 크롤링 해보기 requests를 사용한 웹 크롤링 2022.12.26 - [Python/Practice] - [웹 크롤링] Requests를 통한 데이터 수집하기 [웹 크롤링] Re scent-of-light.tistory.com 0-2. 활용 라이브러리 Requests Pandas BS4 tqdm(선택) 1-1. 웹 크롤링 방식..