솜씨좋은장씨

인스타 그램 크롤링을 진행하기 위하여 오랜만에 Selenium으로 작성하여 사용하였던 코드를 가져와 크롤링을 시작하려고 하니 --------------------------------------------------------------------------- WebDriverException Traceback (most recent call last) in 271 # display.stop() 272 if __name__ == "__main__": --> 273 extract_insta_data() in extract_insta_data() 32 # driver = wd.Chrome("/home/ubuntu/somjang-utils/chromedriver", options=options) 33 --->..

가끔씩 데이터를 수집하기 위해서 Python으로 Selenium 을 활용한 크롤링 코드를 작성하고 실행하려하면! 새롭게 세팅한 개발환경이라 webdriver가 아직 존재하지 않거나 기존 컴퓨터에서 사용하고 있는 Chrome( 크롬 )의 버전이 업데이트 되어 기존에 사용하던 webdriver가 버전이 맞지않아 사용이 불가한 경우 직접 Chrome 버전이 무엇인지 확인 후 webdriver를 다운받는 홈페이지로 이동하여 직접 현재 버전에 맞는 파일을 다운로드 받아 사용해야 해서 번거로움이 많았습니다. 여러 페이지의 크롤러를 만들면서 이를 하나로 묶어서 패키지화를 하면 어떨까 고민하던 중 매번 다운로드 받아야하는 webdriver를 python 코드를 활용해 자동으로 설치해주면 어떨까? 라는 생각이 들었고 이..

Mac에서 Selenium을 활용하여 열심히 크롤링 코드를 작성하여 제대로 동작하는지 확인한 후 호기롭게 Ubuntu 서버에 그대로 파일을 옮긴 뒤 selenium 라이브러리를 설치하고 Linux용 chromedriver를 다운받아 넣은 뒤! 실행을 해보니! 제대로 작동하지 않고 오류가 발생하였습니다. 해결하기 위해 다양한 방법을 찾아보았고 여러 페이지에서 참조한 결과 해결할 수 있었습니다. 그 설치 방법은 다음과 같습니다. 1. Chrome 설치 $ wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | sudo apt-key add - $ sudo sh -c 'echo "deb [arch=amd64] http://dl.google.c..

요즘 들어서 대만카스테라, 벌집아이스크림 때처럼 흑당 버블티 가게가 우후 죽순 생겨나고 있습니다. 인스타그램 태그를 활용하면 흑당버블티에 대한 동향을 알 수 있을까라는 의문점이 들었고 셀레니움을 활용한 인스타그램 크롤링을 통해 흑당버블티에 대한 분석을 해보았습니다. 먼저 #흑당버블티 태그가 달려있는 게시물의 개수가 몇 개 인지 확인해보니 무려 76,291개나 되었습니다. 처음 목표는 이 76,291개 전체를 다 크롤링해와서 주마다 게시물 개수의 추이도 보고 # 흑당버블티 태그가 달려있는 글 들 속에서 각 회사별로 몇 번씩 언급이 되었는지 확인해보는 것이 목표였습니다. 그러나!!!!! 정말 앗, 이런! 하는 오류였습니다. 목표인 76,291개를 도달하기 전에 크롬드라이버가 다운이 되어버렸습니다. 제 추측으..

과거의 영화 줄거리, 평점, 장르 데이터를 가지고 새로운 영화의 평점을 예측하는 모델을 만들 때 학습데이터로 사용하기 위한 데이터들을 크롤링해오기 위한 코드를 짜 보았습니다. 데이터를 수집하기 위한 크롤러를 제작하는데에는 Selenium, BeautifulSoup 그리고 requests를 사용했습니다. 네이버 영화에서 데이터를 수집해오기는 해야하나 순차적으로 데이터를 가져올 수 있도록 링크를 어디서 가져올까 고민하던 중 네이버 시리즈에 18812개의 영화 링크가 있는 페이지를 찾았습니다. 저는 이 페이지에서 판매순으로 가져오기로 했습니다. from bs4 import BeautifulSoup import requests from selenium import webdriver as wd from selen..

제가 즐겨보는 Youtube B Man채널에서 제 최애 영화인 어벤져스 엔드게임의 영화 명장면을 정리한 어벤져스 엔드게임 명장면 총정리라는 영상의 댓글 가져오기를 해보았습니다. 인스타그램 크롤링 코드가 필요하신 분은 아래의 링크를 참고해주세요! [Python] Selenium을 활용하여 인스타그램 크롤링 하기! 이번 글에서는 Python과 Selenium을 활용하여 인스타그램 게시물을 크롤링하는 방법에 대해서 적어보려 합니다. 해당 코드를 활용하여 발생하는 문제는 코드 사용자에게 있음을 알려드립니다. 1. 필 somjang.tistory.com 1. requests와 BeautifulSoup를 활용하여 시도하기 처음에는 requests와 BeautifulSoup를 사용하여 댓글 가져오기를 시도했습니다. ..

1. 구글 크롬 최신으로 업데이트하기 먼저 크롬의 맨 우측 상단의 세 개의 점을 클릭하여 크롬의 설정페이지로 들어갑니다. 왼쪽 메뉴에서 Chrome 정보를 클릭하여 업데이트를 실시합니다. 다시시작을 클릭하여 업데이트를 완료합니다. 크롬의 버전을 기억합니다. 현재 이 글에서 크롬버전은 77.0.3865.75 입니다. 2. Selenium Chrome drirver 다운로드 아래의 링크로 이동하여 설치파일을 다운로드 받습니다. 2020년 확인결과 파일 다운로드 방법이 변경되어 다시 업데이트 하였습니다. SeleniumHQ Browser Automation If you want to create robust, browser-based regression automation suites and tests, sc..