일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- 파이썬
- 편스토랑 우승상품
- Kaggle
- dacon
- SW Expert Academy
- 프로그래머스
- 우분투
- Real or Not? NLP with Disaster Tweets
- PYTHON
- 데이콘
- programmers
- 더현대서울 맛집
- leetcode
- Git
- AI 경진대회
- 맥북
- 코로나19
- ChatGPT
- 편스토랑
- 자연어처리
- 금융문자분석경진대회
- 백준
- github
- gs25
- Docker
- 캐치카페
- hackerrank
- Baekjoon
- 프로그래머스 파이썬
- ubuntu
- Today
- Total
목록
반응형
셀레니움 (5)
솜씨좋은장씨
가끔씩 데이터를 수집하기 위해서 Python으로 Selenium 을 활용한 크롤링 코드를 작성하고 실행하려하면! 새롭게 세팅한 개발환경이라 webdriver가 아직 존재하지 않거나 기존 컴퓨터에서 사용하고 있는 Chrome( 크롬 )의 버전이 업데이트 되어 기존에 사용하던 webdriver가 버전이 맞지않아 사용이 불가한 경우 직접 Chrome 버전이 무엇인지 확인 후 webdriver를 다운받는 홈페이지로 이동하여 직접 현재 버전에 맞는 파일을 다운로드 받아 사용해야 해서 번거로움이 많았습니다. 여러 페이지의 크롤러를 만들면서 이를 하나로 묶어서 패키지화를 하면 어떨까 고민하던 중 매번 다운로드 받아야하는 webdriver를 python 코드를 활용해 자동으로 설치해주면 어떨까? 라는 생각이 들었고 이..
Mac에서 Selenium을 활용하여 열심히 크롤링 코드를 작성하여 제대로 동작하는지 확인한 후 호기롭게 Ubuntu 서버에 그대로 파일을 옮긴 뒤 selenium 라이브러리를 설치하고 Linux용 chromedriver를 다운받아 넣은 뒤! 실행을 해보니! 제대로 작동하지 않고 오류가 발생하였습니다. 해결하기 위해 다양한 방법을 찾아보았고 여러 페이지에서 참조한 결과 해결할 수 있었습니다. 그 설치 방법은 다음과 같습니다. 1. Chrome 설치 $ wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | sudo apt-key add - $ sudo sh -c 'echo "deb [arch=amd64] http://dl.google.c..
요즘 들어서 대만카스테라, 벌집아이스크림 때처럼 흑당 버블티 가게가 우후 죽순 생겨나고 있습니다. 인스타그램 태그를 활용하면 흑당버블티에 대한 동향을 알 수 있을까라는 의문점이 들었고 셀레니움을 활용한 인스타그램 크롤링을 통해 흑당버블티에 대한 분석을 해보았습니다. 먼저 #흑당버블티 태그가 달려있는 게시물의 개수가 몇 개 인지 확인해보니 무려 76,291개나 되었습니다. 처음 목표는 이 76,291개 전체를 다 크롤링해와서 주마다 게시물 개수의 추이도 보고 # 흑당버블티 태그가 달려있는 글 들 속에서 각 회사별로 몇 번씩 언급이 되었는지 확인해보는 것이 목표였습니다. 그러나!!!!! 정말 앗, 이런! 하는 오류였습니다. 목표인 76,291개를 도달하기 전에 크롬드라이버가 다운이 되어버렸습니다. 제 추측으..
제가 즐겨보는 Youtube B Man채널에서 제 최애 영화인 어벤져스 엔드게임의 영화 명장면을 정리한 어벤져스 엔드게임 명장면 총정리라는 영상의 댓글 가져오기를 해보았습니다. 인스타그램 크롤링 코드가 필요하신 분은 아래의 링크를 참고해주세요! [Python] Selenium을 활용하여 인스타그램 크롤링 하기! 이번 글에서는 Python과 Selenium을 활용하여 인스타그램 게시물을 크롤링하는 방법에 대해서 적어보려 합니다. 해당 코드를 활용하여 발생하는 문제는 코드 사용자에게 있음을 알려드립니다. 1. 필 somjang.tistory.com 1. requests와 BeautifulSoup를 활용하여 시도하기 처음에는 requests와 BeautifulSoup를 사용하여 댓글 가져오기를 시도했습니다. ..
1. 구글 크롬 최신으로 업데이트하기 먼저 크롬의 맨 우측 상단의 세 개의 점을 클릭하여 크롬의 설정페이지로 들어갑니다. 왼쪽 메뉴에서 Chrome 정보를 클릭하여 업데이트를 실시합니다. 다시시작을 클릭하여 업데이트를 완료합니다. 크롬의 버전을 기억합니다. 현재 이 글에서 크롬버전은 77.0.3865.75 입니다. 2. Selenium Chrome drirver 다운로드 아래의 링크로 이동하여 설치파일을 다운로드 받습니다. 2020년 확인결과 파일 다운로드 방법이 변경되어 다시 업데이트 하였습니다. SeleniumHQ Browser Automation If you want to create robust, browser-based regression automation suites and tests, sc..