솜씨좋은장씨

이번 글에서는 Python과 Selenium을 활용하여 인스타그램 게시물을 크롤링하는 방법에 대해서 적어보려 합니다. 해당 코드를 활용하여 발생하는 문제는 코드 사용자에게 있음을 알려드립니다. % 현재 아래의 방법을 활용한다고 하여 게시물을 무한으로 크롤링 할 수 있지는 않습니다. 개인 PC사양, 네트워크 환경에 따라서 같은 코드여도 크롤링 할 수 있는 게시물의 개수가 달라짐을 알려드립니다. 제 환경 ( MacBook Pro 2017 13인치 - 4 Thunderbolt Ports 8GB + 500Mbps 인터넷 ) 에서는 약 10,000개 정도 까지 가능했습니다. dmkym 님 댓글 남겨주셔서 감사합니다~👍 % 2021년 7월 기준 인스타그램 측에서 사람이 손으로 게시물을 클릭하여 접근하여도 일정 게시..

요즘 들어서 대만카스테라, 벌집아이스크림 때처럼 흑당 버블티 가게가 우후 죽순 생겨나고 있습니다. 인스타그램 태그를 활용하면 흑당버블티에 대한 동향을 알 수 있을까라는 의문점이 들었고 셀레니움을 활용한 인스타그램 크롤링을 통해 흑당버블티에 대한 분석을 해보았습니다. 먼저 #흑당버블티 태그가 달려있는 게시물의 개수가 몇 개 인지 확인해보니 무려 76,291개나 되었습니다. 처음 목표는 이 76,291개 전체를 다 크롤링해와서 주마다 게시물 개수의 추이도 보고 # 흑당버블티 태그가 달려있는 글 들 속에서 각 회사별로 몇 번씩 언급이 되었는지 확인해보는 것이 목표였습니다. 그러나!!!!! 정말 앗, 이런! 하는 오류였습니다. 목표인 76,291개를 도달하기 전에 크롬드라이버가 다운이 되어버렸습니다. 제 추측으..