일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 파이썬
- 더현대서울 맛집
- programmers
- 맥북
- 편스토랑
- Docker
- 프로그래머스 파이썬
- ubuntu
- gs25
- 프로그래머스
- ChatGPT
- 금융문자분석경진대회
- 편스토랑 우승상품
- 우분투
- Git
- leetcode
- SW Expert Academy
- 자연어처리
- Kaggle
- 코로나19
- PYTHON
- 백준
- hackerrank
- Real or Not? NLP with Disaster Tweets
- github
- AI 경진대회
- 캐치카페
- Baekjoon
- 데이콘
- dacon
- Today
- Total
목록
반응형
인스타그램 크롤링 (2)
솜씨좋은장씨
이번 글에서는 Python과 Selenium을 활용하여 인스타그램 게시물을 크롤링하는 방법에 대해서 적어보려 합니다. 해당 코드를 활용하여 발생하는 문제는 코드 사용자에게 있음을 알려드립니다. % 현재 아래의 방법을 활용한다고 하여 게시물을 무한으로 크롤링 할 수 있지는 않습니다. 개인 PC사양, 네트워크 환경에 따라서 같은 코드여도 크롤링 할 수 있는 게시물의 개수가 달라짐을 알려드립니다. 제 환경 ( MacBook Pro 2017 13인치 - 4 Thunderbolt Ports 8GB + 500Mbps 인터넷 ) 에서는 약 10,000개 정도 까지 가능했습니다. dmkym 님 댓글 남겨주셔서 감사합니다~👍 % 2021년 7월 기준 인스타그램 측에서 사람이 손으로 게시물을 클릭하여 접근하여도 일정 게시..
1. 주제를 선택한 계기 특정 프랜차이즈에 관련된 최근 키워드를 알려주려면 어떤 것을 참고하면 좋을까 생각하다가 인스타그램에 걸려있는 특정 주제에 대한 여러 태그들을 크롤링하여 그 태그들을 빈도수로 정렬하여 보여주면 어떨까 생각해보았고 보여줄때 그냥 글자, 빈도수 이렇게 보여주면 재미 없으니 워드클라우드로 그려서 보여주면 어떨까 생각하여 일단 한번 해서 확인해보자라는 생각으로 해보게 되었습니다. 2. 태그 크롤링 하기 군 생활을 하면서 부대 근처에 있어 자주 갔던 커피베이 태그를 검색해서 그 글 속에 있는 태그들을 크롤링 해보기로 했습니다. 크롬 개발자 도구를 활용하여 태그를 검색하고 나오는 그 페이지의 코드를 확인해보니 클릭하지 않는 이상 각각의 게시글에 있는 태그를 가져올 수 없었습니다. Seleni..