일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 프로그래머스 파이썬
- Real or Not? NLP with Disaster Tweets
- SW Expert Academy
- 자연어처리
- 백준
- github
- 우분투
- 코로나19
- Kaggle
- Docker
- 캐치카페
- ubuntu
- ChatGPT
- 편스토랑
- AI 경진대회
- 데이콘
- 금융문자분석경진대회
- 편스토랑 우승상품
- 파이썬
- gs25
- Baekjoon
- programmers
- Git
- 더현대서울 맛집
- hackerrank
- PYTHON
- 프로그래머스
- 맥북
- leetcode
- dacon
- Today
- Total
목록
반응형
전체 글 (1651)
솜씨좋은장씨
요즘 들어서 대만카스테라, 벌집아이스크림 때처럼 흑당 버블티 가게가 우후 죽순 생겨나고 있습니다. 인스타그램 태그를 활용하면 흑당버블티에 대한 동향을 알 수 있을까라는 의문점이 들었고 셀레니움을 활용한 인스타그램 크롤링을 통해 흑당버블티에 대한 분석을 해보았습니다. 먼저 #흑당버블티 태그가 달려있는 게시물의 개수가 몇 개 인지 확인해보니 무려 76,291개나 되었습니다. 처음 목표는 이 76,291개 전체를 다 크롤링해와서 주마다 게시물 개수의 추이도 보고 # 흑당버블티 태그가 달려있는 글 들 속에서 각 회사별로 몇 번씩 언급이 되었는지 확인해보는 것이 목표였습니다. 그러나!!!!! 정말 앗, 이런! 하는 오류였습니다. 목표인 76,291개를 도달하기 전에 크롬드라이버가 다운이 되어버렸습니다. 제 추측으..
프로젝트를 진행하면서 네이버 기사 내용을 긍정/부정으로 분류해주는 기능을 넣자고 하여 구현해보았습니다. 모델을 만드는 것은 위키독스에서 제공하는 딥러닝을 이용한 자연어처리 입문에 나와있는 코드를 활용하였습니다. 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 0. 코드 관련 2020년 12월 22일 일부 코드 업데이트가 진행되었습니다. 아래의 코드의 대부분은 python과 keras를 공부한지 두달도 안된 상황에서 진행한 코드로 중간중간 설명이 이상하거나 제대로 동작하지 않는 부분이 있을 수도 있습니다. 양해부탁드립니다. 기사 제목 분류 관련 전체적인 코드 업데이트는 2021년에 진행할 예정입니다. 감사합니다. 솜장 드림. 1. 학습데이터, 테스트데이터 만들기 먼저 모델을 만들고..
1. 주제를 선택한 계기 특정 프랜차이즈에 관련된 최근 키워드를 알려주려면 어떤 것을 참고하면 좋을까 생각하다가 인스타그램에 걸려있는 특정 주제에 대한 여러 태그들을 크롤링하여 그 태그들을 빈도수로 정렬하여 보여주면 어떨까 생각해보았고 보여줄때 그냥 글자, 빈도수 이렇게 보여주면 재미 없으니 워드클라우드로 그려서 보여주면 어떨까 생각하여 일단 한번 해서 확인해보자라는 생각으로 해보게 되었습니다. 2. 태그 크롤링 하기 군 생활을 하면서 부대 근처에 있어 자주 갔던 커피베이 태그를 검색해서 그 글 속에 있는 태그들을 크롤링 해보기로 했습니다. 크롬 개발자 도구를 활용하여 태그를 검색하고 나오는 그 페이지의 코드를 확인해보니 클릭하지 않는 이상 각각의 게시글에 있는 태그를 가져올 수 없었습니다. Seleni..
작업 환경은 아래와 같습니다. - OS : Mac OS Catalina - jupyter notebook, python3 음성파일은 아래의 홈페이지에서 녹음 후 컴퓨터에 저장하였습니다. Online Voice Recorder online-voice-recorder.com ETRI에서 제공하는 open API 중 음성인식 API를 사용하려고 녹음한 음성 mp3파일을 api에 요청변수로 보내니 {"result":0,"return_object":{"recognized":"ASR_NOTOKEN"}} 위와 같이 "ASR_NOTOKEN"이라는 결과를 확인할 수 있었습니다. ETRI 홈페이지를 가보니 해당하는 오류는 파일이 샘플링 주파수(16kHz)가 맞지 않았을때라는 결과를 볼 수 있었습니다. 위를 해결하기 위해서..
드디어! 9월 25일 아이패드 OS 가 업데이트 되었습니다. 업데이트가 되기 전에는 아이패드에 블루투스 키보드를 연결을 하고 사용을 해도 마우스가 지원되지 않아 탈옥을 해서 마우스를 사용하거나 마우스 대신 애플펜슬, 손가락을 통해 터치를 했어야 했기에 불편한 점이 많았습니다. 아이패드 OS로 업데이트가 된 이후 드디어 블루투스 마우스를 지원하여 사용할 수 있게 되었습니다. 마우스 사용 설정방법 먼저 설정 > 손쉬운 사용 > 터치 메뉴로 들어갑니다 AssistiveTouch 메뉴로 들어갑니다. AssistiveTouch 메뉴로 들어왔으면 AssistiveTouch라고 써있는 곳의 버튼을 눌러 활성화 해줍니다. 마우스 키 메뉴로 들어가서 마우스 키 항목을 활성화 시켜줍니다. 그 다음 블루투스에서 마우스를 연..
1. 이 주제를 선정하게 된 계기 개인프로젝트로 어떤 것을 해볼까 고민하면서 처음에는 영화를 추천해주는 챗봇을 만들어 보려고 했다가 더 공부를하고 만들기로 하고 하루라는 짧은 시간안에 구현해볼 수 있는 다른 주제가 무엇이 있나 찾던 중, 제가 평소에 자주 이용하는 왓챠라는 페이지에서 제가 봤던 영화들 목록과 평점과 같은 데이터를 가지고 새로운 영화가 나왔을 때 내가 시청하고 나서 어떤 점수를 부여할 것인지 예측해주는 시스템이 떠올랐습니다. 제가 왓챠에 제공하는 데이터는 제가 봤던 영화의 목록과 그 영화에 부여하는 평점 정보 뿐인데 어떻게 아직 개봉하지 않은 영화들의 평점을 예측해서 보여주는가 고민을 해보았습니다. 고민하다가 떠올랐던 것이 제가 봤다고 한 영화의 줄거리와 그 영화에 부여된 평점, 그리고 장..
과거의 영화 줄거리, 평점, 장르 데이터를 가지고 새로운 영화의 평점을 예측하는 모델을 만들 때 학습데이터로 사용하기 위한 데이터들을 크롤링해오기 위한 코드를 짜 보았습니다. 데이터를 수집하기 위한 크롤러를 제작하는데에는 Selenium, BeautifulSoup 그리고 requests를 사용했습니다. 네이버 영화에서 데이터를 수집해오기는 해야하나 순차적으로 데이터를 가져올 수 있도록 링크를 어디서 가져올까 고민하던 중 네이버 시리즈에 18812개의 영화 링크가 있는 페이지를 찾았습니다. 저는 이 페이지에서 판매순으로 가져오기로 했습니다. from bs4 import BeautifulSoup import requests from selenium import webdriver as wd from selen..
9월 25일! 드디어 기다리고 기다렸던 아이패드의 최신 OS인 iPad OS 정식 버전이 나왔습니다. 사실 저는 iPad OS를 베타 버전이 나온 첫날부터 계속 사용하고 있었지만 mac Catalina OS를 Beta 8, 9로 업데이트한 이후로 아이패드와 Sidecar로 연결하여 사용하려고 하면 iPad에 최신 OS가 있어야한다는 알림과 함께 연결이 되지 않아 사용을 하지 못하고 있었기에 빨리 iPad OS의 정식버전이 나오기를 기다렸습니다. 정식 버전 이후에는 정상적으로 연결이 가능해져 현재는 다시 아주 잘 사용하는 기능이 되었습니다.ㅎㅎ 그럼 Sidecar를 사용하는데 필요한 환경과 사용방법, 그리고 사용하면서 느낀 장점과 단점에 대해서 적어 보겠습니다. 만약! 내가 mac OS Monterey를 ..